JP3289517B2 - 連想記憶装置及び思考模擬装置 - Google Patents
連想記憶装置及び思考模擬装置Info
- Publication number
- JP3289517B2 JP3289517B2 JP26956794A JP26956794A JP3289517B2 JP 3289517 B2 JP3289517 B2 JP 3289517B2 JP 26956794 A JP26956794 A JP 26956794A JP 26956794 A JP26956794 A JP 26956794A JP 3289517 B2 JP3289517 B2 JP 3289517B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- window
- input
- storage
- internal state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、各種の情報処理装置に
用いることのできる思考模擬装置と連想記憶装置及びそ
れらに用いられる窓神経素子回路に関するものである。
用いることのできる思考模擬装置と連想記憶装置及びそ
れらに用いられる窓神経素子回路に関するものである。
【０００２】
【従来の技術】近年、記憶装置としては、明示的に指定
された番地の記憶や内容が完全に検索キーと一致する記
憶を高速かつ正確に検索する装置だけではなく、検索キ
ーが記憶事項と完全に一致しない場合でも記憶事項の内
容に応じて連想的に柔軟な検索ができる装置が求められ
ている。
された番地の記憶や内容が完全に検索キーと一致する記
憶を高速かつ正確に検索する装置だけではなく、検索キ
ーが記憶事項と完全に一致しない場合でも記憶事項の内
容に応じて連想的に柔軟な検索ができる装置が求められ
ている。
【０００３】以下に従来の連想記憶装置（Andersen,J.
A.:"A simple neural network generating an interact
ive memory",Math.Biosciences,14,pp.197-220,1972. K
ohonen,T.:"Correlation matrix memories",IEEE Tran
s.,C-21,pp.353-359,1972. Nakano,K.:"Associatron−A
model of associative memory",IEEE Trans.,SMC-2.p
p.380-388,1972.）について説明する。
A.:"A simple neural network generating an interact
ive memory",Math.Biosciences,14,pp.197-220,1972. K
ohonen,T.:"Correlation matrix memories",IEEE Tran
s.,C-21,pp.353-359,1972. Nakano,K.:"Associatron−A
model of associative memory",IEEE Trans.,SMC-2.p
p.380-388,1972.）について説明する。
【０００４】図１３は、従来の連想記憶装置を構成する
神経素子回路の構成を示すブロック図である。ここで
は、簡単のために、入力信号が４つの場合を示すが、入
力信号はいくつであってもかまわない。図１３におい
て、１０１は入力信号Ｘi（i=1〜4）を受ける入力端子
であり、１１１は、入力信号Ｘiを受け内部に保持した
結合荷重ｗi（i=1〜4）と入力信号Ｘiの積 ｗi・Ｘi を重み付け入力信号Ｕｉを出力する積演算回路であり、
１１２は積演算回路１１１からの重み付け入力信号Ｕｉ
を受けその総和
神経素子回路の構成を示すブロック図である。ここで
は、簡単のために、入力信号が４つの場合を示すが、入
力信号はいくつであってもかまわない。図１３におい
て、１０１は入力信号Ｘi（i=1〜4）を受ける入力端子
であり、１１１は、入力信号Ｘiを受け内部に保持した
結合荷重ｗi（i=1〜4）と入力信号Ｘiの積 ｗi・Ｘi を重み付け入力信号Ｕｉを出力する積演算回路であり、
１１２は積演算回路１１１からの重み付け入力信号Ｕｉ
を受けその総和
【０００５】
【数２】
【０００６】を内部状態信号Ｖとして出力する加算回路
であり、５２は内部状態信号Ｖに関数ｆｎによって与え
られる非線形変換を施し出力信号Ｙを出力端子１０２に
出力する非線形変換回路である。１０３は、積演算回路
１１１の結合荷重ｗｉを書き換えるための重み修正端子
でである。これをまとめて、神経素子回路５０と呼ぶ。
また、積演算回路１１１と加算回路１１２をまとめて内
部状態計算回路１１と呼ぶ。従来の非線形変換回路５２
の非線形関数ｆｎは、図１４に示した符号関数がよく用
いられる。以上のように構成された神経素子回路５０の
動作は、次式
であり、５２は内部状態信号Ｖに関数ｆｎによって与え
られる非線形変換を施し出力信号Ｙを出力端子１０２に
出力する非線形変換回路である。１０３は、積演算回路
１１１の結合荷重ｗｉを書き換えるための重み修正端子
でである。これをまとめて、神経素子回路５０と呼ぶ。
また、積演算回路１１１と加算回路１１２をまとめて内
部状態計算回路１１と呼ぶ。従来の非線形変換回路５２
の非線形関数ｆｎは、図１４に示した符号関数がよく用
いられる。以上のように構成された神経素子回路５０の
動作は、次式
【０００７】
【数３】
【０００８】で表現できる。図１５は、神経回路網演算
部の構成を示すブロック図である。ここでは簡単のため
に、従来の神経素子回路５０を４つ並列に繋いで構成さ
れる神経回路網演算部８を示す。この構成によって、４
次元ベクトルで表現される入力信号Ｘｉは、神経回路網
演算部８によって、４次元ベクトルで表現される出力信
号Ｙｉに変換される。以上のように構成された神経回路
網演算部８の動作は、次式
部の構成を示すブロック図である。ここでは簡単のため
に、従来の神経素子回路５０を４つ並列に繋いで構成さ
れる神経回路網演算部８を示す。この構成によって、４
次元ベクトルで表現される入力信号Ｘｉは、神経回路網
演算部８によって、４次元ベクトルで表現される出力信
号Ｙｉに変換される。以上のように構成された神経回路
網演算部８の動作は、次式
【０００９】
【数４】
【００１０】で表現できる。ここで、ｗｉｊは、ｉ番目
の神経素子回路の中のｊ番目の積演算回路１１１の結合
荷重である。以下、神経素子回路５０はＮ個の入力端子
を持ち、神経回路網演算部８はＮ個の神経素子回路５０
から構成されるものとする。
の神経素子回路の中のｊ番目の積演算回路１１１の結合
荷重である。以下、神経素子回路５０はＮ個の入力端子
を持ち、神経回路網演算部８はＮ個の神経素子回路５０
から構成されるものとする。
【００１１】図１６は、神経回路網演算部８を用いて構
成される連想記憶装置の構成を示すブロック図である。
２は、外部入力信号Ｘｏと神経回路網演算部８からの出
力信号を受け、神経回路網演算部８の入力信号Ｘを生成
する入力制御部であり、９は記憶信号入力端子１０７か
ら記憶信号を受け、神経回路網演算回路８を構成する神
経素子回路５０の結合荷重ｗを書き換える自己相関結合
荷重書換部である。
成される連想記憶装置の構成を示すブロック図である。
２は、外部入力信号Ｘｏと神経回路網演算部８からの出
力信号を受け、神経回路網演算部８の入力信号Ｘを生成
する入力制御部であり、９は記憶信号入力端子１０７か
ら記憶信号を受け、神経回路網演算回路８を構成する神
経素子回路５０の結合荷重ｗを書き換える自己相関結合
荷重書換部である。
【００１２】以上のように構成された連想記憶装置につ
いて、その動作を説明する。まず、連想記憶装置の初期
状態は、全ての結合荷重ｗｉｊが０である。信号の記憶
は次のようにして行われる。記憶信号入力端子１０７に
記憶する信号Ｓｉ（ｍ）（ｉ＝１〜Ｎ）が入力される
と、自己相関結合荷重書換部９はｉ番目の神経素子回路
５０のｊ番目の結合荷重ｗｉｊを ｗｉｊ→ｗｉｊ＋Ｓｉ（ｍ）・Ｓｊ（ｍ） 但し、ｗｉｉ＝０ と書き換える。したがって、Ｍ個の記憶する信号が入力
されると、結合荷重ｗｉｊは、
いて、その動作を説明する。まず、連想記憶装置の初期
状態は、全ての結合荷重ｗｉｊが０である。信号の記憶
は次のようにして行われる。記憶信号入力端子１０７に
記憶する信号Ｓｉ（ｍ）（ｉ＝１〜Ｎ）が入力される
と、自己相関結合荷重書換部９はｉ番目の神経素子回路
５０のｊ番目の結合荷重ｗｉｊを ｗｉｊ→ｗｉｊ＋Ｓｉ（ｍ）・Ｓｊ（ｍ） 但し、ｗｉｉ＝０ と書き換える。したがって、Ｍ個の記憶する信号が入力
されると、結合荷重ｗｉｊは、
【００１３】
【数５】
【００１４】である。連想記憶装置の記憶の読みだしは
次のように行われる。外部から外部入力信号Ｘｏが入力
制御部２に入力されと、入力制御部２は、外部入力Ｘｏ
をそのまま入力信号Ｘ＝（Ｘ1，…，ＸN）として、神経
回路網演算部８に向けて出力する。神経回路網演算部８
は、内部で前記のような演算を行い出力信号Ｙ＝（Ｙ
1，…，ＹN）
次のように行われる。外部から外部入力信号Ｘｏが入力
制御部２に入力されと、入力制御部２は、外部入力Ｘｏ
をそのまま入力信号Ｘ＝（Ｘ1，…，ＸN）として、神経
回路網演算部８に向けて出力する。神経回路網演算部８
は、内部で前記のような演算を行い出力信号Ｙ＝（Ｙ
1，…，ＹN）
【００１５】
【数６】
【００１６】を出力する。出力信号Ｙは、入力制御部２
に戻される。神経回路網演算部８の出力信号Ｙを受けた
入力制御部２は、出力信号Ｙを入力信号Ｘとして、神経
回路網演算部８に向けて出力する。このフィードバック
ループは、
に戻される。神経回路網演算部８の出力信号Ｙを受けた
入力制御部２は、出力信号Ｙを入力信号Ｘとして、神経
回路網演算部８に向けて出力する。このフィードバック
ループは、
【００１７】
【数７】
【００１８】で表現できる。このフィードバックループ
によって、出力信号Ｙは、外部入力信号Ｘｏが記憶信号
Ｓ（ｍ）のいずれかによく似ている場合、その記憶信号
へと収束し、記憶信号が読み出される。
によって、出力信号Ｙは、外部入力信号Ｘｏが記憶信号
Ｓ（ｍ）のいずれかによく似ている場合、その記憶信号
へと収束し、記憶信号が読み出される。
【００１９】
【発明が解決しようとする課題】しかしながら、従来の
連想記憶装置では、Ｎ個の神経素子回路からなる連想記
憶装置は０．１５Ｎ個の記憶信号しか記憶できない、読
み出された信号が記憶信号であるかどうか判定できない
という課題があった。記憶できる記憶信号の数を増やす
試みとしては、非単調神経素子回路を用いて実現される
部分反転法を用いた連想記憶装置（中野他、「ニューロ
コンピュータの基礎」、コロナ社、１３９〜１４２ペー
ジ）、本発明者が先に提案した符号反転記憶法（掛谷
他、「符号反転記憶法による自己相関連想記憶の改
良」、神経回路学会誌、1994年 Vol.1,２０〜２６ペー
ジ）が知られているが、記憶容量は十分でないという課
題があった。本発明は、多くの記憶信号を記憶できる、
大きな記憶容量を持った連想記憶装置を提供することを
目的とする。
連想記憶装置では、Ｎ個の神経素子回路からなる連想記
憶装置は０．１５Ｎ個の記憶信号しか記憶できない、読
み出された信号が記憶信号であるかどうか判定できない
という課題があった。記憶できる記憶信号の数を増やす
試みとしては、非単調神経素子回路を用いて実現される
部分反転法を用いた連想記憶装置（中野他、「ニューロ
コンピュータの基礎」、コロナ社、１３９〜１４２ペー
ジ）、本発明者が先に提案した符号反転記憶法（掛谷
他、「符号反転記憶法による自己相関連想記憶の改
良」、神経回路学会誌、1994年 Vol.1,２０〜２６ペー
ジ）が知られているが、記憶容量は十分でないという課
題があった。本発明は、多くの記憶信号を記憶できる、
大きな記憶容量を持った連想記憶装置を提供することを
目的とする。
【００２０】
【課題を解決するための手段】この目的を達成するため
に本発明の連想記憶装置は、情報を結合荷重により多重
に記憶し、多重化した記憶信号を読み出す連想記憶装置
において、外部入力信号から入力信号を計算する入力制
御部と、入力された窓制御信号により窓の中心値とその
幅を制御する入出力特性関数を用いて、前記入力信号と
結合荷重との積和演算により求めた内部状態信号を非線
形変換した出力信号と、前記内部状態信号とを出力する
窓神経素子回路を並列に接続した窓神経回路網演算部
と、前記多重化された記憶信号の多重化成分に応じて読
みだす記憶信号のレベルを指定する読みだしレベル設定
信号と前記内部状態信号とを受けて、前記レベルに反映
した記憶信号を取り出すための前記窓神経素子回路の入
出力特性関数を取り出すレベルが高くなるほど窓の中心
値の絶対値が大きくなるように設定する窓制御信号を出
力する窓制御部と、入力される記憶信号に基づいて前記
窓神経素子回路の結合荷重を書き換える多重記憶荷重結
合書換部とからなる構成を有している。
に本発明の連想記憶装置は、情報を結合荷重により多重
に記憶し、多重化した記憶信号を読み出す連想記憶装置
において、外部入力信号から入力信号を計算する入力制
御部と、入力された窓制御信号により窓の中心値とその
幅を制御する入出力特性関数を用いて、前記入力信号と
結合荷重との積和演算により求めた内部状態信号を非線
形変換した出力信号と、前記内部状態信号とを出力する
窓神経素子回路を並列に接続した窓神経回路網演算部
と、前記多重化された記憶信号の多重化成分に応じて読
みだす記憶信号のレベルを指定する読みだしレベル設定
信号と前記内部状態信号とを受けて、前記レベルに反映
した記憶信号を取り出すための前記窓神経素子回路の入
出力特性関数を取り出すレベルが高くなるほど窓の中心
値の絶対値が大きくなるように設定する窓制御信号を出
力する窓制御部と、入力される記憶信号に基づいて前記
窓神経素子回路の結合荷重を書き換える多重記憶荷重結
合書換部とからなる構成を有している。
【００２１】
【作用】この構成によって本発明の連想記憶装置は、多
重記憶結合荷重書換部によって記憶信号を多重に記憶
し、窓神経素子回路を用いた窓神経回路網演算部によっ
て多重化された記憶信号を適切に読み出すことできるよ
うになり、大きな記憶容量が実現される。さらに、窓神
経素子回路の特徴を活かすことにより、不完全な情報か
ら、記憶した情報を引き出すことができるという、人間
の情報処理に近い動作をする優れた思考機械を構成する
ことができる。
重記憶結合荷重書換部によって記憶信号を多重に記憶
し、窓神経素子回路を用いた窓神経回路網演算部によっ
て多重化された記憶信号を適切に読み出すことできるよ
うになり、大きな記憶容量が実現される。さらに、窓神
経素子回路の特徴を活かすことにより、不完全な情報か
ら、記憶した情報を引き出すことができるという、人間
の情報処理に近い動作をする優れた思考機械を構成する
ことができる。
【００２２】
（実施例１）以下、本発明の窓神経素子回路と連想記憶
装置の一実施例について、図面を参照しながら説明す
る。図１は、本実施例の窓神経素子回路の構成を示すブ
ロック図である。図１において、ここでは、簡単のため
に、入力信号が４つの場合を示すが、入力信号はいくつ
であってもかまわない。図１において、１０１は入力信
号Ｘi（i=1〜4）を受ける入力端子であり、１１１は、
入力信号Ｘiを受け内部に保持した結合荷重ｗi（i=1〜
4）と入力信号Ｘiの積 ｗi・Ｘi を重み付け入力信号Ｕｉを出力する積演算回路であり、
１１２は積演算回路１１１からの重み付け入力信号Ｕｉ
を受けその総和
装置の一実施例について、図面を参照しながら説明す
る。図１は、本実施例の窓神経素子回路の構成を示すブ
ロック図である。図１において、ここでは、簡単のため
に、入力信号が４つの場合を示すが、入力信号はいくつ
であってもかまわない。図１において、１０１は入力信
号Ｘi（i=1〜4）を受ける入力端子であり、１１１は、
入力信号Ｘiを受け内部に保持した結合荷重ｗi（i=1〜
4）と入力信号Ｘiの積 ｗi・Ｘi を重み付け入力信号Ｕｉを出力する積演算回路であり、
１１２は積演算回路１１１からの重み付け入力信号Ｕｉ
を受けその総和
【００２３】
【数８】
【００２４】を内部状態信号Ｖとして出力する加算回路
であり、１２は、窓制御端子１０５から入力される窓制
御信号によって制御される関数ｆｗによって与えられる
非線形変換を内部状態信号Ｖに施し出力信号Ｙを出力端
子１０２に出力する窓非線形変換回路である。１０３
は、積演算回路１１１の結合荷重ｗｉを書き換えるため
の重み修正端子でである。１０６は、内部状態信号を出
力する内部状態信号出力端子である。これをまとめて、
窓神経素子回路１と呼ぶ。
であり、１２は、窓制御端子１０５から入力される窓制
御信号によって制御される関数ｆｗによって与えられる
非線形変換を内部状態信号Ｖに施し出力信号Ｙを出力端
子１０２に出力する窓非線形変換回路である。１０３
は、積演算回路１１１の結合荷重ｗｉを書き換えるため
の重み修正端子でである。１０６は、内部状態信号を出
力する内部状態信号出力端子である。これをまとめて、
窓神経素子回路１と呼ぶ。
【００２５】窓神経素子回路を特徴づける窓非線形変換
回路１２の窓非線形関数ｆｗは、図２に示したように、
Ｖ＝０周辺のかなり広い領域にわたってｆｗ＝１とな
り、Ｖ＝ｃの周辺、幅２ｗにわたってｆｗ＝１であり、
Ｖ＝−ｃの周辺、幅２ｗにわたってｆｗ＝−１であるよ
うな関数である。窓非線形関数ｆｗの一例を数式で表現
すると
回路１２の窓非線形関数ｆｗは、図２に示したように、
Ｖ＝０周辺のかなり広い領域にわたってｆｗ＝１とな
り、Ｖ＝ｃの周辺、幅２ｗにわたってｆｗ＝１であり、
Ｖ＝−ｃの周辺、幅２ｗにわたってｆｗ＝−１であるよ
うな関数である。窓非線形関数ｆｗの一例を数式で表現
すると
【００２６】
【数９】
【００２７】である。この関数の４つのパラメータを窓
パラメータと呼ぶ。このうち、少なくともパラメータ
（ｃ，ｗ）は窓制御信号によって制御される。
パラメータと呼ぶ。このうち、少なくともパラメータ
（ｃ，ｗ）は窓制御信号によって制御される。
【００２８】窓非線形関数の本質は、値Ｖ＝±ｃのまわ
り（これを窓と呼ぶ）でのみ±１をとり、その外側で
は、符号が反転し、その内側では０をとることであり、
その微細な形は重要ではない。
り（これを窓と呼ぶ）でのみ±１をとり、その外側で
は、符号が反転し、その内側では０をとることであり、
その微細な形は重要ではない。
【００２９】このように構成された窓神経素子回路１０
について、その動作を説明する。窓神経素子回路１０
は、内部状態信号Ｖの計算までは前記の従来の神経素子
回路５０と同様の動作を行う。そして、加算器１１２か
らの内部状態信号Ｖは、内部状態信号出力端子１０６と
窓非線形変換回路１２とへ出力される。窓非線形変換回
路１２は、内部状態信号Ｖを受け取ると、窓制御信号入
力端子１０５から窓制御信号が入力されるまで、待機す
る。前記端子１０５から窓制御信号が入力されると、窓
非線形変換回路１２は、出力信号ｆｗ（Ｖ）を出力端子
１０２へ出力する。部分反転法の出入力関数との違い
は、内部状態信号Ｖが０の周辺のかなり広い範囲に渡っ
て０をとること、およびそれが外部から制御される点に
ある。
について、その動作を説明する。窓神経素子回路１０
は、内部状態信号Ｖの計算までは前記の従来の神経素子
回路５０と同様の動作を行う。そして、加算器１１２か
らの内部状態信号Ｖは、内部状態信号出力端子１０６と
窓非線形変換回路１２とへ出力される。窓非線形変換回
路１２は、内部状態信号Ｖを受け取ると、窓制御信号入
力端子１０５から窓制御信号が入力されるまで、待機す
る。前記端子１０５から窓制御信号が入力されると、窓
非線形変換回路１２は、出力信号ｆｗ（Ｖ）を出力端子
１０２へ出力する。部分反転法の出入力関数との違い
は、内部状態信号Ｖが０の周辺のかなり広い範囲に渡っ
て０をとること、およびそれが外部から制御される点に
ある。
【００３０】前記従来例と同様に、窓神経素子回路１０
を並列に接続して構成される窓神経回路網演算部１を図
３に示す。
を並列に接続して構成される窓神経回路網演算部１を図
３に示す。
【００３１】図４は、窓神経回路網演算部１を用いた連
想記憶装置の構成を示すブロック図である。図４におい
て、２は外部入力信号Ｘｏまたは規格化出力信号Ｙｎを
受け、入力信号Ｘを出力する入力制御部であり、１は前
記窓神経回路網演算部であり、３は記憶信号を受けて窓
神経回路網演算部１の結合荷重を書き換える多重記憶結
合荷重書換部であり、４は内部状態信号Ｖを受けて窓神
経回路網演算部１の窓パラメータを制御する窓制御信号
を出力する窓制御部であり、５は窓神経回路網演算部１
からの出力信号Ｙｗを整形して出力する出力整形部であ
り、６は前記出力信号Ｙｗを規格化する出力規格化部で
ある。
想記憶装置の構成を示すブロック図である。図４におい
て、２は外部入力信号Ｘｏまたは規格化出力信号Ｙｎを
受け、入力信号Ｘを出力する入力制御部であり、１は前
記窓神経回路網演算部であり、３は記憶信号を受けて窓
神経回路網演算部１の結合荷重を書き換える多重記憶結
合荷重書換部であり、４は内部状態信号Ｖを受けて窓神
経回路網演算部１の窓パラメータを制御する窓制御信号
を出力する窓制御部であり、５は窓神経回路網演算部１
からの出力信号Ｙｗを整形して出力する出力整形部であ
り、６は前記出力信号Ｙｗを規格化する出力規格化部で
ある。
【００３２】以上のように構成された連想記憶装置の動
作について説明する。まず、記憶信号の記憶は次のよう
に行われる。なお、ここでは記憶の多重化を２重にした
場合について説明するが、記憶の多重化は、３重以上で
あってもかまわない。記憶信号Ｓ(ｍ)＝（Ｓ1(ｍ),…,
ＳN(ｍ)）が記憶信号入力端子２０２から入力される
と、多重記憶結合荷重書換部３は、窓神経回路網演算部
１の結合荷重ｗｉｊを ｗｉｊ→ｗｉｊ＋（−１）mＡ（ｍ）・Ｓi(ｍ)・Ｓj(ｍ) とする。係数Ａ（ｍ）の取り方には任意性があるが、こ
こでは、 Ａ（ｍ）＝１、 ｍ＜０．１５Ｎ Ａ（ｍ）＝３、 ０．１５Ｎ≦ｍ＜０．３０Ｎ とする。この記憶法を多重記憶法と名付ける。そして、
Ａ（ｍ）＝１で記憶された記憶信号をレベル１の記憶、
Ａ（ｍ）＝３で記憶された記憶信号をレベル２の記憶と
呼ぶことにする。
作について説明する。まず、記憶信号の記憶は次のよう
に行われる。なお、ここでは記憶の多重化を２重にした
場合について説明するが、記憶の多重化は、３重以上で
あってもかまわない。記憶信号Ｓ(ｍ)＝（Ｓ1(ｍ),…,
ＳN(ｍ)）が記憶信号入力端子２０２から入力される
と、多重記憶結合荷重書換部３は、窓神経回路網演算部
１の結合荷重ｗｉｊを ｗｉｊ→ｗｉｊ＋（−１）mＡ（ｍ）・Ｓi(ｍ)・Ｓj(ｍ) とする。係数Ａ（ｍ）の取り方には任意性があるが、こ
こでは、 Ａ（ｍ）＝１、 ｍ＜０．１５Ｎ Ａ（ｍ）＝３、 ０．１５Ｎ≦ｍ＜０．３０Ｎ とする。この記憶法を多重記憶法と名付ける。そして、
Ａ（ｍ）＝１で記憶された記憶信号をレベル１の記憶、
Ａ（ｍ）＝３で記憶された記憶信号をレベル２の記憶と
呼ぶことにする。
【００３３】次に記憶信号の読みだしについて、説明す
る。まず、読みだしレベル設定端子２０３から読みだし
レベル設定信号Ｌが、窓制御部４に入力される。次に、
外部入力端子２０１から、外部入力信号Ｘｏが入力制御
部２に入力される。入力制御部２は外部入力信号Ｘｏを
そのまま入力信号Ｘとして出力する。窓神経回路網演算
部１は、入力信号Ｘを受け、まず内部状態信号Ｖを内部
状態出力端子１０６へと出力し、待機状態入る。内部状
態出力端子に接続された窓制御部４は、前記読みだしレ
ベル設定信号Ｌと窓神経回路網演算部１からの内部状態
信号Ｖとを受けて、窓パラメータを計算する。レベル設
定信号Ｌが、Ｌ＝２の場合、すなわちレベル２の記憶信
号を取り出す場合、一例として、
る。まず、読みだしレベル設定端子２０３から読みだし
レベル設定信号Ｌが、窓制御部４に入力される。次に、
外部入力端子２０１から、外部入力信号Ｘｏが入力制御
部２に入力される。入力制御部２は外部入力信号Ｘｏを
そのまま入力信号Ｘとして出力する。窓神経回路網演算
部１は、入力信号Ｘを受け、まず内部状態信号Ｖを内部
状態出力端子１０６へと出力し、待機状態入る。内部状
態出力端子に接続された窓制御部４は、前記読みだしレ
ベル設定信号Ｌと窓神経回路網演算部１からの内部状態
信号Ｖとを受けて、窓パラメータを計算する。レベル設
定信号Ｌが、Ｌ＝２の場合、すなわちレベル２の記憶信
号を取り出す場合、一例として、
【００３４】
【数１０】
【００３５】とすればよい。Ｌ＝１、すなわち、レベル
１の記憶信号を取り出す場合には、
１の記憶信号を取り出す場合には、
【００３６】
【数１１】
【００３７】とすればよい。ここで、αは２．０程度に
とっておけばよい。窓制御部４は、このように窓パラメ
ータを設定する窓制御信号を神経回路網演算部１に出力
する。窓神経回路網演算部１は、窓制御信号を受けて、
待機状態を解除し、前記窓非線形演算回路１２を動作さ
せ、出力信号Ｙｗを出力端子１０２に出力する。前記出
力信号Ｙｗは出力整形部５と出力規格部６に入力され
る。出力整形部５は、出力信号Ｙｗを整形出力信号 Ｙｉ＝ｓｇｎ（Ｙｗｉ）、 ｉ＝１〜Ｎ ここで、ｓｇｎ（ａ）＝ １、ａ≧０ ｓｇｎ（ａ）＝−１、ａ＜０ に変換し、これを外部出力端子２０４から出力する。出
力規格部６は、前記出力信号Ｙｗを、
とっておけばよい。窓制御部４は、このように窓パラメ
ータを設定する窓制御信号を神経回路網演算部１に出力
する。窓神経回路網演算部１は、窓制御信号を受けて、
待機状態を解除し、前記窓非線形演算回路１２を動作さ
せ、出力信号Ｙｗを出力端子１０２に出力する。前記出
力信号Ｙｗは出力整形部５と出力規格部６に入力され
る。出力整形部５は、出力信号Ｙｗを整形出力信号 Ｙｉ＝ｓｇｎ（Ｙｗｉ）、 ｉ＝１〜Ｎ ここで、ｓｇｎ（ａ）＝ １、ａ≧０ ｓｇｎ（ａ）＝−１、ａ＜０ に変換し、これを外部出力端子２０４から出力する。出
力規格部６は、前記出力信号Ｙｗを、
【００３８】
【数１２】
【００３９】と変換し、規格化出力信号Ｙｎとして入力
制御部２に出力する。入力制御部２は、出力規格部６か
らの規格化出力信号Ｙｎを入力信号Ｘとして、窓神経回
路網演算部１へ出力する。このフィードバックループに
よって、出力信号Ｙは、外部入力信号Ｘｏが記憶信号Ｓ
（ｍ）のいずれかによく似ている場合、その記憶信号へ
と収束し、記憶信号が読み出される。
制御部２に出力する。入力制御部２は、出力規格部６か
らの規格化出力信号Ｙｎを入力信号Ｘとして、窓神経回
路網演算部１へ出力する。このフィードバックループに
よって、出力信号Ｙは、外部入力信号Ｘｏが記憶信号Ｓ
（ｍ）のいずれかによく似ている場合、その記憶信号へ
と収束し、記憶信号が読み出される。
【００４０】なお、ここでは、入力制御部２を規格化入
力信号Ｙｎをそのまま入力信号Ｘとして出力するとした
が、ｔ回目のフィードバックループにおける入力信号Ｘ
（ｔ）＝（Ｘ1（ｔ），…，ＸN（ｔ））を、
力信号Ｙｎをそのまま入力信号Ｘとして出力するとした
が、ｔ回目のフィードバックループにおける入力信号Ｘ
（ｔ）＝（Ｘ1（ｔ），…，ＸN（ｔ））を、
【００４１】
【数１３】
【００４２】としてもかまわない。こうした構成および
動作によって、窓神経素子回路１０を用いて構成される
連想記憶装置は、記憶を多重化できることを、以下、典
型的な例を用いてより具体的に示す。まず、いくつかの
記憶法を用いた場合の記憶信号に対する内部状態信号Ｖ
ｉ
動作によって、窓神経素子回路１０を用いて構成される
連想記憶装置は、記憶を多重化できることを、以下、典
型的な例を用いてより具体的に示す。まず、いくつかの
記憶法を用いた場合の記憶信号に対する内部状態信号Ｖ
ｉ
【００４３】
【数１４】
【００４４】の分布を図５に示す。３つの図は全て横軸
は、神経素子回路５０または窓神経素子回路１０の数Ｎ
で、内部状態信号を割った値（Ｖｉ／Ｎ）であり、縦軸
は頻度である。図５（ａ）は、従来の記憶法を用いた場
合の（Ｖｉ／Ｎ）の分布であり、この場合（Ｖｉ／Ｎ）
は、±（１−Ｍ／Ｎ）のまわりに分散（Ｍ／Ｎ）で分布
する。図５（ｂ）は、符号反転記憶法による（Ｖｉ／
Ｎ）の分布であり、これは、±１のまわりに分散（Ｍ／
Ｎ）で分布する。図５（ｃ）は、上記多重記憶法による
分布である。多重記憶法による（Ｖｉ／Ｎ）の分布は、
±１、±３のまわりにそれぞれのピークの分散は（Ｍ／
Ｎ）、（３Ｍ／Ｎ）となる。この内部状態信号の分布か
ら明かなように、多重記憶法は、従来の記憶法と全く異
なった性質を持つ記憶法である。
は、神経素子回路５０または窓神経素子回路１０の数Ｎ
で、内部状態信号を割った値（Ｖｉ／Ｎ）であり、縦軸
は頻度である。図５（ａ）は、従来の記憶法を用いた場
合の（Ｖｉ／Ｎ）の分布であり、この場合（Ｖｉ／Ｎ）
は、±（１−Ｍ／Ｎ）のまわりに分散（Ｍ／Ｎ）で分布
する。図５（ｂ）は、符号反転記憶法による（Ｖｉ／
Ｎ）の分布であり、これは、±１のまわりに分散（Ｍ／
Ｎ）で分布する。図５（ｃ）は、上記多重記憶法による
分布である。多重記憶法による（Ｖｉ／Ｎ）の分布は、
±１、±３のまわりにそれぞれのピークの分散は（Ｍ／
Ｎ）、（３Ｍ／Ｎ）となる。この内部状態信号の分布か
ら明かなように、多重記憶法は、従来の記憶法と全く異
なった性質を持つ記憶法である。
【００４５】次に、記憶信号の読みだしについて説明を
する。この中で、窓神経素子回路がこのピークを選択的
に取り出すために有効であることをで示す。今、窓神経
素子回路１０の動作の特徴が際立つ、外部入力信号Ｘｏ
がレベル１の記憶信号とレベル２の記憶信号からなって
いる場合を考える。このとき従来例と同様にして計算さ
れた内部状態信号Ｖｉの分布は、図６（ａ）のようにな
る。図６（ａ）において、点線は、外部入力信号Ｘｏを
構成するレベル１と２の記憶信号成分を、それぞれ独立
に考えた場合の内部状態信号の分布である。実際の内部
状態信号の分布は、図６（ａ）に実線で示したように、
レベル２の記憶信号のピークがレベル１の記憶信号の分
布によって、２つに分かれる。
する。この中で、窓神経素子回路がこのピークを選択的
に取り出すために有効であることをで示す。今、窓神経
素子回路１０の動作の特徴が際立つ、外部入力信号Ｘｏ
がレベル１の記憶信号とレベル２の記憶信号からなって
いる場合を考える。このとき従来例と同様にして計算さ
れた内部状態信号Ｖｉの分布は、図６（ａ）のようにな
る。図６（ａ）において、点線は、外部入力信号Ｘｏを
構成するレベル１と２の記憶信号成分を、それぞれ独立
に考えた場合の内部状態信号の分布である。実際の内部
状態信号の分布は、図６（ａ）に実線で示したように、
レベル２の記憶信号のピークがレベル１の記憶信号の分
布によって、２つに分かれる。
【００４６】今、窓神経素子回路１０のパラメータ
（ｃ，ｗ）を図６（ｂ）のように調整すると、レベル１
の記憶信号の成分を完全にマスクされ、出力信号として
は、レベル２のものだけが反映する。これに対して、窓
神経素子回路１０のパラメータ（ｃ，ｗ）を図６（ｃ）
のように調整すると、レベル２の成分がマスクされ、出
力信号としては、レベル１のものだけが反映する。
（ｃ，ｗ）を図６（ｂ）のように調整すると、レベル１
の記憶信号の成分を完全にマスクされ、出力信号として
は、レベル２のものだけが反映する。これに対して、窓
神経素子回路１０のパラメータ（ｃ，ｗ）を図６（ｃ）
のように調整すると、レベル２の成分がマスクされ、出
力信号としては、レベル１のものだけが反映する。
【００４７】これから分かるように、窓神経素子１０の
パラメータ（ｃ，ｗ）を適切に制御することによって、
それぞれのレベルの記憶信号を取り出すことができる。
記憶多重度が２の場合に、レベル２の記憶信号を取り出
すためには、前記ように窓パラメータの設定すれば、か
くレベルの記憶信号を取り出すことができる。
パラメータ（ｃ，ｗ）を適切に制御することによって、
それぞれのレベルの記憶信号を取り出すことができる。
記憶多重度が２の場合に、レベル２の記憶信号を取り出
すためには、前記ように窓パラメータの設定すれば、か
くレベルの記憶信号を取り出すことができる。
【００４８】（実施例２）以下、本発明の第２の実施例
について、図面を参照しながら説明する。本実施例は、
窓神経素子回路の窓非線形変換回路１２の窓非線形関数
を図７のようにとることによって実現される連想記憶装
置である。
について、図面を参照しながら説明する。本実施例は、
窓神経素子回路の窓非線形変換回路１２の窓非線形関数
を図７のようにとることによって実現される連想記憶装
置である。
【００４９】図８は、図７に示された窓非線形関数を用
いた連想記憶装置の構成を示すブロック図である。図８
において、２は前記入力制御部であり、３は前記多重記
憶結合荷重書換部であり、４は前記窓制御部であり、１
は図７に示された窓非線形変換関数を入出力関数とする
窓非線形変換部１２を有する窓神経素子回路１０から構
成される前記窓神経回路網演算部であり、７は入力制御
部２からの入力信号Ｘと窓神経回路網演算部１からの出
力信号Ｙｗを混合する信号混合部であり、８は前記神経
回路網演算回路である。
いた連想記憶装置の構成を示すブロック図である。図８
において、２は前記入力制御部であり、３は前記多重記
憶結合荷重書換部であり、４は前記窓制御部であり、１
は図７に示された窓非線形変換関数を入出力関数とする
窓非線形変換部１２を有する窓神経素子回路１０から構
成される前記窓神経回路網演算部であり、７は入力制御
部２からの入力信号Ｘと窓神経回路網演算部１からの出
力信号Ｙｗを混合する信号混合部であり、８は前記神経
回路網演算回路である。
【００５０】以上のように構成された連想記憶装置の動
作について、図面を参照しながら説明する。記憶方法
は、窓神経回路網演算部１と神経回路網演算部８に同じ
結合荷重が書き込まれる点以外は、実施例１と同様であ
るので省略する。
作について、図面を参照しながら説明する。記憶方法
は、窓神経回路網演算部１と神経回路網演算部８に同じ
結合荷重が書き込まれる点以外は、実施例１と同様であ
るので省略する。
【００５１】記憶信号の読みだしについて、説明する。
まず、読みだしレベル設定信号Ｌが、窓制御部４に入力
される。外部入力端子２０１から外部入力信号Ｘｏが入
力されると、入力制御部２は外部入力信号Ｘｏを入力信
号Ｘとして、窓神経回路網演算部１と信号混合部７に出
力する。信号混合部７は、入力信号Ｘを受け取ると待機
状態に入る。窓神経回路網演算部１と窓制御部４は、実
施例１と同様の処理を行い、図７に示された窓非線形関
数によって変換された出力信号Ｙｗを信号混合部７に出
力する。信号混合部７は、前記入力信号Ｘと前記出力信
号Ｙｗとを受け、混合出力信号 Ｙｍｉ＝Ｘｉ＋λＹｗｉ、ｉ＝１〜Ｎ ここで、λは正の値を持つ混合パラメータ を出力する。神経回路網演算部８は、従来例において述
べた動作を行い外部出力信号Ｙｏを外部出力端子２０４
と入力制御部２へ出力する。入力制御部１は外部出力信
号Ｙｏが入力されると、それを入力信号Ｘとして、出力
する。
まず、読みだしレベル設定信号Ｌが、窓制御部４に入力
される。外部入力端子２０１から外部入力信号Ｘｏが入
力されると、入力制御部２は外部入力信号Ｘｏを入力信
号Ｘとして、窓神経回路網演算部１と信号混合部７に出
力する。信号混合部７は、入力信号Ｘを受け取ると待機
状態に入る。窓神経回路網演算部１と窓制御部４は、実
施例１と同様の処理を行い、図７に示された窓非線形関
数によって変換された出力信号Ｙｗを信号混合部７に出
力する。信号混合部７は、前記入力信号Ｘと前記出力信
号Ｙｗとを受け、混合出力信号 Ｙｍｉ＝Ｘｉ＋λＹｗｉ、ｉ＝１〜Ｎ ここで、λは正の値を持つ混合パラメータ を出力する。神経回路網演算部８は、従来例において述
べた動作を行い外部出力信号Ｙｏを外部出力端子２０４
と入力制御部２へ出力する。入力制御部１は外部出力信
号Ｙｏが入力されると、それを入力信号Ｘとして、出力
する。
【００５２】このフィードバックループによって、出力
信号Ｙは、外部入力信号Ｘｏが記憶信号Ｓ（ｍ）のいず
れかによく似ている場合、その記憶信号へと収束し、記
憶信号が読み出される。
信号Ｙは、外部入力信号Ｘｏが記憶信号Ｓ（ｍ）のいず
れかによく似ている場合、その記憶信号へと収束し、記
憶信号が読み出される。
【００５３】この動作の基本原理は、窓神経回路網演算
部１からの出力は、あるレベル以外の信号を選択的にと
りだし、信号混合部７において、入力信号からその成分
を除去する、というものである。なお、混合パラメータ
を外部から制御するように構成することも容易にでき
る。また、神経回路網演算部８を信号混合部７の前にお
いて、神経回路網演算部８と窓神経回路網演算部１とか
らの信号を混合するように構成することもできる。
部１からの出力は、あるレベル以外の信号を選択的にと
りだし、信号混合部７において、入力信号からその成分
を除去する、というものである。なお、混合パラメータ
を外部から制御するように構成することも容易にでき
る。また、神経回路網演算部８を信号混合部７の前にお
いて、神経回路網演算部８と窓神経回路網演算部１とか
らの信号を混合するように構成することもできる。
【００５４】（実施例３）以下、本発明の連想記憶装置
の第３の実施例について説明する。上記の構成では、最
終的に得られた出力信号が、記憶信号であるか否かを判
定することはできない。本実施例では、内部状態信号を
用いた読みだし判定部を設けた連想記憶装置の構成を示
す。図９は、実施例１の連想記憶装置に、読みだし判定
部２０を付加した連想記憶装置である。
の第３の実施例について説明する。上記の構成では、最
終的に得られた出力信号が、記憶信号であるか否かを判
定することはできない。本実施例では、内部状態信号を
用いた読みだし判定部を設けた連想記憶装置の構成を示
す。図９は、実施例１の連想記憶装置に、読みだし判定
部２０を付加した連想記憶装置である。
【００５５】以下、本実施例の連想記憶装置の動作につ
いて、説明する。読みだし判定部２０以外の動作は、す
でに説明してあるので、ここでは、読みだし判定部２０
の動作を中心に説明を行う。図１０は、読みだし判定部
２０の構成を詳しく書いたブロック図である。図１０に
おいて、２１は第１判定信号計算回路であり、２２は第
２判定信号計算回路であり、２３、２４は閾値処理回路
であり、２５は積演算回路である。
いて、説明する。読みだし判定部２０以外の動作は、す
でに説明してあるので、ここでは、読みだし判定部２０
の動作を中心に説明を行う。図１０は、読みだし判定部
２０の構成を詳しく書いたブロック図である。図１０に
おいて、２１は第１判定信号計算回路であり、２２は第
２判定信号計算回路であり、２３、２４は閾値処理回路
であり、２５は積演算回路である。
【００５６】以上のように構成された読みだし判定部２
０の動作について説明する。第１判定信号計算回路２１
は、内部状態信号Ｖｉ，ｉ＝１〜Ｎを用いて、第１判定
信号
０の動作について説明する。第１判定信号計算回路２１
は、内部状態信号Ｖｉ，ｉ＝１〜Ｎを用いて、第１判定
信号
【００５７】
【数１５】
【００５８】を計算し、閾値処理回路２３に出力する。
閾値処理回路２３は、第１判定信号Ａと読みだしレベル
信号Ｌとを受けて、 ｜１．３・（２Ｌ−１）2・Ｎ−Ａ｜＜０．１５・（２
Ｌ−１）・Ｎ の場合に第１読みだし判定信号Ｊ１＝１を出力し、その
他の場合には、Ｊ１＝０を出力する。第２判定信号計算
回路２２は、第２判定信号判定信号
閾値処理回路２３は、第１判定信号Ａと読みだしレベル
信号Ｌとを受けて、 ｜１．３・（２Ｌ−１）2・Ｎ−Ａ｜＜０．１５・（２
Ｌ−１）・Ｎ の場合に第１読みだし判定信号Ｊ１＝１を出力し、その
他の場合には、Ｊ１＝０を出力する。第２判定信号計算
回路２２は、第２判定信号判定信号
【００５９】
【数１６】
【００６０】を計算し、閾値処理回路２４に出力する。
閾値処理回路２４は、第２判定信号Ｂと読みだしレベル
信号Ｌとを受けて、 Ｂ＜０．１５・Ｎ・（２・Ｌ−１） の場合に第２読みだし判定信号Ｊ２＝１を出力し、その
他の場合には、Ｊ２＝０を出力する。積演算回路２５
は、第１読みだし判定信号Ｊ１と第２読みだし判定信号
Ｊ２を受けて、読みだし判定信号 Ｊ＝Ｊ１・Ｊ２ を出力する。こうして、出力整形部５からの外部出力Ｙ
ｏが、記憶信号のいずれかに一致する場合には、読みだ
し判定部２０から判定信号Ｊ＝１が出力され、いずれに
も一致しない場合にはＪ＝０が出力される連想記憶装置
を構成することができる。
閾値処理回路２４は、第２判定信号Ｂと読みだしレベル
信号Ｌとを受けて、 Ｂ＜０．１５・Ｎ・（２・Ｌ−１） の場合に第２読みだし判定信号Ｊ２＝１を出力し、その
他の場合には、Ｊ２＝０を出力する。積演算回路２５
は、第１読みだし判定信号Ｊ１と第２読みだし判定信号
Ｊ２を受けて、読みだし判定信号 Ｊ＝Ｊ１・Ｊ２ を出力する。こうして、出力整形部５からの外部出力Ｙ
ｏが、記憶信号のいずれかに一致する場合には、読みだ
し判定部２０から判定信号Ｊ＝１が出力され、いずれに
も一致しない場合にはＪ＝０が出力される連想記憶装置
を構成することができる。
【００６１】なお、第１判定信号計算回路２１を第１判
定信号Ａを
定信号Ａを
【００６２】
【数１７】
【００６３】とするように構成し、閾値処理回路２３を ｜１．３・（２Ｌ−１）2・Ｎ−Ａ｜＜０．３・（２Ｌ
−１）・Ｎ の場合に第１読みだし判定信号Ｊ１＝１を出力し、その
他の場合には、Ｊ１＝０を出力するように構成すれば、
同様の効果を得ることができる。
−１）・Ｎ の場合に第１読みだし判定信号Ｊ１＝１を出力し、その
他の場合には、Ｊ１＝０を出力するように構成すれば、
同様の効果を得ることができる。
【００６４】なお、読みだしの判定を第１判定信号Ａま
たは第２判定信号Ｂいずれか一方だけを用いて、読みだ
し結果を判定するように、読みだし判定部２０を構成す
ることは容易である。また、前記実施例２にも、この読
みだし判定部をそのまま用いることができる。
たは第２判定信号Ｂいずれか一方だけを用いて、読みだ
し結果を判定するように、読みだし判定部２０を構成す
ることは容易である。また、前記実施例２にも、この読
みだし判定部をそのまま用いることができる。
【００６５】（実施例４）以下、本発明の思考模擬装置
について説明する。本発明の思考模擬装置は、前記連想
記憶装置の多重記憶結合荷重書換部３を情報相関記憶部
３０に置き換えたものである。情報相関記憶部は、連続
したＭ個の記憶信号の時系列 Ｓ（ｍ，ｔ）、ｍ＝１〜Ｍ、ｔ＝１、２・・・ が与えられたとき、結合荷重ｗｉｊを
について説明する。本発明の思考模擬装置は、前記連想
記憶装置の多重記憶結合荷重書換部３を情報相関記憶部
３０に置き換えたものである。情報相関記憶部は、連続
したＭ個の記憶信号の時系列 Ｓ（ｍ，ｔ）、ｍ＝１〜Ｍ、ｔ＝１、２・・・ が与えられたとき、結合荷重ｗｉｊを
【００６６】情報相関記憶部は、連続したＭ個の記憶信
号の時系列 Ｓ（ｍ，ｔ）、ｍ＝１〜Ｍ、ｔ＝１、２・・・ が与えられたとき、結合荷重ｗｉｊを
号の時系列 Ｓ（ｍ，ｔ）、ｍ＝１〜Ｍ、ｔ＝１、２・・・ が与えられたとき、結合荷重ｗｉｊを
【００６７】
【数１８】
【００６８】ここで、時相関関数Ｒ（ｓ−ｔ）は、信号
間の時間相関を表す関数であり、（ｓ−ｔ）に対して単
調に増加する関数とするものである。
間の時間相関を表す関数であり、（ｓ−ｔ）に対して単
調に増加する関数とするものである。
【００６９】こうして構成された思考模擬装置は、前記
連想記憶の動作から明らかなように、窓を相関の強い領
域に設定すれば、関数Ｒ（）値の大きい部分を選択的に
取り出すことができる。すなわち、図１１（ａ）に示し
たように、時系列信号を逐次読み出すことになる。これ
に対して、窓を相関の弱い領域に設定すると関数Ｒ（）
の値の小さい部分を選択的に取り出すようになり、図１
１（ｂ）に示したように、時系列を飛び飛びに読み出す
ことができる。
連想記憶の動作から明らかなように、窓を相関の強い領
域に設定すれば、関数Ｒ（）値の大きい部分を選択的に
取り出すことができる。すなわち、図１１（ａ）に示し
たように、時系列信号を逐次読み出すことになる。これ
に対して、窓を相関の弱い領域に設定すると関数Ｒ（）
の値の小さい部分を選択的に取り出すようになり、図１
１（ｂ）に示したように、時系列を飛び飛びに読み出す
ことができる。
【００７０】これは、正確な思考はゆっくりと順を追っ
て展開し、直観的な思考は論理をジャンプさせるという
人間の思考様式をよく再現している。さらに、もっとも
簡単な２つの思考模擬装置を組み合わせた高度思考模擬
装置を図１２に示す。図１２に示した例にだけでなく、
この思考模擬装置を並列、直列にさらに複雑に接続する
ことにより、高度な情報処理を行わせることも可能であ
る。その際、個々の時相関関数はそれぞれ異なる様にと
ることもできる。
て展開し、直観的な思考は論理をジャンプさせるという
人間の思考様式をよく再現している。さらに、もっとも
簡単な２つの思考模擬装置を組み合わせた高度思考模擬
装置を図１２に示す。図１２に示した例にだけでなく、
この思考模擬装置を並列、直列にさらに複雑に接続する
ことにより、高度な情報処理を行わせることも可能であ
る。その際、個々の時相関関数はそれぞれ異なる様にと
ることもできる。
【００７１】
【発明の効果】以上のように本発明は、多重記憶結合荷
重書換部を用いることにより、連想記憶装置の結合荷重
に情報を多重化して記憶させることができ、窓神経素子
回路を用いることにより、多重化された記憶を読み出す
ことができる連想記憶装置を実現できる。また、窓神経
素子回路を用いることにより、正確な思考は順序立てて
展開し、直観的な思考は論理をジャンプさせるという人
間の思考を模擬する思考模擬装置を構成することができ
る。
重書換部を用いることにより、連想記憶装置の結合荷重
に情報を多重化して記憶させることができ、窓神経素子
回路を用いることにより、多重化された記憶を読み出す
ことができる連想記憶装置を実現できる。また、窓神経
素子回路を用いることにより、正確な思考は順序立てて
展開し、直観的な思考は論理をジャンプさせるという人
間の思考を模擬する思考模擬装置を構成することができ
る。
【図１】本発明の第１の実施例における窓神経素子回路
のブロック図
のブロック図
【図２】同実施例における窓神経素子回路の窓非線形変
換回路の入出力特性の一例を示す概念図
換回路の入出力特性の一例を示す概念図
【図３】同実施例における窓神経回路網演算部のブロッ
ク図
ク図
【図４】同実施例における連想記憶装置のブロック図
【図５】（ａ）自己相関記憶法を用いた場合の内部状態
信号の分布を示す概念図 （ｂ）符号反転記憶法を用いた場合の内部状態信号の分
布を示す概念図 （ｃ）多重記憶法を用いた場合の内部状態信号の分布を
示す概念図
信号の分布を示す概念図 （ｂ）符号反転記憶法を用いた場合の内部状態信号の分
布を示す概念図 （ｃ）多重記憶法を用いた場合の内部状態信号の分布を
示す概念図
【図６】（ａ）２つのレベルの記憶信号からなる入力信
号が与えられた場合の内部状態信号の分布を示す概念図 （ｂ）レベル２の記憶信号を読み出せるように窓を広く
とった場合の窓非線形関数を表す概念図 （ｃ）レベル１の記憶信号を読み出せるように窓を狭く
とった場合の窓非線形関数を示す概念図
号が与えられた場合の内部状態信号の分布を示す概念図 （ｂ）レベル２の記憶信号を読み出せるように窓を広く
とった場合の窓非線形関数を表す概念図 （ｃ）レベル１の記憶信号を読み出せるように窓を狭く
とった場合の窓非線形関数を示す概念図
【図７】本発明の第２の実施例における窓非線形関数
【図８】本発明の第２の実施例における連想記憶装置の
ブロック図
ブロック図
【図９】本発明の第３の実施例における連想記憶装置の
ブロック図
ブロック図
【図１０】本発明の第３の実施例における読みだし判定
部のブロック図
部のブロック図
【図１１】本発明の第３の実施例における思考模擬装置
の時系列信号の読みだしを説明するための概念図
の時系列信号の読みだしを説明するための概念図
【図１２】本発明の第３の実施例における思考模擬装置
を組み合わせた高度思考模擬装置の概念図
を組み合わせた高度思考模擬装置の概念図
【図１３】従来の神経素子回路のブロック図
【図１４】従来の神経素子の非線形変換回路の入出力特
性関数を示す図
性関数を示す図
【図１５】従来の神経回路網演算部のブロック図
【図１６】従来の連想記憶装置のブロック図
１ 窓神経回路網演算部 ２ 入力制御部 ３ 多重記憶結合荷重書換部 ４ 窓制御部 ５ 出力整形部 ６ 出力規格部 ７ 信号混合部 ８ 神経回路網演算部 ９ 自己相関結合荷重書換部 １０ 窓神経素子回路 １１ 内部状態計算回路 １２ 窓非線形変換回路 ２０ 読みだし判定部 ２１ 第１判定信号計算回路 ２２ 第２判定信号計算回路 ２３ 閾値処理回路 ２４ 閾値処理回路 ２５ 積演算回路 ５０ 神経素子回路 ５２ 非線形変換回路 １０１ 入力端子 １０２ 出力端子 １０３ 結合荷重書換端子 １０４ 入力端子 １０５ 窓制御端子 １０６ 内部状態出力端子 ２０１ 外部入力端子 ２０２ 記憶信号入力端子 ２０３ 記憶レベル設定端子 ２０４ 外部出力端子
フロントページの続き (56)参考文献 特開 平６−131321（ＪＰ，Ａ) 吉澤、森田、甘利，「非単調特性をも つ神経素子を用いた自己相関型連想記憶 の記憶容量」，電子情報通信学会技術研 究報告，日本，社団法人電子情報通信学 会・発行，1992年 １月18日，Ｖｏｌ. 91，Ｎｏ．414（ＮＣ91−82〜97），ｐ ｐ．57−64，特許庁ＣＳＤＢ文献番号： ＣＳＮＴ199900639007 森田、吉澤、中野，「非単調ダイナミ クスを用いた構造を持つパターンの連想 記憶」，電子情報通信学会論文誌，日 本，社団法人電子情報通信学会・発行, 1992年11月25日，Ｖｏｌ．Ｊ75−Ｄ−Ｉ Ｉ，Ｎｏ．11，ｐｐ．1884−1891，特許 庁ＣＳＤＢ文献番号：ＣＳＮＴ 199800729014 掛谷、金道，「自己相関行列による連 想記憶における記憶法の改良」，電子情 報通信学会技術研究報告，日本，社団法 人電子情報通信学会・発行，1994年 ７ 月25日，Ｖｏｌ．94，Ｎｏ．182（ＮＣ 94−24〜31），ｐｐ．９−16，特許庁Ｃ ＳＤＢ文献番号：ＣＳＮＴ199901700002 (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 1/00 - 7/00 G06G 7/60 ＪＩＣＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁) ＩＮＳＰＥＣ（ＤＩＡＬＯＧ)
Claims (10)
- 【請求項１】 情報を結合荷重により多重に記憶し、多
重化した記憶信号を読み出す連想記憶装置において、外
部入力信号から入力信号を計算する入力制御部と、入力
された窓制御信号により窓の中心値とその幅が制御され
る入出力特性関数を用いて、前記入力信号と結合荷重と
の積和演算により求めた内部状態信号を非線形変換した
出力信号と、前記内部状態信号とを出力する窓神経素子
回路を並列に接続した窓神経回路網演算部と、前記多重
化された記憶信号の多重化成分に応じて読みだす記憶信
号のレベルを指定する読みだしレベル設定信号と前記内
部状態信号とを受けて、前記レベルに反映した記憶信号
を取り出すための前記窓神経素子回路の入出力特性関数
を取り出すレベルが高くなるほど窓の中心値の絶対値が
大きくなるように設定する窓制御信号を出力する窓制御
部と、入力される記憶信号に基づいて前記窓神経素子回
路の結合荷重を書き換える多重記憶荷重結合書換部とを
有することを特徴とする連想記憶装置。 - 【請求項２】 情報を結合荷重により多重に記憶し、多
重化した記憶信号を読み出す連想記憶装置において、外
部入力信号から入力信号を計算する入力制御部と、入力
された窓制御信号により窓の中心値とその幅が制御され
る入出力特性関数を用いて、前記入力信号と結合荷重と
の積和演算により求めた内部状態信号を非線形変換した
出力信号と、前記内部状態信号とを出力する窓神経素子
回路を並列に接続した窓神経回路網演算部と、前記多重
化された記憶信号の多重化成分に応じて読みだす記憶信
号のレベルを指定する読みだしレベル設定信号と前記内
部状態信号とを受けて、前記レベルに反映した記憶信号
を取り出すための前記窓神経素子回路の入出力特性関数
を取り出すレベルが高くなるほど窓の中心値の絶対値が
大きくなるように設定する窓制御信号を出力する窓制御
部と、入力される記憶信号に基づいて前記窓神経素子回
路の結合荷重を書き換える多重記憶荷重結合書換部と、
前記入力制御部からの入力信号と前記窓神経回路網演算
部から出力される出力信号とから混合信号を出力する信
号混合部と、前記混合信号を入力が正ならば１をそれ以
外は−１を出力する符号関数により非線形変換した出力
信号を出力する神経回路網演算部とを有することを特徴
とする連想記憶装置。 - 【請求項３】 多重記憶荷重結合書換部は、記憶信号Ｓ
(ｍ)＝（Ｓ1(ｍ),…,ＳN(ｍ)）、ｍ＝１〜Ｍが与えられ
たとき、結合荷重ｗijを 【数１】 と設定することを特徴とする請求項１または２に記載の
連想記憶装置。 - 【請求項４】 内部状態信号を受けて、外部出力信号が
記憶信号であるか否かを判定する読みだし判定信号を出
力する読みだし判定部を付加したことを特徴とする請求
項１から３のいずれかに記載の連想記憶装置。 - 【請求項５】 読みだし判定部は、前記内部状態信号の
平方和に基づいて読みだし判定をすることを特徴とする
請求項４記載の連想記憶装置。 - 【請求項６】 読みだし判定部は、内部状態信号の絶対
値と読みだしレベル設定信号との差の平方和に基づいて
読みだし判定をすることを特徴とする請求項４記載の連
想記憶装置。 - 【請求項７】 読みだし判定部は、内部状態信号の平方
和と、内部状態信号絶対値と読みだしレベル設定信号と
の差の平方和とに基づいて読みだし判定をすることを特
徴とする請求項６記載の連想記憶装置。 - 【請求項８】 外部入力信号から入力信号を計算する入
力制御部と、入力された窓制御信号により窓の中心値と
その幅が制御される入出力特性関数を用いて、前記入力
信号と結合荷重との積和演算により求めた内部状態信号
を非線形変換した出力信号と、前記内部状態信号とを出
力する窓神経素子回路を並列に接続した窓神経回路網演
算部と、前記内部状態信号と前記多重化された記憶信号
の多重化成分に応じて読みだす記憶信号のレベルを指定
する読みだしレベル設定信号とを受けて、前記レベルに
反映した記憶信号を取り出すための前記窓神経素子回路
の入出力特性関数を取り出すレベルが高くなるほど窓の
中心値の絶対値が大きくなるように設定する窓制御信号
を出力する窓制御部と、前記出力信号の時系列相関によ
り前記窓神経素子回路の結合荷重を求め記憶する情報相
関記憶部とを有することを特徴とする思考模擬装置。 - 【請求項９】 外部入力信号から入力信号を計算する入
力制御部と、入力された窓制御信号により窓の中心値と
その幅が制御される入出力特性関数を用いて、前記入力
信号と結合荷重との積和演算により求めた内部状態信号
を非線形変換した出力信号と、前記内部状態信号とを出
力する窓神経素子回路を並列に接続した窓神経回路網演
算部と、前記多重化された記憶信号の多重化成分に応じ
て読みだす記憶信号のレベルを指定する読みだしレベル
設定信号と前記内部状態信号とを受けて、前記レベルに
反映した記憶信号を取り出すための前記窓神経素子回路
の入出力特性関数を取り出すレベルが高くなるほど窓の
中心値の絶対値が大きくなるように設定する窓制御信号
を出力する窓制御部と、入力された記憶信号の時系列相
関により前記窓神経素子回路の結合荷重を求め記憶する
情報相関記憶部と、前記入力制御部からの入力信号と前
記窓神経回路網演算部から出力される出力信号とから混
合信号を出力する信号混合部と、前記混合信号を入力が
正ならば１をそれ以外は−１を出力する符号関数により
非線形変換した出力信号を出力する神経回路網演算部と
を有することを特徴とする思考模擬装置。 - 【請求項１０】 請求項１から７のいずれかに記載され
た連想記憶装置または請求項８または９記載の思考模擬
装置のいずれか２つ以上を組み合わせて構成されること
を特徴とする思考模擬装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26956794A JP3289517B2 (ja) | 1994-11-02 | 1994-11-02 | 連想記憶装置及び思考模擬装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26956794A JP3289517B2 (ja) | 1994-11-02 | 1994-11-02 | 連想記憶装置及び思考模擬装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08129539A JPH08129539A (ja) | 1996-05-21 |
| JP3289517B2 true JP3289517B2 (ja) | 2002-06-10 |
Family
ID=17474167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26956794A Expired - Fee Related JP3289517B2 (ja) | 1994-11-02 | 1994-11-02 | 連想記憶装置及び思考模擬装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3289517B2 (ja) |
-
1994
- 1994-11-02 JP JP26956794A patent/JP3289517B2/ja not_active Expired - Fee Related
Non-Patent Citations (3)
| Title |
|---|
| 吉澤、森田、甘利，「非単調特性をもつ神経素子を用いた自己相関型連想記憶の記憶容量」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会・発行，１９９２年 １月１８日，Ｖｏｌ．９１，Ｎｏ．４１４（ＮＣ９１−８２〜９７），ｐｐ．５７−６４，特許庁ＣＳＤＢ文献番号：ＣＳＮＴ１９９９００６３９００７ |
| 掛谷、金道，「自己相関行列による連想記憶における記憶法の改良」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会・発行，１９９４年 ７月２５日，Ｖｏｌ．９４，Ｎｏ．１８２（ＮＣ９４−２４〜３１），ｐｐ．９−１６，特許庁ＣＳＤＢ文献番号：ＣＳＮＴ１９９９０１７００００２ |
| 森田、吉澤、中野，「非単調ダイナミクスを用いた構造を持つパターンの連想記憶」，電子情報通信学会論文誌，日本，社団法人電子情報通信学会・発行，１９９２年１１月２５日，Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．１８８４−１８９１，特許庁ＣＳＤＢ文献番号：ＣＳＮＴ１９９８００７２９０１４ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08129539A (ja) | 1996-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0493292A2 (en) | Look-ahead method and apparatus for predictive dialing using a neural network | |
| US5131073A (en) | Neuron unit and neuron unit network | |
| CN113253336B (zh) | 一种基于深度学习的地震预测方法和系统 | |
| JP3289517B2 (ja) | 連想記憶装置及び思考模擬装置 | |
| CN111354374A (zh) | 语音处理方法、模型训练方法及电子设备 | |
| Ren-Mu et al. | Comparison of dynamic load modeling using neural network and traditional method | |
| US5481646A (en) | Neuron unit and neuron unit network | |
| Zimmermann et al. | Modeling dynamical systems by recurrent neural networks | |
| Choi et al. | A constructive approach for nonlinear system identification using multilayer perceptrons | |
| JPH096881A (ja) | ニューラルネットワーク | |
| JPH05507168A (ja) | ニューラルネットで使用される重み付け加算用容量性構造 | |
| CN113283986B (zh) | 算法交易系统及基于该系统的算法交易模型的训练方法 | |
| JP3232595B2 (ja) | ニューラルネットワークの学習データ記憶装置 | |
| JPH0561843A (ja) | ニユーラルネツトワーク装置 | |
| JP3083677B2 (ja) | 波形生成装置 | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| Mussa-Ivaldi et al. | Networks that approximate vector-valued mappings | |
| US6212478B1 (en) | Computer program for rapid estimation of system values from redundant conflicting measurements | |
| JP3151857B2 (ja) | 学習機能付き推論装置 | |
| Hathaway et al. | Fusing heterogeneous fuzzy data for clustering | |
| JPH0744513A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| JPH06301663A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| JPH07152714A (ja) | 部分線形回帰モデル | |
| CN114492212A (zh) | 低压配电网动态增容方法、装置、终端及存储介质 | |
| JPH04299443A (ja) | ニューラルネットワークの学習方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080322 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090322 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100322 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |