JPH05181828A - 知識情報処理装置 - Google Patents
知識情報処理装置Info
- Publication number
- JPH05181828A JPH05181828A JP4000948A JP94892A JPH05181828A JP H05181828 A JPH05181828 A JP H05181828A JP 4000948 A JP4000948 A JP 4000948A JP 94892 A JP94892 A JP 94892A JP H05181828 A JPH05181828 A JP H05181828A
- Authority
- JP
- Japan
- Prior art keywords
- associative
- associative memory
- memory device
- stage
- device group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4496—Unification in logic programming
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
(57)【要約】
【目的】 論理的に矛盾する結果を出力しにくく連想能
力の高い知識情報処理装置を実現する。 【構成】 入力パターン２を第１段目の連想記憶装置群
１で処理して複数の特徴を連想する。次に、その複数の
特徴の組み合わせを入力とする第２段目の連想記憶装置
群４により対応する特徴を連想する。この連想出力と第
１段目の連想出力とを論理演算装置群６で比較すること
により、第１段目の連想出力が組み合わせとして正しい
かどうか判断できる。正しくない場合は、両段の連想結
果が等しくなるまで、論理演算装置群６により、第１段
目の連想記憶装置群１のエネルギー関数を修正、再連想
させる。
力の高い知識情報処理装置を実現する。 【構成】 入力パターン２を第１段目の連想記憶装置群
１で処理して複数の特徴を連想する。次に、その複数の
特徴の組み合わせを入力とする第２段目の連想記憶装置
群４により対応する特徴を連想する。この連想出力と第
１段目の連想出力とを論理演算装置群６で比較すること
により、第１段目の連想出力が組み合わせとして正しい
かどうか判断できる。正しくない場合は、両段の連想結
果が等しくなるまで、論理演算装置群６により、第１段
目の連想記憶装置群１のエネルギー関数を修正、再連想
させる。
Description
【０００１】
【産業上の利用分野】この発明は、人間の直感的思考に
対応した働きを行うニューラルネットワークと、人間の
論理的思考に対応した働きを行うニューラルネットワー
クとを有機的に結合させ、より人間の脳に近い情報処理
を可能とする知識情報処理装置に関するものである。
対応した働きを行うニューラルネットワークと、人間の
論理的思考に対応した働きを行うニューラルネットワー
クとを有機的に結合させ、より人間の脳に近い情報処理
を可能とする知識情報処理装置に関するものである。
【０００２】
【従来の技術】ニューラルネットワークモデルを構築す
るに当たっては、生物の脳の中ではニューロン一つ一つ
がある特定の情報を記憶しているのではなく、膨大な数
のニューロン集団全体が複数の情報を同時に協力して記
憶しているものとしている。また、生物の脳の中での情
報処理は、各ニューロンに入力された初期状態がニュー
ロン集団に記憶されている情報によって形成された各ニ
ューロン間の結合パターンの作用を受けて、入力の総和
演算、しきい値処理及びフィードバックを繰り返すこと
によって、自発的に安定状態（系のエネルギーの低い状
態）に収束していく過程で行われるとされている。
るに当たっては、生物の脳の中ではニューロン一つ一つ
がある特定の情報を記憶しているのではなく、膨大な数
のニューロン集団全体が複数の情報を同時に協力して記
憶しているものとしている。また、生物の脳の中での情
報処理は、各ニューロンに入力された初期状態がニュー
ロン集団に記憶されている情報によって形成された各ニ
ューロン間の結合パターンの作用を受けて、入力の総和
演算、しきい値処理及びフィードバックを繰り返すこと
によって、自発的に安定状態（系のエネルギーの低い状
態）に収束していく過程で行われるとされている。
【０００３】従って、記憶された情報を完全情報と見な
せば、任意の不完全情報が各ニューロンに入力されたと
き、図３に示すように、各ニューロンの状態は、入力に
最も類似した記憶情報に自発的に収束し、最終的に安定
状態に達したときのニューロンの状態を完全情報として
出力するものと理解することができる。これがニューラ
ルネットワークモデルによる連想記憶の原理である。
せば、任意の不完全情報が各ニューロンに入力されたと
き、図３に示すように、各ニューロンの状態は、入力に
最も類似した記憶情報に自発的に収束し、最終的に安定
状態に達したときのニューロンの状態を完全情報として
出力するものと理解することができる。これがニューラ
ルネットワークモデルによる連想記憶の原理である。
【０００４】ニューラルネットワークモデルの一つであ
るＨｏｐｆｉｅｌｄモデルによって、連想記憶装置を実
現した例を以下に示す。図４は例えば刊行物（電子情報
通信学会，光・量子エレクトロニクス研究会資料、ＯＱ
Ｅ８７−１７４，１９８８）に示された光技術を適用し
た従来の光連想記憶装置の構成図である。図において、
１０ａ，１０ｂは発光素子アレイ、１１ａ，１１ｂは光
学マスク（空間光変調素子）、１２ａ，１２ｂは受光素
子アレイ、１３は差動増幅器、１４は比較器、２は入力
装置、１５は出力装置である。
るＨｏｐｆｉｅｌｄモデルによって、連想記憶装置を実
現した例を以下に示す。図４は例えば刊行物（電子情報
通信学会，光・量子エレクトロニクス研究会資料、ＯＱ
Ｅ８７−１７４，１９８８）に示された光技術を適用し
た従来の光連想記憶装置の構成図である。図において、
１０ａ，１０ｂは発光素子アレイ、１１ａ，１１ｂは光
学マスク（空間光変調素子）、１２ａ，１２ｂは受光素
子アレイ、１３は差動増幅器、１４は比較器、２は入力
装置、１５は出力装置である。
【０００５】次に動作について説明する。発光素子アレ
イ１０ａ，１０ｂからの扇状の光を光学マスク１１ａ，
１１ｂへ照射する。発光素子アレイ１０ａ，１０ｂの内
部状態は、各素子の状態を Ｘk （ｋ＝１，２，・・・，ｊ，・・・，ｉ，・・・，
ｎ） で表し、それぞれの発光素子が点灯しているか消灯して
いるかに対応して、Ｘkを“１”と“０”とで表現すれ
ば、発光素子アレイ１０ａ，１０ｂの内部状態をベクト
ルＸとして Ｘ＝（Ｘ1 ，Ｘ2，・・・，Ｘi ，・・・，Ｘj ，・・
・，Ｘｎ） で表現できる。ここで、ｎは発光素子アレイおよび受光
素子アレイそれぞれの素子数であり、このニューラルネ
ットワークのニューロン数に相当する。
イ１０ａ，１０ｂからの扇状の光を光学マスク１１ａ，
１１ｂへ照射する。発光素子アレイ１０ａ，１０ｂの内
部状態は、各素子の状態を Ｘk （ｋ＝１，２，・・・，ｊ，・・・，ｉ，・・・，
ｎ） で表し、それぞれの発光素子が点灯しているか消灯して
いるかに対応して、Ｘkを“１”と“０”とで表現すれ
ば、発光素子アレイ１０ａ，１０ｂの内部状態をベクト
ルＸとして Ｘ＝（Ｘ1 ，Ｘ2，・・・，Ｘi ，・・・，Ｘj ，・・
・，Ｘｎ） で表現できる。ここで、ｎは発光素子アレイおよび受光
素子アレイそれぞれの素子数であり、このニューラルネ
ットワークのニューロン数に相当する。
【０００６】光学マスク１１ａ，１１ｂはｎ×ｎの要素
に分割されており、その各要素の光透過率はそれぞれ独
立に変化させることができるように構成されており、各
要素の光透過率はマトリクス Ｔ ＝ ［Ｔij ] で表される。また、受光素子アレイ１２ａ，１２ｂの内
部状態は、ベクトルＸと同様に Ｕ＝（Ｕ1，Ｕ2，・・・，Ｕi，・・・，Ｕj，・・・，
Ｕn） で表される。ｊ番目の発光素子で光学マスクのｊ行目を
照射し、光学マスクのｉ番目を透過した光をｉ番目の受
光素子で受けるとすると、ｉ番目の受光素子では次のベ
クトル・マトリクス乗算を行ったことに相当する。
に分割されており、その各要素の光透過率はそれぞれ独
立に変化させることができるように構成されており、各
要素の光透過率はマトリクス Ｔ ＝ ［Ｔij ] で表される。また、受光素子アレイ１２ａ，１２ｂの内
部状態は、ベクトルＸと同様に Ｕ＝（Ｕ1，Ｕ2，・・・，Ｕi，・・・，Ｕj，・・・，
Ｕn） で表される。ｊ番目の発光素子で光学マスクのｊ行目を
照射し、光学マスクのｉ番目を透過した光をｉ番目の受
光素子で受けるとすると、ｉ番目の受光素子では次のベ
クトル・マトリクス乗算を行ったことに相当する。
【０００７】
【数１】
【０００８】ニューラルネットワークでは、各ニューロ
ン間の結合強度が情報の蓄積を担っているものと見なす
ことができる。上記の構成においては、この結合強度を
光学マスク１１ａ，１１ｂのｎ×ｎの要素に分割された
各要素の透過率Ｔによって実現できる。すなわち、上記
の構成においては、光学マスク１１ａ，１１ｂの透過率
Ｔが情報を蓄積していることになる。情報蓄積規則は、
ここで説明しようとするＨｏｐｆｉｅｌｄモデルにあっ
ては、Ｎを蓄積情報数として次式で与えられる。
ン間の結合強度が情報の蓄積を担っているものと見なす
ことができる。上記の構成においては、この結合強度を
光学マスク１１ａ，１１ｂのｎ×ｎの要素に分割された
各要素の透過率Ｔによって実現できる。すなわち、上記
の構成においては、光学マスク１１ａ，１１ｂの透過率
Ｔが情報を蓄積していることになる。情報蓄積規則は、
ここで説明しようとするＨｏｐｆｉｅｌｄモデルにあっ
ては、Ｎを蓄積情報数として次式で与えられる。
【０００９】
【数２】
【００１０】Ｔijは正の値も負の値も取り得るが、光学
的には負の値を取り扱うことが困難なため、この実施例
では、図４に示すようにＴijの成分の正の値の要素Ｔ
(+) ijと負の値の要素Ｔ(-) ij とに対応させて、光学系
を２系統作製し、受光素子アレイ１２ａ，１２ｂのそれ
ぞれの出力の差 Ｕi ＝ Ｕ(+) i − Ｕ(-) i を差動増幅器１３によって得ている。この出力信号を比
較器１４でしきい値処理 Ｘi ＝θ（Ｕi ） 但し、θ（ｙ）＝１（ｙ＞０），０（ｙ≦０） を行った後、受光素子アレイ１０ａ，１０ｂにフィード
バックしている。
的には負の値を取り扱うことが困難なため、この実施例
では、図４に示すようにＴijの成分の正の値の要素Ｔ
(+) ijと負の値の要素Ｔ(-) ij とに対応させて、光学系
を２系統作製し、受光素子アレイ１２ａ，１２ｂのそれ
ぞれの出力の差 Ｕi ＝ Ｕ(+) i − Ｕ(-) i を差動増幅器１３によって得ている。この出力信号を比
較器１４でしきい値処理 Ｘi ＝θ（Ｕi ） 但し、θ（ｙ）＝１（ｙ＞０），０（ｙ≦０） を行った後、受光素子アレイ１０ａ，１０ｂにフィード
バックしている。
【００１１】このようにすると、例えば光学マスク１１
ａ，１１ｂにアルファベット［Ａ］、［Ｊ］、［Ｅ］に
相当する３種類の情報を蓄積しておけば、最初に入力装
置２から発光素子アレイ１０ａ，１０ｂに不完全な情
報、例えば［Ａ′］を入力しても、フィードバックを繰
り返すうちに、出力は入力情報［Ａ′］に最も近い蓄積
情報［Ａ］に収束して行き、最終的には出力装置１５に
完全出力として［Ａ］を出力する。
ａ，１１ｂにアルファベット［Ａ］、［Ｊ］、［Ｅ］に
相当する３種類の情報を蓄積しておけば、最初に入力装
置２から発光素子アレイ１０ａ，１０ｂに不完全な情
報、例えば［Ａ′］を入力しても、フィードバックを繰
り返すうちに、出力は入力情報［Ａ′］に最も近い蓄積
情報［Ａ］に収束して行き、最終的には出力装置１５に
完全出力として［Ａ］を出力する。
【００１２】このことを前述した言葉で言えば、系のエ
ネルギーが蓄積情報「Ａ」、「Ｊ」、「Ｅ」で極小値を
取り、不完全情報が与えられると、その近くのエネルギ
ー極小値を取るように、発光素子アレイ１０ａ，１０ｂ
の点滅状態が変化することにより、系全体が自発的に変
化して行くということである。これは人間の連想機能と
類似の機能である。
ネルギーが蓄積情報「Ａ」、「Ｊ」、「Ｅ」で極小値を
取り、不完全情報が与えられると、その近くのエネルギ
ー極小値を取るように、発光素子アレイ１０ａ，１０ｂ
の点滅状態が変化することにより、系全体が自発的に変
化して行くということである。これは人間の連想機能と
類似の機能である。
【００１３】
【発明が解決しようとする課題】従来の連想記憶装置で
は以上のように構成されているため、不適当な結果を連
想しても、それを修正する機能は有していない。すなわ
ち、記憶している情報のうちから、入力と最も相関の高
いパターンを連想しているに過ぎず、人間の脳のような
柔軟な思考に相当する動作は行えず、汎用性に乏しいと
いう問題があった。
は以上のように構成されているため、不適当な結果を連
想しても、それを修正する機能は有していない。すなわ
ち、記憶している情報のうちから、入力と最も相関の高
いパターンを連想しているに過ぎず、人間の脳のような
柔軟な思考に相当する動作は行えず、汎用性に乏しいと
いう問題があった。
【００１４】この発明は、以上のような問題点を解決す
るためになされたもので、人間の直感的思考と論理的思
考に動作を合わせて行いながら、この２つの機能がお互
いに補間し合うようにした知識情報処理装置を実現する
ことを目的とする。
るためになされたもので、人間の直感的思考と論理的思
考に動作を合わせて行いながら、この２つの機能がお互
いに補間し合うようにした知識情報処理装置を実現する
ことを目的とする。
【００１５】
【課題を解決するための手段】この発明に係る知識情報
処理装置は、ニューラルネットワークモデルによる連想
記憶装置を備えた情報処理装置において、入力パターン
からそれぞれ異なった特徴を連想する複数の連想記憶装
置からなる初段の連想記憶装置群と、その連想出力の組
み合わせを入力して評価し、上記初段の連想記憶装置群
に各構成要素を構成するニューラルネットワークのエネ
ルギー関数に対する連想の拘束条件を付加する連想出力
を送出して、上記初段の連想記憶装置群の各構成要素を
構成するニューラルネットワークのエネルギー関数を更
新し、上記入力パターン情報について再度上記連想、上
記評価、上記更新を繰り返し実行させる複数の連想記憶
装置からなる次段の連想記憶装置群とで構成したもので
ある。
処理装置は、ニューラルネットワークモデルによる連想
記憶装置を備えた情報処理装置において、入力パターン
からそれぞれ異なった特徴を連想する複数の連想記憶装
置からなる初段の連想記憶装置群と、その連想出力の組
み合わせを入力して評価し、上記初段の連想記憶装置群
に各構成要素を構成するニューラルネットワークのエネ
ルギー関数に対する連想の拘束条件を付加する連想出力
を送出して、上記初段の連想記憶装置群の各構成要素を
構成するニューラルネットワークのエネルギー関数を更
新し、上記入力パターン情報について再度上記連想、上
記評価、上記更新を繰り返し実行させる複数の連想記憶
装置からなる次段の連想記憶装置群とで構成したもので
ある。
【００１６】また、ニューラルネットワークモデルによ
る連想記憶装置を備えた情報処理装置において、入力パ
ターンからそれぞれ異なった特徴を連想する複数の連想
記憶装置からなる初段の連想記憶装置群と、その連想出
力の組み合わせを入力して評価し、上記特徴の組み合わ
せに対応する連想出力を送出する複数の連想記憶装置か
らなる次段の連想記憶装置群と、上記初段と次段の連想
記憶装置群の出力を比較し、その比較結果に基づいて上
記初段の連想記憶装置群に各構成要素を構成するニュー
ラルネットワークのエネルギー関数を更新し、上記入力
パターン情報について再度上記連想、上記評価、上記更
新を繰り返し実行させるフィードバック入力を与える複
数の論理演算装置からなる論理演算装置群とで構成した
ものである。
る連想記憶装置を備えた情報処理装置において、入力パ
ターンからそれぞれ異なった特徴を連想する複数の連想
記憶装置からなる初段の連想記憶装置群と、その連想出
力の組み合わせを入力して評価し、上記特徴の組み合わ
せに対応する連想出力を送出する複数の連想記憶装置か
らなる次段の連想記憶装置群と、上記初段と次段の連想
記憶装置群の出力を比較し、その比較結果に基づいて上
記初段の連想記憶装置群に各構成要素を構成するニュー
ラルネットワークのエネルギー関数を更新し、上記入力
パターン情報について再度上記連想、上記評価、上記更
新を繰り返し実行させるフィードバック入力を与える複
数の論理演算装置からなる論理演算装置群とで構成した
ものである。
【００１７】
【作用】この発明における知識情報処理装置は、あるパ
ターン情報が入力されると、初段の連想記憶装置群によ
り直感的に複数の対応するパターンを連想し、次段の連
想記憶装置群により初段の連想記憶装置群から送出され
る連想出力の組み合わせを論理的に評価し修正すること
により、人間の直感的思考に対応した働きを行うニュー
ラルネットワークと、人間の論理的思考に対応した働き
を行うニューラルネットワークとを有機的に組み合わ
せ、人間の脳に近い情報処理を行う。
ターン情報が入力されると、初段の連想記憶装置群によ
り直感的に複数の対応するパターンを連想し、次段の連
想記憶装置群により初段の連想記憶装置群から送出され
る連想出力の組み合わせを論理的に評価し修正すること
により、人間の直感的思考に対応した働きを行うニュー
ラルネットワークと、人間の論理的思考に対応した働き
を行うニューラルネットワークとを有機的に組み合わ
せ、人間の脳に近い情報処理を行う。
【００１８】また、論理的演算装置群により初段と次段
の連想記憶装置群の出力を比較し、比較結果に基づき初
段の連想記憶装置群のエネルギー関数を修正し再連想さ
せる。
の連想記憶装置群の出力を比較し、比較結果に基づき初
段の連想記憶装置群のエネルギー関数を修正し再連想さ
せる。
【００１９】
実施例１．以下、この発明の実施例を図について説明す
る。図１はこの発明の実施例１による知識情報処理装置
のシステム構成を示す概念図である。図において、１は
ニューラルネットワークによる第１段目の連想記憶装置
群、１ａ，１ｂ，１ｃは第１段目の連想記憶装置群１の
各要素となる連想記憶装置、２は第１段目の連想記憶装
置群１への入力パターンであり、３は第１段目の連想記
憶装置群１の連想出力群でこの知識情報処理装置の連想
出力、３ａ，３ｂ，３ｃは同じ入力パターン２から第１
段目の連想記憶装置群１の各要素としての連想記憶装置
１ａ，１ｂ，１ｃによりそれぞれ出力される連想出力で
ある。
る。図１はこの発明の実施例１による知識情報処理装置
のシステム構成を示す概念図である。図において、１は
ニューラルネットワークによる第１段目の連想記憶装置
群、１ａ，１ｂ，１ｃは第１段目の連想記憶装置群１の
各要素となる連想記憶装置、２は第１段目の連想記憶装
置群１への入力パターンであり、３は第１段目の連想記
憶装置群１の連想出力群でこの知識情報処理装置の連想
出力、３ａ，３ｂ，３ｃは同じ入力パターン２から第１
段目の連想記憶装置群１の各要素としての連想記憶装置
１ａ，１ｂ，１ｃによりそれぞれ出力される連想出力で
ある。
【００２０】また、４はニューラルネットワークによる
第２段目の連想記憶装置群で、４ａ，４ｂ，４ｃは第１
段目の連想記憶装置群１により出力される連想出力３
ａ，３ｂ，３ｃの組み合わせ連想出力群３を入力とする
第２段目の連想記憶装置群４の各連想記憶装置、５ａ，
５ｂ，５ｃはそれぞれ第１段目の連想記憶装置群１の各
連想記憶装置１ａ，１ｂ，１ｃへのエネルギー関数の補
正情報からなるフィードバック入力の働きをする第２段
目の連想記憶装置群４の各連想記憶装置４ａ，４ｂ，４
ｃの連想出力である。
第２段目の連想記憶装置群で、４ａ，４ｂ，４ｃは第１
段目の連想記憶装置群１により出力される連想出力３
ａ，３ｂ，３ｃの組み合わせ連想出力群３を入力とする
第２段目の連想記憶装置群４の各連想記憶装置、５ａ，
５ｂ，５ｃはそれぞれ第１段目の連想記憶装置群１の各
連想記憶装置１ａ，１ｂ，１ｃへのエネルギー関数の補
正情報からなるフィードバック入力の働きをする第２段
目の連想記憶装置群４の各連想記憶装置４ａ，４ｂ，４
ｃの連想出力である。
【００２１】以下動作について説明する。図１におい
て、入力パターン２から第１段目の連想記憶装置群１の
各連想記憶装置１ａ，１ｂ，１ｃでそれぞれ異なる特徴
の連想出力３ａ，３ｂ，３ｃを連想させる。ここで、第
１段目の連想記憶装置群１の各連想記憶装置１ａ，１
ｂ，１ｃは予め同じ記憶させたい入力パターンからそれ
ぞれ異なる特徴を連想するように学習または記憶させて
おく。次に、第１段目の連想記憶装置群１で連想した特
徴の連想出力３ａ，３ｂ，３ｃの組み合わせである連想
出力群３を入力として、第２段目の連想記憶装置群４の
各連想記憶装置４ａ，４ｂ，４ｃで連想させ、それぞれ
連想出力５ａ，５ｂ，５ｃを得る。
て、入力パターン２から第１段目の連想記憶装置群１の
各連想記憶装置１ａ，１ｂ，１ｃでそれぞれ異なる特徴
の連想出力３ａ，３ｂ，３ｃを連想させる。ここで、第
１段目の連想記憶装置群１の各連想記憶装置１ａ，１
ｂ，１ｃは予め同じ記憶させたい入力パターンからそれ
ぞれ異なる特徴を連想するように学習または記憶させて
おく。次に、第１段目の連想記憶装置群１で連想した特
徴の連想出力３ａ，３ｂ，３ｃの組み合わせである連想
出力群３を入力として、第２段目の連想記憶装置群４の
各連想記憶装置４ａ，４ｂ，４ｃで連想させ、それぞれ
連想出力５ａ，５ｂ，５ｃを得る。
【００２２】ここで、第２段目の連想記憶装置群４の各
連想記憶装置４ａ，４ｂ，４ｃは予め以下のように学習
させておく。例えば、第２段目の連想記憶装置群４の一
つの要素である連想記憶装置４ａに対して、第１段目の
連想記憶装置１で連想した特徴の連想出力３ａ，３ｂ，
３ｃの組み合わせ連想出力群３が適当であれば連想出力
５ａをなくすようにし、連想出力３ａ，３ｂ，３ｃの組
み合わせ連想出力群３が不適当であれば第１段目の連想
記憶装置１の一つの連想記憶装置１ａの連想出力３ａを
変更するように第１段目の連想記憶装置群１の１つの連
想記憶装置１ａを構成するニューラルネットワークのエ
ネルギー関数を更新する出力５ａを出すようにする。第
２段目の連想記憶装置群４の他の連想記憶装置４ｂ，４
ｃについても同様の学習を行っておく。
連想記憶装置４ａ，４ｂ，４ｃは予め以下のように学習
させておく。例えば、第２段目の連想記憶装置群４の一
つの要素である連想記憶装置４ａに対して、第１段目の
連想記憶装置１で連想した特徴の連想出力３ａ，３ｂ，
３ｃの組み合わせ連想出力群３が適当であれば連想出力
５ａをなくすようにし、連想出力３ａ，３ｂ，３ｃの組
み合わせ連想出力群３が不適当であれば第１段目の連想
記憶装置１の一つの連想記憶装置１ａの連想出力３ａを
変更するように第１段目の連想記憶装置群１の１つの連
想記憶装置１ａを構成するニューラルネットワークのエ
ネルギー関数を更新する出力５ａを出すようにする。第
２段目の連想記憶装置群４の他の連想記憶装置４ｂ，４
ｃについても同様の学習を行っておく。
【００２３】上述するようにして学習した第２段目の連
想記憶装置群４の各連想記憶装置４ａ，４ｂ，４ｃの連
想出力５ａ，５ｂ，５ｃを第１段目の連想記憶装置群１
の各連想記憶装置１ａ，１ｂ，１ｃへそれぞれフィード
バックさせる。そして、入力パターン２について、エネ
ルギー関数を変更した第１段目の連想記憶装置群１で再
び連想させ、第２段目の連想記憶装置群４で、第１段目
の連想記憶装置群１で連想した特徴の連想結果３ａ，３
ｂ，３ｃの組み合わせの連想出力群３を評価すること
を、第２段目の連想記憶装置群４の全ての出力５ａ，５
ｂ，５ｃがなくなるまで繰り返す。この全ての出力５
ａ，５ｂ，５ｃが無くなった時の第１段目の連想記憶装
置群１で連想した特徴の連想出力３ａ，３ｂ，３ｃの組
み合わせの連想出力群３を、この知識情報処理装置の連
想出力結果とする。
想記憶装置群４の各連想記憶装置４ａ，４ｂ，４ｃの連
想出力５ａ，５ｂ，５ｃを第１段目の連想記憶装置群１
の各連想記憶装置１ａ，１ｂ，１ｃへそれぞれフィード
バックさせる。そして、入力パターン２について、エネ
ルギー関数を変更した第１段目の連想記憶装置群１で再
び連想させ、第２段目の連想記憶装置群４で、第１段目
の連想記憶装置群１で連想した特徴の連想結果３ａ，３
ｂ，３ｃの組み合わせの連想出力群３を評価すること
を、第２段目の連想記憶装置群４の全ての出力５ａ，５
ｂ，５ｃがなくなるまで繰り返す。この全ての出力５
ａ，５ｂ，５ｃが無くなった時の第１段目の連想記憶装
置群１で連想した特徴の連想出力３ａ，３ｂ，３ｃの組
み合わせの連想出力群３を、この知識情報処理装置の連
想出力結果とする。
【００２４】実施例２．図２は別の実施例による知識情
報処理装置のシステム構成を示す概念図である。図１に
示す構成と同一部分は同一符号を示す図２において、新
たな構成として、６は第１段目の連想記憶装置群１と第
２段目の連想記憶装置群４との連想出力を比較し第１段
目の連想記憶装置群１にフィードバック入力を与える論
理演算装置群、６ａ，６ｂ，６ｃは論理演算装置群６の
各要素となる論理演算装置、７ａ，７ｂ，７ｃはそれぞ
れ論理演算装置群６の各論理演算装置６ａ，６ｂ，６ｃ
からそれぞれ第１段目の連想記憶装置群１の各連想記憶
装置１ａ，１ｂ，１ｃへ与えられるエネルギー関数の補
正情報からなるフィードバック入力、８ａ，８ｂ，８ｃ
はそれぞれ論理演算装置群６の各論理演算装置６ａ，６
ｂ，６ｃの処理出力でこの知識情報処理装置の連想出力
である。
報処理装置のシステム構成を示す概念図である。図１に
示す構成と同一部分は同一符号を示す図２において、新
たな構成として、６は第１段目の連想記憶装置群１と第
２段目の連想記憶装置群４との連想出力を比較し第１段
目の連想記憶装置群１にフィードバック入力を与える論
理演算装置群、６ａ，６ｂ，６ｃは論理演算装置群６の
各要素となる論理演算装置、７ａ，７ｂ，７ｃはそれぞ
れ論理演算装置群６の各論理演算装置６ａ，６ｂ，６ｃ
からそれぞれ第１段目の連想記憶装置群１の各連想記憶
装置１ａ，１ｂ，１ｃへ与えられるエネルギー関数の補
正情報からなるフィードバック入力、８ａ，８ｂ，８ｃ
はそれぞれ論理演算装置群６の各論理演算装置６ａ，６
ｂ，６ｃの処理出力でこの知識情報処理装置の連想出力
である。
【００２５】以下動作について説明する。図２におい
て、入力パターン２から第１段目の連想記憶装置群１の
各連想記憶装置１ａ，１ｂ，１ｃでそれぞれ異なる特徴
の連想出力３ａ，３ｂ，３ｃを連想させる。ここで、第
１段目の連想記憶装置群１の各連想記憶装置１ａ，１
ｂ，１ｃは予め同じ記憶させたいパターンからそれぞれ
異なる特徴を連想するように学習または記憶させてお
く。次に、第１段目の連想記憶装置群１で連想した特徴
の連想出力３ａ，３ｂ，３ｃの組み合わせである連想出
力群３を入力として、第２段目の連想記憶装置群４の各
連想記憶装置４ａ，４ｂ，４ｃで連想させ、それぞれ連
想出力５ａ，５ｂ，５ｃを得る。
て、入力パターン２から第１段目の連想記憶装置群１の
各連想記憶装置１ａ，１ｂ，１ｃでそれぞれ異なる特徴
の連想出力３ａ，３ｂ，３ｃを連想させる。ここで、第
１段目の連想記憶装置群１の各連想記憶装置１ａ，１
ｂ，１ｃは予め同じ記憶させたいパターンからそれぞれ
異なる特徴を連想するように学習または記憶させてお
く。次に、第１段目の連想記憶装置群１で連想した特徴
の連想出力３ａ，３ｂ，３ｃの組み合わせである連想出
力群３を入力として、第２段目の連想記憶装置群４の各
連想記憶装置４ａ，４ｂ，４ｃで連想させ、それぞれ連
想出力５ａ，５ｂ，５ｃを得る。
【００２６】ここで、第２段目の連想記憶装置群４の各
連想記憶装置４ａ，４ｂ，４ｃは予め以下のように学習
させておく。例えば、第２段目の連想記憶装置群４の一
つの連想記憶装置４ａに対して、第１段目の連想記憶装
置群１で連想した特徴の連想出力３ａ，３ｂ，３ｃの組
み合わせである連想出力群３を入力として、第１段目の
連想記憶装置群１の１つの連想記憶装置１ａの連想出力
３ａを連想出力とするように学習させておく。第２段目
の連想記憶装置群４の他の連想記憶装置４ｂ，４ｃにつ
いても同様の学習を行っておく。
連想記憶装置４ａ，４ｂ，４ｃは予め以下のように学習
させておく。例えば、第２段目の連想記憶装置群４の一
つの連想記憶装置４ａに対して、第１段目の連想記憶装
置群１で連想した特徴の連想出力３ａ，３ｂ，３ｃの組
み合わせである連想出力群３を入力として、第１段目の
連想記憶装置群１の１つの連想記憶装置１ａの連想出力
３ａを連想出力とするように学習させておく。第２段目
の連想記憶装置群４の他の連想記憶装置４ｂ，４ｃにつ
いても同様の学習を行っておく。
【００２７】そして、第１段目の連想記憶装置群１の各
連想記憶装置１ａ，１ｂ，１ｃでそれぞれ連想させた連
想出力３ａ，３ｂ，３ｃと第２段目の連想記憶装置群４
の各連想記憶装置４ａ，４ｂ，４ｃでそれぞれ連想させ
た連想出力５ａ，５ｂ，５ｃとを、それぞれ論理演算装
置群６の論理演算装置６ａ，６ｂ，６ｃで比較する。こ
の比較結果に基づき、必要に応じて、第１段目の連想記
憶装置群１の各連想記憶装置１ａ，１ｂ，１ｃを構成す
るニューラルネットのエネルギー関数を更新するフィー
ドバック入力７ａ，７ｂ，７ｃを第１段目の連想記憶装
置群１の各連想記憶装置１ａ，１ｂ，１ｃへそれぞれ与
える。
連想記憶装置１ａ，１ｂ，１ｃでそれぞれ連想させた連
想出力３ａ，３ｂ，３ｃと第２段目の連想記憶装置群４
の各連想記憶装置４ａ，４ｂ，４ｃでそれぞれ連想させ
た連想出力５ａ，５ｂ，５ｃとを、それぞれ論理演算装
置群６の論理演算装置６ａ，６ｂ，６ｃで比較する。こ
の比較結果に基づき、必要に応じて、第１段目の連想記
憶装置群１の各連想記憶装置１ａ，１ｂ，１ｃを構成す
るニューラルネットのエネルギー関数を更新するフィー
ドバック入力７ａ，７ｂ，７ｃを第１段目の連想記憶装
置群１の各連想記憶装置１ａ，１ｂ，１ｃへそれぞれ与
える。
【００２８】そして、入力パターン２について、エネル
ギー関数を変更した第１段目の連想記憶装置群１で再び
連想させ、第２段目の連想記憶装置群４と論理演算装置
群６とで第１段目の連想記憶装置群１で連想した特徴の
連想出力３ａ，３ｂ，３ｃの組み合わせである連想出力
群３を評価することを、第１段目の連想記憶装置群１の
各連想記憶装置１ａ，１ｂ，１ｃでそれぞれ連想させた
連想出力３ａ，３ｂ，３ｃと第２段目の連想記憶装置群
４の各連想記憶装置４ａ，４ｂ，４ｃでそれぞれ連想さ
せた連想出力５ａ，５ｂ，５ｃとがそれぞれすべて一致
するまで繰り返し実行させ、全て一致したときの第１段
目の連想記憶装置群１で連想した特徴の連想出力３ａ，
３ｂ，３ｃの組み合わせである連想出力群３、すなわ
ち、論理演算装置群６の各論理演算装置６ａ，６ｂ，６
ｃの処理出力である連想出力８ａ，８ｂ，８ｃを、この
知識情報処理装置の連想出力結果とする。
ギー関数を変更した第１段目の連想記憶装置群１で再び
連想させ、第２段目の連想記憶装置群４と論理演算装置
群６とで第１段目の連想記憶装置群１で連想した特徴の
連想出力３ａ，３ｂ，３ｃの組み合わせである連想出力
群３を評価することを、第１段目の連想記憶装置群１の
各連想記憶装置１ａ，１ｂ，１ｃでそれぞれ連想させた
連想出力３ａ，３ｂ，３ｃと第２段目の連想記憶装置群
４の各連想記憶装置４ａ，４ｂ，４ｃでそれぞれ連想さ
せた連想出力５ａ，５ｂ，５ｃとがそれぞれすべて一致
するまで繰り返し実行させ、全て一致したときの第１段
目の連想記憶装置群１で連想した特徴の連想出力３ａ，
３ｂ，３ｃの組み合わせである連想出力群３、すなわ
ち、論理演算装置群６の各論理演算装置６ａ，６ｂ，６
ｃの処理出力である連想出力８ａ，８ｂ，８ｃを、この
知識情報処理装置の連想出力結果とする。
【００２９】図２において、単語認識の場合についてよ
り詳細に説明する。ここでは、第１段目の連想記憶装置
群１として、ニューラルネットワークモデルの一つであ
る上述したＨｏｐｆｉｅｌｄモデルを、また、第２段目
の連想記憶装置群４として、ニューラルネットワークモ
デルの一つである３層構造のフィードフォワード型ネッ
トワークに逆伝搬学習法を用いてパターンを記憶させた
ものを使用した場合について述べる。ここで、入力パタ
ーン２は、手書きあるいはノイズに埋もれた文字列であ
る。
り詳細に説明する。ここでは、第１段目の連想記憶装置
群１として、ニューラルネットワークモデルの一つであ
る上述したＨｏｐｆｉｅｌｄモデルを、また、第２段目
の連想記憶装置群４として、ニューラルネットワークモ
デルの一つである３層構造のフィードフォワード型ネッ
トワークに逆伝搬学習法を用いてパターンを記憶させた
ものを使用した場合について述べる。ここで、入力パタ
ーン２は、手書きあるいはノイズに埋もれた文字列であ
る。
【００３０】第１段目の連想記憶装置１にはアルファベ
ットや各種の記号を記憶しているものとする。また、第
２段目の連想記憶装置群４には以下のようにして学習を
行って単語を記憶させているものとする。単語の第１文
字目を連想する連想記憶装置４ａには、単語の第１文字
目以外の文字のパターン列を入力として第１文字目を出
力するように学習させる。例えば、単語「ＣＡＴ」を記
憶させるには、文字パターン「ＡＴ」を入力とし、
「Ｃ」を出力するように学習させる。第２段目の他の連
想記憶装置４ｂ，４ｃにも同様に、それぞれ第２文字
目、第３文字目を連想させるように学習させる。
ットや各種の記号を記憶しているものとする。また、第
２段目の連想記憶装置群４には以下のようにして学習を
行って単語を記憶させているものとする。単語の第１文
字目を連想する連想記憶装置４ａには、単語の第１文字
目以外の文字のパターン列を入力として第１文字目を出
力するように学習させる。例えば、単語「ＣＡＴ」を記
憶させるには、文字パターン「ＡＴ」を入力とし、
「Ｃ」を出力するように学習させる。第２段目の他の連
想記憶装置４ｂ，４ｃにも同様に、それぞれ第２文字
目、第３文字目を連想させるように学習させる。
【００３１】以下の説明では、第２段目の連想記憶装置
群４には「ＣＡＴ」という単語は記憶されているが、
「ＣＡＥ」という単語は記憶されていないとして説明す
る。まず、「ＣＡＴ」という３つの文字にノイズが乗っ
た入力パターン２を各文字毎に第１段目の連想記憶装置
群１の各連想記憶装置１ａ，１ｂ，１ｃに入力する。そ
の結果、第１段目の連想記憶装置群１から「ＣＡＥ」と
いう連想出力群３が得られたものとする。
群４には「ＣＡＴ」という単語は記憶されているが、
「ＣＡＥ」という単語は記憶されていないとして説明す
る。まず、「ＣＡＴ」という３つの文字にノイズが乗っ
た入力パターン２を各文字毎に第１段目の連想記憶装置
群１の各連想記憶装置１ａ，１ｂ，１ｃに入力する。そ
の結果、第１段目の連想記憶装置群１から「ＣＡＥ」と
いう連想出力群３が得られたものとする。
【００３２】次に、この連想出力の組み合わせである連
想出力群３を、第２段目の連想記憶装置群４に入力し
て、その組み合わせが記憶している単語であるかどうか
を連想させる。すなわち、「ＡＥ」、「ＣＥ」、「Ｃ
Ａ」を、それぞれ第２段目の連想記憶装置群４の各連想
記憶装置４ａ，４ｂ，４ｃへ入力する。第２段目の連想
記憶装置群４の各連想記憶装置４ａ，４ｂ，４ｃはニュ
ーラルネットワークモデルに基づいて学習、記憶を行っ
ているから、入力パターンが学習パターンと若干異なっ
ていても記憶したパターンを連想することができる。そ
のため、第２段目の連想記憶装置群４の１文字目、２文
字目、３文字目をそれぞれ受け持つ各連想記憶装置４
ａ，４ｂ，４ｃのそれぞれの連想出力５ａ，５ｂ，５ｃ
はそれぞれ「Ｃ」、「Ａ」、「Ｔ」となる。
想出力群３を、第２段目の連想記憶装置群４に入力し
て、その組み合わせが記憶している単語であるかどうか
を連想させる。すなわち、「ＡＥ」、「ＣＥ」、「Ｃ
Ａ」を、それぞれ第２段目の連想記憶装置群４の各連想
記憶装置４ａ，４ｂ，４ｃへ入力する。第２段目の連想
記憶装置群４の各連想記憶装置４ａ，４ｂ，４ｃはニュ
ーラルネットワークモデルに基づいて学習、記憶を行っ
ているから、入力パターンが学習パターンと若干異なっ
ていても記憶したパターンを連想することができる。そ
のため、第２段目の連想記憶装置群４の１文字目、２文
字目、３文字目をそれぞれ受け持つ各連想記憶装置４
ａ，４ｂ，４ｃのそれぞれの連想出力５ａ，５ｂ，５ｃ
はそれぞれ「Ｃ」、「Ａ」、「Ｔ」となる。
【００３３】これら連想出力５ａ，５ｂ，５ｃを第１段
目の連想記憶装置群１の各連想記憶装置１ａ，１ｂ，１
ｃの連想出力３ａ，３ｂ，３ｃと論理演算装置群６で比
較し、記憶している単語であるかどうかを評価する。こ
の場合、「Ｃ」、「Ａ」は一致しており、第１段目の連
想記憶装置群１の対応する連想記憶装置１ａ，１ｂで再
び連想させる必要はないが、「Ｅ」と「Ｔ」は相違する
ので、論理演算装置群６の対応する論理演算装置６ｃ
は、第１段目の連想記憶装置群１の対応する連想記憶装
置１ｃを構成するニューラルネットワークのエネルギー
関数を更新するフィードバック入力７ｃを生成し、連想
記憶装置１ｃに入力し、再び連想させる。
目の連想記憶装置群１の各連想記憶装置１ａ，１ｂ，１
ｃの連想出力３ａ，３ｂ，３ｃと論理演算装置群６で比
較し、記憶している単語であるかどうかを評価する。こ
の場合、「Ｃ」、「Ａ」は一致しており、第１段目の連
想記憶装置群１の対応する連想記憶装置１ａ，１ｂで再
び連想させる必要はないが、「Ｅ」と「Ｔ」は相違する
ので、論理演算装置群６の対応する論理演算装置６ｃ
は、第１段目の連想記憶装置群１の対応する連想記憶装
置１ｃを構成するニューラルネットワークのエネルギー
関数を更新するフィードバック入力７ｃを生成し、連想
記憶装置１ｃに入力し、再び連想させる。
【００３４】この操作を第２段目の連想記憶装置群４の
各連想記憶装置４ａ，４ｂ，４ｃのそれぞれの連想出力
５ａ，５ｂ，５ｃが第１段目の連想記憶装置群１の対応
する各連想記憶装置１ａ，１ｂ，１ｃのそれぞれの連想
出力３ａ，３ｂ，３ｃと一致するまで繰り返す。この場
合、第１段目の連想記憶装置群１の対応する連想記憶装
置１ｃの連想出力３ｃが正しく「Ａ」と連想されたもの
とし、これを最終結果として論理演算装置群６の各論理
演算装置６ａ，６ｂ，６ｃから出力される連想出力８
ａ，８ｂ，８ｃにそれぞれ「Ｃ」、「Ａ」、「Ｔ」が得
られる。
各連想記憶装置４ａ，４ｂ，４ｃのそれぞれの連想出力
５ａ，５ｂ，５ｃが第１段目の連想記憶装置群１の対応
する各連想記憶装置１ａ，１ｂ，１ｃのそれぞれの連想
出力３ａ，３ｂ，３ｃと一致するまで繰り返す。この場
合、第１段目の連想記憶装置群１の対応する連想記憶装
置１ｃの連想出力３ｃが正しく「Ａ」と連想されたもの
とし、これを最終結果として論理演算装置群６の各論理
演算装置６ａ，６ｂ，６ｃから出力される連想出力８
ａ，８ｂ，８ｃにそれぞれ「Ｃ」、「Ａ」、「Ｔ」が得
られる。
【００３５】なお、論理演算装置群６で第２段目の連想
記憶装置群４の各連想記憶装置４ａ，４ｂ，４ｃの連想
出力５ａ，５ｂ，５ｃが第１段目の連想記憶装置群１の
対応する各連想記憶装置１ａ，１ｂ，１ｃの連想出力３
ａ，３ｂ，３ｃと一定回数の再連想によっても全て一致
しない場合は、連想出力８ａ，８ｂ，８ｃとして処理不
能出力が論理演算装置群６から出力される。
記憶装置群４の各連想記憶装置４ａ，４ｂ，４ｃの連想
出力５ａ，５ｂ，５ｃが第１段目の連想記憶装置群１の
対応する各連想記憶装置１ａ，１ｂ，１ｃの連想出力３
ａ，３ｂ，３ｃと一定回数の再連想によっても全て一致
しない場合は、連想出力８ａ，８ｂ，８ｃとして処理不
能出力が論理演算装置群６から出力される。
【００３６】以上のように、文字パターンの連想、文字
列の照合評価、再連想という操作を繰り返すことによ
り、複雑でノイズに埋もれた文字列、別の表現で言えば
複雑でノイズに埋もれた単語でも、正しく認識すること
ができる。
列の照合評価、再連想という操作を繰り返すことによ
り、複雑でノイズに埋もれた文字列、別の表現で言えば
複雑でノイズに埋もれた単語でも、正しく認識すること
ができる。
【００３７】以上のことを、さらに定量的に説明する。
Ｈｏｐｆｉｅｌｄモデルにおけるエネルギー関数Ｅは次
式で表される。
Ｈｏｐｆｉｅｌｄモデルにおけるエネルギー関数Ｅは次
式で表される。
【００３８】
【数３】
【００３９】ここで、Ｔijはｉ番目とｊ番目のニューロ
ンの結合重み、Ｖi はｉ番目のニューロンの状態、Ｉi
はｉ番目のニューロンに対する外部からの入力もしくは
しきい値レベルを表す。これに次式に示す付加的な拘束
条件を導入する。
ンの結合重み、Ｖi はｉ番目のニューロンの状態、Ｉi
はｉ番目のニューロンに対する外部からの入力もしくは
しきい値レベルを表す。これに次式に示す付加的な拘束
条件を導入する。
【００４０】
【数４】
【００４１】ここで、△i は外部から変更可能な因子で
ある。今、ｋ番目のニューロンに着目し、その状態が Ｖk → Ｖ′k と変化するものとすれば、エネルギーの変化△Ｅk は次
式のように表すことができる。
ある。今、ｋ番目のニューロンに着目し、その状態が Ｖk → Ｖ′k と変化するものとすれば、エネルギーの変化△Ｅk は次
式のように表すことができる。
【００４２】
【数５】
【００４３】但し Ｔii ＝ ０ Ｔij Ｖi Ｖj ＝ Ｔji Ｖj Ｖi △Ｖk ＝ Ｖ′k − Ｖk である。
【００４４】また、△k は例えば次のような値を取れば
良い。第１段目の連想記憶装置群１の１要素の連想出力
パターンＶ(c) と第２段目の連想記憶装置群４の１要素
の連想出力パターンＶ(p) に対して次式のように与え
る。 △k ＝（Ｖ(c)Ｖ(p)）2（Ｖ(c) k −Ｖ(p) k ）／Ｎ2 この拘束条件は、間違っている第１段目の連想記憶装置
群１の１要素の連想出力パターンＶ(c) のエネルギーを
高くして、そのパターンを連想しにくくし、正しい第２
段目の連想記憶装置群４の１要素の連想出力パターンＶ
(p) を出現しやすくすることに相当する。拘束条件の与
え方はこれに限るものではない。例えば、間違ったパタ
ーンを出現しにくくするだけのもの、その他のものでも
良い。
良い。第１段目の連想記憶装置群１の１要素の連想出力
パターンＶ(c) と第２段目の連想記憶装置群４の１要素
の連想出力パターンＶ(p) に対して次式のように与え
る。 △k ＝（Ｖ(c)Ｖ(p)）2（Ｖ(c) k −Ｖ(p) k ）／Ｎ2 この拘束条件は、間違っている第１段目の連想記憶装置
群１の１要素の連想出力パターンＶ(c) のエネルギーを
高くして、そのパターンを連想しにくくし、正しい第２
段目の連想記憶装置群４の１要素の連想出力パターンＶ
(p) を出現しやすくすることに相当する。拘束条件の与
え方はこれに限るものではない。例えば、間違ったパタ
ーンを出現しにくくするだけのもの、その他のものでも
良い。
【００４５】また、上記実施例では、各段の連想記憶装
置群１，４の要素数を３個として示したが、要素の数は
何個であっても良い。
置群１，４の要素数を３個として示したが、要素の数は
何個であっても良い。
【００４６】なお、上記実施例では、Ｈｏｐｆｉｅｌｄ
モデルのニューラルネットワークを第１段目の連想記憶
装置群１、３層構造のフィードフォワード型のニューラ
ルネットワークを第２段目の連想記憶装置群４として使
用したものを示したが、どちらも適当なエネルギー関数
を定義することによって、ボルツマンマシンのような他
のニューラルネットワークモデルを用いることができ
る。
モデルのニューラルネットワークを第１段目の連想記憶
装置群１、３層構造のフィードフォワード型のニューラ
ルネットワークを第２段目の連想記憶装置群４として使
用したものを示したが、どちらも適当なエネルギー関数
を定義することによって、ボルツマンマシンのような他
のニューラルネットワークモデルを用いることができ
る。
【００４７】さらに、連想記憶装置として、光ニューラ
ルネットワークやＳｉ−ＬＳＩによって実現されたニュ
ーラルネットワークを用いることも可能である。勿論逐
次型コンピュータを用いたシミュレーションによる連想
記憶装置であっても良い。
ルネットワークやＳｉ−ＬＳＩによって実現されたニュ
ーラルネットワークを用いることも可能である。勿論逐
次型コンピュータを用いたシミュレーションによる連想
記憶装置であっても良い。
【００４８】また上記実施例では、知識情報処理の対象
として文字認識について示したが、音声認識や画像等の
パターン認識にも適応できることは言うまでもない。
として文字認識について示したが、音声認識や画像等の
パターン認識にも適応できることは言うまでもない。
【００４９】
【発明の効果】以上のように、この発明によれば、ある
パターン情報が入力されると、初段の連想記憶装置群に
より直感的に複数の対応するパターンを連想し、次段の
連想記憶装置群により初段の連想記憶装置群から送出さ
れる連想出力の組み合わせを論理的に評価し修正するこ
とにより、人間の直感的思考に対応した働きを行うニュ
ーラルネットワークと、人間の論理的思考に対応した働
きを行うニューラルネットワークとを有機的に組み合わ
せたので、２つのネットワークがお互いに相手側の機能
の欠点を補い、人間の脳に近い情報処理を行うことがで
き、より知的な情報処理装置が実現できるという効果が
ある。
パターン情報が入力されると、初段の連想記憶装置群に
より直感的に複数の対応するパターンを連想し、次段の
連想記憶装置群により初段の連想記憶装置群から送出さ
れる連想出力の組み合わせを論理的に評価し修正するこ
とにより、人間の直感的思考に対応した働きを行うニュ
ーラルネットワークと、人間の論理的思考に対応した働
きを行うニューラルネットワークとを有機的に組み合わ
せたので、２つのネットワークがお互いに相手側の機能
の欠点を補い、人間の脳に近い情報処理を行うことがで
き、より知的な情報処理装置が実現できるという効果が
ある。
【００５０】また、論理演算装置群により初段と次段の
連想記憶装置群の出力を比較し、比較結果に基づき初段
の連想記憶装置群のエネルギー関数を修正し再連想させ
るようにしたので、より連想性能が高く、また、論理的
に矛盾する結果を出力しにくい知識情報処理装置が得ら
れる。
連想記憶装置群の出力を比較し、比較結果に基づき初段
の連想記憶装置群のエネルギー関数を修正し再連想させ
るようにしたので、より連想性能が高く、また、論理的
に矛盾する結果を出力しにくい知識情報処理装置が得ら
れる。
【図１】この発明の実施例１による知識情報処理装置の
システム構成を示す概念図である。
システム構成を示す概念図である。
【図２】この発明の実施例２による知識情報処理装置の
システム構成を示す概念図である。
システム構成を示す概念図である。
【図３】ニューラルネットワークの動作説明図である。
【図４】従来の連想記憶装置の構成図である。
１ 第１段目の連想記憶装置群 １ａ，１ｂ，１ｃ 連想記憶装置 ２ 入力パターン ３ 第１段目の連想記憶装置群１の連想出力群 ３ａ，３ｂ，３ｃ 連想記憶装置群１ａ，１ｂ，１ｃに
よりそれぞれ出力される連想出力 ４ 第２段目の連想記憶装置群 ４ａ，４ｂ，４ｃ 連想記憶装置 ５ａ，５ｂ，５ｃ 連想記憶装置４ａ，４ｂ，４ｃの連
想出力、 ６ 論理演算装置群 ６ａ，６ｂ，６ｃ 論理演算装置 ７ａ，７ｂ，７ｃ 連想記憶装置群１ａ，１ｂ，１ｃへ
のエネルギー関数の補正情報からなるフィードバック入
力 ８ａ，８ｂ，８ｃ 論理演算装置６ａ，６ｂ，６ｃ処理
出力で知識情報処理装置の連想出力
よりそれぞれ出力される連想出力 ４ 第２段目の連想記憶装置群 ４ａ，４ｂ，４ｃ 連想記憶装置 ５ａ，５ｂ，５ｃ 連想記憶装置４ａ，４ｂ，４ｃの連
想出力、 ６ 論理演算装置群 ６ａ，６ｂ，６ｃ 論理演算装置 ７ａ，７ｂ，７ｃ 連想記憶装置群１ａ，１ｂ，１ｃへ
のエネルギー関数の補正情報からなるフィードバック入
力 ８ａ，８ｂ，８ｃ 論理演算装置６ａ，６ｂ，６ｃ処理
出力で知識情報処理装置の連想出力
Claims (2)
- 【請求項１】 ニューラルネットワークモデルによる連
想記憶装置を備えた情報処理装置において、入力パター
ンからそれぞれ異なった特徴を連想する複数の連想記憶
装置からなる初段の連想記憶装置群と、その連想出力の
組み合わせを入力して評価し、上記初段の連想記憶装置
群に各構成要素を構成するニューラルネットワークのエ
ネルギー関数に対する連想の拘束条件を付加する連想出
力を送出して、上記初段の連想記憶装置群の各構成要素
を構成するニューラルネットワークのエネルギー関数を
更新し、上記入力パターン情報について再度上記連想、
上記評価、上記更新を繰り返し実行させる複数の連想記
憶装置からなる次段の連想記憶装置群とで構成したこと
を特徴とする知識情報処理装置。 - 【請求項２】 ニューラルネットワークモデルによる連
想記憶装置を備えた情報処理装置において、入力パター
ンからそれぞれ異なった特徴を連想する複数の連想記憶
装置からなる初段の連想記憶装置群と、その連想出力の
組み合わせを入力して評価し、上記特徴の組み合わせに
対応する連想出力を送出する複数の連想記憶装置からな
る次段の連想記憶装置群と、上記初段と次段の連想記憶
装置群の出力を比較し、その比較結果に基づいて上記初
段の連想記憶装置群に各構成要素を構成するニューラル
ネットワークのエネルギー関数を更新し、上記入力パタ
ーン情報について再度上記連想、上記評価、上記更新を
繰り返し実行させるフィードバック入力を与える複数の
論理演算装置からなる論理演算装置群とで構成したこと
を特徴とする知識情報処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00094892A JP3171897B2 (ja) | 1992-01-07 | 1992-01-07 | 知識情報処理装置 |
| US08/000,624 US5418886A (en) | 1992-01-07 | 1993-01-05 | Knowledge information processing system including two associative memory groups each including a plurality of associated memory units |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00094892A JP3171897B2 (ja) | 1992-01-07 | 1992-01-07 | 知識情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05181828A true JPH05181828A (ja) | 1993-07-23 |
| JP3171897B2 JP3171897B2 (ja) | 2001-06-04 |
Family
ID=11487903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00094892A Expired - Fee Related JP3171897B2 (ja) | 1992-01-07 | 1992-01-07 | 知識情報処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5418886A (ja) |
| JP (1) | JP3171897B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0859332A1 (en) * | 1997-02-12 | 1998-08-19 | STMicroelectronics S.r.l. | Word recognition device and method |
| US7577631B2 (en) * | 2001-09-10 | 2009-08-18 | Feldhake Michael J | Cognitive image filtering |
| US7747549B2 (en) * | 2001-09-25 | 2010-06-29 | Rikan | Long-term memory neural network modeling memory-chaining functions of the brain wherein a pointer holds information about mutually related neurons and neurons are classified hierarchically by degree of activation |
| WO2011113478A1 (de) * | 2010-03-16 | 2011-09-22 | Carlo Trugenberger | Authentifizierungssystem, verfahren zur authentifizierung eines objekts, vorrichtung zur erzeugung einer identifikationseinrichtung, verfahren zur erzeugung einer identifikationseinrichtung |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4901271A (en) * | 1987-01-20 | 1990-02-13 | American Telephone And Telegraph Company, At&T Bell Laboratories | Computational network |
| US4937872A (en) * | 1987-04-03 | 1990-06-26 | American Telephone And Telegraph Company | Neural computation by time concentration |
| GB2220780B (en) * | 1988-07-05 | 1992-12-23 | Mitsubishi Electric Corp | Neurocomputer |
| JPH087789B2 (ja) * | 1988-08-15 | 1996-01-29 | 工業技術院長 | パターン連想記憶方法および装置 |
| US5095443A (en) * | 1988-10-07 | 1992-03-10 | Ricoh Company, Ltd. | Plural neural network system having a successive approximation learning method |
| US4941122A (en) * | 1989-01-12 | 1990-07-10 | Recognition Equipment Incorp. | Neural network image processing system |
| JP2760145B2 (ja) * | 1990-09-26 | 1998-05-28 | 三菱電機株式会社 | 知識情報処理装置 |
-
1992
- 1992-01-07 JP JP00094892A patent/JP3171897B2/ja not_active Expired - Fee Related
-
1993
- 1993-01-05 US US08/000,624 patent/US5418886A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5418886A (en) | 1995-05-23 |
| JP3171897B2 (ja) | 2001-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Parekh et al. | Constructive neural-network learning algorithms for pattern classification | |
| Zhang et al. | Dynamic extreme learning machine and its approximation capability | |
| US5630023A (en) | Signal processor | |
| Kumaraswamy | Neural networks for data classification | |
| JP2760145B2 (ja) | 知識情報処理装置 | |
| Chartier et al. | A sequential dynamic heteroassociative memory for multistep pattern recognition and one-to-many association | |
| Kumara et al. | Use of associative memory and self-organization in conceptual design | |
| Dimitrichenko | A method for diagnosing a robotic complex using logical neural networks apparatus | |
| KR950012359B1 (ko) | 신경회로망 구조와 학습방법 | |
| JP3171897B2 (ja) | 知識情報処理装置 | |
| Basak et al. | A connectionist model for category perception: theory and implementation | |
| Chartier et al. | BAM learning of nonlinearly separable tasks by using an asymmetrical output function and reinforcement learning | |
| CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
| JP2907486B2 (ja) | ニューラルネットワーク装置 | |
| EP3876160A1 (en) | Method and system for multimodal classification based on brain-inspired unsupervised learning | |
| JP3310009B2 (ja) | ニューラルネットワークシステム | |
| Dong et al. | Meta gradient boosting neural networks | |
| JPH02165285A (ja) | パターン認識装置 | |
| Tsoi et al. | Building MLP networks by construction | |
| JPH1063632A (ja) | 大規模ニューラルネットワーク構築方法及び大規模ニューラルネットワーク構築装置及びニューラルネットワーク装置 | |
| CN117592537A (zh) | 一种动态场景下的图数据表示学习方法 | |
| Dong et al. | MetaGB: A Gradient Boosting Framework for Efficient Task Adaptive Meta Learning | |
| Kufudaki et al. | 43. ASSOCIATIVE NEURAL NETWORKS WITH THRESHOLD-CONTROLLED ATTENTION | |
| Castillo et al. | Introduction to Neural Networks | |
| Fang | Connectionist constructive learning for autonomous knowledge acquisition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080323 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090323 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |