JP2760145B2 - 知識情報処理装置 - Google Patents
知識情報処理装置Info
- Publication number
- JP2760145B2 JP2760145B2 JP2259332A JP25933290A JP2760145B2 JP 2760145 B2 JP2760145 B2 JP 2760145B2 JP 2259332 A JP2259332 A JP 2259332A JP 25933290 A JP25933290 A JP 25933290A JP 2760145 B2 JP2760145 B2 JP 2760145B2
- Authority
- JP
- Japan
- Prior art keywords
- associative
- output
- pattern
- information
- associative memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 16
- 238000012545 processing Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 18
- 238000003909 pattern recognition Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 238000003491 array Methods 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000661823 Canopus Species 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
- Devices For Executing Special Programs (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、人間の直感的思考に対応したニューラル
ネットワークの動作と、同じく人間の論理的思考に対応
した逐次処理型コンピュータの動作とを有機的に結合さ
せ、より人間の脳に近い情報処理を可能とする、全く新
しい知識情報処理システムに関するものである。
ネットワークの動作と、同じく人間の論理的思考に対応
した逐次処理型コンピュータの動作とを有機的に結合さ
せ、より人間の脳に近い情報処理を可能とする、全く新
しい知識情報処理システムに関するものである。
ニューラルネットワークモデルを構築するにあたって
は、生物の脳の中ではニューロンひとつひとつが、ある
特定の情報を記憶しているのではなく、膨大な数のニュ
ーロン集団全体が複数の情報を同時に協力して記憶して
いるものとしている。また、生物の脳の中での情報処理
は、各ニューロンに入力された初期状態が、ニューロン
集団に記憶されている情報によって形成された各ニュー
ロン間の結合パターンの作用を受けて、入力の総和演
算、閾値処理およびフィードバックを繰返すことによっ
て、自発的に安定状態（系のエネルギーの低い状態）に
集束して行く過程で行われるとされている。
は、生物の脳の中ではニューロンひとつひとつが、ある
特定の情報を記憶しているのではなく、膨大な数のニュ
ーロン集団全体が複数の情報を同時に協力して記憶して
いるものとしている。また、生物の脳の中での情報処理
は、各ニューロンに入力された初期状態が、ニューロン
集団に記憶されている情報によって形成された各ニュー
ロン間の結合パターンの作用を受けて、入力の総和演
算、閾値処理およびフィードバックを繰返すことによっ
て、自発的に安定状態（系のエネルギーの低い状態）に
集束して行く過程で行われるとされている。
従って、記憶された情報を完全情報と見なせば、任意
の不完全情報が各ニューロンに入力されたとき、第３図
に示すように、各ニューロンの状態は、入力に最も類似
した記憶情報に自発的に集束し、最終的に安定状態に達
したときのニューロンの状態を完全情報として出力する
ものと理解することができる。これがニューラルネット
ワークモデルによる連想記憶の原理である。
の不完全情報が各ニューロンに入力されたとき、第３図
に示すように、各ニューロンの状態は、入力に最も類似
した記憶情報に自発的に集束し、最終的に安定状態に達
したときのニューロンの状態を完全情報として出力する
ものと理解することができる。これがニューラルネット
ワークモデルによる連想記憶の原理である。
ニューラルネットワークモデルの一つであるHopfield
モデルによって、連想記憶装置（連想メモリ）を実現し
た例を以下に示す。
モデルによって、連想記憶装置（連想メモリ）を実現し
た例を以下に示す。
４図は例えば、刊行物（電子情報通信学会光・量子エ
レクトロニクス研究会資料 OQE87−174（1988））に示
された、光技術を適用した従来の光連想メモリの構成図
である。
レクトロニクス研究会資料 OQE87−174（1988））に示
された、光技術を適用した従来の光連想メモリの構成図
である。
図において、（11a）、（11b）は発光素子アレイ、
（12a）、（12b）は光学マスク（空間光変調素子）、
（13a）、（13b）は受光素子アレイ、（14）は差動増幅
器、（15）は比較器、（16）は入力装置、（17）は出力
装置である。
（12a）、（12b）は光学マスク（空間光変調素子）、
（13a）、（13b）は受光素子アレイ、（14）は差動増幅
器、（15）は比較器、（16）は入力装置、（17）は出力
装置である。
次に動作について説明する。発光素子アレイ（11
a）、（11b）からの扇状の光を光学マスク（12a）、（1
2b）へ照射する。発光素子アレイ（11a）、（11b）の内
部状態は、各素子の状態を Xk（ｋ＝1,2……j,……i,……ｎ） で表し、それぞれの発光素子が点灯しているか消灯して
いるかに対応して、Xkを“1"と“0"とで表現すれば、発
光素子アレイ（11a）、（11b）の内部状態をベクトルＸ
として Ｘ＝（X1,X2,……Xi,……Xj,……Xn） で表現できる。ここで、ｎは発光素子アレイおよび受光
素子アレイそれぞれの発光素子数であり、このニューラ
ルネットワークのニューロン数に相当する。光学マスク
（12a）、（12b）はｎ×ｎの要素に分割されており、こ
の各要素の光透過率はそれぞれ独立に変化させることが
できるように構成されており、各要素の光透過率はマト
リクス Ｔ＝［Tij］ で表わされる。受光素子アレイ（13a）、（13b）の内部
状態は、ベクトルＸと同様に Ｕ＝（U1,U2,……Ui,……Uj,……Un） で表わされる。ｊ番目の発光素子で光学マスクのｊ行目
を照射し、光学マスクのｉ列目を透過した光をｉ番目の
受光素子で受けるとすると、ｉ番目の受光素子では なるベクトル・マトリクス乗算を行ったことに相当す
る。
a）、（11b）からの扇状の光を光学マスク（12a）、（1
2b）へ照射する。発光素子アレイ（11a）、（11b）の内
部状態は、各素子の状態を Xk（ｋ＝1,2……j,……i,……ｎ） で表し、それぞれの発光素子が点灯しているか消灯して
いるかに対応して、Xkを“1"と“0"とで表現すれば、発
光素子アレイ（11a）、（11b）の内部状態をベクトルＸ
として Ｘ＝（X1,X2,……Xi,……Xj,……Xn） で表現できる。ここで、ｎは発光素子アレイおよび受光
素子アレイそれぞれの発光素子数であり、このニューラ
ルネットワークのニューロン数に相当する。光学マスク
（12a）、（12b）はｎ×ｎの要素に分割されており、こ
の各要素の光透過率はそれぞれ独立に変化させることが
できるように構成されており、各要素の光透過率はマト
リクス Ｔ＝［Tij］ で表わされる。受光素子アレイ（13a）、（13b）の内部
状態は、ベクトルＸと同様に Ｕ＝（U1,U2,……Ui,……Uj,……Un） で表わされる。ｊ番目の発光素子で光学マスクのｊ行目
を照射し、光学マスクのｉ列目を透過した光をｉ番目の
受光素子で受けるとすると、ｉ番目の受光素子では なるベクトル・マトリクス乗算を行ったことに相当す
る。
ニューラルネットワークでは、各ニューロン間の結合
強度が情報の蓄積を担っているものとみなすことが出来
る。上記の構成においては、この結合強度を光学マスク
（12a）、（12b）のｎ×ｎの要素に分割された各要素の
透過率Ｔによって実現できる。すなわち、上記の構成に
おいては、光学マスク（12a）、（12b）の透過率Ｔが情
報を蓄積していることになる。情報蓄積規則は、ここで
説明しようとするHopfieldモデルにあっては、Ｎを蓄積
情報数として で与えられる。なお、 Tij＝Tji Tii＝０ とする。
強度が情報の蓄積を担っているものとみなすことが出来
る。上記の構成においては、この結合強度を光学マスク
（12a）、（12b）のｎ×ｎの要素に分割された各要素の
透過率Ｔによって実現できる。すなわち、上記の構成に
おいては、光学マスク（12a）、（12b）の透過率Ｔが情
報を蓄積していることになる。情報蓄積規則は、ここで
説明しようとするHopfieldモデルにあっては、Ｎを蓄積
情報数として で与えられる。なお、 Tij＝Tji Tii＝０ とする。
Tijは正の値も負の値も取り得るが、光学的には負の
値をとり扱うことが困難なため、この実施例では、第４
図に示すように、Tijの成分の正の値の要素Tijと負の値
の要素Tijとに対応させて、光学系を２系統作製し、受
光素子アレイ（13a）、（13b）のそれぞれの出力の差 を差動増幅器（14）によって得ている。この出力信号を
比較器（15）で閾値処理 Xi＝θ（ｙ） 但し、θ（ｙ）＝１（ｙ＞０）,0（ｙ≦０） を行った後、発光素子アレイ（11a）、（11b）にフィー
ドバックしている。
値をとり扱うことが困難なため、この実施例では、第４
図に示すように、Tijの成分の正の値の要素Tijと負の値
の要素Tijとに対応させて、光学系を２系統作製し、受
光素子アレイ（13a）、（13b）のそれぞれの出力の差 を差動増幅器（14）によって得ている。この出力信号を
比較器（15）で閾値処理 Xi＝θ（ｙ） 但し、θ（ｙ）＝１（ｙ＞０）,0（ｙ≦０） を行った後、発光素子アレイ（11a）、（11b）にフィー
ドバックしている。
このようにすると、例えば光学マスク（12a）（12b）
にアルファベット「Ａ」、「Ｊ」、「Ｅ」に相当する３
種類の情報を蓄積しておけば、最初に入力装置（６）か
ら発光素子アレイ（11a）、（11b）に不完全な情報、例
えば「Ａ′」を入力しても、フィードバックを繰返すう
ちに、出力は入力情報「Ａ′」に最も近い蓄積情報
「Ａ」に集束して行き、最終的に出力装置（17）に完全
出力として「Ａ」を出力する。
にアルファベット「Ａ」、「Ｊ」、「Ｅ」に相当する３
種類の情報を蓄積しておけば、最初に入力装置（６）か
ら発光素子アレイ（11a）、（11b）に不完全な情報、例
えば「Ａ′」を入力しても、フィードバックを繰返すう
ちに、出力は入力情報「Ａ′」に最も近い蓄積情報
「Ａ」に集束して行き、最終的に出力装置（17）に完全
出力として「Ａ」を出力する。
このことを前述した言葉でいえば、系のエネルギーが
蓄積情報「Ａ」、「Ｊ」、「Ｅ」で極小値をとり、不完
全情報が与えられると、その近くのエネルギ極小値を取
るように、発光素子アレイ（11a）、（11b）の点滅状態
が変化することにより、系全体が自発的に変化して行く
ということである。これは人間の連想機能と類似の機能
である。
蓄積情報「Ａ」、「Ｊ」、「Ｅ」で極小値をとり、不完
全情報が与えられると、その近くのエネルギ極小値を取
るように、発光素子アレイ（11a）、（11b）の点滅状態
が変化することにより、系全体が自発的に変化して行く
ということである。これは人間の連想機能と類似の機能
である。
［発明が解決しようとする課題］ 従来の連想メモリは以上のように構成されているた
め、不適当な結果を連想しても、それを修正する機能は
有していない。すなわち、記憶しているデータのうちか
ら、入力と最も相関の高いパターンを連想しているにす
ぎず、人間の脳のような柔軟な思考に相当する動作は行
えず、汎用性に乏しいという問題があった。
め、不適当な結果を連想しても、それを修正する機能は
有していない。すなわち、記憶しているデータのうちか
ら、入力と最も相関の高いパターンを連想しているにす
ぎず、人間の脳のような柔軟な思考に相当する動作は行
えず、汎用性に乏しいという問題があった。
この発明は、以上のような問題点を解決するためにな
されたもので、人間の直感的思考と論理的思考に相当す
る動作を併せて行いながら、この２つの機能が互いが補
間しあうようにした知識情報処理装置を実現することを
目的とする。
されたもので、人間の直感的思考と論理的思考に相当す
る動作を併せて行いながら、この２つの機能が互いが補
間しあうようにした知識情報処理装置を実現することを
目的とする。
［課題を解決するための手段］ この発明に係る知識情報処理装置は、人間の直感的思
考に対応するニューラルネットワークの機能と、人間の
論理的な思考に対応する逐次処理型コンピュータの機能
とを有機的に組合わせたものである。
考に対応するニューラルネットワークの機能と、人間の
論理的な思考に対応する逐次処理型コンピュータの機能
とを有機的に組合わせたものである。
［作用］ この発明における知識情報処理装置は、あるパターン
情報が入力されると、直感に対応するパターンを連想
し、それを論理的な思考により修正できるという、人間
の脳に近い情報処理を行うことができ、より知的な情報
処理装置が実現できるものである。
情報が入力されると、直感に対応するパターンを連想
し、それを論理的な思考により修正できるという、人間
の脳に近い情報処理を行うことができ、より知的な情報
処理装置が実現できるものである。
［発明の実施例］ 以下この発明の実施例を図について説明する。
第１図はこの発明による知識情報処理装置の構成概念
図であり、第２図はこの知識情報処理装置のシステム構
成図である。
図であり、第２図はこの知識情報処理装置のシステム構
成図である。
図において、（１）はニューラルネットワークによる
連想メモリ、（２）は逐次処理型のコンピュータ、（2
a）は逐次処理型のコンピュータ（２）内に形成された
パターン認識手段、（2b）は同じく論理処理手段、（2
c）は同じく記憶手段、（３）は連想メモリ（１）への
入力パターンであり、連想メモリ（１）、パターン認識
手段（2a）、論理処理手段（2b）、記憶手段（2c）をそ
れぞれつなぐ矢印は情報の流れを示しており、（４）は
連想メモリ（１）の連想出力、（５）は連想メモリ
（１）への逐次処理型のコンピュータ（２）からのエネ
ルギ関数の補正情報と再連想の指令とからなるフィード
バック入力、（5a）は同じくパターン認識手段（2a）か
らのフィードバック入力、（5b）は同じくパターン認識
手段（2a）からのフイードバック入力、（6a）はパター
ン認識手段（2a）の処理出力、（6b）は同じく処理不能
出力、（７）は逐次処理型のコンピュータ（２）の処理
出力、（7a）は同じく最終処理出力、（7b）は同じく処
理不能出力である。
連想メモリ、（２）は逐次処理型のコンピュータ、（2
a）は逐次処理型のコンピュータ（２）内に形成された
パターン認識手段、（2b）は同じく論理処理手段、（2
c）は同じく記憶手段、（３）は連想メモリ（１）への
入力パターンであり、連想メモリ（１）、パターン認識
手段（2a）、論理処理手段（2b）、記憶手段（2c）をそ
れぞれつなぐ矢印は情報の流れを示しており、（４）は
連想メモリ（１）の連想出力、（５）は連想メモリ
（１）への逐次処理型のコンピュータ（２）からのエネ
ルギ関数の補正情報と再連想の指令とからなるフィード
バック入力、（5a）は同じくパターン認識手段（2a）か
らのフィードバック入力、（5b）は同じくパターン認識
手段（2a）からのフイードバック入力、（6a）はパター
ン認識手段（2a）の処理出力、（6b）は同じく処理不能
出力、（７）は逐次処理型のコンピュータ（２）の処理
出力、（7a）は同じく最終処理出力、（7b）は同じく処
理不能出力である。
以下動作について説明する。
第１図において、入力パターン（３）を連想メモリ
（１）で連想させ、その連想出力を（４）を逐次処理型
コンピュータ（２）によって評価する。この評価結果に
基づき、必要に応じて連想メモリ（１）を構成するニュ
ートラルネットワークのエネルギー関数に連想の拘束条
件を付加して、再連想の指令ととも連想メモリ（１）に
フィードバック入力（５）を与える。連想出力（４）が
集束するまで、この連想と評価とを繰返し行う。こうし
て得られた集束した連想出力（４）を逐次処理型コンピ
ュータ（２）のもつ知識と照合評価し、この照合評価に
基づいて必要に応じて、上記エネルギー関数に連想の拘
束条件を再び付加して、再連想の指令とともに連想メモ
リ（１）にフィードバックする。入力パターン（３）に
ついて再び連想、評価および照合評価を逐次処理型コン
ピュータ（２）のもつ知識と合致するまで繰返し実行さ
せ、逐次処理型コンピュータ（２）のもつ知識と合致し
た情報をこの知識情報処理装置の処理出力（７）とす
る。
（１）で連想させ、その連想出力を（４）を逐次処理型
コンピュータ（２）によって評価する。この評価結果に
基づき、必要に応じて連想メモリ（１）を構成するニュ
ートラルネットワークのエネルギー関数に連想の拘束条
件を付加して、再連想の指令ととも連想メモリ（１）に
フィードバック入力（５）を与える。連想出力（４）が
集束するまで、この連想と評価とを繰返し行う。こうし
て得られた集束した連想出力（４）を逐次処理型コンピ
ュータ（２）のもつ知識と照合評価し、この照合評価に
基づいて必要に応じて、上記エネルギー関数に連想の拘
束条件を再び付加して、再連想の指令とともに連想メモ
リ（１）にフィードバックする。入力パターン（３）に
ついて再び連想、評価および照合評価を逐次処理型コン
ピュータ（２）のもつ知識と合致するまで繰返し実行さ
せ、逐次処理型コンピュータ（２）のもつ知識と合致し
た情報をこの知識情報処理装置の処理出力（７）とす
る。
第２図において、文字認識の場合についてより詳細に
説明する。
説明する。
ここでは、連想メモリ（１）として、ニューラルネッ
トワークモデルの一つであるところの上述したHopfield
モデルを使用した場合について述べる。
トワークモデルの一つであるところの上述したHopfield
モデルを使用した場合について述べる。
ここで、入力文字パターンは、手書きの、あるいはノ
イズに埋れた文字列であるとする。
イズに埋れた文字列であるとする。
連想メモリ（１）にはアルファベットや各種の記号を
記憶しているものとする。また、パターン認識手段（2
a）には「Ａ」から「Ｚ」までのアルファベット文字や
記号のパターンが、また記憶手段（2c）には文字列情報
が格納されており、これらの文字列情報中には「CAT」
という文字列はあるが、「CAE」という文字列はないも
のとして説明する。
記憶しているものとする。また、パターン認識手段（2
a）には「Ａ」から「Ｚ」までのアルファベット文字や
記号のパターンが、また記憶手段（2c）には文字列情報
が格納されており、これらの文字列情報中には「CAT」
という文字列はあるが、「CAE」という文字列はないも
のとして説明する。
まず、「CAT」という３つ文字からなる入力文字パタ
ーン（３）を連想メモリ（１）に入力する。その結果、
連想メモリ（１）から「CA′Ｅ」という連想出力（５）
が得られたものとする。この連想出力（５）を、逐次処
理型コンピュータ（２）に入力して、パターン認識手段
（2b）によって正しい文字であるかどうかを評価する。
この場合「Ｃ」と「Ｅ」とはパターン認識情報（2a）の
もつ文字パターンと一致しており、連想メモリ（１）で
再び連想させる必要はないが、「Ａ′」についてはパタ
ーン認識手段（2a）のもっている文字のパターンと相違
するので、連想メモリ（１）を構成するニュートラルネ
ットワークのエネルギー関数を改善し、再び連想させ
る。この操作を「Ａ′」がパターン認識手段（2a）のも
つパターンと一致したと認識されるまで繰返す。この場
合，正しく「Ａ」と認識されたものとする。なお、パタ
ーン認識手段（2a）のもつパターンとの一致が一定回数
の再連想によっても得られない場合は、処理不能出力
（8b）が出力される。
ーン（３）を連想メモリ（１）に入力する。その結果、
連想メモリ（１）から「CA′Ｅ」という連想出力（５）
が得られたものとする。この連想出力（５）を、逐次処
理型コンピュータ（２）に入力して、パターン認識手段
（2b）によって正しい文字であるかどうかを評価する。
この場合「Ｃ」と「Ｅ」とはパターン認識情報（2a）の
もつ文字パターンと一致しており、連想メモリ（１）で
再び連想させる必要はないが、「Ａ′」についてはパタ
ーン認識手段（2a）のもっている文字のパターンと相違
するので、連想メモリ（１）を構成するニュートラルネ
ットワークのエネルギー関数を改善し、再び連想させ
る。この操作を「Ａ′」がパターン認識手段（2a）のも
つパターンと一致したと認識されるまで繰返す。この場
合，正しく「Ａ」と認識されたものとする。なお、パタ
ーン認識手段（2a）のもつパターンとの一致が一定回数
の再連想によっても得られない場合は、処理不能出力
（8b）が出力される。
次に、パターン認識手段（2a）の出力「CAE」という
文字列について、論理処理手段（2b）によって、記憶手
段（2c）に「CAE」という単語が存在するかどうか照合
評価する。この場合、「CAE」という単語が記憶手段（2
c）には存在しないので、再び連想メモリ（１）のエネ
ルギー関数を改善し、連想メモリ（１）によって入力文
字パターンを連想させる。この結果「CAT」というパタ
ーンが得られたとすれば、「CAT」という文字列は記憶
手段（2c）に存在するので、これを正しい結果であると
して最終処理出力（7a）として出力する。以上の各処理
の結果、連想出力（４）と記憶手段（2c）にある知識と
が合致しない場合は、処理不能出力（7b）が出力され
る。以上のように、文字パターンの連想、連想出力の評
価、再連想、文字列の照合評価、再連想という操作を繰
返すことにより、複雑でノイズに埋れた文字列、別の表
現でいえば複雑でノイズに埋れた単語でも、正しく認識
することができる。
文字列について、論理処理手段（2b）によって、記憶手
段（2c）に「CAE」という単語が存在するかどうか照合
評価する。この場合、「CAE」という単語が記憶手段（2
c）には存在しないので、再び連想メモリ（１）のエネ
ルギー関数を改善し、連想メモリ（１）によって入力文
字パターンを連想させる。この結果「CAT」というパタ
ーンが得られたとすれば、「CAT」という文字列は記憶
手段（2c）に存在するので、これを正しい結果であると
して最終処理出力（7a）として出力する。以上の各処理
の結果、連想出力（４）と記憶手段（2c）にある知識と
が合致しない場合は、処理不能出力（7b）が出力され
る。以上のように、文字パターンの連想、連想出力の評
価、再連想、文字列の照合評価、再連想という操作を繰
返すことにより、複雑でノイズに埋れた文字列、別の表
現でいえば複雑でノイズに埋れた単語でも、正しく認識
することができる。
以上のことも、もう少し定量的に説明する。Hopfield
モデルにおけるエネルギ関数Ｅは次式で表される。
モデルにおけるエネルギ関数Ｅは次式で表される。
ここで、Tijはｉ番目とｊ番目のニューロンの結合の
重み、Viはｉ番目のニューロンの状態、Iiはｉ番目のニ
ューロンに対する外部からの入力もしくは閾値レベルを
表す。
重み、Viはｉ番目のニューロンの状態、Iiはｉ番目のニ
ューロンに対する外部からの入力もしくは閾値レベルを
表す。
これに付加的な拘束条件を導入する。
この、Δｉは外部から変更可能な因子である。
いま、ｋ番目のニューロンに着目し、その状態が、 と変化するものとすれば、エネルギの変化ΔEkは次のよ
う表すことが出来る。
う表すことが出来る。
但し Tii＝０ TijViVj＝TjiVjVi である。
Δｋは例えば次のような値を取ればよい。
１）認識できないパターンV(a)に対して、ｃを定数とし
て Δｋ＝ｃ・V(a) ２）記憶手段（2c）中にないパターンV(p)に対して、 但し、 c(m)＝（V(p)V(m)）2/100 であり、 V(m)（ｍ＝1,2……Ｍ） は記憶手段（2c）に蓄えられているパターン、Ｍは記憶
手段（2c）中のパターン数である。
て Δｋ＝ｃ・V(a) ２）記憶手段（2c）中にないパターンV(p)に対して、 但し、 c(m)＝（V(p)V(m)）2/100 であり、 V(m)（ｍ＝1,2……Ｍ） は記憶手段（2c）に蓄えられているパターン、Ｍは記憶
手段（2c）中のパターン数である。
この拘束条件は、まちがったパターンのエネルギを高
くして、そのパターンが連想されにくくすることに相当
する。拘束条件の与え方はこれに限るものでない。例え
ば、正しいパターンが出現しやすくなるようなもの、あ
るいは両者を兼ね備えたもの、その他のものでもよい。
くして、そのパターンが連想されにくくすることに相当
する。拘束条件の与え方はこれに限るものでない。例え
ば、正しいパターンが出現しやすくなるようなもの、あ
るいは両者を兼ね備えたもの、その他のものでもよい。
また、上記実施例ではHopfieldモデルのニューラルネ
ットワークを連想メモリとして使用したものを示した
が、適当なエネルギ関数を定義することによって、パッ
クプロパゲーション学習則などによる多層構造のニュー
ラルネットワークや、ポルツマンマシンのような他のニ
ューラルモデルを用いることができる。
ットワークを連想メモリとして使用したものを示した
が、適当なエネルギ関数を定義することによって、パッ
クプロパゲーション学習則などによる多層構造のニュー
ラルネットワークや、ポルツマンマシンのような他のニ
ューラルモデルを用いることができる。
さらに連想メモリとして、光ニューラルネットワーク
やSi−LSIによって実現されたニューラルネットワーク
を用いることも可能である。もちろん逐次処理型コンピ
ュータを用いたシミュレーションによる連想メモリであ
ってもよい。
やSi−LSIによって実現されたニューラルネットワーク
を用いることも可能である。もちろん逐次処理型コンピ
ュータを用いたシミュレーションによる連想メモリであ
ってもよい。
また上記実施例では、知的情報処理の対象として文字
認識について示したが、音声認識や画像等のパターン認
識にも適用できることはいうまでもない。
認識について示したが、音声認識や画像等のパターン認
識にも適用できることはいうまでもない。
以上のように、この発明によればニューラルネットワ
ークによる連想メモリと逐次処理型コンピュータのそれ
ぞれの機能を有機的に結合させたので、連想メモリと逐
次処理型コンピュータが互いに相手側の機能の欠点を補
い、人間の脳のように柔軟な知的情報処理を行う装置が
実現できるという効果がある。
ークによる連想メモリと逐次処理型コンピュータのそれ
ぞれの機能を有機的に結合させたので、連想メモリと逐
次処理型コンピュータが互いに相手側の機能の欠点を補
い、人間の脳のように柔軟な知的情報処理を行う装置が
実現できるという効果がある。
第１図は、この発明による知識情報処理装置の構成概念
図、第２図は、同じく知識情報処理装置のシステム構成
図、第３図は、ニューラルネットワークの動作説明図、
第４図は、従来の連想メモリの構成図である。 図において、（１）は連想メモリ、（２）は逐次処理型
のコンピュータ、（2a）はパターン認識手段、（2b）は
論理処理手段、（2c）は記憶手段、（３）は入力パター
ン、（４）は連想出力、（５）は連想メモリ（１）への
フィードバック入力、（６）は逐次処理型のコンピュー
タの出力である。 なお、図中、同一符号は同一、または相当部分を表す。
図、第２図は、同じく知識情報処理装置のシステム構成
図、第３図は、ニューラルネットワークの動作説明図、
第４図は、従来の連想メモリの構成図である。 図において、（１）は連想メモリ、（２）は逐次処理型
のコンピュータ、（2a）はパターン認識手段、（2b）は
論理処理手段、（2c）は記憶手段、（３）は入力パター
ン、（４）は連想出力、（５）は連想メモリ（１）への
フィードバック入力、（６）は逐次処理型のコンピュー
タの出力である。 なお、図中、同一符号は同一、または相当部分を表す。
フロントページの続き (72)発明者 追田 真也 兵庫県尼崎市塚口本町８丁目１番１号 三菱電機株式会社中央研究所内 (72)発明者 大山 永昭 神奈川県川崎市川崎区観音２―３―９ (72)発明者 山口 雅浩 東京都世田谷区鎌田４―１―３ カノー プス502号 (58)調査した分野(Int.Cl.6，ＤＢ名) G06F 15/18 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (1)
- 【請求項１】連想メモリと逐次処理型コンピュータとで
構成された情報処理装置において、入力パターン情報を
上記連想メモリで連想させ、この連想出力を上記逐次処
理型コンピュータによるパターン認識機能により評価
し、この評価結果に基づいて、必要に応じて上記連想メ
モリを構成するニューラルネットワークのエネルギー関
数に連想の拘束条件を付加して、上記連想および上記評
価を繰返し行い連想出力を集束させ、この集束した連想
出力を上記逐次処理型コンピュータの有する知識と照合
評価し、この照合評価に基づいて、必要に応じて上記エ
ネルギ関数に連想の拘束条件を再度付加して、上記入力
パターン情報について再度上記連想、上記評価および上
記照合評価を繰返し実行させるように構成したことを特
徴とする知識情報処理装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2259332A JP2760145B2 (ja) | 1990-09-26 | 1990-09-26 | 知識情報処理装置 |
| US07/744,991 US5257343A (en) | 1990-09-26 | 1991-08-14 | Intelligence information processing system |
| DE4129561A DE4129561C2 (de) | 1990-09-26 | 1991-09-03 | Informationsverarbeitungssystem |
| US08/056,055 US5479569A (en) | 1990-09-26 | 1993-04-30 | Intelligence information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2259332A JP2760145B2 (ja) | 1990-09-26 | 1990-09-26 | 知識情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04134556A JPH04134556A (ja) | 1992-05-08 |
| JP2760145B2 true JP2760145B2 (ja) | 1998-05-28 |
Family
ID=17332630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2259332A Expired - Fee Related JP2760145B2 (ja) | 1990-09-26 | 1990-09-26 | 知識情報処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US5257343A (ja) |
| JP (1) | JP2760145B2 (ja) |
| DE (1) | DE4129561C2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3171897B2 (ja) * | 1992-01-07 | 2001-06-04 | 三菱電機株式会社 | 知識情報処理装置 |
| JP3364242B2 (ja) * | 1992-07-03 | 2003-01-08 | 株式会社東芝 | 人工的神経回路網のリンク学習装置 |
| JP3037432B2 (ja) * | 1993-11-01 | 2000-04-24 | カドラックス・インク | 光波オーブンによる食物調理方法および調理装置 |
| US5579440A (en) * | 1993-11-22 | 1996-11-26 | Brown; Robert A. | Machine that learns what it actually does |
| US5608843A (en) * | 1994-08-01 | 1997-03-04 | The United States Of America As Represented By The Secretary Of The Air Force | Learning controller with advantage updating algorithm |
| US5946673A (en) * | 1996-07-12 | 1999-08-31 | Francone; Frank D. | Computer implemented machine learning and control system |
| FI103304B (fi) * | 1997-03-26 | 1999-05-31 | Nokia Oy Ab | Assosiatiivinen neuroni |
| US6917925B2 (en) * | 2001-03-30 | 2005-07-12 | Intelligent Inference Systems Corporation | Convergent actor critic-based fuzzy reinforcement learning apparatus and method |
| US6662091B2 (en) | 2001-06-29 | 2003-12-09 | Battelle Memorial Institute | Diagnostics/prognostics using wireless links |
| CA2452376A1 (en) | 2001-07-02 | 2003-01-16 | Battelle Memorial Institute | Intelligent microsensor module |
| US7577631B2 (en) * | 2001-09-10 | 2009-08-18 | Feldhake Michael J | Cognitive image filtering |
| US10417554B2 (en) * | 2014-05-22 | 2019-09-17 | Lee J. Scheffler | Methods and systems for neural and cognitive processing |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4937873A (en) * | 1985-03-18 | 1990-06-26 | Massachusetts Institute Of Technology | Computationally efficient sine wave synthesis for acoustic waveform processing |
| US4773024A (en) * | 1986-06-03 | 1988-09-20 | Synaptics, Inc. | Brain emulation circuit with reduced confusion |
| US4885757A (en) * | 1987-06-01 | 1989-12-05 | Texas Instruments Incorporated | Digital adaptive receiver employing maximum-likelihood sequence estimation with neural networks |
| US4807168A (en) * | 1987-06-10 | 1989-02-21 | The United States Of America As Represented By The Administrator, National Aeronautics And Space Administration | Hybrid analog-digital associative neural network |
| US4906940A (en) * | 1987-08-24 | 1990-03-06 | Science Applications International Corporation | Process and apparatus for the automatic detection and extraction of features in images and displays |
| FR2625347B1 (fr) * | 1987-12-23 | 1990-05-04 | Labo Electronique Physique | Structure de reseau de neurones et circuit et arrangement de reseaux de neurones |
| US5153923A (en) * | 1988-03-25 | 1992-10-06 | Hitachi, Ltd. | High order information processing method by means of a neural network and minimum and maximum searching method therefor |
| GB2220780B (en) * | 1988-07-05 | 1992-12-23 | Mitsubishi Electric Corp | Neurocomputer |
| US5129058A (en) * | 1988-07-06 | 1992-07-07 | Ricoh Company, Ltd. | Parallel optical image processing system |
| JP2764277B2 (ja) * | 1988-09-07 | 1998-06-11 | 株式会社日立製作所 | 音声認識装置 |
| US4933872A (en) * | 1988-11-15 | 1990-06-12 | Eastman Kodak Company | Method and system for wavefront reconstruction |
| US4941122A (en) * | 1989-01-12 | 1990-07-10 | Recognition Equipment Incorp. | Neural network image processing system |
| JP2679738B2 (ja) * | 1989-03-01 | 1997-11-19 | 富士通株式会社 | ニューロコンピュータにおける学習処理方式 |
| US4945494A (en) * | 1989-03-02 | 1990-07-31 | Texas Instruments Incorporated | Neural network and system |
| JP2752442B2 (ja) * | 1989-06-28 | 1998-05-18 | 三菱電機株式会社 | 視覚情報処理素子 |
| US5067164A (en) * | 1989-11-30 | 1991-11-19 | At&T Bell Laboratories | Hierarchical constrained automatic learning neural network for character recognition |
| US5048097A (en) * | 1990-02-02 | 1991-09-10 | Eastman Kodak Company | Optical character recognition neural network system for machine-printed characters |
| US5129041A (en) * | 1990-06-08 | 1992-07-07 | Grumman Aerospace Corporation | Optical neural network processing element with multiple holographic element interconnects |
-
1990
- 1990-09-26 JP JP2259332A patent/JP2760145B2/ja not_active Expired - Fee Related
-
1991
- 1991-08-14 US US07/744,991 patent/US5257343A/en not_active Expired - Lifetime
- 1991-09-03 DE DE4129561A patent/DE4129561C2/de not_active Expired - Fee Related
-
1993
- 1993-04-30 US US08/056,055 patent/US5479569A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE4129561C2 (de) | 1995-08-10 |
| US5479569A (en) | 1995-12-26 |
| US5257343A (en) | 1993-10-26 |
| JPH04134556A (ja) | 1992-05-08 |
| DE4129561A1 (de) | 1992-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Trischler et al. | Synthesis of recurrent neural networks for dynamical system simulation | |
| Skapura | Building neural networks | |
| JP2760145B2 (ja) | 知識情報処理装置 | |
| Hung et al. | Training neural networks with the GRG2 nonlinear optimizer | |
| Basak et al. | A connectionist model for category perception: theory and implementation | |
| JP3171897B2 (ja) | 知識情報処理装置 | |
| JPH0520294A (ja) | ニユーラルネツトワーク型情報処理装置 | |
| US20230116148A1 (en) | Method and system for multimodal classification based on brain-inspired unsupervised learning | |
| Markert et al. | Detecting sequences and understanding language with neural associative memories and cell assemblies | |
| Gruodis | Realizations of the Artificial Neural Network for Process Modeling. Overview of Current Implementations | |
| JPH02165285A (ja) | パターン認識装置 | |
| Dagli et al. | Basic artificial neural network architectures | |
| Šorel et al. | Robust RBF finite automata | |
| Боброва et al. | Introduction to neural networks and deep learning | |
| Wang | Multilayer neural networks | |
| Shetty | A Study on Artificial Neural Network Using IoT | |
| Takano et al. | Incremental statistical learning for integrating motion primitives and language in humanoid robots | |
| Taylor et al. | Validation of neural networks via taxonomic evaluation | |
| Dube | Images and Sequences | |
| Vávra | Artificial neural networks | |
| Huang | Interpretations of Deep Learning by Forests and Haar Wavelets | |
| Castillo et al. | Introduction to Neural Networks | |
| Mizutani et al. | On-line hidden-node teaching for maintaining rules' interpretability in CANFIS neuro-fuzzy modeling | |
| Panda | Learning and Design Methodologies for Efficient, Robust Neural Networks | |
| Li et al. | Fuzzy multi-objective sparse feature learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080320 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090320 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |