JPH0535878A - ニユーラルネツトワーク - Google Patents
ニユーラルネツトワークInfo
- Publication number
- JPH0535878A JPH0535878A JP3209790A JP20979091A JPH0535878A JP H0535878 A JPH0535878 A JP H0535878A JP 3209790 A JP3209790 A JP 3209790A JP 20979091 A JP20979091 A JP 20979091A JP H0535878 A JPH0535878 A JP H0535878A
- Authority
- JP
- Japan
- Prior art keywords
- network
- pattern
- standard
- input pattern
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
(57)【要約】
【目的】 標準パターンに対してシフトした入力パター
ンのマッチングを行う。 【構成】 標準パターン連想記憶ネットワーク１２に複
数の標準パターンを記憶させる。入力パターンネットワ
ーク１１に標準パターンに対してシフトした入力パター
ンを入力する。座標対応ネットワーク１４には、入力パ
ターンが標準パターンに対してシフトした場合における
制約条件を記憶させる。連合ネットワーク１３において
は、各ネットワーク１１，１２，１４からの信号に対応
して入力パターンと標準パターンが正しくマッチングし
た場合に、各ユニットが最も強く活性化されるように重
みおよびバイアスが決定されている。
ンのマッチングを行う。 【構成】 標準パターン連想記憶ネットワーク１２に複
数の標準パターンを記憶させる。入力パターンネットワ
ーク１１に標準パターンに対してシフトした入力パター
ンを入力する。座標対応ネットワーク１４には、入力パ
ターンが標準パターンに対してシフトした場合における
制約条件を記憶させる。連合ネットワーク１３において
は、各ネットワーク１１，１２，１４からの信号に対応
して入力パターンと標準パターンが正しくマッチングし
た場合に、各ユニットが最も強く活性化されるように重
みおよびバイアスが決定されている。
Description
【０００１】
【産業上の利用分野】本発明は、生物の神経細胞網を情
報処理に応用したニューラルネットワークに関する。
報処理に応用したニューラルネットワークに関する。
【０００２】
【従来の技術】連想記憶型ニューラルネットワークは、
画像あるいは音声などのデータのパターンマッチングに
用いられている。図２０は、文字Ａのパターンマッチン
グを行う場合を模式的に示している。同図（ａ）に示す
ように、文字Ａの一部にノイズが重畳した状態で入力パ
ターンが入力されたとしても、ニューラルネットワーク
はこの入力パターンに対応する標準パターンを想起す
る。即ち、入力パターンがノイズなどにより若干欠落し
たパターンになっていた場合においても、正しい標準パ
ターンを認識することができる。即ち、連想記憶型ニュ
ーラルネットワークは、部分入力パターンのみからの照
合能力に優れ、ノイズに対するロバスト性といった利点
を有している。
画像あるいは音声などのデータのパターンマッチングに
用いられている。図２０は、文字Ａのパターンマッチン
グを行う場合を模式的に示している。同図（ａ）に示す
ように、文字Ａの一部にノイズが重畳した状態で入力パ
ターンが入力されたとしても、ニューラルネットワーク
はこの入力パターンに対応する標準パターンを想起す
る。即ち、入力パターンがノイズなどにより若干欠落し
たパターンになっていた場合においても、正しい標準パ
ターンを認識することができる。即ち、連想記憶型ニュ
ーラルネットワークは、部分入力パターンのみからの照
合能力に優れ、ノイズに対するロバスト性といった利点
を有している。
【０００３】
【発明が解決しようとする課題】しかしながら従来のニ
ューラルネットワークは、例えば図２０（ｂ）に示すよ
うに、標準パターンと同一の入力パターンが入力された
としても、その位置が標準の位置からずれているような
場合においては、標準パターンを想起することができな
い課題があった。
ューラルネットワークは、例えば図２０（ｂ）に示すよ
うに、標準パターンと同一の入力パターンが入力された
としても、その位置が標準の位置からずれているような
場合においては、標準パターンを想起することができな
い課題があった。
【０００４】本発明はこのような状況に鑑みてなされた
ものであり、入力パターンの位置ずれを許容することが
できるようにするものである。
ものであり、入力パターンの位置ずれを許容することが
できるようにするものである。
【０００５】
【課題を解決するための手段】請求項１に記載のニュー
ラルネットワークは、１つ以上の標準パターンが記憶さ
れている標準パターン連想記憶ネットワーク１２と、所
定の入力パターンが入力される入力パターンネットワー
ク１１と、所定の制約条件を記憶する座標対応ネットワ
ーク１４と、上記３つのネットワークからの信号が入力
され、入力パターンと標準パターンとのマッチング状態
に対応して活性化する連合ネットワーク１３とを備える
ことを特徴とする。
ラルネットワークは、１つ以上の標準パターンが記憶さ
れている標準パターン連想記憶ネットワーク１２と、所
定の入力パターンが入力される入力パターンネットワー
ク１１と、所定の制約条件を記憶する座標対応ネットワ
ーク１４と、上記３つのネットワークからの信号が入力
され、入力パターンと標準パターンとのマッチング状態
に対応して活性化する連合ネットワーク１３とを備える
ことを特徴とする。
【０００６】また、請求項２に記載のニューラルネット
ワークは、座標対応ネットワーク１４における制約条件
がマッチングの曲がりを容認するように設定されている
ことを特徴とする。
ワークは、座標対応ネットワーク１４における制約条件
がマッチングの曲がりを容認するように設定されている
ことを特徴とする。
【０００７】
【作用】請求項１に記載のニューラルネットワークにお
いては、標準パターン連想記憶ネットワーク１２、入力
パターンネットワーク１１、および座標対応ネットワー
ク１４からの信号に対応して連合ネットワーク１３にお
けるマッチング状態が活性化する。従って、入力パター
ンが標準パターンから位置ずれしているような場合にお
いても、標準パターンを想起することが可能になる。
いては、標準パターン連想記憶ネットワーク１２、入力
パターンネットワーク１１、および座標対応ネットワー
ク１４からの信号に対応して連合ネットワーク１３にお
けるマッチング状態が活性化する。従って、入力パター
ンが標準パターンから位置ずれしているような場合にお
いても、標準パターンを想起することが可能になる。
【０００８】また、請求項２に記載のニューラルネット
ワークにおいては、座標対応ネットワーク１４における
制約条件がマッチングの曲がりを容認するように設定さ
れている。従って、入力パターンが非線形に伸縮されて
いるような場合においても、標準パターンの想起が可能
になる。
ワークにおいては、座標対応ネットワーク１４における
制約条件がマッチングの曲がりを容認するように設定さ
れている。従って、入力パターンが非線形に伸縮されて
いるような場合においても、標準パターンの想起が可能
になる。
【０００９】
１．シフトパターンの標準パターンへの照合
はじめに、簡単な１次元パターンの例を用いて、処理す
べき内容について説明する。いま、次のような３つの標
準記号列のパターンが記憶されているものとする。 パターン１ ａａｂｃｄ パターン２ ａｃｂｄｄ パターン３ ａｄｄｃｂ
べき内容について説明する。いま、次のような３つの標
準記号列のパターンが記憶されているものとする。 パターン１ ａａｂｃｄ パターン２ ａｃｂｄｄ パターン３ ａｄｄｃｂ
【００１０】入力パターンは、これらの標準パターンの
記号列をシフトした形で与えられる。このシフトされた
入力パターンをオリジナルの（シフトしていない）標準
パターンと照合することができれば、入力パターンから
標準パターンを想起することができることになる。
記号列をシフトした形で与えられる。このシフトされた
入力パターンをオリジナルの（シフトしていない）標準
パターンと照合することができれば、入力パターンから
標準パターンを想起することができることになる。
【００１１】いま、例えば“ｃｄａａｂ”を標準パター
ン１と、また“ｃｂｄｄａ”を標準パターン２と照合す
る。シフトされた入力パターンの座標系と標準パターン
の座標系の間には、制約関係が存在する。
ン１と、また“ｃｂｄｄａ”を標準パターン２と照合す
る。シフトされた入力パターンの座標系と標準パターン
の座標系の間には、制約関係が存在する。
【００１２】即ち、入力パターン“ｃｄａａｂ”と標準
パターン１の座標系との対応関係は、図２（ａ）に示す
ようになり、また、入力パターン“ｃｂｄｄａ”と標準
パターン２の座標系の対応関係は、図２（ｂ）に示すよ
うになる。
パターン１の座標系との対応関係は、図２（ａ）に示す
ようになり、また、入力パターン“ｃｂｄｄａ”と標準
パターン２の座標系の対応関係は、図２（ｂ）に示すよ
うになる。
【００１３】図２に示したノードマトリックスにおい
て、対応するノードａ（ｉ，ｊ）のｉ（入力パターン座
標）とｊ（標準パターン座標）の関係は、入力パターン
のシフト量ｓを用いて次のように表すことができる。 （１）ｉ＝ｊ＋ｓ（ｊ＋ｓ≦ｍ） ＝ｊ＋ｓ−ｍ（ｊ＋ｓ＞ｍ） ここで、ｍは記号列の長さを示している。
て、対応するノードａ（ｉ，ｊ）のｉ（入力パターン座
標）とｊ（標準パターン座標）の関係は、入力パターン
のシフト量ｓを用いて次のように表すことができる。 （１）ｉ＝ｊ＋ｓ（ｊ＋ｓ≦ｍ） ＝ｊ＋ｓ−ｍ（ｊ＋ｓ＞ｍ） ここで、ｍは記号列の長さを示している。
【００１４】上記制約関係は、次の制約関係と等価であ
る。
る。
【００１５】（２）即ち、ノードａ（ｉ，ｊ）が対応す
るノードであれば、ａ（ｓｈｉｆｔ（ｉ），ｓｈｉｆｔ
（ｊ））も対応するノードである。 但し、ｓｈｉｆｔ（ｉ）＝ｉ＋１（ｉ＋１≦ｍ） ＝１（ｉ＋１＞ｍ）
るノードであれば、ａ（ｓｈｉｆｔ（ｉ），ｓｈｉｆｔ
（ｊ））も対応するノードである。 但し、ｓｈｉｆｔ（ｉ）＝ｉ＋１（ｉ＋１≦ｍ） ＝１（ｉ＋１＞ｍ）
【００１６】あるシフトされた入力パターンが与えられ
た場合、それがどの標準パターンと照合するかという問
題は、各標準パターンとの対応ノードマトリックスを作
っていき、上記した制約を満たすような標準パターンを
見つけることに等しい。この考え方は、次元を拡張した
場合にも適用することができる。例えば２次元画像情報
についてのｘ，ｙ方向のシフトについては、ｘ方向とｙ
方向の対応マトリックスを作成し、それらに上記した制
約を付加するようにすればよい。
た場合、それがどの標準パターンと照合するかという問
題は、各標準パターンとの対応ノードマトリックスを作
っていき、上記した制約を満たすような標準パターンを
見つけることに等しい。この考え方は、次元を拡張した
場合にも適用することができる。例えば２次元画像情報
についてのｘ，ｙ方向のシフトについては、ｘ方向とｙ
方向の対応マトリックスを作成し、それらに上記した制
約を付加するようにすればよい。
【００１７】２．ニューラルネットワークでの解法
図１は、このような条件を満足する本発明のニューラル
ネットワークの一実施例の構成を示すブロック図であ
る。この実施例においては、ニューラルネットワーク１
が入力パターンネットワーク１１、標準パターン連想記
憶ネットワーク１２、連合ネットワーク１３および座標
対応ネットワーク１４により構成されている。各ネット
ワークの重みあるいはバイアスは、コントローラ２によ
り設定されるようになされている。
ネットワークの一実施例の構成を示すブロック図であ
る。この実施例においては、ニューラルネットワーク１
が入力パターンネットワーク１１、標準パターン連想記
憶ネットワーク１２、連合ネットワーク１３および座標
対応ネットワーク１４により構成されている。各ネット
ワークの重みあるいはバイアスは、コントローラ２によ
り設定されるようになされている。
【００１８】入力パターンネットワーク１１には、所定
の入力パターンが入力される。標準パターン連想記憶ネ
ットワーク１２には、照合する複数の標準パターンが記
憶される。座標対応ネットワーク１４には後述する制約
条件が記憶される。これらの記憶は、相互結合ネットワ
ークの結合重みやバイアスを所定の値に設定することに
より行われる。連合ネットワーク１３においては、上記
した３つのネットワークからの信号が連合され、入力パ
ターンと標準パターンが正しくマッチングした場合に、
連合ネットワーク１３の対応する各ユニットが最も強く
活性化するように重みやバイアスが決定されている。即
ち、各モジュールネットワーク１１乃至１４は各制約を
役割分担し、エネルギー最小化の過程を通してエネルギ
ーが最小になったとき、即ち、すべての制約が満足され
たときパターンマッチングを完了する。このとき、入力
パターンに照合する標準パターンが標準パターン連想記
憶ネットワーク１２に想起されることになる。
の入力パターンが入力される。標準パターン連想記憶ネ
ットワーク１２には、照合する複数の標準パターンが記
憶される。座標対応ネットワーク１４には後述する制約
条件が記憶される。これらの記憶は、相互結合ネットワ
ークの結合重みやバイアスを所定の値に設定することに
より行われる。連合ネットワーク１３においては、上記
した３つのネットワークからの信号が連合され、入力パ
ターンと標準パターンが正しくマッチングした場合に、
連合ネットワーク１３の対応する各ユニットが最も強く
活性化するように重みやバイアスが決定されている。即
ち、各モジュールネットワーク１１乃至１４は各制約を
役割分担し、エネルギー最小化の過程を通してエネルギ
ーが最小になったとき、即ち、すべての制約が満足され
たときパターンマッチングを完了する。このとき、入力
パターンに照合する標準パターンが標準パターン連想記
憶ネットワーク１２に想起されることになる。
【００１９】３．座標対応ネットワーク
座標対応ネットワーク１４は、入力パターンをシフトす
る方向の次元の数だけ必要である。例えば音声認識など
時間方向のシフトのみを考える場合は、時間方向の座標
対応ネットワークが１つだけあればよい。文字認識など
ｘ方向とｙ方向のずれを考える場合、ｘ方向とｙ方向の
２方向の座標対応ネットワークが必要となる。
る方向の次元の数だけ必要である。例えば音声認識など
時間方向のシフトのみを考える場合は、時間方向の座標
対応ネットワークが１つだけあればよい。文字認識など
ｘ方向とｙ方向のずれを考える場合、ｘ方向とｙ方向の
２方向の座標対応ネットワークが必要となる。
【００２０】いま、ある座標軸ｘについての座標対応ネ
ットワークを考える。ｘ方向をｍ個に量子化すると、ネ
ットワークはｍ×ｍ個のユニット数を持つ。ユニットを
図３に示すようにマトリックス状に並べる。ここでｘは
入力座標を、ｘ'は標準記憶座標を表している。
ットワークを考える。ｘ方向をｍ個に量子化すると、ネ
ットワークはｍ×ｍ個のユニット数を持つ。ユニットを
図３に示すようにマトリックス状に並べる。ここでｘは
入力座標を、ｘ'は標準記憶座標を表している。
【００２１】さて、このネットワークにおいて、各ユニ
ットの発火（図４、図５等において黒丸印で示す）の状
態が座標の対応関係を示すものとすると、上記（１），
（２）に示した制約は、例えば次のような結合重みを設
定することでネットワークに埋め込むことが可能であ
る。
ットの発火（図４、図５等において黒丸印で示す）の状
態が座標の対応関係を示すものとすると、上記（１），
（２）に示した制約は、例えば次のような結合重みを設
定することでネットワークに埋め込むことが可能であ
る。
【数１】
【００２２】また、各ユニットには所定の同じ大きさの
バイアスを付加する。
バイアスを付加する。
【００２３】数１について、Ｕｎｉｔ（ｉ，ｊ）に注目
し、その結合関係を示すと、図４のようになる。ここで
正結合とは、その結合が行われるとエネルギーが小さく
なる結合をいい、負結合とは、その結合が行われるとエ
ネルギーが大きくなる結合をいう。これにより、同一の
行または列においては発火点が１個となり、また、発火
点が対角線方向に配列し易くなる（このとき、ネットワ
ークのエネルギーが小さくなる）。このような結合をネ
ットワークに与えて、例えば通常のホップフィールドネ
ットの時間発展方程式に従い、ユニットの発火状態の安
定状態を求めると、図５に示すような座標系のシフトの
許容を表す発火状態が得られる。図５（ｂ）はシフト量
が０でマッチングしている状態を表し、図５（ａ）はシ
フト量が１ドットの状態でマッチングしている状態を表
している。
し、その結合関係を示すと、図４のようになる。ここで
正結合とは、その結合が行われるとエネルギーが小さく
なる結合をいい、負結合とは、その結合が行われるとエ
ネルギーが大きくなる結合をいう。これにより、同一の
行または列においては発火点が１個となり、また、発火
点が対角線方向に配列し易くなる（このとき、ネットワ
ークのエネルギーが小さくなる）。このような結合をネ
ットワークに与えて、例えば通常のホップフィールドネ
ットの時間発展方程式に従い、ユニットの発火状態の安
定状態を求めると、図５に示すような座標系のシフトの
許容を表す発火状態が得られる。図５（ｂ）はシフト量
が０でマッチングしている状態を表し、図５（ａ）はシ
フト量が１ドットの状態でマッチングしている状態を表
している。
【００２４】以後、ｉ座標軸の入力パターン座標系のｘ
番目、標準記憶座標系のｘ'番目に対応するユニットを
Ｕｎｉｔ［ｘ，ｘ'，ｉ］でインデックスする。
番目、標準記憶座標系のｘ'番目に対応するユニットを
Ｕｎｉｔ［ｘ，ｘ'，ｉ］でインデックスする。
【００２５】４．標準パターン連想記憶ネットワーク
標準パターン連想記憶ネットワーク１２には、座標のシ
フトに関係しない標準パターンを記憶させる。ネットワ
ークの基本的構造は従来の連想記憶ネットワークのそれ
と同じである。
フトに関係しない標準パターンを記憶させる。ネットワ
ークの基本的構造は従来の連想記憶ネットワークのそれ
と同じである。
【００２６】座標がｎ次元であり、各軸ｉの方向にｍi
個に量子化されるものとし、また、座標上の情報が０と
１のｐ次元ベクトルで表されるものとする。このとき、
ネットワークは、ｍ1・ｍ2・…ｍn・ｐの個数のユニッ
トにより構成される。ｉ座標軸のｘ番目をｘiで、ま
た、ベクトル表現される情報をｋでインデックスすると
き、座標上の［ｘ1，…ｘn］の点のｋ番目の情報はＵｎ
ｉｔ［ｘ1，…ｘn，ｋ］の値で表現されるものとする。
個に量子化されるものとし、また、座標上の情報が０と
１のｐ次元ベクトルで表されるものとする。このとき、
ネットワークは、ｍ1・ｍ2・…ｍn・ｐの個数のユニッ
トにより構成される。ｉ座標軸のｘ番目をｘiで、ま
た、ベクトル表現される情報をｋでインデックスすると
き、座標上の［ｘ1，…ｘn］の点のｋ番目の情報はＵｎ
ｉｔ［ｘ1，…ｘn，ｋ］の値で表現されるものとする。
【００２７】例として、｛ａ，ｂ，ｃ，ｄ｝の４種の文
字のいずれかが６つ並んだ単語（文字列）を考える。こ
のとき座標は１次元であり、ｐ＝４，ｍ1＝６となる。
単語“ａ，ｂ，ｂ，ｃ，ｄ，ｄ”は図６に示すように、
ネットワーク上でＵｎｉｔ［１，１］，Ｕｎｉｔ［２，
２］，Ｕｎｉｔ［３，２］，Ｕｎｉｔ［４，３］，Ｕｎ
ｉｔ［５，４］，Ｕｎｉｔ［６，４］が１（発火）とな
り、残りのユニットは０（非発火）となる。
字のいずれかが６つ並んだ単語（文字列）を考える。こ
のとき座標は１次元であり、ｐ＝４，ｍ1＝６となる。
単語“ａ，ｂ，ｂ，ｃ，ｄ，ｄ”は図６に示すように、
ネットワーク上でＵｎｉｔ［１，１］，Ｕｎｉｔ［２，
２］，Ｕｎｉｔ［３，２］，Ｕｎｉｔ［４，３］，Ｕｎ
ｉｔ［５，４］，Ｕｎｉｔ［６，４］が１（発火）とな
り、残りのユニットは０（非発火）となる。
【００２８】別の例として、２次元平面のドットパター
ンを考える。６×６のドットパターンではｍ1＝６，ｍ2
＝６，ｐ＝１となり、ネットワーク上では図７（文字Ａ
を表している）に示すような発火状態で表される。
ンを考える。６×６のドットパターンではｍ1＝６，ｍ2
＝６，ｐ＝１となり、ネットワーク上では図７（文字Ａ
を表している）に示すような発火状態で表される。
【００２９】図７の例について、ドットパターンの代わ
りにエッジの４つの方向（水平、垂直、右４５度および
左４５度の各方向）を記号素として表現すると、ｐ＝４
となり、図８に示すようになる。図８において、４つの
層は４つの方向にそれぞれ対応している。
りにエッジの４つの方向（水平、垂直、右４５度および
左４５度の各方向）を記号素として表現すると、ｐ＝４
となり、図８に示すようになる。図８において、４つの
層は４つの方向にそれぞれ対応している。
【００３０】標準パターンは１個だけでなく、複数個を
ネットワーク１２内に通常の相関学習により埋め込むこ
とが可能である。相関学習による結合重み、およびバイ
アスの決定は、通常、以下の式に従う。
ネットワーク１２内に通常の相関学習により埋め込むこ
とが可能である。相関学習による結合重み、およびバイ
アスの決定は、通常、以下の式に従う。
【数２】
【００３１】また、記憶させるパターン数が多い場合
は、隠れユニットを持つボルツマン型ネットワークに上
記した場合と同様にパターンを埋め込むことも有効と考
えられる。
は、隠れユニットを持つボルツマン型ネットワークに上
記した場合と同様にパターンを埋め込むことも有効と考
えられる。
【００３２】このように、標準パターンを埋め込んだ標
準パターン連想記憶ネットワーク１２は、適当な発火初
期状態から通常のホップフィールドネットワークにおけ
る時間発展アルゴリズムに従い、エネルギーが極小に落
ちこんだ際に、１つの記憶が想起される。
準パターン連想記憶ネットワーク１２は、適当な発火初
期状態から通常のホップフィールドネットワークにおけ
る時間発展アルゴリズムに従い、エネルギーが極小に落
ちこんだ際に、１つの記憶が想起される。
【００３３】５．入力パターンネットワーク
入力パターンネットワーク１１には、その入力パターン
の座標次元および情報次数に従って、ユニットを配列す
る。ｘ方向にｍ個、ｙ方向にｍ個量子化したドットパタ
ーンの場合には、ｍ×ｍ×１個のユニットが必要であ
る。この入力パターンネットワーク１１は、固定した入
力パターンを記憶させるだけなので、ユニット間の結合
はない。各ユニットの発火、非発火は入力されるパター
ンにより決定され、パターンマッチのプロセスの間、そ
の状態は保持される。図１０は、文字Ａの入力パターン
を入力パターンネットワーク１１に記憶させた状態を表
している。各ユニットはＵｎｉｔ［ｘ1，ｘ2，…ｘn，
ｋ］でインデックスされる。
の座標次元および情報次数に従って、ユニットを配列す
る。ｘ方向にｍ個、ｙ方向にｍ個量子化したドットパタ
ーンの場合には、ｍ×ｍ×１個のユニットが必要であ
る。この入力パターンネットワーク１１は、固定した入
力パターンを記憶させるだけなので、ユニット間の結合
はない。各ユニットの発火、非発火は入力されるパター
ンにより決定され、パターンマッチのプロセスの間、そ
の状態は保持される。図１０は、文字Ａの入力パターン
を入力パターンネットワーク１１に記憶させた状態を表
している。各ユニットはＵｎｉｔ［ｘ1，ｘ2，…ｘn，
ｋ］でインデックスされる。
【００３４】６．連合ネットワーク
連合ネットワーク１３は、座標対応ネットワーク１４、
標準パターン連想記憶ネットワーク１２、入力パターン
ネットワーク１１の各モジュールと結合している。パタ
ーンがｎ次元で各座標軸ｉの方向にｍi個に量子化さ
れ、また座標上の情報がｐ次元ベクトルで表現されるも
のとすると、連合ネットワーク１３は（ｍ1・ｍ2…
ｍn）2・ｐの数のユニットから構成される。いま、連合
ネットワーク１３の各ユニットをＵｎｉｔ［ｘ1，ｘ2，
…ｘn，ｘ'1，ｘ'2，…ｘ'n，ｋ］でインデックスする
ものとする。ここで、ｘiは入力パターン座標系のｉ座
標のインデックスを示し、ｘ'iは標準記憶パターンの座
標系のｉ座標のインデックスを示し、ｋは情報ベクトル
のインデックスである。
標準パターン連想記憶ネットワーク１２、入力パターン
ネットワーク１１の各モジュールと結合している。パタ
ーンがｎ次元で各座標軸ｉの方向にｍi個に量子化さ
れ、また座標上の情報がｐ次元ベクトルで表現されるも
のとすると、連合ネットワーク１３は（ｍ1・ｍ2…
ｍn）2・ｐの数のユニットから構成される。いま、連合
ネットワーク１３の各ユニットをＵｎｉｔ［ｘ1，ｘ2，
…ｘn，ｘ'1，ｘ'2，…ｘ'n，ｋ］でインデックスする
ものとする。ここで、ｘiは入力パターン座標系のｉ座
標のインデックスを示し、ｘ'iは標準記憶パターンの座
標系のｉ座標のインデックスを示し、ｋは情報ベクトル
のインデックスである。
【００３５】各ユニットの他のモジュールとの結合は、
次のようにする。即ち、Ｕｎｉｔ［ｘ1，ｘ2，…ｘn，
ｘ'1，ｘ'2，…ｘ'n，ｋ］は、座標軸ｉの座標対応ネッ
トワーク１４のＵｎｉｔ［ｘi，ｘ'i，ｉ］、標準パタ
ーン連想記憶ネットワーク１２のＵｎｉｔ［ｘ'1，
ｘ'2，…ｘ'n，ｋ］、および入力パターンネットワーク
１１のＵｎｉｔ［ｘ1，ｘ2，…ｘn，ｋ］と正結合す
る。連合ネットワーク１３の内部のユニットには結合は
存在しない。また、各ユニットには適当な同じ大きさの
負の値のバイアスが付加される。
次のようにする。即ち、Ｕｎｉｔ［ｘ1，ｘ2，…ｘn，
ｘ'1，ｘ'2，…ｘ'n，ｋ］は、座標軸ｉの座標対応ネッ
トワーク１４のＵｎｉｔ［ｘi，ｘ'i，ｉ］、標準パタ
ーン連想記憶ネットワーク１２のＵｎｉｔ［ｘ'1，
ｘ'2，…ｘ'n，ｋ］、および入力パターンネットワーク
１１のＵｎｉｔ［ｘ1，ｘ2，…ｘn，ｋ］と正結合す
る。連合ネットワーク１３の内部のユニットには結合は
存在しない。また、各ユニットには適当な同じ大きさの
負の値のバイアスが付加される。
【００３６】このような結合を作成した場合、入力パタ
ーンに対応する記憶パターンが標準パターン連想記憶ネ
ットワーク１２に正しく想起され、それらのシフトの関
係が座標対応ネットワーク１４上に正しく自己想起され
る。そして、このとき連合ネットワーク１３の対応する
各ユニットは強く発火し、連合ネットワーク１３のエネ
ルギーは最小化される。また逆の見方をすれば、連合ネ
ットワーク１３はそれ自身がエネルギー最小に向かうこ
とにより、標準パターン連想記憶ネットワーク１２およ
び座標対応ネットワーク１４に対して、入力パターンに
対応する正しいパターンを形成するよう働きかけるので
ある。
ーンに対応する記憶パターンが標準パターン連想記憶ネ
ットワーク１２に正しく想起され、それらのシフトの関
係が座標対応ネットワーク１４上に正しく自己想起され
る。そして、このとき連合ネットワーク１３の対応する
各ユニットは強く発火し、連合ネットワーク１３のエネ
ルギーは最小化される。また逆の見方をすれば、連合ネ
ットワーク１３はそれ自身がエネルギー最小に向かうこ
とにより、標準パターン連想記憶ネットワーク１２およ
び座標対応ネットワーク１４に対して、入力パターンに
対応する正しいパターンを形成するよう働きかけるので
ある。
【００３７】次に例をもって説明する。３種の文字を持
つ最長４文字の文字列を考える。入力パターン“□ａｂ
ｂ”が記憶パターン“ａｂｂ□”にマッチした様子を図
１１に示す。但し、ここで□は空白記号（スペース）で
ある。図１１においては、例として連合ネットワーク１
３のＵｎｉｔ［２，１，１］が、他のモジュールのネッ
トワークのどのユニットと結合しているかが示されてい
る。このＵｎｉｔ［２，１，１］の重みは、他の３つの
ネットワークの対応するユニットとの間におけるものだ
けであり、連合ネットワーク１３内の他のユニットとの
間に結合関係は存在しない。同図の場合、入力パターン
と標準パターンが完全に対応された状態にあり、対応が
とれている点の数だけ連合ネットワーク１３のユニット
が発火している。
つ最長４文字の文字列を考える。入力パターン“□ａｂ
ｂ”が記憶パターン“ａｂｂ□”にマッチした様子を図
１１に示す。但し、ここで□は空白記号（スペース）で
ある。図１１においては、例として連合ネットワーク１
３のＵｎｉｔ［２，１，１］が、他のモジュールのネッ
トワークのどのユニットと結合しているかが示されてい
る。このＵｎｉｔ［２，１，１］の重みは、他の３つの
ネットワークの対応するユニットとの間におけるものだ
けであり、連合ネットワーク１３内の他のユニットとの
間に結合関係は存在しない。同図の場合、入力パターン
と標準パターンが完全に対応された状態にあり、対応が
とれている点の数だけ連合ネットワーク１３のユニット
が発火している。
【００３８】以上のようにして構成したニューラルネッ
トワークにおいて、パターンマッチングを行う処理をフ
ローチャートに表すと、図１２に示すようになる。同図
に示すように、ステップＳ１からなる学習フェーズと、
ステップＳ２乃至Ｓ５からなるパターンマッチフェーズ
から、処理のシーケンスが構成されている。
トワークにおいて、パターンマッチングを行う処理をフ
ローチャートに表すと、図１２に示すようになる。同図
に示すように、ステップＳ１からなる学習フェーズと、
ステップＳ２乃至Ｓ５からなるパターンマッチフェーズ
から、処理のシーケンスが構成されている。
【００３９】最初にステップＳ１において、標準パター
ンを標準パターン連想記憶ネットワーク１２に相関学
習、ボルツマンマシーン学習などにより記憶させる。上
述したように、この記憶処理はユニット間の重み付けと
バイアスにより設定される。このようにして、標準パタ
ーン連想記憶ネットワーク１２に学習が行われた後、次
に示すステップＳ２乃至Ｓ５のパターンマッチ処理が行
われる。
ンを標準パターン連想記憶ネットワーク１２に相関学
習、ボルツマンマシーン学習などにより記憶させる。上
述したように、この記憶処理はユニット間の重み付けと
バイアスにより設定される。このようにして、標準パタ
ーン連想記憶ネットワーク１２に学習が行われた後、次
に示すステップＳ２乃至Ｓ５のパターンマッチ処理が行
われる。
【００４０】即ち、ステップＳ２において、入力パター
ンネットワーク１１以外の各ネットワークのユニットの
値を所定の値に初期化する。次にステップＳ３におい
て、入力パターンネットワーク１１に所定の入力パター
ンを入力する。さらにステップＳ４において、ホップフ
ィールドネットワークに代表される相結合型ネットワー
クの時間発展方程式に基づき、エネルギー最小となるユ
ニットの発火状態を探索する（この時間発展方程式につ
いては後述する）。そして、ステップＳ５においてエネ
ルギーが最小となる状態を発見したとき、そのとき標準
パターン連想記憶ネットワーク１２に想起されているパ
ターンが入力パターンに照合する標準パターンとなる。
また、座標対応ネットワーク１４の発火状態からシフト
の大きさと方向が判定される。
ンネットワーク１１以外の各ネットワークのユニットの
値を所定の値に初期化する。次にステップＳ３におい
て、入力パターンネットワーク１１に所定の入力パター
ンを入力する。さらにステップＳ４において、ホップフ
ィールドネットワークに代表される相結合型ネットワー
クの時間発展方程式に基づき、エネルギー最小となるユ
ニットの発火状態を探索する（この時間発展方程式につ
いては後述する）。そして、ステップＳ５においてエネ
ルギーが最小となる状態を発見したとき、そのとき標準
パターン連想記憶ネットワーク１２に想起されているパ
ターンが入力パターンに照合する標準パターンとなる。
また、座標対応ネットワーク１４の発火状態からシフト
の大きさと方向が判定される。
【００４１】ステップＳ４における相結合型ネットワー
クの時間発展方程式は、例えば数３に示すように設定さ
れる。
クの時間発展方程式は、例えば数３に示すように設定さ
れる。
【数３】
【００４２】尚、ここでａi(h)は時間ｈにおけるユニッ
トｉの出力状態を示しており、ｗijはユニットｉとｊの
間の結合重みを表しており、ｂiはユニットｉのバイア
ス値を表している。
トｉの出力状態を示しており、ｗijはユニットｉとｊの
間の結合重みを表しており、ｂiはユニットｉのバイア
ス値を表している。
【００４３】ステップＳ４で示した時間発展方程式とし
ては、この他、例えば数４に示すようなカオス的最急降
下法に基づく方程式を用いることも可能である。このカ
オス的最急降下法については、本出願人が特願平２−２
９８９８４号、特願平２−４１４９０７号として先に開
示している。
ては、この他、例えば数４に示すようなカオス的最急降
下法に基づく方程式を用いることも可能である。このカ
オス的最急降下法については、本出願人が特願平２−２
９８９８４号、特願平２−４１４９０７号として先に開
示している。
【数４】
【００４４】ところで、パターンマッチングを行う場合
において、入力パターンが標準パターンに対して非線形
に歪んでいることがある。従来のニューラルネットワー
クにおいては、入力パターンが非線形に歪んでいると正
確なパターンマッチングを行うことができなかった。し
かしながら、本実施例においては、座標対応ネットワー
ク１４における制約条件を改良することにより、この非
線形歪を吸収させることが可能となる。
において、入力パターンが標準パターンに対して非線形
に歪んでいることがある。従来のニューラルネットワー
クにおいては、入力パターンが非線形に歪んでいると正
確なパターンマッチングを行うことができなかった。し
かしながら、本実施例においては、座標対応ネットワー
ク１４における制約条件を改良することにより、この非
線形歪を吸収させることが可能となる。
【００４５】いま、簡単のため、１次元の文字パターン
について考える。標準パターンが“ａａａｂｂｃｃｄ”
であり、歪んだ入力パターンが“ａａｂｂｃｃｃｄ”で
あるとすると、両者の座標対応関係は図１３に示すよう
になる。
について考える。標準パターンが“ａａａｂｂｃｃｄ”
であり、歪んだ入力パターンが“ａａｂｂｃｃｃｄ”で
あるとすると、両者の座標対応関係は図１３に示すよう
になる。
【００４６】この場合、発火の状態は対角線方向に１つ
の直線上に並ばず、入力パターンの歪の分だけ曲がるこ
とになる。このことは、歪を吸収するにはネットワーク
の制約をゆるめて、この曲がりを吸収できるようにすれ
ばよいことを意味する。実際には、正の結合を対角線方
向のユニットだけでなく、その近傍の対角列のユニット
にも行うことにより、対角線方向の曲がりを吸収するこ
とができるようになる。
の直線上に並ばず、入力パターンの歪の分だけ曲がるこ
とになる。このことは、歪を吸収するにはネットワーク
の制約をゆるめて、この曲がりを吸収できるようにすれ
ばよいことを意味する。実際には、正の結合を対角線方
向のユニットだけでなく、その近傍の対角列のユニット
にも行うことにより、対角線方向の曲がりを吸収するこ
とができるようになる。
【００４７】図１４は、このように歪を吸収するための
具体的な結合例として、１つのユニットの結合の状態を
表している。図中、実線は正結合を表し、破線は負結合
を表している。Ｕｎｉｔ［ｉ，ｊ］から次のユニットに
対しては正結合が行われる。 Ｕｎｉｔ［ｉ−１，ｊ−１］ Ｕｎｉｔ［ｉ−１，ｊ−２］ Ｕｎｉｔ［ｉ−２，ｊ−１］ Ｕｎｉｔ［ｉ＋１，ｊ＋１］ Ｕｎｉｔ［ｉ＋１，ｊ＋２］ Ｕｎｉｔ［ｉ＋２，ｊ＋１］
具体的な結合例として、１つのユニットの結合の状態を
表している。図中、実線は正結合を表し、破線は負結合
を表している。Ｕｎｉｔ［ｉ，ｊ］から次のユニットに
対しては正結合が行われる。 Ｕｎｉｔ［ｉ−１，ｊ−１］ Ｕｎｉｔ［ｉ−１，ｊ−２］ Ｕｎｉｔ［ｉ−２，ｊ−１］ Ｕｎｉｔ［ｉ＋１，ｊ＋１］ Ｕｎｉｔ［ｉ＋１，ｊ＋２］ Ｕｎｉｔ［ｉ＋２，ｊ＋１］
【００４８】また、Ｕｎｉｔ［ｉ，ｊ］から次のユニッ
トに対しては負結合が行われる。 Ｕｎｉｔ［ｉ，ｋ］ １≦ｋ≦ｍ，ｋ≠ｊ Ｕｎｉｔ［ｋ，ｊ］ １≦ｋ≦ｍ，ｋ≠ｉ Ｕｎｉｔ［ｉ＋１，ｊ−１］ Ｕｎｉｔ［ｉ−１，ｊ＋１］
トに対しては負結合が行われる。 Ｕｎｉｔ［ｉ，ｋ］ １≦ｋ≦ｍ，ｋ≠ｊ Ｕｎｉｔ［ｋ，ｊ］ １≦ｋ≦ｍ，ｋ≠ｉ Ｕｎｉｔ［ｉ＋１，ｊ−１］ Ｕｎｉｔ［ｉ−１，ｊ＋１］
【００４９】次に、具体的な文字認識の例について説明
する。５×５ピクセルの画像イメージにおける文字認識
の実験を、図１５に示すようなニューラルネットワーク
において行った。この標準パターン連想記憶ネットワー
ク１２にはＬ，Ｔ，Ｖの各文字を標準パターンとして記
憶させた。
する。５×５ピクセルの画像イメージにおける文字認識
の実験を、図１５に示すようなニューラルネットワーク
において行った。この標準パターン連想記憶ネットワー
ク１２にはＬ，Ｔ，Ｖの各文字を標準パターンとして記
憶させた。
【００５０】このような構成のニューラルネットワーク
において、入力パターンネットワーク１１に所定数のド
ットだけシフトした入力パターンＴを入力した際に、そ
れを認識するまでの過程を図１６に示す。尚、この場合
における時間発展方程式としては、カオス的最急降下法
が用いられている。図１６（ａ）乃至図１６（ｈ）に示
すように、時間が経過するに従って標準パターン連想記
憶ネットワーク１２に連想された文字パターンが現れる
とともに、ｘ軸座標対応ネットワーク１４ａとｙ軸座標
対応ネットワーク１４ｂにマッチングの状態が現れてい
る。
において、入力パターンネットワーク１１に所定数のド
ットだけシフトした入力パターンＴを入力した際に、そ
れを認識するまでの過程を図１６に示す。尚、この場合
における時間発展方程式としては、カオス的最急降下法
が用いられている。図１６（ａ）乃至図１６（ｈ）に示
すように、時間が経過するに従って標準パターン連想記
憶ネットワーク１２に連想された文字パターンが現れる
とともに、ｘ軸座標対応ネットワーク１４ａとｙ軸座標
対応ネットワーク１４ｂにマッチングの状態が現れてい
る。
【００５１】図１６（ｈ）に示すように、マッチングが
とれた場合においては、座標対応ネットワーク１４にお
ける発火点が対角線方向の２本の直線上に配置されてい
ることが判る。図１６（ｈ）のｘ軸座標対応ネットワー
ク（左上のネットワーク）における最も上の行の発火点
の位置が左から２番目の列にあり、また、ｙ軸座標対応
ネットワーク（右上のネットワーク）の最も上の行の発
火点が最も左側の列から３番目に位置している。このこ
とから、入力パターンネットワーク１１における入力パ
ターンが標準の位置（標準パターン連想記憶ネットワー
ク１２に記憶された標準パターンの位置）からｘ軸方向
に２ピクセルだけシフトしており、ｙ軸方向に３ピクセ
ルだけシフトしていることが判る。
とれた場合においては、座標対応ネットワーク１４にお
ける発火点が対角線方向の２本の直線上に配置されてい
ることが判る。図１６（ｈ）のｘ軸座標対応ネットワー
ク（左上のネットワーク）における最も上の行の発火点
の位置が左から２番目の列にあり、また、ｙ軸座標対応
ネットワーク（右上のネットワーク）の最も上の行の発
火点が最も左側の列から３番目に位置している。このこ
とから、入力パターンネットワーク１１における入力パ
ターンが標準の位置（標準パターン連想記憶ネットワー
ク１２に記憶された標準パターンの位置）からｘ軸方向
に２ピクセルだけシフトしており、ｙ軸方向に３ピクセ
ルだけシフトしていることが判る。
【００５２】図１７は、８個の文字列の入力パターンで
あって、非線形の伸縮を有し、かつ所定ドットだけシフ
トした入力パターンを認識する実験を行ったニューラル
ネットワークの構成を示している。文字の種類はａ，
ｂ，ｃ，ｄの４種類であり、標準パターン連想記憶ネッ
トワーク１２および入力パターンネットワーク１１に
は、この４種類の文字に対応するユニットを縦方向に配
列した。また、標準パターン連想記憶ネットワーク１２
には、標準パターンとして“ａａａｂｃｃｄｄ”，“ｃ
ｃｃｃａｄｂｂ”，“ｂｂｂｄｄａａｃ”の３組の記号
列を記憶させた。図１７は入力パターン“ｂｂｄｄａｃ
ｂｂ”が標準パターン“ｂｂｂｄｄａａｃ”にマッチし
た状態を示している。
あって、非線形の伸縮を有し、かつ所定ドットだけシフ
トした入力パターンを認識する実験を行ったニューラル
ネットワークの構成を示している。文字の種類はａ，
ｂ，ｃ，ｄの４種類であり、標準パターン連想記憶ネッ
トワーク１２および入力パターンネットワーク１１に
は、この４種類の文字に対応するユニットを縦方向に配
列した。また、標準パターン連想記憶ネットワーク１２
には、標準パターンとして“ａａａｂｃｃｄｄ”，“ｃ
ｃｃｃａｄｂｂ”，“ｂｂｂｄｄａａｃ”の３組の記号
列を記憶させた。図１７は入力パターン“ｂｂｄｄａｃ
ｂｂ”が標準パターン“ｂｂｂｄｄａａｃ”にマッチし
た状態を示している。
【００５３】また図１８は、入力パターン“ｄｄａａａ
ａｂｃ”が標準パターン“ａａａｂｃｃｄｄ”にマッチ
していく時間発展の様子を表している。図１８（ｈ）に
示す状態において、マッチングがとれている。この場
合、非線形の伸縮を伴うため、ｘ軸座標対応ネットワー
ク１４ａにおける発火点が対角線方向の直線上から若干
離散している。上述したように、この若干の離散を許容
しているがために非線形伸縮パターンをマッチング判定
することが可能になるのである。
ａｂｃ”が標準パターン“ａａａｂｃｃｄｄ”にマッチ
していく時間発展の様子を表している。図１８（ｈ）に
示す状態において、マッチングがとれている。この場
合、非線形の伸縮を伴うため、ｘ軸座標対応ネットワー
ク１４ａにおける発火点が対角線方向の直線上から若干
離散している。上述したように、この若干の離散を許容
しているがために非線形伸縮パターンをマッチング判定
することが可能になるのである。
【００５４】図１９は、図１８における時間発展に対応
してエネルギーが変化する状態を表している。マッチン
グがとれた時間（ｔ＝５，０００）において、エネルギ
ーが最も小さくなっていることが判る。
してエネルギーが変化する状態を表している。マッチン
グがとれた時間（ｔ＝５，０００）において、エネルギ
ーが最も小さくなっていることが判る。
【００５５】
【発明の効果】以上の如く請求項１に記載のニューラル
ネットワークによれば、入力パターンと標準パターンと
のマッチング状態に対応して連合ネットワークを活性化
するようにしたので、入力パターンが標準パターンに対
してシフトしている状態においても、パターンマッチン
グを行うことが可能になる。
ネットワークによれば、入力パターンと標準パターンと
のマッチング状態に対応して連合ネットワークを活性化
するようにしたので、入力パターンが標準パターンに対
してシフトしている状態においても、パターンマッチン
グを行うことが可能になる。
【００５６】また、請求項２に記載のニューラルネット
ワークによれば、座標対応ネットワークにおける制約条
件をマッチングの曲がりを容認するように設定するよう
にしたので、非線形伸縮を伴う入力パターンであって
も、標準パターンとのマッチングが可能になる。
ワークによれば、座標対応ネットワークにおける制約条
件をマッチングの曲がりを容認するように設定するよう
にしたので、非線形伸縮を伴う入力パターンであって
も、標準パターンとのマッチングが可能になる。
【図１】本発明のニューラルネットワークの一実施例の
構成を示すブロック図である。
構成を示すブロック図である。
【図２】入力パターンが標準パターンに対してシフトし
た状態におけるマッチングの状態を説明する図である。
た状態におけるマッチングの状態を説明する図である。
【図３】ｘ方向をｍ個に量子化した場合におけるネット
ワークのユニットの配置を説明する図である。
ワークのユニットの配置を説明する図である。
【図４】制約条件を付加したネットワークのユニットを
説明する図である。
説明する図である。
【図５】座標系のシフトの許容を表す発火状態を説明す
る図である。
る図である。
【図６】４種類の文字のいずれかが６つ並んだ単語をパ
ターンマッチングする場合のネットワークのユニットを
説明する図である。
ターンマッチングする場合のネットワークのユニットを
説明する図である。
【図７】６×６のドットパターンのネツトワーク上にお
ける発火状態を説明する図である。
ける発火状態を説明する図である。
【図８】ドットパターンの代わりにエッジの４つの方向
を記号素として表現した場合のネットワークのユニット
を説明する図である。
を記号素として表現した場合のネットワークのユニット
を説明する図である。
【図９】数２における演算子を説明する図である。
【図１０】入力パターンを説明する図である。
【図１１】図１に示すニューラルネットワークの各モジ
ュールネットワークの各ユニットの関係を説明する図で
ある。
ュールネットワークの各ユニットの関係を説明する図で
ある。
【図１２】図１の実施例においてパターンマッチングを
行う場合の処理を説明するフローチャートである。
行う場合の処理を説明するフローチャートである。
【図１３】非線形伸縮を伴う入力パターンのマッチング
を説明する図である。
を説明する図である。
【図１４】非線形伸縮を伴う入力パターンのマッチング
を行うための１つのユニットの結合の状態を説明する図
である。
を行うための１つのユニットの結合の状態を説明する図
である。
【図１５】５×５ピクセルの画像イメージのマッチング
を実験したニューラルネットワークの構成を説明する図
である。
を実験したニューラルネットワークの構成を説明する図
である。
【図１６】図１５の構成のニューラルネットワークにお
けるパターンマッチングの過程を説明する図である。
けるパターンマッチングの過程を説明する図である。
【図１７】非線形伸縮を有し、かつシフトした入力パタ
ーンのマツチングの実験を行ったニューラルネットワー
クの構成を示す図である。
ーンのマツチングの実験を行ったニューラルネットワー
クの構成を示す図である。
【図１８】図１７のニューラルネットワークを用いてマ
ッチングを行った過程を示す図である。
ッチングを行った過程を示す図である。
【図１９】図１８の各過程におけるエネルギーの変化を
説明する図である。
説明する図である。
【図２０】従来のパターンマッチングを説明する図であ
る。
る。
１ ニューラルネットワーク
２ コントローラ
１１ 入力パターンネットワーク
１２ 標準パターン連想記憶ネットワーク
１３ 連合ネットワーク
１４ 座標対応ネットワーク
Claims (2)
- 【請求項１】 １つ以上の標準パターンが記憶されてい
る標準パターン連想記憶ネットワークと、 所定の入力パターンが入力される入力パターンネットワ
ークと、 所定の制約条件を記憶する座標対応ネットワークと、 前記標準パターン連想記憶ネットワーク、入力パターン
ネットワークおよび座標対応ネットワークからの信号が
入力され、前記入力パターンと標準パターンとのマッチ
ング状態に対応して活性化する連合ネットワークとを備
えることを特徴とするニューラルネットワーク。 - 【請求項２】 前記座標対応ネットワークにおける制約
条件は、マッチングの曲がりを容認するように設定され
ていることを特徴とする請求項１に記載のニューラルネ
ットワーク。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3209790A JPH0535878A (ja) | 1991-07-26 | 1991-07-26 | ニユーラルネツトワーク |
| US07/915,462 US5301257A (en) | 1991-07-26 | 1992-07-16 | Neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3209790A JPH0535878A (ja) | 1991-07-26 | 1991-07-26 | ニユーラルネツトワーク |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0535878A true JPH0535878A (ja) | 1993-02-12 |
Family
ID=16578637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3209790A Withdrawn JPH0535878A (ja) | 1991-07-26 | 1991-07-26 | ニユーラルネツトワーク |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5301257A (ja) |
| JP (1) | JPH0535878A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5568563A (en) * | 1993-05-17 | 1996-10-22 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus of pattern recognition |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6449377B1 (en) | 1995-05-08 | 2002-09-10 | Digimarc Corporation | Methods and systems for watermark processing of line art images |
| US5748763A (en) | 1993-11-18 | 1998-05-05 | Digimarc Corporation | Image steganography system featuring perceptually adaptive and globally scalable signal embedding |
| US5768426A (en) * | 1993-11-18 | 1998-06-16 | Digimarc Corporation | Graphics processing system employing embedded code signals |
| JP3716870B2 (ja) * | 1995-05-31 | 2005-11-16 | ソニー株式会社 | 音声認識装置および音声認識方法 |
| DE59606668D1 (de) * | 1996-01-04 | 2001-05-03 | Infineon Technologies Ag | Vorrichtung und Verfahren zur Erfassung und Bewertung eines räumlich diskreten Punktmusters |
| US5963663A (en) * | 1996-07-08 | 1999-10-05 | Sony Corporation | Land mark recognition method for mobile robot navigation |
| US5845285A (en) * | 1997-01-07 | 1998-12-01 | Klein; Laurence C. | Computer system and method of data analysis |
| US6006186A (en) * | 1997-10-16 | 1999-12-21 | Sony Corporation | Method and apparatus for a parameter sharing speech recognition system |
| US6230122B1 (en) | 1998-09-09 | 2001-05-08 | Sony Corporation | Speech detection with noise suppression based on principal components analysis |
| US6233230B1 (en) | 1998-10-22 | 2001-05-15 | Sony Corporation | Neural network IS-95 rate determination |
| US6282507B1 (en) | 1999-01-29 | 2001-08-28 | Sony Corporation | Method and apparatus for interactive source language expression recognition and alternative hypothesis presentation and selection |
| US6442524B1 (en) | 1999-01-29 | 2002-08-27 | Sony Corporation | Analyzing inflectional morphology in a spoken language translation system |
| US6278968B1 (en) | 1999-01-29 | 2001-08-21 | Sony Corporation | Method and apparatus for adaptive speech recognition hypothesis construction and selection in a spoken language translation system |
| US6266642B1 (en) | 1999-01-29 | 2001-07-24 | Sony Corporation | Method and portable apparatus for performing spoken language translation |
| US6223150B1 (en) | 1999-01-29 | 2001-04-24 | Sony Corporation | Method and apparatus for parsing in a spoken language translation system |
| US6356865B1 (en) | 1999-01-29 | 2002-03-12 | Sony Corporation | Method and apparatus for performing spoken language translation |
| US6243669B1 (en) | 1999-01-29 | 2001-06-05 | Sony Corporation | Method and apparatus for providing syntactic analysis and data structure for translation knowledge in example-based language translation |
| US6374224B1 (en) | 1999-03-10 | 2002-04-16 | Sony Corporation | Method and apparatus for style control in natural language generation |
| US6490582B1 (en) * | 2000-02-08 | 2002-12-03 | Microsoft Corporation | Iterative validation and sampling-based clustering using error-tolerant frequent item sets |
| US7478192B2 (en) * | 2004-11-03 | 2009-01-13 | Saffron Technology, Inc. | Network of networks of associative memory networks |
| US10417554B2 (en) * | 2014-05-22 | 2019-09-17 | Lee J. Scheffler | Methods and systems for neural and cognitive processing |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5086479A (en) * | 1989-06-30 | 1992-02-04 | Hitachi, Ltd. | Information processing system using neural network learning function |
-
1991
- 1991-07-26 JP JP3209790A patent/JPH0535878A/ja not_active Withdrawn
-
1992
- 1992-07-16 US US07/915,462 patent/US5301257A/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5568563A (en) * | 1993-05-17 | 1996-10-22 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus of pattern recognition |
Also Published As
| Publication number | Publication date |
|---|---|
| US5301257A (en) | 1994-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0535878A (ja) | ニユーラルネツトワーク | |
| KR102232138B1 (ko) | 지식 증류 기반 신경망 아키텍처 탐색 방법 | |
| US5511134A (en) | Image recognition device and image recognition method | |
| JP2003296737A (ja) | パターン認識を容易にするシステムおよび方法 | |
| CN113570508A (zh) | 图像修复方法及装置、存储介质、终端 | |
| WO2019155523A1 (ja) | 分類器形成装置、分類器形成方法、及びプログラムを格納する非一時的なコンピュータ可読媒体 | |
| CN112232165A (zh) | 一种数据处理方法、装置、计算机及可读存储介质 | |
| KR101563569B1 (ko) | 학습형 다이내믹 시각 이미지 패턴 인식 시스템 및 방법 | |
| EP0686933A1 (en) | Method and apparatus for pattern recognition, and method of compiling dictionary for pattern recognition | |
| Hnoohom et al. | Thai handwritten verification system on documents for the investigation | |
| EP0446632A2 (en) | Method and system for recognizing characters | |
| JP2021093144A (ja) | センサ特化イメージ認識装置及び方法 | |
| US20220207668A1 (en) | Book scanning using machine-trained model | |
| JPH0589247A (ja) | パターン空間からの特定パターンの分離方法およびその分離装置 | |
| JP3303253B2 (ja) | パターンマッチング方法および装置 | |
| JP2021189792A (ja) | 学習装置、認識装置、学習方法、認識方法、プログラム、及び再帰型ニューラルネットワーク | |
| JP2018097707A (ja) | 情報処理装置、文字認識方法、コンピュータプログラム、及び記憶媒体 | |
| Al-Haija et al. | A Systemic Study of Pattern Recognition System Using Feedback Neural Networks | |
| US5418886A (en) | Knowledge information processing system including two associative memory groups each including a plurality of associated memory units | |
| JP5277498B2 (ja) | 類似情報分類参照装置および類似情報分類参照方法 | |
| CN111582202A (zh) | 一种智能网课系统 | |
| JP2780454B2 (ja) | 追記学習型パターン認識装置 | |
| Zago et al. | It is double pleasure to deceive the deceiver: disturbing classifiers against adversarial attacks | |
| JPH06274697A (ja) | 認識対象の特徴選択方法 | |
| KR102574299B1 (ko) | 2차원 코드를 기반으로 자격증에 대한 진위여부 검증을 수행하는 자격증 검증 서버 및 그 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19981008 |