JP3018465B2 - 疎な符号表現を用いたパターン認識方式 - Google Patents
疎な符号表現を用いたパターン認識方式Info
- Publication number
- JP3018465B2 JP3018465B2 JP2280519A JP28051990A JP3018465B2 JP 3018465 B2 JP3018465 B2 JP 3018465B2 JP 2280519 A JP2280519 A JP 2280519A JP 28051990 A JP28051990 A JP 28051990A JP 3018465 B2 JP3018465 B2 JP 3018465B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- pattern
- category
- output
- net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は文字（画像）や音声等のパターンを動的に認
識するとともに、認識辞書を学習によつて修正するパタ
ーン認識方式に関するものである。
識するとともに、認識辞書を学習によつて修正するパタ
ーン認識方式に関するものである。
従来の自己（相互）想起連想記憶モデルでは、入出力
層間の結合重み値を、入出力パターンの相関行列で設定
する相関型連想記憶モデルより、一般逆行列で設定した
直交射影型連想記憶モデルの方が高い連想能力を持つこ
とが知られている。 松岡氏は、相互抑制結合の中間層を持つ３層モデルを
用いて、一般逆行列の計算を効率的な局所演算で実現す
る方法（第３図参照）を既に提案している（松岡（九工
大）：“直交射影型連想記憶回路の種々の構造につい
て",電子情報通信学会論文誌,Vol.J73−D II,No.4,Apri
l'90,pp641−647）。さらに松岡氏は、フィードバック
回路による自己想起連想記憶モデルにおける一般逆行列
の計算方法（第４図）も提案した（前記電子情報通信学
会論文誌参照）。 これらのモデルは、複雑な一般逆行列の計算を簡単な
ネット構造の回路で実現するのみならず、認識辞書であ
る結合重み値の学習もプロトタイプパターンの付加によ
って簡単に実現できるので、LSI化にも適している。
層間の結合重み値を、入出力パターンの相関行列で設定
する相関型連想記憶モデルより、一般逆行列で設定した
直交射影型連想記憶モデルの方が高い連想能力を持つこ
とが知られている。 松岡氏は、相互抑制結合の中間層を持つ３層モデルを
用いて、一般逆行列の計算を効率的な局所演算で実現す
る方法（第３図参照）を既に提案している（松岡（九工
大）：“直交射影型連想記憶回路の種々の構造につい
て",電子情報通信学会論文誌,Vol.J73−D II,No.4,Apri
l'90,pp641−647）。さらに松岡氏は、フィードバック
回路による自己想起連想記憶モデルにおける一般逆行列
の計算方法（第４図）も提案した（前記電子情報通信学
会論文誌参照）。 これらのモデルは、複雑な一般逆行列の計算を簡単な
ネット構造の回路で実現するのみならず、認識辞書であ
る結合重み値の学習もプロトタイプパターンの付加によ
って簡単に実現できるので、LSI化にも適している。
前述の従来の連想記憶モデルを実際にパターン認識に
応用するには問題があった。すなわち、この連想記憶モ
デルは、原理的なプロトタイプパターンの記憶・想起を
示すもので、現実的な変形パターンの記憶・想起には十
分とは言えないという欠点があった。 本発明は、この欠点を除去することを目的とするもの
である。すなわち、本発明は変形パターンに対する認識
能力の高いパターン認識を行うことを目的とするもので
ある。
応用するには問題があった。すなわち、この連想記憶モ
デルは、原理的なプロトタイプパターンの記憶・想起を
示すもので、現実的な変形パターンの記憶・想起には十
分とは言えないという欠点があった。 本発明は、この欠点を除去することを目的とするもの
である。すなわち、本発明は変形パターンに対する認識
能力の高いパターン認識を行うことを目的とするもので
ある。
本発明は、上記目的を達成するために、フィードバッ
ク回路によって入力パターンを認識出力パターンに動的
に変換するとともに、認識辞書を学習によつて獲得する
連想記憶モデルにおいて、入力パターンの認識カテゴリ
を表す１個の素子のみが発火する疎な符号表現を用いた
中間層を持ち、かつ認識辞書には、認識辞書情報が結合
重みの分布として記憶されることを特徴とするパターン
認識方式において、各認識カテゴリの分布の許容範囲を
決定する補助ネットを設けたことを特徴とする。
ク回路によって入力パターンを認識出力パターンに動的
に変換するとともに、認識辞書を学習によつて獲得する
連想記憶モデルにおいて、入力パターンの認識カテゴリ
を表す１個の素子のみが発火する疎な符号表現を用いた
中間層を持ち、かつ認識辞書には、認識辞書情報が結合
重みの分布として記憶されることを特徴とするパターン
認識方式において、各認識カテゴリの分布の許容範囲を
決定する補助ネットを設けたことを特徴とする。
本発明は３層連想記憶モデルでは、入力パターンが出
力層に再現されてフィードバックする恒等写像が近似的
に実現されるので、ノイズ入力に強い。また、相互抑制
結合の中間層出力は、その入力パターンの認識カテゴリ
を表す１個の素子のみが発火する疎な符号表現となる
（第８図（ｃ）参照）。このモデルの連想処理は、一般
逆行列の計算と近似的に等価となるので、連想能力が高
い。ゆえに、誤認の少ないパターン認識が効率良く実現
できる。 また、本発明は補助ネットを設けたことにより、連想
記憶モデルの認識結果が、上記３層連想モデルによる認
識結果と、補助ネットによる他カテゴリ方向の分布の許
容範囲を統合した結果に従って決定される。故に、一層
誤認の少ないパターン認識が効率良く実現できる。
力層に再現されてフィードバックする恒等写像が近似的
に実現されるので、ノイズ入力に強い。また、相互抑制
結合の中間層出力は、その入力パターンの認識カテゴリ
を表す１個の素子のみが発火する疎な符号表現となる
（第８図（ｃ）参照）。このモデルの連想処理は、一般
逆行列の計算と近似的に等価となるので、連想能力が高
い。ゆえに、誤認の少ないパターン認識が効率良く実現
できる。 また、本発明は補助ネットを設けたことにより、連想
記憶モデルの認識結果が、上記３層連想モデルによる認
識結果と、補助ネットによる他カテゴリ方向の分布の許
容範囲を統合した結果に従って決定される。故に、一層
誤認の少ないパターン認識が効率良く実現できる。
【第１の実施例】 第１図は本発明の直交射影型フィードバック連想記憶
モデルを示す図で、第２図は本発明のシステム構成の実
施例を示すものである。 第２図に示すように、このシステムは、入力パターン
またはフィードバック出力を保持する入力レジスタ21
と、入力レジスタ21の内容を次段に供給するタイミング
を制御するクロック発振器22と、後述する式のW2Tx′
を演算する積和演算部23と、積和演算部23および26の出
力をもとに式のdy/dtを演算するとともに変化分によ
り更新された中間層の出力ｙ（ｔ）を得る微分演算部24
と、微分演算部24の出力ｙ（ｔ）に関数演算を施しｈ
（ｙ（ｔ））を出力する関数演算部25と、関数演算部25
の出力にしきい値処理をする非線形しきい処理部27と、
非線形しきい処理部27の出力を認識出力ｆ（ｙ）として
保持する出力レジスタ28と、しきい処理部27の出力にＸ
を乗じて式の演算をする積和演算部29からなってい
る。この学習・認識処理を行う第２図の装置の各演算部
は、連続時間を離散化することで汎用の計算機上でのプ
ログラムや、専用のアナログ（またはディジタル）演算
回路で実現できる。各層の素子の状態は、それぞれのレ
ジスタに記憶され、結合重み値は積和演算部のメモリに
記憶される。 第６図と第７図は、本発明の処理手順を示すフローチ
ャートで、それぞれ認識と学習の処理手順を示す。以下
では、まず認識辞書である結合重み値W1,W2が既に設定
されている時の認識処理の例を第６図により説明し、そ
の後に、その認識辞書の学習方法の例を第７図により説
明する。 本発明の認識処理は、第６図のフローチャートに示す
ように、まず、初期パターンの設定（後記の式の設
定）を行う（Step0）。すなわち、サンプル時間間隔をT
sとするとき、０≦ｔ＜Tsの間にカテゴリｍに属する入
力パターンx(m)を入力層に与える。第２図の入力レジス
タ21に入力パターンｘ′＝x(m)は保持される。 その間、ｔ＝kTsまでに中間層出力を式により更新
する（Step1）。 τdy（ｔ）/dt＝W1h（ｙ（ｔ））＋W2Tx′ … ここで、W1＝−XTX,W2＝X,プロトタイプ行列:X＝［x
(1),x(2),…,x(M)］T,x(i)＝｛x(i) 1,...,x(i) N｝とす
る。また、τ＜Tsとする。 式によって中間層出力ｈ（ｙ（ｔ））を計算する。
この計算は第２図の装置により行う。積和演算部23によ
って、W2Tx′を演算し、積和演算部26によってW1h（ｙ
（ｔ））の演算をする。 この中間層出力ｈ（ｙ（ｔ））に非線形しきい処理部
27によりfi（）でしきい値処理して認識出力パターンfi
（ｈ（ｙ（ｔ））を得る。認識出力パターンの全ての要
素が、誤差εの範囲で０か１であるかを判定する（Step
2）。 すべて０か１になっていれば、処理を終了する。 ０または１になっていない要素がある場合には、フィ
ードバック信号の更新を行い、ｋ＝ｋ＋１としStep1へ
行く（Step3）。すなわち、式によってフィードバッ
ク信号を計算する。 この計算は第２図の積和演算部29によって行う。この
フィードバック信号ｘ′（ｔ）を次のサンプル時間（ｋ
＋１）Tsまで入力層に与える。すなわち、入力レジスタ
21にkTs≦Ｔ＜（ｋ＋１）Tsの間信号を保持する。その
間に式に従って同様の処理を行う。この処理を、認識
出力の全ての要素が０か１となるまで繰り返す。 なお、０≦ｔ＜Tsにおいては、 とする。 式のようにkTs≦ｔ＜（ｋ＋１）Tsの間に、中間層
の相互抑制結合W1によって一般逆行列が近似的に計算さ
れ、フィードバック信号で恒等写像が近似されるのでノ
イズ入力に強い。また認識辞書（W2）に記憶したプロト
タイプパターンを入力した時の中間層出力は、式のよ
うにその認識カテゴリを表す１個の素子のみが発火する
疎な符号表現となる。ここで、T:転置，＋：一般逆行列
を表す。 ｙ（（ｋ＋１）Ts≒（XTX）+XTx′ ＝（XTX）+XTXfi（ｙ（kTs）） ＝fi（ｙ（kTs） … ｙ（Ts）≒（XTX）+XTX′ ＝（XTX）+XTx(m)＝（0,…,0,1,0,…０） … 次に第７図のフローチャートに従って、本発明の認識
辞書である結合重み値の学習処理を説明する。 まず、各認識カテゴリ内の複数の学習パターンの平均
値のようなプロトタイプパターンで、結合重み値W1とW2
を初期設定する（Step0）。 W1＝−XTX W2＝Ｘ 次に各学習パターンについて前述の認識処理を行う
（Step1）。 提示した学習パターンが正しく認識できれば、この学
習パターンに結合重み値（辞書）を少し近づける（Step
2）。 W1＝−ae(k)xTxe(k)T＋（１−ａ）W1 … W2＝ae(k)＋（１−ａ）W2 … もし提示した学習パターンを誤認するなら、誤認カテ
ゴリのプロトタイプパターンに関する安定点の引き込み
領域を縮小するように、fi（０）＝0,fi（１）＝1,f
i（θｉ）＝θｉの条件の下でθｉを大きくして、しき
い値関数fi（）を調整する（Step2′）。 学習パターンが全て誤認しなくなるまで、再度提示し
てこの操作を繰り返す（Step3）。 学習後は、学習パターン以外に対しても、誤認の少な
い認識処理が実行できる。 各パラメータの例を次に示す。 入力次元数:N＝256、 カテゴリ数:M＝71、 減衰の時定数：τ＝0.1、 サンプリング時間:Ts＝10、 学習定数：α＝0.1、 不安定パラメータ：θｉ＝0.5、 θｉの変動量：δ＝0.01、 しきい値関数： とする。 なお、しきい値関数を図に示すと、第５図のようにな
る。 第８図は本実施例の効果を示すパターンの認識の実験
例を示すもので、第９図は比較のために示す従来例によ
るパターンの認識の実験例を示すものである。両図にお
いて、（ａ）は入力層に与えられたパターン「Ｅ」を示
し、このパターン「Ｅ」は15％のランダムノイズを含ん
でいる。（ｂ）は出力層に得られるパターンを示し、
（ｃ）は中間層の状態を示す。 第９図（ｂ）に示すように、従来例の場合、出力層に
得られるパターンはかなりノイズを含んでいるが、第８
図（ｂ）に示す本発明の実施例の場合、ノイズが除去さ
れたきれいなパターンが得られてている。また、中間層
については、第９図（ｃ）に示すように、従来技術によ
れば比較的大きな中間値の出力が１つの素子に表れ、比
較的小さな中間値の出力が３つの素子に表れている。こ
れに対し、本発明の実施例では第８図（ｃ）に示すよう
に、一つの素子のみが100％の発火素子となっている。 このように実験例により従来技術と比べて、本発明は
パターンの認識の能力が格段に優れていることが分る。
モデルを示す図で、第２図は本発明のシステム構成の実
施例を示すものである。 第２図に示すように、このシステムは、入力パターン
またはフィードバック出力を保持する入力レジスタ21
と、入力レジスタ21の内容を次段に供給するタイミング
を制御するクロック発振器22と、後述する式のW2Tx′
を演算する積和演算部23と、積和演算部23および26の出
力をもとに式のdy/dtを演算するとともに変化分によ
り更新された中間層の出力ｙ（ｔ）を得る微分演算部24
と、微分演算部24の出力ｙ（ｔ）に関数演算を施しｈ
（ｙ（ｔ））を出力する関数演算部25と、関数演算部25
の出力にしきい値処理をする非線形しきい処理部27と、
非線形しきい処理部27の出力を認識出力ｆ（ｙ）として
保持する出力レジスタ28と、しきい処理部27の出力にＸ
を乗じて式の演算をする積和演算部29からなってい
る。この学習・認識処理を行う第２図の装置の各演算部
は、連続時間を離散化することで汎用の計算機上でのプ
ログラムや、専用のアナログ（またはディジタル）演算
回路で実現できる。各層の素子の状態は、それぞれのレ
ジスタに記憶され、結合重み値は積和演算部のメモリに
記憶される。 第６図と第７図は、本発明の処理手順を示すフローチ
ャートで、それぞれ認識と学習の処理手順を示す。以下
では、まず認識辞書である結合重み値W1,W2が既に設定
されている時の認識処理の例を第６図により説明し、そ
の後に、その認識辞書の学習方法の例を第７図により説
明する。 本発明の認識処理は、第６図のフローチャートに示す
ように、まず、初期パターンの設定（後記の式の設
定）を行う（Step0）。すなわち、サンプル時間間隔をT
sとするとき、０≦ｔ＜Tsの間にカテゴリｍに属する入
力パターンx(m)を入力層に与える。第２図の入力レジス
タ21に入力パターンｘ′＝x(m)は保持される。 その間、ｔ＝kTsまでに中間層出力を式により更新
する（Step1）。 τdy（ｔ）/dt＝W1h（ｙ（ｔ））＋W2Tx′ … ここで、W1＝−XTX,W2＝X,プロトタイプ行列:X＝［x
(1),x(2),…,x(M)］T,x(i)＝｛x(i) 1,...,x(i) N｝とす
る。また、τ＜Tsとする。 式によって中間層出力ｈ（ｙ（ｔ））を計算する。
この計算は第２図の装置により行う。積和演算部23によ
って、W2Tx′を演算し、積和演算部26によってW1h（ｙ
（ｔ））の演算をする。 この中間層出力ｈ（ｙ（ｔ））に非線形しきい処理部
27によりfi（）でしきい値処理して認識出力パターンfi
（ｈ（ｙ（ｔ））を得る。認識出力パターンの全ての要
素が、誤差εの範囲で０か１であるかを判定する（Step
2）。 すべて０か１になっていれば、処理を終了する。 ０または１になっていない要素がある場合には、フィ
ードバック信号の更新を行い、ｋ＝ｋ＋１としStep1へ
行く（Step3）。すなわち、式によってフィードバッ
ク信号を計算する。 この計算は第２図の積和演算部29によって行う。この
フィードバック信号ｘ′（ｔ）を次のサンプル時間（ｋ
＋１）Tsまで入力層に与える。すなわち、入力レジスタ
21にkTs≦Ｔ＜（ｋ＋１）Tsの間信号を保持する。その
間に式に従って同様の処理を行う。この処理を、認識
出力の全ての要素が０か１となるまで繰り返す。 なお、０≦ｔ＜Tsにおいては、 とする。 式のようにkTs≦ｔ＜（ｋ＋１）Tsの間に、中間層
の相互抑制結合W1によって一般逆行列が近似的に計算さ
れ、フィードバック信号で恒等写像が近似されるのでノ
イズ入力に強い。また認識辞書（W2）に記憶したプロト
タイプパターンを入力した時の中間層出力は、式のよ
うにその認識カテゴリを表す１個の素子のみが発火する
疎な符号表現となる。ここで、T:転置，＋：一般逆行列
を表す。 ｙ（（ｋ＋１）Ts≒（XTX）+XTx′ ＝（XTX）+XTXfi（ｙ（kTs）） ＝fi（ｙ（kTs） … ｙ（Ts）≒（XTX）+XTX′ ＝（XTX）+XTx(m)＝（0,…,0,1,0,…０） … 次に第７図のフローチャートに従って、本発明の認識
辞書である結合重み値の学習処理を説明する。 まず、各認識カテゴリ内の複数の学習パターンの平均
値のようなプロトタイプパターンで、結合重み値W1とW2
を初期設定する（Step0）。 W1＝−XTX W2＝Ｘ 次に各学習パターンについて前述の認識処理を行う
（Step1）。 提示した学習パターンが正しく認識できれば、この学
習パターンに結合重み値（辞書）を少し近づける（Step
2）。 W1＝−ae(k)xTxe(k)T＋（１−ａ）W1 … W2＝ae(k)＋（１−ａ）W2 … もし提示した学習パターンを誤認するなら、誤認カテ
ゴリのプロトタイプパターンに関する安定点の引き込み
領域を縮小するように、fi（０）＝0,fi（１）＝1,f
i（θｉ）＝θｉの条件の下でθｉを大きくして、しき
い値関数fi（）を調整する（Step2′）。 学習パターンが全て誤認しなくなるまで、再度提示し
てこの操作を繰り返す（Step3）。 学習後は、学習パターン以外に対しても、誤認の少な
い認識処理が実行できる。 各パラメータの例を次に示す。 入力次元数:N＝256、 カテゴリ数:M＝71、 減衰の時定数：τ＝0.1、 サンプリング時間:Ts＝10、 学習定数：α＝0.1、 不安定パラメータ：θｉ＝0.5、 θｉの変動量：δ＝0.01、 しきい値関数： とする。 なお、しきい値関数を図に示すと、第５図のようにな
る。 第８図は本実施例の効果を示すパターンの認識の実験
例を示すもので、第９図は比較のために示す従来例によ
るパターンの認識の実験例を示すものである。両図にお
いて、（ａ）は入力層に与えられたパターン「Ｅ」を示
し、このパターン「Ｅ」は15％のランダムノイズを含ん
でいる。（ｂ）は出力層に得られるパターンを示し、
（ｃ）は中間層の状態を示す。 第９図（ｂ）に示すように、従来例の場合、出力層に
得られるパターンはかなりノイズを含んでいるが、第８
図（ｂ）に示す本発明の実施例の場合、ノイズが除去さ
れたきれいなパターンが得られてている。また、中間層
については、第９図（ｃ）に示すように、従来技術によ
れば比較的大きな中間値の出力が１つの素子に表れ、比
較的小さな中間値の出力が３つの素子に表れている。こ
れに対し、本発明の実施例では第８図（ｃ）に示すよう
に、一つの素子のみが100％の発火素子となっている。 このように実験例により従来技術と比べて、本発明は
パターンの認識の能力が格段に優れていることが分る。
【第２の実施例】 第10図に、大分類と詳細分類を用いた本発明の変形の
１実施例（第２の実施例）を示す。これは、本発明の連
想記憶モデルを複数のモジュールとして用い、類似カテ
ゴリからなるパターンを大まかな識別する大分類ネット
101と、その最大出力値で決定される類似カテゴリ選択
信号を出力する選択部102と、類似カテゴリ選択信号に
より選択される、最終的な認識カテゴリを識別する詳細
分類ネット103,・・・,104と、詳細分類ネットの出力を
統合する統合部105で構成される。 この実施例によれば、大分類ネット101と選択部102に
より、類似カテゴリの詳細分類ネット103,・・・,104を
選択し、最終的な認識カテゴリを識別するので、構成が
簡単となり、また認識率が高くなる。 なお、大分類部での選択で類似カテゴリを限定せず
に、各詳細分類ネットの認識出力を統合して、最終的な
認識カテゴリを識別しても良い。 さらに、大分類部、または、詳細分類部の一方のみ
を、既存の識別手法を用いて構成しても良い。
１実施例（第２の実施例）を示す。これは、本発明の連
想記憶モデルを複数のモジュールとして用い、類似カテ
ゴリからなるパターンを大まかな識別する大分類ネット
101と、その最大出力値で決定される類似カテゴリ選択
信号を出力する選択部102と、類似カテゴリ選択信号に
より選択される、最終的な認識カテゴリを識別する詳細
分類ネット103,・・・,104と、詳細分類ネットの出力を
統合する統合部105で構成される。 この実施例によれば、大分類ネット101と選択部102に
より、類似カテゴリの詳細分類ネット103,・・・,104を
選択し、最終的な認識カテゴリを識別するので、構成が
簡単となり、また認識率が高くなる。 なお、大分類部での選択で類似カテゴリを限定せず
に、各詳細分類ネットの認識出力を統合して、最終的な
認識カテゴリを識別しても良い。 さらに、大分類部、または、詳細分類部の一方のみ
を、既存の識別手法を用いて構成しても良い。
【第３の実施例】 第11図は本発明の第３の実施例を示すブロック図であ
る。 この実施例は第１の実施例に示した疎な中間層を実現
するための相互抑制結合を持った３層ネット構造のフィ
ードバック連想記憶モデルを基本ネットとし、さらに同
じ構成を有し各カテゴリの分布の許容範囲を決定する補
助ネットを付加して、変形に強いパターン認識と、認識
辞書の学習を効率的に行うものである。 この第３の実施例の装置は、第１の実施例において説
明した第１図および第２図に示すような構成を有する基
本ネット（基本認識ネットワーク）111と、基本ネット1
11と同じ構成を有するカテゴリ（１）〜（ｍ）の補助ネ
ット112,113と、入力パターンｘ（０）と辞書との差分
を求める差分パターン抽出部114と、正弦方向の許容変
動判定部115と、認識結果判定部116とからなっている。 第12図により本実施例の認識処理を説明する。 基本ネットの中間層の各認識素子は、各カテゴリプロ
トタイプパターン方向の変動には敏感に反応するが、他
カテゴリのプロトタイプパターン方向の変動には鈍感で
ある。 そこで、入力初期パターンｘ（０）を設定し（Step
0）、基本ネット111から式〜の認識処理を１回だけ
実行する。この時の各中間層出力yiは入力初期パターン
と各カテゴリの辞書パターンとの類似度cosΘｉを表す
ものとなる（Step1）。 次に入力初期パターンＸ（０）から得られたフィード
バック信号を用いて、基本ネットによる式〜の処理
を収束するまで繰り返すことにより認識出力ｆ（ｈ
（ｙ））の計算をする（Step2）。 入力初期パターンｘ（０）と各辞書パターンx(i)の差
分を差分パターン抽出部114により求め、この差分パタ
ーンを各カテゴリ（１）〜（ｍ）の補助ネット112〜113
に入力する。各カテゴリの補助ネットは基本ネットと同
様な構成で、そのしきい値のみが異なるものである。 各補助ネット112〜113では、入力パターンが各カテゴ
リの辞書パターンからどの程度変動しているかを、差分
パターンの各カテゴリの辞書パターン方向への射影成分
（cosΘｊ）から求める。もし、これらの値が許容値以
上ならば、あるカテゴリに許容範囲外のパターンが入力
されたことを示すように、その許容外方向に相当する中
間素子が発火する（オン状態なる）。 他のカテゴリの補助ネットについても同様に、許容範
囲外のパターンが入力されたことを示す発火素子がある
かどうかを調べる（Step4）。 また、正弦方向の変動に対しては、Step1で求めた各
カテゴリへの類似度cosθｉを用いて、 を計算し、各カテゴリについてこの値が許容値以下かど
うか確かめられる。もし、許容値を越えていれば、該当
するカテゴリの認識結果を受理しないように、補助ネッ
トと同様な発火信号を認識結果判定部116に送る。 補助ネット112〜113と正弦方向の許容変動判定器115
からの発火素子があった場合には、そのカテゴリに対す
る認識出力を認識結果判定部116で零（nonactive）にす
る（Step5）。すなわち、基本ネット111の認識出力が発
火していようと認識結果判定部116による統合結果とし
ては、そのカテゴリの認識出力は否定される。 最後に基本ネット111のカテゴリｉの認識出力のみが
１となっているかを判定する（Step6）。 その判定の結果、カテゴリｉの認識出力のみが１とな
っている場合は、カテゴリｉを認識結果とする（Step
7）。 Step6の判定において、カテゴリｉの認識出力のみが
１となっていなかった場合は、誤認なので、結果をリジ
ェクトする（Step8）。 第14図に２次元２カテゴリの場合の認識境界の様子を
示す。例えば、カテゴリＡの認識領域は、基本ネットで
下側の境界が定まり、カテゴリＡの補助ネットのカテゴ
リＢ（cosθＢ）方向に関する素子で右側の境界が、カ
テゴリＡ（cosθＡ）方向に関する素子で上側の境界が
それぞれ定まり、また、正弦方向（sinθＡ）の境界は
正弦方向の許容変動判定器によって定まる。カテゴリＢ
の認識境界についても同様である。 次に、第13図に従って、本実施例の補助ネットにおけ
る他カテゴリ方向の許容範囲の調整方法を説明する。 まず、各カテゴリのプロトタイプパターンがその入力
パターンには反応する（他カテゴリの素子が反応しても
よい）ように記憶され、その許容変動範囲を示すしきい
値が調整されたとする（Step0）。 次に、この基本ネネットをコピーして各カテゴリの補
助ネットを作り、入力パターンを順に提示する（Step
1）。 提示したパターンカテゴリ以外の他カテゴリの認識出
力が受理されるかどうかを判定する（Step2）。 判定の結果、他カテゴリの認識出力がなかったとき
は、すべてのサンプルパターンに誤認がないかを調べ
（Step3）、まだ誤認のあるサンプルパターンがあると
きは次のサンプルパターンを提示する。誤認のあるサン
プルパターンがなくなったら処理を終了する。 Step2の判定の結果、基本ネットの中間素子が誤って
他カテゴリに反応していたら、補助ネットを動作させる
（Step4）。 そして、基本ネットで誤認したカテゴリが補助ネット
で否定されるかどうかを調べる（Step5）。 補助ネットで否定された場合には、認識処理時にはそ
のカテゴリは基本ネットが誤判定しても補助ネットを参
照することにより正しい判定ができるので、補助ネット
の調整は行わず、次のパターンを提示し調整を続行す
る。 Step5の判定で、基本ネットで誤認したカテゴリが補
助ネットで否定されなかった場合には、その入力カテゴ
リの補助ネットの中間素子（誤反応するカテゴリに相
当）のしきい値を微小量Δだけ小さくして、他カテゴリ
の変動許容範囲をきつくする（Step6）。 学習用の入力パターンが誤認しなくなるまで、再度提
示してこの操作を繰り返す。これによって学習後は、学
習パターン以外に対しても、誤認の少ない認識処理が実
行できる。
る。 この実施例は第１の実施例に示した疎な中間層を実現
するための相互抑制結合を持った３層ネット構造のフィ
ードバック連想記憶モデルを基本ネットとし、さらに同
じ構成を有し各カテゴリの分布の許容範囲を決定する補
助ネットを付加して、変形に強いパターン認識と、認識
辞書の学習を効率的に行うものである。 この第３の実施例の装置は、第１の実施例において説
明した第１図および第２図に示すような構成を有する基
本ネット（基本認識ネットワーク）111と、基本ネット1
11と同じ構成を有するカテゴリ（１）〜（ｍ）の補助ネ
ット112,113と、入力パターンｘ（０）と辞書との差分
を求める差分パターン抽出部114と、正弦方向の許容変
動判定部115と、認識結果判定部116とからなっている。 第12図により本実施例の認識処理を説明する。 基本ネットの中間層の各認識素子は、各カテゴリプロ
トタイプパターン方向の変動には敏感に反応するが、他
カテゴリのプロトタイプパターン方向の変動には鈍感で
ある。 そこで、入力初期パターンｘ（０）を設定し（Step
0）、基本ネット111から式〜の認識処理を１回だけ
実行する。この時の各中間層出力yiは入力初期パターン
と各カテゴリの辞書パターンとの類似度cosΘｉを表す
ものとなる（Step1）。 次に入力初期パターンＸ（０）から得られたフィード
バック信号を用いて、基本ネットによる式〜の処理
を収束するまで繰り返すことにより認識出力ｆ（ｈ
（ｙ））の計算をする（Step2）。 入力初期パターンｘ（０）と各辞書パターンx(i)の差
分を差分パターン抽出部114により求め、この差分パタ
ーンを各カテゴリ（１）〜（ｍ）の補助ネット112〜113
に入力する。各カテゴリの補助ネットは基本ネットと同
様な構成で、そのしきい値のみが異なるものである。 各補助ネット112〜113では、入力パターンが各カテゴ
リの辞書パターンからどの程度変動しているかを、差分
パターンの各カテゴリの辞書パターン方向への射影成分
（cosΘｊ）から求める。もし、これらの値が許容値以
上ならば、あるカテゴリに許容範囲外のパターンが入力
されたことを示すように、その許容外方向に相当する中
間素子が発火する（オン状態なる）。 他のカテゴリの補助ネットについても同様に、許容範
囲外のパターンが入力されたことを示す発火素子がある
かどうかを調べる（Step4）。 また、正弦方向の変動に対しては、Step1で求めた各
カテゴリへの類似度cosθｉを用いて、 を計算し、各カテゴリについてこの値が許容値以下かど
うか確かめられる。もし、許容値を越えていれば、該当
するカテゴリの認識結果を受理しないように、補助ネッ
トと同様な発火信号を認識結果判定部116に送る。 補助ネット112〜113と正弦方向の許容変動判定器115
からの発火素子があった場合には、そのカテゴリに対す
る認識出力を認識結果判定部116で零（nonactive）にす
る（Step5）。すなわち、基本ネット111の認識出力が発
火していようと認識結果判定部116による統合結果とし
ては、そのカテゴリの認識出力は否定される。 最後に基本ネット111のカテゴリｉの認識出力のみが
１となっているかを判定する（Step6）。 その判定の結果、カテゴリｉの認識出力のみが１とな
っている場合は、カテゴリｉを認識結果とする（Step
7）。 Step6の判定において、カテゴリｉの認識出力のみが
１となっていなかった場合は、誤認なので、結果をリジ
ェクトする（Step8）。 第14図に２次元２カテゴリの場合の認識境界の様子を
示す。例えば、カテゴリＡの認識領域は、基本ネットで
下側の境界が定まり、カテゴリＡの補助ネットのカテゴ
リＢ（cosθＢ）方向に関する素子で右側の境界が、カ
テゴリＡ（cosθＡ）方向に関する素子で上側の境界が
それぞれ定まり、また、正弦方向（sinθＡ）の境界は
正弦方向の許容変動判定器によって定まる。カテゴリＢ
の認識境界についても同様である。 次に、第13図に従って、本実施例の補助ネットにおけ
る他カテゴリ方向の許容範囲の調整方法を説明する。 まず、各カテゴリのプロトタイプパターンがその入力
パターンには反応する（他カテゴリの素子が反応しても
よい）ように記憶され、その許容変動範囲を示すしきい
値が調整されたとする（Step0）。 次に、この基本ネネットをコピーして各カテゴリの補
助ネットを作り、入力パターンを順に提示する（Step
1）。 提示したパターンカテゴリ以外の他カテゴリの認識出
力が受理されるかどうかを判定する（Step2）。 判定の結果、他カテゴリの認識出力がなかったとき
は、すべてのサンプルパターンに誤認がないかを調べ
（Step3）、まだ誤認のあるサンプルパターンがあると
きは次のサンプルパターンを提示する。誤認のあるサン
プルパターンがなくなったら処理を終了する。 Step2の判定の結果、基本ネットの中間素子が誤って
他カテゴリに反応していたら、補助ネットを動作させる
（Step4）。 そして、基本ネットで誤認したカテゴリが補助ネット
で否定されるかどうかを調べる（Step5）。 補助ネットで否定された場合には、認識処理時にはそ
のカテゴリは基本ネットが誤判定しても補助ネットを参
照することにより正しい判定ができるので、補助ネット
の調整は行わず、次のパターンを提示し調整を続行す
る。 Step5の判定で、基本ネットで誤認したカテゴリが補
助ネットで否定されなかった場合には、その入力カテゴ
リの補助ネットの中間素子（誤反応するカテゴリに相
当）のしきい値を微小量Δだけ小さくして、他カテゴリ
の変動許容範囲をきつくする（Step6）。 学習用の入力パターンが誤認しなくなるまで、再度提
示してこの操作を繰り返す。これによって学習後は、学
習パターン以外に対しても、誤認の少ない認識処理が実
行できる。
本発明は、連想能力の高い一般逆行列を局所的で簡単
な処理で近似的に実現し、しきい値処理とフィードバッ
ク回路によって変形パターンにも対応できるようにした
ので、誤認が少ないパターン認識が効率的に実行でき、
かつ、簡単な演算で認識辞書も学習できるという効果を
奏する。 また、本発明は補助ネットを設けたことにより、各カ
テゴリの分布の許容範囲を決定し、認識を行うので、一
層誤認の少ないパターン認識が効率良く実現できる。
な処理で近似的に実現し、しきい値処理とフィードバッ
ク回路によって変形パターンにも対応できるようにした
ので、誤認が少ないパターン認識が効率的に実行でき、
かつ、簡単な演算で認識辞書も学習できるという効果を
奏する。 また、本発明は補助ネットを設けたことにより、各カ
テゴリの分布の許容範囲を決定し、認識を行うので、一
層誤認の少ないパターン認識が効率良く実現できる。
第１図は、本発明の直交射影型フィードフォワード連想
記憶モデルを示す図である。ただし、図中には注目した
中間層素子への結合のみが示されている。 第２図は、本発明の第１の実施例のシステム構成を示す
図である。 第３図は、従来の直交射影型フィードフォワード連想記
憶モデルを示す図である。 第４図は、従来の直交射影型フィードバック連想記憶モ
デルを示す図である。 第５図は、中間層出力にしきい値処理を施すための非線
形しきい関数の一例を示す図である。 第６図は、本発明の認識処理の概略を示すフォローチャ
ートである。 第７図は、本発明の学習処理の概略を示すフローチャー
トである。 第８図（ａ）〜（ｃ）は、本実施例の効果を示すパター
ンの認識の実験例を示す図である。 第９図（ａ）〜（ｃ）は比較のために示す従来例による
パターンの認識の実験例を示すものである。 第10図は、大分類と詳細分類を用いた本発明の第２の実
施例を示す図である。 第11図は、本発明の第３の実施例のシステム構成を示す
図である。 第12図は、第３の実施例の認識処理の手順を示すフロー
チャートである。 第13図は、第３の実施例の学習処理の手順を示すフロー
チャートである。 第14図は第３の実施例における２次元パターンの２カテ
ゴリの識別面の形成例を示した図である。 21……入力レジスタ、22……クロック発振器、23,26,29
……積分演算部、24……微分演算部、25……関数演算
部、27……非線形しきい処理部、28……出力レジスタ。
記憶モデルを示す図である。ただし、図中には注目した
中間層素子への結合のみが示されている。 第２図は、本発明の第１の実施例のシステム構成を示す
図である。 第３図は、従来の直交射影型フィードフォワード連想記
憶モデルを示す図である。 第４図は、従来の直交射影型フィードバック連想記憶モ
デルを示す図である。 第５図は、中間層出力にしきい値処理を施すための非線
形しきい関数の一例を示す図である。 第６図は、本発明の認識処理の概略を示すフォローチャ
ートである。 第７図は、本発明の学習処理の概略を示すフローチャー
トである。 第８図（ａ）〜（ｃ）は、本実施例の効果を示すパター
ンの認識の実験例を示す図である。 第９図（ａ）〜（ｃ）は比較のために示す従来例による
パターンの認識の実験例を示すものである。 第10図は、大分類と詳細分類を用いた本発明の第２の実
施例を示す図である。 第11図は、本発明の第３の実施例のシステム構成を示す
図である。 第12図は、第３の実施例の認識処理の手順を示すフロー
チャートである。 第13図は、第３の実施例の学習処理の手順を示すフロー
チャートである。 第14図は第３の実施例における２次元パターンの２カテ
ゴリの識別面の形成例を示した図である。 21……入力レジスタ、22……クロック発振器、23,26,29
……積分演算部、24……微分演算部、25……関数演算
部、27……非線形しきい処理部、28……出力レジスタ。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 G06F 15/18
Claims (1)
- 【請求項１】フィードバック回路によって入力パターン
を認識出力パターンに動的に変換するとともに、認識辞
書を学習によつて獲得する連想記憶モデルであって、入
力パターンの認識カテゴリを表す１個の素子のみが発火
する疎な符号表現を用いた中間層を持ち、かつ認識辞書
には、認識辞書情報が結合重みの分布として記憶される
パターン認識方式において、各認識カテゴリの分布の許
容範囲を決定する補助ネットを設けたことを特徴とする
パターン認識方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2280519A JP3018465B2 (ja) | 1990-10-18 | 1990-10-18 | 疎な符号表現を用いたパターン認識方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2280519A JP3018465B2 (ja) | 1990-10-18 | 1990-10-18 | 疎な符号表現を用いたパターン認識方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04153891A JPH04153891A (ja) | 1992-05-27 |
| JP3018465B2 true JP3018465B2 (ja) | 2000-03-13 |
Family
ID=17626236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2280519A Expired - Fee Related JP3018465B2 (ja) | 1990-10-18 | 1990-10-18 | 疎な符号表現を用いたパターン認識方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3018465B2 (ja) |
-
1990
- 1990-10-18 JP JP2280519A patent/JP3018465B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 電子情報通信学会論文誌 Ｖｏｌ．Ｊ７３−Ｄ−▲ＩＩ▼ Ｎｏ．４ ｐｐ６４１−６４７「直交射影連想回路の種々の構造について」松岡 １９９０／４／２５ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04153891A (ja) | 1992-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4982743B2 (ja) | 音源定位・同定装置 | |
| CN111325318B (zh) | 神经网络的训练方法、神经网络的训练装置和电子设备 | |
| US5490223A (en) | Pattern recognition apparatus | |
| CN112149616B (zh) | 基于动态信息的人物交互行为识别方法 | |
| CN115456789B (zh) | 基于交易模式识别的异常交易检测方法及其系统 | |
| JP2021093144A (ja) | センサ特化イメージ認識装置及び方法 | |
| JP3018465B2 (ja) | 疎な符号表現を用いたパターン認識方式 | |
| JPH08212184A (ja) | 認識装置および欠損値推定／学習方法 | |
| CN112183513A (zh) | 一种图像中文字的识别方法、装置、电子设备及存储介质 | |
| JP3303253B2 (ja) | パターンマッチング方法および装置 | |
| Huang et al. | Hopfield model of neural networks for detection of bright spots | |
| Arora | Neural network based Numerical digits Recognization using NNT in Matlab | |
| JPH01321591A (ja) | 文字認識装置 | |
| Barua | Neural networks and their applications to computer data security | |
| JP3019911B2 (ja) | パタン認識方法 | |
| JPH01267789A (ja) | 認識辞書作成機能を備えた文字認識装置 | |
| Polat et al. | Recognition of patterns without feature extraction by GRNN | |
| JPH04153890A (ja) | 疎な分散符号表現を用いたパターン認識方式 | |
| JP3247811B2 (ja) | パターンマッチング装置 | |
| JP3213151B2 (ja) | ニューラルネットワークを用いたパターン認識装置の学習方法および学習装置 | |
| CN115035342A (zh) | 机器学习模型训练方法和装置、视觉关系检测方法和装置 | |
| JPH02148182A (ja) | 指紋照合装置 | |
| Han et al. | Neural network approach to the nonlinear shape restorations | |
| JPH0211950B2 (ja) | ||
| JPH04153892A (ja) | 分散記憶によるパターン認識方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |