JPH04260923A - パターン生成方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は文字（画像）や音声等のパターンを人為的に生
成させるパターン生成方法に関するものである。

（従来の技術） 従来、人為的に変形パターンを生成するには一様なラン
ダムノイズや、ある確率分布（例えばガウス分布）に従
ったノイズを付加する方法が一般的であった。これらの
ノイズはある特定の確率分布を規定しまう為に、必ずし
も各カテゴリのパターン分布をうまくカバーするとは限
らなかった。

一方、自己（相互）想起連想モデルとして、一般逆行列
で設定された直交射影型連想記憶モデルが周知であり、
これは、入出力パターンの相関行列で設定される相関型
連想記憶モデルよりも高い連想能力を持っている。

このような直交射影型連想記憶モデルとして、一般逆行
列に基づくフィードバック連想記憶モデルは、高い連想
能力を持つ事が報告されている（松岡（九工大）：“直
交射影型連想記憶回路の種々の構造について”，電子情
報通信学会論文誌，Ｖｏｌ．Ｊ７３−ＤＩＩ，Ｎｏ．４
，ｐｐ．６４１−６４７，Ａｐｒｉｌ’９０．）。即ち
、第９図に示すように、相互抑制結合中間層を持つ３層
モデルを用いて、一般逆行列の計算を効率的な局所演算
する方法、および、第１０図に示すように、フィードバ
ック回路による自己想起連想記憶モデルにおける計算方
法を上記文献で提案している。

（発明が解決しようとする課題） 本発明は、従来の欠点を解消し、特定の確率分布に従わ
ないように、辞書のサンプルパターンから種々の変形パ
ターンを生成する事を課題とするものである。

松岡氏の連想記憶モデルは、原理的なプロトタイプパタ
ーンの記憶・想起を示すもので、入力パターンを辞書パ
ターンに近づげるものである。このモデルの中間層の非
線形関数を工夫すれば、周期的な発振や無限周期のカオ
スを生じさせ、人為的に変形パターンを生成する事が出
来ることを発見し、本発明を完成したものである。

（課題を解決するための手段） 本発明は、第１図に示すような疎な中間層を実現する相
互抑制結合を持った３層フィードバック連想記憶モデル
を応用して、周期発振や無限周期のカオスを発生させて
、人為的に種々の変形パターンを生成するものである。

即ち、本発明は、フィードバック連想記憶モデルに、所
定の非線形関数を用いて周期的な発振あるいは無限周期
のカオスを生じさせて、種々の変形パターンを生成する
事を特徴としている。

（作用） このフィードバック連想記憶モデルでは、ランダムノイ
ズの付加の様に特定の確率分布に従わないのみならず、
人間の脳内発振でも観測される周期発振や無限周期のカ
オスを用いて、変形パターンを生成させるので、より人
間のパターン認識能力を反映した自然な変形パターンを
生成させる事が可能となる。

（実施例） 第１図は本発明の直交射影型フィードバック連想記憶モ
デルを示し、第２図は本発明のシステム構成の１実施例
を示すものである。第３図は、本発明の処理手順を示す
フローチャートである。

第２図において、このシステムは、入力パターンおよび
フィードバック信号を保持する入力レジスタ２１と、こ
の入力レジスタ２１の内容を次段に供給するタイミング
を制御するクロック発振器２２と、後述する■式のＷ２
Ｔｘ’を演算する第１の積和演算部２３と、この第１の
積和演算部２３と第２の積和演算部２６の出力を基に■
式のｄｙ（ｔ）／ｄｔを演算すると共に変化分により更
新された中間層の出力ｙ（ｔ）を得る微分演算部２４と
、この微分演算部２４の出力をしきい値処理する非線形
しきい処理部２５と、この非線形しきい処理部２５の出
力に重み行列Ｗ２を乗じて■式の演算をする第３の積和
演算部２７と、この第３の積和演算部２７の結果を保持
する出力レジスタ２８とから構成されている。これらの
演算部は、連続時間を離散化することで汎用の計算機上
のプログラムや専用のアナログ（又はデジタル）演算回
路で実現できる。各層の素子の状態は、それぞれのレジ
スタに記憶され、結合重み値は積和演算部のメモリに記
憶される。

第３図のフローチャートに従って本発明のパターン生成
方法を説明する。まず、サンプル時間Ｔｓまでカテゴリ
ｍに属する入力パターンｘ（ｍ）を入力層に与える（Ｓ
ｔｅｐ０）。その間■式によって中間層出力ｙ（ｔ）を
計算する（Ｓｔｅｐ１）。ただし、τ、Ｔｇはτ＜Ｔｓ
の関係にある時定数であり、それぞれネットの構造や大
きさによって定まる。この中間層出力ｙ（ｔ）を各非線
形関数ｆｉ（．）で処理し、■式によってフィードバッ
ク信号ｘ’を計算する（Ｓｔｅｐ２）。これを次のサン
プル時間２Ｔｓまで入力層に与えて同様に■式の処理を
行った後、２Ｔｓ時間になった時に■式からｘ’を得る
。この処理をサンプル時間Ｔｓ毎に繰り返す。

すると、■式の様に、各サンプル時間（ｋ＋１）Ｔｓの
中間層素子の出力は非線形関数ｆ（・）に従うので、こ
のｆ（・）をうまく選んでやれば中間層素子の出力を“
０”と“１”の付近で発振させる事が出来る。

これによって、各カテゴリの辞書パターンを中間層素子
出力で重み付け加算したフィードバック信号ｘ’で、種
々の変形パターンが生成される。

また、Ｔ：転置、＋：一般逆行列を表し、ｋは正の整数
である。

上記非線形関数は、第３図に示すように、ｆｉ（０）＝
０，ｆｉ（１）＝１，ｆｉ（θｉ）＝θｉで、０＜ｘ＜
θｉのときはｆｉ（ｘ）≦ｘでかつｆｉ（ｘ）が単調に
減少してから増加し、θｉ＜ｘ＜１のときはｆｉ（ｘ）
≧ｘでかつｆｉ（ｘ）単調に増加してから減少するもの
である。例えば、非線形関数として、 とすれば良い。

ここで、θｉは０＜θｉ＜１のパラメータ、ｋは発振パ
ラメータを示す。

発振パラメータにを変化させれば、周期２から２のべき
乗の発振を発生できる事は公知であるので、これによっ
て変形パターンのバリエーションが２種類から２のべき
乗個まで変えられる。

すなわち、 ０＜ｋ≦１：安定点に単調に収束 １＜ｋ≦２：安定点に減衰振動をしながら収束２＜ｋ＜
■６：周期２の発振 ■６≦ｋ＜ａｃ−１：周期２ｎ乗の発振ａｃ−１≦ｋ≦
３：カオスの発生 ここでａｃは公知のロジステイック方程式におけるカオ
ス発生の臨界値で約３．５７である。

又、各中間層素子の非線形関数について別々に発振バラ
メータにを変化させれば、さらに変形パターンのバリエ
ーションが増える。

各パラメータの例としては、入力次元数：Ｎ＝２５６、
カテゴリ数：Ｍ＝７１、減衰の時定数：τ＝０．１、サ
ンプリング時間：Ｔｓ＝１０、不安定パラメータ：θｉ
＝０．５とした。

第５図に入力パターンの例を示し、第６図、第７図は、
それぞれｋ＝２．６、ｋ＝２．９でフィードバックを５
０回程度行った結果を示す。また、第８図にカオス波形
の例を示す。

尚、カオス発生に近づく（ｋが大）につれて、全ての素
子を同等に発振させると、どのカテゴリの文字か判定出
来ないので、入力パターンの文字カテゴリを表現する中
間素子以外の他のカテゴリ素子の出力については数１０
％程度を掛けて足し合わせる等の工夫が効果的である。

また、本発明で発生させたパターンを用いて、パターン
認識方式の辞書パターンの学習を行うことができる。

（発明の効果） 本発明は、フィードバック連想記憶モデルを応用して変
形パターンを生成させるので、特定の確率分布に従わな
い、人間のパターン認識能力を反映した自然な変形パタ
ーンを生成させる事が効率的に実行出来る。

【図面の簡単な説明】

第１図は、本発明の直交射影型フィードバック連想記憶
モデルを示す概念図、第２図は本発明のシステム構成の
１実施例を示すブロック図、第３図は本発明のパターン
生成処理の概略を示すフオローチャート、第４図は中間
層出力にしきい値処理を施す為の非線形関数の１実施例
を示す線図、第５図は入力パターンの１例を示サンプル
図、第６図、第７図はそれぞれ出力パターンを示すサン
プル図、第８図はカオス波形の１例を示すグラフ、第９
図、第１０図はそれぞれ従来の連想記憶モデルをそれぞ
れ示す概念図である。 ２１‥‥入力レジスタ、２２‥‥クロック発振器、２３
‥‥第１の積和演算部、２４‥‥微分演算部、２５‥‥
非線形しきい処理部、２６‥‥第２の積和演算部、２７
‥‥第３の積和演算部、２８‥‥出力レジスタ。 特許出願人　富士ゼロックス株式会社

Claims (1)

【特許請求の範囲】
1. フィードバック連想記憶モデルに、所定の非線形関数を
   用いて周期的な発振あるいは無限周期のカオスを生じさ
   せて、種々の変形パターンを生成する事を特徴とするパ
   ターン生成方法。