JPH05210648A - 自己組織型パタ−ン分類システム及び分類方法 - Google Patents

Abstract

(57)【要約】 【目的】 少ないメモリ、短い処理時間で、しかも十分
な認識度のある自己組織型パターン分類装置及び方法を
得ることを目的とする。 【構成】 既に学習したパターンでクラス分けされたテ
ンプレートと比較する手段と、この比較手段で入力をク
ラス分けする手段と、入力信号が正しくクラス分けされ
たかを調べる手段と、入力に対し正解クラスが選択され
た時、正解クラスが他のクラスから離れたテンプレート
を持っていて、安定したクラス分けが出来るかどうか調
べる手段と、テンプレートが調整されて安定なクラス分
けが出来ているか調べて調整する手段とを設けた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はパタ−ン分類システム
に関するものであり、特に、ニュ−ラル・ネットワ−ク
によるパタ−ン分類装置の自己組織化学習方法に関する
ものである。さらに詳しくは、入力パタ−ン信号を、該
当するクラスに分類する装置に関するものであり、入力
パタ−ン信号を繰り返し、提示することにより、正しい
結果を出力するように学習する分類装置に関するもので
ある。

【０００２】

【従来の技術】文字認識装置や音声認識装置またはタ−
ゲット・リコグニッションに代表される認識型入力装置
は、入力されたパタ−ン信号をその入力パタ−ン信号が
属するクラスに正しく分類しなければならない。この認
識型入力装置を構成するために、テンプレ−ト手法や構
造解析法などのパタ−ン認識技術が開発されてきたが、
これらの手法は、入力パタ−ン信号を正しく分類するた
めに必要な情報を入手により開発し、入手により装置に
組み込まねばならなかった。これでは非効率で、誤りも
発生し易い。このような問題を解決するために任意の個
数のクラスの入力パタ−ン信号を、正しく分類するよう
に自分で編成を行うことのできるニュ−ラル・ネットワ
−クを用いたパタ−ン分類手法が提案されている。図１
７は、例えば『 StatisticalPattern Recognition with
Neural Networks : Benchmarking Studies 』,TeuvoKo
honen,Gyorgy Barna,and Ronald Chrisley,Proc. IEEE
International Conference on Neural Networks,Jul
y24-27,1988, vol.1 pp.66-67 に示された、学習ベクト
ル量子化手法２（Learning Vector Quantization 2）を
用いた従来の自己組織型パタ−ン分類装置の構成例を示
す図である。

【０００３】さて図を参照すれば、従来装置は、複数個
（Ｎ個）の要素Ｓ1,Ｓ2,…, ＳN からなるＮ次元の入力
パタ−ン信号Ｓの各要素Ｓi １を入力するバッファとし
て働く入力層ノ−ド２、Ｎ個の入力層ノ−ド２から信号
線８を経由して受け取ったＮ次元の入力パタ−ン信号Ｓ
から後に詳述する中間層出力値１０を生成するＭ個の中
間層ノ−ド３、Ｍ個の中間層ノ−ドの中間層出力値１０
を信号線９を経由して、また外部から与えられた教師信
号６とに基づいて出力応答信号５と、また学習信号７と
を決定するLVQ2セレクタ４、および学習信号７を中間層
ノ−ドに伝える信号線１１、とから構成されている。図
１８は、ｉ番目の中間層ノ−ドＵi ３の構成を示す図で
あり、図中１２は、入力パタ−ンＳの各要素Ｓを、中間
層ノ−ドＵi に格納した重み係数ベクトルＷｉの要素Ｗ
i1, Ｗi2, …, ＷiNで重み付けして比較する比較器、１
３は加算器、１４は平方根算出器である。１５は変換器
１２により入力パタ−ン信号Ｓの要素Ｗijを重み係数ベ
クトルの要素Ｗijで重み付けした結果を加算器１３に転
送する信号線、１６は加算器で計算した結果を平方根計
算器１２に伝達する信号線である。

【０００４】次に、図１７と図１８を用いて、従来装置
の動作について説明する。従来装置では、Ｎ個の要素Ｓ
i,Ｓ2,, …, ＳN で表される入力パタ−ン信号Ｓ １
を、入力パタ−ン信号が属するクラスに分類する『認識
モ−ド』と、入力パタ−ン信号を正しく分類できるよう
に中間層ノ−ド３に格納した重み係数ベクトルＷi を修
正する『学習モ−ド』とで動作する。まず、『認識モ−
ド』について説明する。『認識モ−ド』では、まず外部
に入力装置から入力パタ−ン信号ＳのＮ個の要素Ｓ1,Ｓ
2,…, ＳN を受け取り、入力パタ−ン信号Ｓ １の属す
るクラスを判定し、この結果を出力応答信号５として出
力する。以下この動作について説明する。Ｎ個の要素Ｓ
i,Ｓ2,, …, ＳN からなる入力パタ−ン信号Ｓの例とし
ては、文字認識や音声認識などの分野で，前処理あるい
は特徴抽出を行った後の信号を考えることができる。こ
れらの方法については、多く発表されているが、例えば
文字認識のパタ−ン信号Ｓとしては、『A Comparison o
f A Nearest Neighbour Classifier And A Neural Netw
ork For Numeric Handprint Character Recognition 』
,W.E.Weiderman,M.T. Manry and H.C.Yau,Proc.Intern
ational JOINT Conference on Neural Networks,June 1
8-22,1989, Vol I pp. 117-120に述べられている幾何モ
−メント（Geometric Moment）やトポロジカルな特徴
（TopologicalFeatures）などが該当する。

【０００５】出力応答信号５は、本装置で判定したクラ
ス情報に該当する。すなわち、例えば、本装置が英字大
文字『Ａ』〜『Ｚ』で構成される２６種類のクラスを分
類するように用いられた場合には、出力応答信号５とし
て、『Ａ』〜『Ｚ』の２６種類のクラスのうちのいずれ
かの情報を出力するように動作する。これは、後述する
ように、中間層ノ−ド３に格納した重み係数と入力パタ
−ン信号Ｓ １とを整合させることによって達成され
る。すなわち、中間層ノ−ド３の比較器１２に格納した
重み係数は文字の特徴を代表するテンプレ−トとして動
作する。中間層ノ−ド３は、入力層ノ−ド２から信号線
８を介して転送された入力パタ−ン信号Ｓ １と中間層
ノ−ドに格納した重み係数とに基づいて、中間層出力値
１０を作成する。例えば、ｉ番目の中間層ノ−ドＵｉの
中間層出力値１０をＯｉで記述した場合、中間層出力値
Ｏｉは、下記式（１）にしたがって計算される。

【０００６】

【数１】

【０００７】ただし、Ｓj は入力パタ−ン信号Ｓの第ｊ
番目のスカラの要素、Ｗijは第ｉ番目の中間層ノ−ドＵ
i に格納した重み係数の第ｊ番目のスカラの要素であ
る。式（１）に示す中間層出力値Ｏi は、図１８のブロ
ック図で示すごとく、中間層ノ−ドで計算される。すな
わち、重み係数をもつ比較器１２で入力パタ−ン信号Ｓ
の各要素Ｓｊと中間層ノ−ドＵi に格納した重み係数の
要素Ｗjiとの差を二乗し、この値が信号線１５を介して
加算器１３に転送される。加算器１３で加算された値は
信号線１６を介して平方根算出器１４に転送される。平
方根算出器では、この加算された値の平方根が計算さ
れ、中間層ノ−ドＵｉ ３の中間層出力値Ｏi として信
号線９を介し、LVQ2セレクタ４に転送される。中間層ノ
−ド３には、各クラスを代表するテンプレ−トとして動
作する重み係数が比較器１２に格納されており、認識対
象のクラスの種類よりも多くの数が用いられる。すなわ
ち、一つのクラスに対応する中間層ノ−ドは、複数個存
在し、一つのクラスに属する複数個の中間層ノ−ドが該
クラスのパタ−ン信号の分布を表すものである。例え
ば、図１９で示す如き種々の形で表される文字パタ−
ン、例えば「Ａ」に代表される中間層ノ−ドＵa1, Ｕa
2, Ｕa3と、文字パタ−ン「Ｂ」に代表される中間層ノ
−ドＵb1, Ｕb2, Ｕb3, Ｕb4とがある。

【０００８】同一クラスのテンプレ−トを持つ、異なっ
た中間層ノ−ドを明確化させる他の方法は、各テンプレ
−トをベクトルとして取り扱うことである。図２０で、
文字「Ａ」と文字「Ｂ」に注目する。これらの「文字」
は形の検出用に使用され、各テンプレ−トは２点のスカ
ラ−量（Ｘ1,Ｘ2 ）からなるベクトルを持つ。これは、
パタ−ン認識分野におけるマルチ・テンプレ−ト手法の
テンプレ−トの概念に対応し、中間層ノ−ドＵa1, Ｕa
2, Ｕa3はすべて文字「Ａ」の分布を表し、中間層ノ−
ドＵb1, Ｕb2, Ｕb3, Ｕb4はすべて文字「Ｂ」の分布を
表し、各パタ−ンの分布によっての数は異なるものであ
る。上記式（１）で表される、第ｉ番目の中間層ノ−ド
Ｕi の中間層出力値Ｏi は、入力パタ−ン信号ベクトル
Ｓ １と重み係数Ｗijで表されるテンプレ−ト・ベクト
ルとのベクトル空間におけるユ−クリッド距離を示して
いる。すなわち、中間層出力値Ｏi の値が小さいほど、
つまりユ−クリッド距離が短いほど入力パタ−ン信号ベ
クトルＳ １と重み係数Ｗijで表されるテンプレ−ト・
ベクトルが類似していることを示すものである。このよ
うな概念に基づいて、上記LVQ2セレクタ４は、中間層ノ
−ド３から転送された中間層出力値１０のうち、最小値
を与える中間層ノ−ドＵｋmin を入力パタ−ン信号にも
っとも近い中間層ノ−ドとして選択し、この中間層ノ−
ドＵｋmin に該当するクラス名を、出力応答信号５とし
て出力する。図２０で、入力信号Ｓがベクトルを表すと
すると、中間層ノ−ドＵa1〜Ｕa3，ＵB1〜Ｕb4までの距
離はＯa1〜Ｏa3，Ｏb1〜Ｏb4となる。中間層ノ−ドＵa1
が最小距離Ｏa1を与える。従って、システム出力５は、
文字「Ａ」を中間層ノ−ドＵa1に属するものとして応答
信号を出す。

【０００９】次に、従来装置の、『学習モ−ド』につい
て説明する。『学習モ−ド』においては、上述『認識モ
−ド』と同様の処理で決定した出力応答信号５と外部か
ら与えられた教師信号６とを比較し、正しく分類できな
かった場合、上記中間層ノ−ド３の比較器１２の重み係
数の値を変えることにより本装置の学習機能を達成す
る。具体的には、LVQ2セレクタ４は、『認識モ−ド』で
決定した出力応答信号５のクラス名と教師信号６で与え
られる正解クラス名とを比較する。もし、両者が異なっ
ている場合、本システムは正しく機能してないとみな
し、重み係数修正処理に入る。すなわち、すべての中間
層ノ−ド３の中間層出力値１０のうち、最も小さい値と
２番目に小さい値とを検出した後、下記条件を満たすか
否かを判定する。そして、下記条件を満たす場合、学習
信号７により信号線１１を介して指示した中間層ノ−ド
の比較器１２の重み係数を、式（２）の条件の下に、後
に述べる式（３）に従って修正する。

【００１０】学習条件は次の通りである。Ｕi は最も小
さい中間層出力値Ｏi を出力した（入力パタ−ン信号Ｓ
に最も近いと判定された）中間層ノ−ド、Ｕi は２番目
に小さい出力値Ｏj を出力した（入力パタ−ン信号Ｓに
次に近いと判定された）中間層ノ−ドである。また、中
間層ノ−ドＵi はクラスＣi に属し、中間層ノ−ドＵj
はクラスＣj （Ｃi ≠Ｃｊ）に属する。更に、入力パタ
−ン信号ＳはクラスＣｉ には属さない。かつ、入力パ
タ−ン信号Ｓは、式（２）に示す指定した窓の条件に入
っていなければならない。 Ｏj −Ｏi ≦ｔｈ２ …（２） ただし、ｔｈ２はあらかじめ定めた固定のしきい値であ
る。

【００１１】重み修正方法は次の通りである。中間層ノ
−ドＵi とＵj に格納した重み係数の値を下記式（３）
にしたがって修正する。 中間層ノ−ドＵi の重みＷik(t+1)=Ｗik(t)-α(t)[Ｓk-
Ｗik(t)] 中間層ノ−ドＵj の重みＷjk(t+1)=Ｗjk(t)+α(t)[Ｓk-
Ｗjk(t)] ｆｏｒ ｋ＝１，…Ｎ …（３） ただし、t は時刻t をあらわす単調増加する整数（t=1,
2,，…）。また、α(t)は、十分小さい値を持つ、単調
現象関数であり、たとえばα(t) ＝１／(t+1)などで計
算する。いま、中間層ノ−ドＵi は入力パタ−ン信号Ｓ
に最も近いが正解クラスとは異なっており、中間層ノ−
ドＵj は入力パタ−ン信号Ｓに次に近くて正解クラスで
あるとする。このとき式（２）は、図２１のウインドウ
領域Ｗの中に入力信号Ｓが入ることを意味する。ウイン
ドウＷは、中間層ノ−ドＵi とＵj の重み係数を持つ近
接テンプレ−トの境界付近でｔｈ２の幅を持っている。
これらのテンプレ−ト・ベクトルは、図２１（ａ）中の
２２０ａと２２０ｂで示される。もし、入力パタ−ン信
号ベクトル５がウインドウ領域Ｗの中に入るなら、入力
パタ−ンは近接テンプレ−ト・ベクトルの境界領域にあ
る。そして、入力パタ−ン信号は高精度で正しく区別す
ることが出来ない。

【００１２】このような誤りを修正するために、上記の
式（３）の第一の式により、入力パタ−ン信号Ｓと異な
るクラスの中間層ノ−ドＵi の重み係数で表されるテン
プレ−トを、ベクトル空間上において入力パタ−ン信号
Ｓと引き離すように、中間層ノ−ドＵi の重み係数を修
正する（図２１（ａ）のｍ1 に対応する）。また、上記
の式（３）の第二の式により、入力パタ−ン信号Ｓと同
一クラスの中間層ノ−ドＵj の重み係数で表されるテン
プレ−トを、ベクトル空間上において入力パタ−ン信号
Ｓに近付けるように、中間層ノ−ドＵj の重み係数を修
正する（図２１（ａ）のｍ2 に対応する）。この結果、
図２１（ｂ）に示すように重み係数は調整される。この
様にして、この学習を繰り返すことにより、すべての中
間層ノ−ドの重み係数が、正しく入力パタ−ン信号を分
類できるように構成されていくという特徴をもつ。上記
『学習モ−ド』は、学習するために用意された、すべて
の入力パタ−ン信号に対し適用し、上記の式（３）に示
す中間層ノ−ドの重み係数ベクトルが修正されなくなる
まで繰り返される。これは学習専用で行っても良く、通
常の認識、モ−ドと併用して行っても良い。

【００１３】

【発明が解決しようとする課題】上記従来のLVQ2学習手
法を用いたニュ−ラル・ネットワ−クによるパタ−ン分
類装置は以上のように構成されているので、上記文献
『Statistical …Networks:Benchmarking Studies 』で
述べられているように、類似したクラス間のパタ−ン信
号分布における識別境界を正しく設定出来るように中間
層ノ−ドの重み係数を修正する優れた学習法である。し
かし本手法は、類似したクラス間のパタ−ン信号分布に
おける識別境界を正しく設定するように重み係数を修正
する学習方法であるため、既存の重み係数で表されるテ
ププレ−トとかけ離れた入力パタ−ン信号が入力される
と、誤った分類を発生させてしまい、上記窓の条件式
（２）を満足せず、学習が行われない。さらにまた、入
力パタ−ン信号Ｓに最も近いと判定されたクラスＣi と
入力パタ−ン信号Ｓに次に近いと判定されたクラスＣj
のクラスが共に、学習信号として与えられた正しいクラ
スと異なる場合、学習が行われない。したがって、中間
層ノ−ドの重み係数の改善が行われない。このため、学
習が収束しなくなる。さらに、本装置に登録されていな
いクラスの入力パタ−ン信号が入力されたとき、該当ク
ラスス中間層ノ−ドがないため、学習することが出来な
いという課題があった。

【００１４】この発明は、上記のような課題を解決する
ためになされたもので、どの様な入力パタ−ン信号に対
しても安定に正しく学習出来る自己組織型パタ−ン分類
システムを得ることを目的とする。

【００１５】

【課題を解決するための手段】この発明における自己組
織型パタ−ン分類システムは、学習済のパタ−ンでクラ
ス分けしたテンプレ−トを持ち、このテンプレ−トと比
較する手段と、この比較手段により入力をクラス分けす
る手段と、このクラス分けが正しいか確認する手段と、
さらに正解クラスが他のクラスと十分離れているか調べ
る手段と、テンプレ−トが安定か確認する手段とを設け
た。または、学習済のパタ−ンでクラス分けしたテンプ
レ−トを持ち、このテンプレ−トと比較する手段と、こ
の比較手段により入力をクラス分けする手段と、このク
ラス分けが正しいか確認する手段と、さらに正解を示す
クラスのテンプレ−トがあるかを調べる手段と、クラス
分けが正しくないときや正解クラスが選べないときに、
新しいクラス用のテンプレ−トを生成する手段を設け
た。

【００１６】または、入力パタ−ン信号の各要素用の入
力バッファと、この入力パタ−ンの各要素から重み付け
て中間層出力を生成する中間層ノ−ド群と、さらにこれ
らの中間層ノ−ド群をクラス別にした各クラスの中間層
ノ−ドの中間層出力値中の最小値を得て各クラス信号と
して出力する出力ノ−ド群と、さらに中間層出力の最小
値を出力する中間層ノ−ドのクラスを示す出力を外部へ
出力し、また学習信号を中間層ノ−ドに出力するセレク
タと、この学習信号としては出力ノ−ド群の出すクラス
信号と外部からの教師信号であって、この学習信号によ
り中間層ノ−ドの重みを調整する手段とを設けた。また
は、上記の構成において、セレクタは少なくとも認識モ
−ドと学習モ−ドの別を持ち、認識モ−ドでは各クラス
信号を表す中間層ノ−ドの出力値から、中間層出力値の
最小値を求めて、その最小値を与える出力のクラス名を
出力し、学習モ−ドでは各出力ノ−ドが出力するクラス
名と外部からの教師信号によって、中間層ノ−ドの重み
係数を修正する手段を設けた。

【００１７】または、入力パタ−ン信号の各要素用の入
力バッファと、クラス分けのためのパタ−ン用のテンプ
レ−ト群と、上記入力とこれらテンプレ−トとを比較
し、差出力する中間層出力手段群と、これら中間層出力
を選択してクラス信号とし、出力する受信手段と、これ
ら受信手段のクラス中から、最小値を出すクラスを選択
する選択手段を設けた。または、入力パタ−ンと、各ク
ラスを表すテンプレ−トとを比較するステップと、これ
らの比較結果中の差の最小値を選択してそのクラスの最
小値と定めるステップと、さらに各クラス最小値中から
最小の値を選ぶステップと、入力パタ−ンをその選ばれ
た最小の値のクラスとするステップとを備えた。

【００１８】

【作用】この発明における自己組織型パタ−ン分類シス
テムでは、まず学習済のパタ−ンで区分されたテンプレ
−トと入力パターンとが比較され、その差信号の最も小
さなものがクラスを表す信号となるよう選ばれる。この
とき隣接クラスと十分に差があるかどうかも調べられ
る。また、クラス分けが出来ないか、学習時とは異なる
誤ったクラス分けになる時は、テンプレ−トは修正され
る。または、入力パタ−ンは入力バッファに入り、入力
バッファの各要素から組み合わされた各中間層ノ−ドに
入り、これら中間層ノ−ド群中の最小値がクラス信号と
なる。また、クラス信号を出力する認識動作以外に、学
習動作時には、各クラス信号と教師信号とで中間層ノ−
ドの重み係数が変化する。または、まず入力と各クラス
のテンプレ−トとが比較され、その結果から最小差を示
すクラスが選ばれ、さらにその最小値からクラスが特定
される。

【００１９】

【実施例】

実施例１．以下、この発明の一実施例を図１〜図１６を
用いて説明する。図１は、本発明による自己組織化学習
法を用いた自己組織型パタ−ン分類システムの概念図で
ある。図において、本装置は以下の要素から構成され
る。Ｎ次元の要素Ｓ1,Ｓ2,…ＳN からなる入力パタ−ン
信号Ｓ １を入力する入力バッファとして働く入力層ノ
−ド２と、Ｎ個の入力層ノ−ド２から信号線８経由で受
け取ったＮ次元の入力パタ−ン信号Ｓから中間層出力値
１０を生成するＭ個の中間層ノ−ド３と、同一クラスに
属する中間層ノ−ドの中間層出力値１０を信号線２０経
由で入力とし、その中間層出力値１０の最小値を求め、
その中間層ノ−ド番号と中間層出力値１０を識別子とな
るクラス信号１７として出力する出力層ノ−ド１８と、
出力層ノ−ドから転送されたクラス出力信号１７と外部
から与えられた教師信号６に基づいて、出力応答信号５
と、中間ノ−ドに対しては信号線１１を経由して学習信
号７を出力する自己組織化セレクタ１９とから構成され
る。図において、１，２，３，５〜８，１０は従来装置
と同一部分である。なお、入力信号はオ−ディオや映像
信号等で、入力パタ−ンはキャラクタ・パタ−ン、声
紋、ターゲットパターン等である。

【００２０】本発明による装置は、従来の装置同様に、
入力パタ−ン信号をそれに対応するカテゴリに分類する
『認識モ−ド』と中間層ノ−ドの重み係数ベクトルを修
正する『学習モ−ド』とで動作する。まず『認識モ−
ド』の動作を述べる。従来の装置と同様な方法により、
まず、入力層ノ−ド２で、入力パタ−ン信号ＳのＮ個の
要素Ｓ1,Ｓ2,…ＳN を受け取る。中間層ノ−ド３は、入
力層ノ−ド２から転送された入力パタ−ン信号Ｓ １と
中間層ノ−ド３の比較器１２の重み係数とに基づいて、
従来例でも述べた式（１）の中間層出力値１０を作成す
る。つまり、中間層出力値１０は、入力パタ−ン信号の
各要素と対応する重み係数Ｗijとの差の２乗和の平方根
である。中間層ノ−ド３の中間層出力値１０は、信号線
２０を介して、その中間層ノ−ドが表すクラスの出力層
ノ−ド１８へ転送される。出力層ノ−ド１８は、複数個
の中間層ノ−ドから転送された中間層出力値１０のなか
から最小値をあたえる中間層ノ−ドをこのクラスを代表
する中間層ノ−ドとして選択し、この中間層出力値をク
ラス信号１７として、信号線２１を介して自己組織化セ
レクタ１９に転送する。自己組織化セレクタ１９は、出
力層ノ−ド１５から送られたクラス出力信号１７として
送られた各クラスを代表する中間出力値のなかから、最
小値をあたえる出力層ノ−ドを、入力パタ−ン信号が属
するクラスの出力層ノ−ド１８として決定し、この出力
層ノ−ドの表すクラス名を出力応答信号５として外部に
出力する。

【００２１】次に、『学習モ−ド』の動作を述べる。本
モ−ドにおいては、上記『認識モ−ド』と同様の処理に
より、出力層ノ−ド１８から送られたクラス出力信号１
７と出力応答信号５および外部から与えられた教師信号
６とに基づいて、上記中間層ノ−ド３の比較器１２の重
み係数の値が修正される。具体的には、重み係数は式
（３）で規定される様に変化する。本発明によるシステ
ムでは、従来例と違って、出力応答信号５で示されるク
ラス名と教師信号６で与えられた正解クラス名とが異な
るため、誤って分類した場合以外に、出力応答信号５で
示されるクラス名と教師信号６で与えられた正解クラス
名とが同じであって、正しく分類された場合にも、中間
層ノ−ド３の比較器１２の重み係数を学習するように動
作する。

【００２２】図２はシステムが学習をし、安定なクラス
分けを行う動作を示したフロ−チャ−ト図である。重み
係数を修正するために、自己組織化セレクタ１９は、ま
ず、『認識モ−ド』と同様にして得た、入力パタ−ン信
号１を分類した出力応答信号５から得られるクラス名
と、教師信号６で与えられた正解クラス名とを比較する
（図２中のステップ２００）。もし、出力応答信号５で
示されるクラス名と教師信号６で与えられた正解クラス
名とが同一であれば、この正解クラスが安定して分類さ
れたか否かを判定する（同じくステップ２０２）。安定
に分類されたか否かを知るため、自己組織化セレクタ１
９は、出力層ノ−ド１８から転送されたクラス出力信号
１７からえられる各クラスを代表する中間層出力値のな
かから、２番目に小さい値を与える出力層ノ−ドを検出
する。このクラスを代表する中間層ノ−ド番号Ｕi とそ
の出力値Ｏi をもとめ、値Ｏi と正解クラスの出力層ノ
−ド１８からもとめた該当クラスを代表する中間層ノ−
ドＵj の中間層出力値Ｏj とを条件式（４）で比較す
る。 Ｏi −Ｏj ≦ｔｈ２ … （４） ただし、ｔｈ２はあらかじめ定めた固定のしきい値であ
る。ｔｈ２の値は、すでに述べたウインドウＷを決め
る。ｔｈ２の値は入力パタ−ンのサンプルデ−タの標準
偏差σを計算することで得られる。たとえば入力パタ−
ンの１０区分クラスに設定されたサンプルデ−タが、入
力パタ−ン信号のためのｔｈ２の値を決めるのに使われ
る。標準偏差をσ1,σ2,…σ10とすると、ｔｈ２の値は
次のようになる。

【００２３】

【数２】

【００２４】ｔｈ２の値は実験等で調整される。上記条
件式（４）は、入力パタ−ン信号Ｓに最も近いと判定さ
れた、正解クラスを代表する中間層ノ−ドＵj の中間層
出力値Ｏj と、正解クラスと異なりかつ入力パタ−ン信
号Ｓに次に近いと判定された中間層ノ−ドＵi の中間層
出力値Ｏi との値が近接しており、この１つの中間層ノ
−ドＵi とＵj とに格納されている重み係数は、類似し
て誤り易い状況にあることを意味するものである。そこ
で、上記条件式（４）を満足する場合、式（３）に基づ
いて中間層ノ−ドＵi とＵj との重み係数を修正する
（ステップ２０４）。もし、出力応答信号５で示される
クラス名と教師信号６で与えられた正解クラス名とが異
なる場合は、正しく分類できるようにするために、中間
層ノ−ドの重み係数を調整する。ここで、不適当な分類
は以下のいずれかの理由で発生する。 （１）自己組織型パタ−ン分類システムに無いクラスの
パタ−ン信号が入力されて誤った。 （２）すでに登録してある中間層ノ−ドの重み係数ベク
トルが表すテンプレ−トとベクトル空間上で掛け離れた
入力パタ−ン信号が入って来てために誤った。 （３）正解クラスに属する中間層ノ−ドに格納した重み
係数ベクトルと、正解クラス以外の中間層ノ−ドに格納
した重み係数ベクトルとが、ベクトル空間上で近接して
存在しているため誤った。

【００２５】自己組織化セレクタ１９は、まず教師信号
６で与えられた正解クラス名に該当するクラスの出力層
ノ−ドが存在するか否か、調べる（ステップ２０６）。
もし、正解クラスに該当するクラスの出力層ノ−ドが存
在しなければ、図３に示すように正解クラスの出力層Ｔ
ｈ２２がネットワ−クに加算される（図２のステップ２
１０）。同様に、図３の例に示すように、正解クラスの
出力層ノ−ドＴｈ２２と入力パタ−ン信号Ｓの各要素を
重み係数にした中間層ノ−ドＵM+1 ２３、および入力
層ノ−ドと中間層ノ−ドＵM+1 ２３を接続する信号線
２４、また、中間層ノ−ドＵM+1 ２３と正解クラスの
出力層ノ−ドＴｈ２２を接続する信号線２５、および正
解クラスの出力層ノ−ドＴｈ２２を自己組織化セレクタ
１９接続する信号線２６を、自己組織型パタ−ン分類シ
ステムに追加する。ここで、中間層ノ−ドＵM+1 ２３
の重み係数としては、入力パタ−ン信号の各要素を割り
当てることにより実現する。また、出力層ノ−ドＴｈ２
２には、新しいクラス名を登録する。

【００２６】もし、正解クラスに該当するクラスの出力
層ノ−ドが存在する場合、自己組織型セレクタ１９は以
下の処理を行う。正解クラスの出力層ノ−ドから得られ
る該当クラスの中間層ノ−ドＵj の中間層出力値Ｏj
が、条件式（６）を満足するか否かを判定する。 Ｏj ≧ ｔｈ１ … （６） ただし、ｔｈ１はあらかじめ定めた固定のしきい値であ
る。定数ｔｈ１は、入力パタ−ン信号ベクトルＳと、正
解クラスの最小出力値を出す中間層ノ−ドＵj の重み係
数で表されるテンプレ−ト・ベクトルとが十分な距離以
上に離れているか否かを判定する基準であるり、定数ｔ
ｈ１はベクトル空間の基準距離とみなされる。ｔｈ１の
近似値は、入力パタ−ン信号のあるクラスのサンプルデ
−タの標準偏差σを計算して得られる。例えば、１０ク
ラスの入力パタ−ン信号のサンプルが既知の入力パタ−
ン信号のｔｈ１を決めるのに用いられる。１０クラスの
標準偏差σ1,σ2,…, σ10が決められると、ｔｈ１は次
の式（７）で与えられる。

【００２７】

【数３】

【００２８】ｔｈの値は例えば実験で調整される。式
（６）は、入力パタ−ン信号と、中間層ノ−ドＵj （正
解クラスを表す）の重み係数で表されるテンプレ−トと
の間のベクトル空間での距離が、しきい値ｔｈ１（大き
な値に設定してある）より十分に大きいか否かを決める
のに有効である。したがって、条件式（６）を満たす場
合（図２のステップ２０８）、すでに登録してある正解
クラスの中間層ノ−ドの重み係数ベルトルが表すテンプ
レ−トと、ベクトル空間上で掛け離れた入力パタ−ン信
号が、入ってきたことを意味する。このため、この条件
式（６）を満たす場合、図４に示すように、入力パタ−
ン信号Ｓの各要素を重み係数とした中間層ノ−ドＵL
２７と、入力層ノ−ドと中間層ノ−ドＵL ２７とを接
続する信号線２８および中間層ノ−ドＵL ２７と正解
クラスの出力層ノ−ドを説属する信号線２９を追加する
（図２ステップ２１２）。ここで、中間層ノ−ドＵL
２７の重み係数としては、入力パタ−ン信号の各要素を
割り当てることにより実現する。

【００２９】もし、応答信号５で示されるクラスが教師
信号６で示されるクラスに適合しなかった場合、そして
（６）式は満足しないが正解クラスと認められる出力が
あった場合は、出力層ノ−ド１８から送られたクラス出
力信号１７のなかから、クラスを代表する中間層出力値
のうち最小値を与える出力層ノ−ドから求まる中間層ノ
−ド番号Ｕi とその中間層出力値Ｏi を検出する。さら
に、この値Ｏi と中間層ノ−ドＵj （正解クラスの出力
層ノ−ドから得られたクラスを代表する）の出力値Ｏj
が（８）式を満足するか否かを判定する。 Ｏj −Ｏi ≦ｔｈ２ … （８） ただし、ｔｈ２は、上述のようにあらかじめ定めた固定
のしきい値である。条件式（８）を満たす場合は、正解
クラスに属する中間層ノ−ドに格納した重み係数で表さ
れるテンプレ−トと、正解クラス以外の中間層ノ−ドに
格納した重み係数のテンプレ−トがベクトル空間上で近
接しているため誤ったことを意味する（図２のステップ
２１６）。このため、先に述べた（３）式にしたがって
中間層ノ−ドＵi とＵj の重み係数を修正する（図２の
ステップ２１４）。

【００３０】上記いずれの場合にも当てはまらずに誤っ
て分類された場合は、正解クラスに属する中間層ノ−ド
Ｕj に格納した重み係数ベクトルのみを下記式（９）式
にしたがって、修正する（図２のステップ２１８）。 中間層ノ−ドＵj の重み Ｗjk(t+1)＝Ｗjk(t)+α(t)[Ｓk-Ｗjk(t)] … （９） ｆｏｒ ｋ＝１，… Ｎ ただし、ｔは時刻ｔをあらわす単調増加する整数（ｔ＝
１，２，…）。また、α(t) は、０と１の間の十分小さ
い値を持つ、単調減少関数であり、例えばα(t) ＝１／
(t+1) またはｅ^-tなどで計算する。α(t) として大きな
値を選んだ場合は不安定になることがあるので、小さな
値が望ましい。α(t) は減少関数であり、更新毎に安定
性を増す。

【００３１】図５は、すでに多く利用されているモトロ
−ラのＭＣ６８０３０のようなマイクロプロセッサに代
表される逐次型デジタル計算機によって、上記の本発明
を実現した一例である。本装置は、入力パタ−ン信号を
格納する入力信号バッファ３０を持つ。このバッファは
図１の入力ノ−ド２に対応している。この他、中間層ノ
−ドの重み係数および出力層ノ−ドのクラス情報（図
１）を、格納保存しておく磁気ディスク等の外部メモリ
３１、実行時の中間層ノ−ド３（図１）の重み係数と出
力層ノ−ド１８のクラス情報を格納しておくＲＡＭ（Ra
mdom Access Memory）３２を持つ。さらに、Adder,Muil
iplierなどの論理演算装置で構成されており中間層出力
値および重み係数を修正する演算装置３３、演算装置の
結果を格納する出力応答信号格納バッファ３４を持つ。
外部メモリ３１、入力信号バッファ３０、ＲＡＭ３２、
演算装置３３と応答信号バッファはバス２２４で結合さ
れている。学習条件を判定するためのしきい値と実行プ
ログラムを格納したＲＯＭ（Read Only Memory）３５お
よび制御装置３６もシステムの構成要素である。

【００３２】図６は、図５のシステムでのメモリ中に、
出力層ノ−ド、中間層ノ−ド、重み係数が記憶されてい
る状態を示す。また、図６は、図５のシステムで実行さ
れるソフトウェア・プログラムの変数を保持するテ−ブ
ルも示している。図６中で示されるように、メモリ空間
は４つのテ−ブルを持っている。すなわち、変数テ−ブ
ル１０１と、出力層ノ−ドテ−ブル１０２と、中間層ノ
−ドテ−ブル１０３と、重み係数テ−ブル１０４であ
る。変数テ−ブルは各種の定数、変数の現在値を持って
いる。例えば、定数ｔｈ１１０５はアドレス０に数値２
０でストアされており、定数ｔｈ２ １０６はアドレス
１に値４でストアされている。これらの数値は（７）式
と（５）式で表されるしきい値である。他の変数として
変数テ−ブルに含まれるものは、学習サイクルの最大回
数を表す最大時間１０７があり、また、許容出力層ノ−
ド中の最大数を表す最大出力層ノ−ド数１０８や、中間
層ノ−ドの最大数を表す最大中間層ノ−ド数１０９も含
まれる。さらに、Ｎは入力信号ベクトル中の要素数を示
し、時間カウント（学習回数）１１１の値は、現在学習
中の回数を表している。さらに変数テ−ブルは終了フラ
ブ１１２も持っている。

【００３３】メモリは出力層ノ−ド１０２も持ってお
り、このテ−ブル１０２は出力層ノ−ドを形成するに必
要な情報が記憶されている。出力層ノ−ドテ−ブルの最
初にはテ−ブルに保持されている出力層ノ−ドの数を示
す出力層ノ−ド数１１３の値が入っている。図６での例
では、２６の出力層ノ−ドがある。最初の数値がテ−ブ
ル中の出力層ノ−ドの数を示しているのに続き、テ−ブ
ルにはネットワ−ク中の各出力層ノ−ドに各一つの記録
が割り当てられるようになっている。これらは出力層ノ
−ド情報１１４として割り当てられる。各記録は幾つか
の区分を持ち、まず、出力層ノ−ドの出力クラス名を示
す出力クラス１１５の領域を持っている。また、最小中
間層出力を出す代表中間層ノ−ド番号１１６と代表中間
層出力１１７も持っている。さらに、入力信号のクラス
としてどれだけ出力層ノ−ドのクラスが選択されたかを
示す使用頻度１１８の部分も持っている。他に、空白の
出力空白領域１１９もある。

【００３４】中間層ノ−ドテ−ブル１０３は中間層ノ−
ドに関する記録部分で、先頭部分にはテ−ブル中にある
中間層ノ−ドの数を示す中間層ノ−ド数１２０がくる。
図６の例では、２８０のノ−ドがある。この中間層ノ−
ド数が示されているのに続き、各中間層ノ−ドの記憶部
分があり、中間層ノ−ド情報１２１のように表示され
る。これらの記録は各中間層ノ−ドに関する有効な情報
を保持していて、最初の領域は中間層ノ−ドのクラスを
示す中間クラス名１２２である。図６の中間層ノ−トテ
−ブル１０３の例では、クラス名はアルファベットの
「Ａ」である。また、中間層ノ−ドの数を表すノ−ド数
１２３の領域がある。ノ−ドの数は通常、整数であり、
単調増加する。さらに重み係数テ−ブルへのポインタ数
も持っていて、これは重み係数ポインタ１２４で示され
る領域である。このポインタはその中間層ノ−ドの各重
み係数群１２７を指示している。詳しくは、そのブロッ
クの先頭を示している。各ブロックは入力信号の要素数
Ｎに対応してＮ個登録されている。さらに中間層ノ−ド
テーブルは、中間層ノ−ドの出力値を保持する中間層出
力１２５の部分も持っている。中間層ノ−ドテ−ブル１
０３は、空白領域として、中間層空白領域１２６を持
つ。この大きさは実行過程で変化し、応用例でも変化す
る。メモリには既述の、重み係数テ−ブル１０４もあ
る。これは各中間層ノ−ドの重み係数のブロックを保持
していて、中間層ノ−ドテ−ブルのポインタがこのブッ
ロクの先頭を示す。他のテ−ブル同様、このテ−ブルに
も重み係数空白領域１２８がある。これらの役割詳細は
後述する。

【００３５】図７，図８，図９は、図５中のデ−タ処理
システムでの単一プロセサが、学習モ−ドでどう動作す
るかを示したフローチャートである。プログラムを走ら
せたとき、まず中間層ノ−ドと出力層ノ−ドの情報が外
部メモリ３１からＲＡＭ３２にロ−ドされているか、制
御ユニット３６（図５）により、出力層ノ−ドテ−ブル
１０２と中間層ノ−ドテ−ブル１０３（共に図６）に基
づいてチェックする（図７のステップ３７）。もしロ−
ドされていなければ、システムは中間層ノ−ドと出力層
ノ−ドの情報のデ−タが外部メモリ３１（図５）に格納
されているか否かを判定する（図７のステップ３８）。
もし、格納されているならば外部メモリからＲＡＭ３２
（図５）に上記情報をロ−ドする（図７のステップ３
９）。該当するデ−タが外部メモリに無い場合、ＲＡＭ
内の中間層ノ−ドの情報と出力層ノ−ド情報を、テーブ
ルの中間層ノ−ド数１２０と出力層ノ−ド数１１３（共
に図６）に設定して初期化する（図７のステップ４
０）。次に、学習終了フラグ（end-flag）（図６中の１
１２）をＯＦＦ、学習ル−プの回数（time-count）（同
１１１）を１に初期化する（図７のステップ４１）。

【００３６】以下、学習終了フラグ（end-flag）が、Ｏ
Ｎになるまで以下の処理を繰り返す（図９のステップ７
０）。 ［１］ＲＡＭ３２中の学習終了フラグ（end-flag）１１
２を一旦ＯＮにする（図７のステップ４２）。 ［２］学習用に用意された入力パタ−ン信号セットのう
ち、最初の入力パタ−ン信号を読み取るように入力信号
バッファ３０中の入力パタ−ン信号ポインタを戻する
（図７のステップ４３）。 ［３］入力パタ−ン信号を入力装置（図１２）から読み
込み、入力信号バッファ３０（図５）に格納する（図７
のステップ４４）。図１２は、図５のシステムで使用さ
れる入力を読み込むための要素を示した図である。詳し
くは、例えば文字にクラス分けされるべき対象２４４
が、文字認識用ビデオカメラのような入力手段２４２で
走査される。ビデオ入力はキ−ボ−ド２３６、モニタ２
３８を持つデ−タ端末２３４に入る。端末２３４は、各
種構成要素と相互に影響してシステムの使用者が利用可
能な状態になり、また、図５のシステム２３２に接続さ
れている。端末はまた、多数の異なった文字パタ−ンや
他のパタ−ンを記憶しているデ−タベ−ス２３０にも接
続されている。デ−タベ−スの利用法は以下に詳述す
る。文字認識の例では、入力デ−タ構造は図１３に示さ
れる形となる。デ−タ構造は２つの部分からなる。最初
の部分２５０は、入力信号のクラス名を示し、第２の部
分２５２はビデオカメラ２４２から読み込まれたピクセ
ルパタ−ンである。図１３に示されるように、そこでの
文字群すべてはピクセルパタ−ンが異なる同一デ−タ構
造を持つ。

【００３７】［４］ＲＡＭ３２（図５）に格納した、す
べての中間層ノ−ドの重み係数１０４（図６）と、入力
信号バッファ３０（図５）中の入力パタ−ン信号を、上
述した式（１）に基づいて演算装置３３で計算し、すべ
ての中間層ノ−ドに対応する中間層出力地を求め、ＲＡ
Ｍ３２（図５）の中間層出力１２５（図６）に格納する
（図７ステップ４５）。 ［５］ＲＡＭ３２中の代表中間層出力１１７（図６）に
格納された中間層ノ−ドの出力値のうちで最小値が、演
算装置３３と制御ユニット３６（図５）により、ＲＡＭ
３２中の中間層出力１２５と入力クラス名１２２に基づ
き計算され、これら中間層ノ−ド番号と中間層出力値は
代表中間層ノ−ド番号１１６と代表中間層出力１１７
（図１０）に、クラスの中間層ノ−ドの出力クラス信号
として格納される（図７のステップ４６）。 ［６］最も小さい値を出力する出力層ノ−ドに対応する
クラス名を演算装置３３と制御ユニット３６で求め、代
表中間層出力１１７の値に基づいて、このクラス名を出
力応答信号とする（図７のステップ４７）。 ［７］入力パタ−ン信号の正解クラス名を教師信号６と
して入力装置（図１２）から読み込む（図７ステップ４
８）。 ［８］入力パタ−ン信号のクラス名と出力応答信号のク
ラス名とが等しいか否かを制御ユニット３６（図５）で
判定する（図７ステップ４９）。等しく無い場合、［１
３］の処理に進む。 ［９］出力層ノ−ドのクラス出力信号のなかから、２番
目に小さい値を与える出力層ノ−ドに対応する中間層ノ
−ド番号Ｕi とその中間層出力値Ｏi 、および、正解ク
ラスの出力層ノ−ドから求まる中間層ノ−ドＵj の中間
層出力値Ｏj とを制御ユニット３６で検出する（図７ス
テップ５０）。

【００３８】［１０］上記中間層出力値Ｏi と中間層出
力値Ｏj とが、上述した式（４）を満たすか否かを演算
装置３３と、制御ユニット３６で判定する（図７ステッ
プ５１）。式（４）を満たさない場合、処理［２７］へ
移る。 ［１１］もし式（４）を満たす場合、上述した式（５）
に従い中間層ノ−ドＵiとＵj の重み係数を修正してＲ
ＡＭ３２中の重み係数テ−ブル１０４（図６）に格納す
る（図７ステップ５２）。 ［１２］処理［２６］へ移る。 ［１３］正解クラスに対応する出力層ノ−ドがあるか、
制御ユニット３６で判定する。もし、在れば処理［１
７］へ移る（図８ステップ５３）。 ［１４］ＲＡＭ３２内に、新しい中間層ノ−ド情報１１
４、出力層ノ−ド情報１２１および重み係数１２７を格
納するエリアを確保する（図８ステップ５４）。もし、
確保するスペ−スがなければ（つまり出力層ノ−ドの出
力空白領域１１９がなくなったか、または中間層ノ−ド
テ−ブル１０３の中間層空白領域がなくなったか、また
は重み係数テ−ブル１０４の重み係数空白領域１２８が
なくなった場合）、制御ユニット３６は、そのメッセ−
ジを出力し（図８ステップ５５）、処理［２７］に移
る。 ［１５］確保した中間層ノ−ドの重み係数に、入力信号
バッファ３０中の入力パタ−ン信号の各要素の値を格納
する（図８ステップ５６）。そして、新たに出力層空白
領域１１９に得られたクラス名を出力クラス名１１５に
格納する。また、中間層空白領域１２６中の新クラス名
を中間クラス名１２２に格納する。 ［１６］処理［２６］に移る。

【００３９】［１７］正解のクラスに属する出力層ノ−
ドによって与えられる、正解クラスに属する中間層ノ−
ドのうち、最も小さい中間層出力値を出力した中間層ノ
−ドＵj の中間層出力値Ｏj が、上述した式（６）を満
たさない場合は、処理［２１］に移る（図９ステップ５
７）。 ［１８］入力パタ−ン信号のクラスカテゴリに対応する
中間層ノ−ドを新しく追加する。すなわちＲＡＭ３２内
に、新しい中間層ノ−ド用エリアを確保する（図９ステ
ップ５８）。もし、確保するスペ−スが中間層空白領域
１２６になければ、その領域がないというメッセ−ジを
出力し（ステップ５９）、処理［３７］に移る。 ［１９］確保した中間層ノ−ドの重み係数１２７に、入
力信号バッファ３０中の入力パタ−ン信号の各要素の値
を格納する（図９のステップ６０）。 ［２０］処理［２６］に移る。 ［２１］出力層ノ−ドのクラス出力信号から求まる代表
中間層出力１１７の出力値のなかから、最も小さい値を
与える出力層ノ−ドに対応する中間層ノ−ド番号Ｕi
と、その中間層出力値Ｏi が求まる。また、出力ノ−ド
テ−ブル１０２に格納された正解クラスの出力層ノ−ド
から得られる中間層ノ−ド番号Ｕj とその中間層出力値
Ｏj も検出される（図９ステップ６１）。

【００４０】［２２］上記中間層出力値Ｏi と中間層出
力値Ｏj とが、上述した式（８）を満たすか否かを判定
する（ステップ６２）。式（８）を満たさない場合、処
理［２５］へ移る。 ［２３］式（８）を満たす場合、上述した重み係数修正
式（３）にしたがって中間層ノ−ドＵi とＵj の重み係
数を演算装置３３と制御ユニット３６により修正する
（図９ステップ６３）。 ［２４］処理［２６］に移る。 ［２５］上述した式（９）にしたがって、ＲＡＭ３２中
の重み係数テ−ブル１０４にある中間層ノ−ドＵj の重
み係数を、演算装置３３と制御ユニット３６で修正する
（図９のステップ６４）。 ［２６］学習終了フラグ（図６のend-flag１１２）をＯ
ＦＦにする（図９のステップ６５）。 ［２７］すべての学習用入力パタ−ン信号を処理したか
調べる。もし処理してないならば、制御を処理［３］へ
移す（図９ステップ６６）。 ［２８］学習ル−プ（図６のtime-count１１１）の値を
１増やす（図９のステップ６７）。 ［２９］学習ル−プ（time-count１１１）があらかじめ
定めた所定の値MAX-time１０７（図６）以上になったな
ら、学習終了フラグ１１２（図６のend-flag）をＯＮに
する（図９のステップ６９）。 ［３０］学習フラグ（end-flag）がＯＦＦならば、処理
［１］に戻る（図９のステップ７０）。 ［３０］学習した図６に示されるネットワ−ク情報を外
部メモリ３１に保存する（図９のステップ７１）。 ［３２］学習を終了する。

【００４１】実施例２．なお、上記実施令は、逐次型デ
ジタル計算機によって、本発明を実現した一例である
が、本発明はこれに限らず、並列型デジタル計算機によ
って実現できる。図１０は、例えば『A VLSI Architect
ure for High-performance,Low-cost,On-chip Learnin
g』,Dan Hammerstrom,Proceedings of International J
oint Conference On Neural Networks,June 17-21,199
0,Vol.2 pp.537 - 544に開示された並列型デジタル計算
機によって本発明を実現した一例である。本装置は、入
力パタ−ン信号を格納する入力信号バッファ３０、中間
層ノ−ドの重み係数および出力層ノ−ド情報を格納保存
しておく磁気ディスク等の外部メモリ３１、各々のクラ
スに対応する中間層ノ−ドと出力層ノ−ドの出力値を計
算するプロッセサ・エレメント７２、学習条件を判定す
るためのしきい値とプログラムを格納したＲＯＭ（Read
Only Memory）３５および並列プロセッサ制御装置７
３、演算装置３３、演算結果を保存するＲＡＭ７４から
構成されている。プロセッサ・エレメント７２は、各ク
ラスの重み係数を格納するＲＡＭ７５、プロセッサ演算
装置７６、出力信号格納レジスタ７７、およびプロセッ
サ・エレメントが有効か無効かを示すための使用フラグ
格納バッファ７８とから構成されている。

【００４２】本装置の例では、ひとつのプロセッサ・エ
レメントが、中間層ノ−ドの中間層出力値と、出力層ノ
−ド１８（図１）の出力クラス信号を計算するように割
り当てられている。そして、逐次型デジタル計算機によ
る例で示した図７，図８，図９に示すフロ−チャ−トの
うち、中間層ノ−ドの中間層出力値３と出力ノ−ド１８
の出力クラス信号１７を計算する処理を並列に計算する
点が、逐次型デジタル計算機を用いた場合と大きく異な
る。なお、出力層ノ−ドに登録されていない入力パタ−
ン信号を学習する場合、使用フラグによって無効となっ
ているプロセッサ・エレメントをサ−チし、このプロセ
ッサ・エレメントに新しく中間層ノ−ドと出力層ノ−ド
の機能を割り当て、使用フラグを有効にすることによ
り、達成する。本装置では、計算を並列に処理できるた
め高速なパタ−ン分類装置を得ることができる。

【００４３】実施例３．なお、上記実施例では中間層ノ
−ドの演算として式（１）に示すユ−クリッド距離法を
用いる方法について述べたが、中間層ノ−ドの演算とし
て、パタ−ン認識の分野で周知の下記式（１０）に示す
ベクトル間の内積で得られる類似度Ｐiをもちいても良
く、上記実施例と同様の効果が得られる。 Ｏi ＝１ − Ｐi （１０） ここで、Ｐi は以下の式（１１）の定義による。また式
（１１）中、Ｓj とＷijは既に述べた定義の通りとす
る。

【００４４】

【数４】

【００４５】実施例４．上記のニュ−ロ・ネットワ−ク
・システムの生成、修正は、成長プロセスとして発生す
る。一般に、適合クラス認識用デ−タ処理システムの調
整に関係するステップは、メ−カ−段階とユ−ザ段階に
分けられる。図１４はメ−カ−段階とユ−ザ段階に分け
られたステップのフロ−チャ−ト図である。判かり易く
するため、このフロ−チャ−トは文字認識に使用したシ
シテムを想定している。しかし上記のように、こうした
システムはオ−ディオ・パタ−ン認識や、タ−ゲット認
識にも使用できる。文字認識の基準はとても判かり易
く、メ−カ−段階の第１ステップでは、一般的な学習デ
−タが文字認識のために設けられる。このデ−タは、汎
用デ−タベ−ス、つまり文字認識、オ−ディオ・パタ−
ン認識、タ−ゲット認識用のシステムの情報を持ってい
るデ−タベ−スから読み込まれる。文字認識のための一
般学習デ−タ読み込みのため、文字認識に関する汎用デ
−タベ−スのある部分が図１２のデ−タベ−ス２３０か
ら選択される（図１４のステップ２５０）。

【００４６】一旦、デ−タベ−ス２３０から一般学習デ
−タが選択されると、当初は中間層ノ−ドと出力層ノ−
ドを持たないニュ−ロ・ネットワ−クにこのデ−タを適
用する。そして図７、図８、図９で示された一般学習デ
−タで、中間層ノ−ドと出力層ノ−ドを生成、修正して
ゆく。例えば日本語認識のためのニュ−ロ・ネットワ−
クを生成するため、図１５（ａ）で示す日本語２７０の
一般学習デ−タがデ−タベ−ス２３０（図１５（ａ））
から選択される。そして中間層ノ−ドと出力層ノ−ドが
図７、図８、図９で示したように日本語の一般学習デ−
タが形成されてゆく。抽出されたニュ−ロ・ネットワ−
クの中間層ノ−ドと出力層ノ−ドの情報は、日本語認識
のためのマスタ−ノ−ドとして格納される。この抽出マ
スタ−デ−タは、日本語認識のために制作された全シス
テムに使用される。一旦このマスタ−デ−タが生成され
ると、これらのコピ−は異なるユ−ザ用に図１４のステ
ップ２５４，２５８で示されるように組込ができ、シス
テムの大量生産が可能となる。殊に、マスタ−デ−タが
システムの外部メモリ３１にロ−ドされると、各ユ−ザ
に送付できる。図１４の場合は、デ−タベ−スはユ−ザ
１とユ−ザ２の外部メモリに組み込まれる。ステップ２
５０，２５２，２５４，２５８はメ−カ−段階のステッ
プである。

【００４７】ステップ２５６，２６０で構成されるユ−
ザ段階では、ユ−ザ・システム用に設置されたデ−タ
は、ユ−ザ個別に修正、または再調整される。これら個
別の調整後デ−タはユ−ザ・システムの外部メモリに設
置される。そうした可能性のあるタイプの例として特別
のフォントの作成がある。図１５（ｂ）で示すように、
システムにはクラス「Ａ」用のテンプレ−ト２６２をメ
−カ−段階で用意する。しかしユ−ザはテンプレ−ト２
６４のようなテンプレ−トに修正したいのかもしれな
い。両方のテンプレ−トは同一のクラス（即ち文字Ａ）
であるが、デ−タはテンプレ−ト２６４を学習するよう
に調整される。一般に、一連のデ−タがメ−カ−段階で
設置されると、各々の特殊な文字パタ−ンは当初は中間
層ノ−ドを持たないニュ−ロ・ネットワ−クに適用され
る。そして、システムは文字テンプレ−トを学習し、特
殊文字パターンが入力されると、テンプレ−ト用に適当
な中間層ノ−ドを生成する。このように、全入力で各中
間層ノ−ドテンプレ−トを生成し、これが図１４のステ
ップ２５２で実行されることである。

【００４８】しかしユ−ザ段階のステップ２５６と２６
０では、クラスを表す中間層ノ−ドは既にあり、既存の
テンプレ−ト・パタ−ンに加えられて、または修正され
て新しい中間層ノ−ドとなる。例えば、もしステップ２
５６で、ユ−ザ１が既に日本語用に形成されたシステム
をドイツ語用に変更したいと考えたとすると、ニュ−ロ
・ネットワ−クにドイツ語を入力してドイツ語を認識す
るように学習する。この応用例は、ドイツ語パタ−ン用
の新しいテンプレ−トの学習または生成ができ、これら
は既知の日本語文字と一緒に保持される。ここで、こう
した例では入力パタ−ンの分離が重要であることを、強
調しておかなければならない。日本語パターンは、お互
いに極くわずかな違いしかないので、入力デ−タはその
わずかな違いを区別して高分解能で分離される必要があ
る（即ちピクセル数が多い）。ドイツ語はこれに反し
て、違いが大きいので、そんなに高い分解能はいらな
い。システムは既に日本語用に形成されており、高い分
解能を持っているので、そんなに高い分解能がいらない
ドイツ語認識は、たいして困難ではない。

【００４９】これに反し、もしシステムが当初分解能が
低くてよいドイツ語文字用に形成されていた場合には、
これを用いた日本語文字の学習は問題となる。この対策
の一つは全言語に十分対処できる高分解能なものを用意
すればよい。しかし、これは効率との兼ね合いであり、
場合に応じて決める必要がある。さらに、デ−タ・キャ
ラクタ・タ−ゲットとか音声パタ−ン・デ−タのどの型
に対しても、入力データ構造は均一に形成され、単一シ
ステム形成で全パタ−ン認識に対応できなければならな
い。上記異なった文字列のシステム能力の議論の視点か
ら、他の必要なシステム仕様が述べられる。上記実施例
１によれば、ひんぱんには使われないメモリの部分は、
内部ＲＡＭ３２（図５）から消去され、外部メモリ３１
に移されることもあった。詳しくは、あまり使用されな
い（即ち入力パタ−ンのクラスとして、あまり選択され
ない）出力層ノ−ド１８と上記出力層ノ−ドに関係する
中間層ノ−ドは、外部メモリに移される。このペ−ジン
グに似た操作で、外部メモリ３１に格納されているデ−
タは再び必要な時にフェッチされ、内部メモリ３２に移
される。

【００５０】転送操作のフロ−チャ−トが図１６で示さ
れる。図６の使用頻度１１８の領域が各クラス毎にチェ
ックされる（ステップ２７０）。上記のように、この使
用頻度領域は入力のクラスとして選択される度毎にイン
クレメントされる。またこのシステムはどのグル−プが
一番使用されなかったかということも調べる（ステップ
２７２）。この例では、グル−プは、異なった言語列を
指す。もっと一般的には、各グル−プは文字認識以外の
応用のための異なったデ−タ列である。簡単な例が日本
語文字とドイツ語文字の例である。

【００５１】このシステムでは、互いの出力層ノ−ドを
みて、最後のクラスまで到達したかをまずチェックする
（ステップ２７４）。もし最後のクラスまで到達してい
なければ、次のクラスをとりあげて（ステップ２７
６）、使用頻度領域が０であるかどうかを調べる（ステ
ップ２７８）。もし０でなければ次のクラスを調べる。
もし０なら、そのクラスが最小使用頻度グル−プかどう
かを調べる（ステップ２８０）。もし最小使用頻度グル
−プなら、その出力層ノ−ドと対応する中間層ノ−ドは
外部メモリに転送される（ステップ２８０）。もし最小
使用頻度グル−プでないなら、そのクラスは転送されな
い。この方法は選択されたグル−プはよく使用されると
推定し、内部メモリに入れておくことを意味する

【００５２】この転送手段は定期的に起動され、たとえ
ば１０００字入力毎に行われる。学習モ−ドでは、もし
図１の教師信号６で与えられる正解クラスに属するノ−
ドがないときは、図５の制御ユニット３６は、ＲＡＭ３
２中に新しい正解出力層ノ−ドと中間層ノ−ドを生成す
る前に、外部メモリ３１中に正解クラスの情報が転送さ
れているかどうかを調べる。あれば外部メモリから持っ
てくるし、もし外部メモリ３１に正解クラスの出力層ノ
−ドと中間層ノ−ドがないなら、制御ユニット３６が正
解クラスの出力層ノ−ドと中間層ノ−ドを生成する。

【００５３】上記実施例以外に、本発明の形式か内容を
変化させ、本発明の本質を離れない範囲で種々の応用が
可能である。

【００５４】

【発明の効果】以上のようにこの発明によれば、まずテ
ンプレ−トと入力パタ−ンを比較し、クラス分けする手
段とこのクラス分けが正しいか確認する手段と、他のク
ラスと離れて安定かを調べる手段を設けたので、クラス
分けが不十分で安定でないときはテンプレ−トを変更し
て安定なクラス分けができる効果がある。さらに、間違
ったクラス分けやクラス分けができないときも新しくク
ラスを設定して修正し、新しいテンプレ−トを用意し
て、やはり安定なクラス分けが出来る効果がある。ま
た、入力段、中間層段、出力段、セレクタと分離し、特
に中間層段では各クラス別に重みを変更出来るようにし
たので、安定なクラス分けが出来る効果がある。さら
に、認識モ−ドと学習モ−ドを別にして、学習モ−ドで
教師信号に対応したクラス分けもするので、外部信号を
基準に安定なクラス分けが出来る効果がある。また、機
能別の構成手段でなくとも、入力パタ−ンと各クラスを
順次比較し、差の結果を記憶していて、クラス信号を定
めるようにしたので、クラス別のテンプレ−トとの比較
で区分可能なクラス分けが出来る効果がある。

【図面の簡単な説明】

【図１】本発明の実施例である自己組織型パタ−ン分類
システムのブロック図である。

【図２】本発明の実施例である、安定に正解クラスを得
るためのフロ−チャ−ト図の例である。

【図３】本発明の実施例の自己組織型パタ−ン分類シス
テムが、正解クラスがない時に新しい中間層ノ−ドと出
力層を設定することを説明する図である。

【図４】自己組織型パタ−ンの分類システムが新しい中
間層ノ−ドを生成することを説明する図である。

【図５】本発明の実施例である直列プロセッサを使用し
た自己組織型パタ−ン分類システムを示す図である。

【図６】メモリ中での中間層ノ−ド群、出力層ノ−ド
群、制御変数の数値の記憶状態を示す図である。

【図７】図１のシステムの動作を説明するフロ−チャ−
ト図である。

【図８】図１のシステムの動作を説明する他のフロ−チ
ャ−ト図である。

【図９】図１のシステムの動作を説明する他のフロ−チ
ャ−ト図である。

【図１０】本発明の実施例である並列プロセッサを使用
した自己組織方パタ−ン分類システムを示す図である。

【図１１】図５のシステムの入力信号を得るためのイメ
−ジ読み取りの例を示すブロック図である。

【図１２】図５のシステムの入力文字のデ−タ構造を示
す図である。

【図１３】本発明の一実施例の自己組織型パタ−ン分類
システムの大きな分類別でのステップを示すフロ−チャ
−ト図である。

【図１４】日本語の一般的な文字デ−タベ−スと、学習
デ−タの生成を示す図である。

【図１５】文字「Ａ」の種々のフォントを示す図であ
る。

【図１６】転送（掃き出し）プロセスを示すフロ−チャ
−ト図である。

【図１７】従来技術によるパタ−ン分類システムの図で
ある。

【図１８】図１７のシステムの中間層ノ−ドを表わすブ
ロック図である。

【図１９】アルファベットの各クラスを表す種々のテン
プレ−ト・パタ−ンを示す図である。

【図２０】ベクトル空間での入力信号ベクトルを中間層
ノ−ドとを表した図である。

【図２１】入力パタ−ン信号のクラス分けを容易にする
よう重み係数を変更することを説明する図である。

【符号の説明】

３ 中間層ノ−ド ５ 出力応答信号 ６ 教師信号 ７ 学習信号 ８ 第１の信号線 １０ 中間層ノ−ド出力 １１ 信号線 １７ クラス出力信号 １８ 出力層ノ−ド １９ セレクタ ２０ 信号線 ２１ 信号線 ３０ 入力バッファ ３１ 外部メモリ ３２ 重み情報メモリ ３３ 演算ユニット ３４ 応答信号バッファ ３５ プログラムメモリ １０１ 変数テ−ブル １０２ 出力層ノ−ド・テ−ブル １０３ 中間層ノ−ド・テ−ブル １０４ 重み係数テ−ブル

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成４年４月２８日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正内容】

【書類名】 明細書

【発明の名称】 自己組織型パタ−ン分類システム及び
分類方法

【特許請求の範囲】

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はパタ−ン分類システム
に関するものであり、特に、ニュ−ラル・ネットワ−ク
によるパタ−ン分類装置の自己組織化学習方法に関する
ものである。さらに詳しくは、入力パタ−ン信号を、該
当するクラスに分類する装置に関するものであり、入力
パタ−ン信号を繰り返し、提示することにより、正しい
結果を出力するように学習する分類装置に関するもので
ある。

【０００２】

【従来の技術】文字認識装置や音声認識装置またはタ−
ゲット認識装置に代表される認識型入力装置は、入力さ
れたパタ−ン信号をその入力パタ−ン信号が属するクラ
スに正しく分類しなければならない。この認識型入力装
置を構成するために、テンプレ−ト手法や構造解析法な
どのパタ−ン認識技術が開発されてきたが、これらの手
法は、入力パタ−ン信号を正しく分類するために必要な
情報を入手により開発し、入手により装置に組み込まね
ばならなかった。これでは非効率で、誤りも発生し易
い。このような問題を解決するために任意の個数のクラ
スの入力パタ−ン信号を、正しく分類するように自分で
編成を行うことのできるニュ−ラル・ネットワ−クを用
いたパタ−ン分類手法が提案されている。図１７は、例
えば『 StatisticalPattern Recognition with Neural
Networks : Benchmarking Studies 』,TeuvoKohonen,Gy
orgy Barna,and Ronald Chrisley,Proc. IEEE Inter
national Conference on Neural Networks,July24-27,1
988, vol.1 pp.66-67 に示された、学習ベクトル量子化
手法２（Learning Vector Quantization 2）を用いた従
来の自己組織型パタ−ン分類装置の構成例を示す図であ
る。

【０００３】さて図を参照すれば、従来装置は、複数個
（Ｎ個）の要素Ｓ1,Ｓ2,…, ＳN からなるＮ次元の入力
パタ−ン信号Ｓの各要素Ｓi １を入力するバッファとし
て働く入力層ノ−ド２、Ｎ個の入力層ノ−ド２から信号
線８を経由して受け取ったＮ次元の入力パタ−ン信号Ｓ
から後に詳述する中間層出力値１０を生成するＭ個の中
間層ノ−ド３、Ｍ個の中間層ノ−ドの中間層出力値１０
を信号線９を経由して、また外部から与えられた教師信
号６とに基づいて出力応答信号５と、また学習信号７と
を決定するLVQ2セレクタ４、および学習信号７を中間層
ノ−ドに伝える信号線１１、とから構成されている。図
１８は、ｉ番目の中間層ノ−ドＵi ３の構成を示す図で
あり、図中１２は、入力パタ−ンＳの各要素Ｓを、中間
層ノ−ドＵi に格納した重み係数ベクトルＷｉの要素Ｗ
i1, Ｗi2, …, ＷiNで重み付けして比較する比較器、１
３は加算器、１４は平方根算出器である。１５は変換器
１２により入力パタ−ン信号Ｓの要素Ｗijを重み係数ベ
クトルの要素Ｗijで重み付けした結果を加算器１３に転
送する信号線、１６は加算器で計算した結果を平方根計
算器１２に伝達する信号線である。

【０００４】次に、図１７と図１８を用いて、従来装置
の動作について説明する。従来装置では、Ｎ個の要素Ｓ
i,Ｓ2,, …, ＳN で表される入力パタ−ン信号Ｓ １
を、入力パタ−ン信号が属するクラスに分類する『認識
モ−ド』と、入力パタ−ン信号を正しく分類できるよう
に中間層ノ−ド３に格納した重み係数ベクトルＷi を修
正する『学習モ−ド』とで動作する。まず、『認識モ−
ド』について説明する。『認識モ−ド』では、まず外部
に入力装置から入力パタ−ン信号ＳのＮ個の要素Ｓ1,Ｓ
2,…, ＳN を受け取り、入力パタ−ン信号Ｓ １の属す
るクラスを判定し、この結果を出力応答信号５として出
力する。以下この動作について説明する。Ｎ個の要素Ｓ
i,Ｓ2,, …, ＳN からなる入力パタ−ン信号Ｓの例とし
ては、文字認識や音声認識などの分野で，前処理あるい
は特徴抽出を行った後の信号を考えることができる。こ
れらの方法については、多く発表されているが、例えば
文字認識のパタ−ン信号Ｓとしては、『A Comparison o
f A Nearest Neighbour Classifier And A Neural Netw
ork For Numeric Handprint Character Recognition 』
,W.E.Weiderman,M.T. Manry and H.C.Yau,Proc.Intern
ational JOINT Conference on Neural Networks,June 1
8-22,1989, Vol I pp. 117-120に述べられている幾何モ
−メント（Geometric Moment）やトポロジカルな特徴
（TopologicalFeatures）などが該当する。

【０００５】出力応答信号５は、本装置で判定したクラ
ス情報に該当する。すなわち、例えば、本装置が英字大
文字『Ａ』〜『Ｚ』で構成される２６種類のクラスを分
類するように用いられた場合には、出力応答信号５とし
て、『Ａ』〜『Ｚ』の２６種類のクラスのうちのいずれ
かの情報を出力するように動作する。これは、後述する
ように、中間層ノ−ド３に格納した重み係数と入力パタ
−ン信号Ｓ １とを整合させることによって達成され
る。すなわち、中間層ノ−ド３の比較器１２に格納した
重み係数は文字の特徴を代表するテンプレ−トとして動
作する。中間層ノ−ド３は、入力層ノ−ド２から信号線
８を介して転送された入力パタ−ン信号Ｓ １と中間層
ノ−ドに格納した重み係数とに基づいて、中間層出力値
１０を作成する。例えば、ｉ番目の中間層ノ−ドＵｉの
中間層出力値１０をＯｉで記述した場合、中間層出力値
Ｏｉは、下記式（１）にしたがって計算される。

【０００６】

【数１】

【０００７】ただし、Ｓj は入力パタ−ン信号Ｓの第ｊ
番目のスカラの要素、Ｗijは第ｉ番目の中間層ノ−ドＵ
i に格納した重み係数の第ｊ番目のスカラの要素であ
る。式（１）に示す中間層出力値Ｏi は、図１８のブロ
ック図で示すごとく、中間層ノ−ドで計算される。すな
わち、重み係数をもつ比較器１２で入力パタ−ン信号Ｓ
の各要素Ｓｊと中間層ノ−ドＵi に格納した重み係数の
要素Ｗijとの差を二乗し、この値が信号線１５を介して
加算器１３に転送される。加算器１３で加算された値は
信号線１６を介して平方根算出器１４に転送される。平
方根算出器では、この加算された値の平方根が計算さ
れ、中間層ノ−ドＵｉ ３の中間層出力値Ｏi として信
号線９を介し、LVQ2セレクタ４に転送される。中間層ノ
−ド３には、各クラスを代表するテンプレ−トとして動
作する重み係数が比較器１２に格納されており、認識対
象のクラスの種類よりも多くの数が用いられる。すなわ
ち、一つのクラスに対応する中間層ノ−ドは、複数個存
在し、一つのクラスに属する複数個の中間層ノ−ドが該
クラスのパタ−ン信号の分布を表すものである。例え
ば、図１９で示す如き種々の形で表される文字パタ−ン
が存在し、例えば「Ａ」に代表される５つの文字は同一
クラスＡに属すが、各文字は異なったテンプレ−トとし
て作成される。

【０００８】同一クラスのテンプレ−トを持つ、異なっ
た中間層ノ−ドを明確化させる他の方法は、各テンプレ
−トをベクトルとして取り扱うことである。図２０は文
字ＡとＢに対するテンプレ−トをベクトルとして表した
説明用の図である。図２０で、文字「Ａ」と文字「Ｂ」
に注目する。これらの「文字」は形の検出用に使用さ
れ、ここでは説明を容易にするため各テンプレ−トは２
点のスカラ−量（Ｘ1,Ｘ2 ）からなるベクトルを持つも
のとする。これは、パタ−ン認識分野におけるマルチ・
テンプレ−ト手法のテンプレ−トの概念に対応し、中間
層ノ−ドＵa1, Ｕa2, Ｕa3はすべて文字「Ａ」の分布を
表し、中間層ノ−ドＵb1, Ｕb2, Ｕb3, Ｕb4はすべて文
字「Ｂ」の分布を表し、各パタ−ンの分布によって中間
層ノ−ドの数は異なるものである。上記式（１）で表さ
れる、第ｉ番目の中間層ノ−ドＵiの中間層出力値Ｏi
は、入力パタ−ン信号ベクトルＳ １と重み係数Ｗijで
表されるテンプレ−ト・ベクトルとのベクトル空間にお
けるユ−クリッド距離を示している。すなわち、中間層
出力値Ｏi の値が小さいほど、つまりユ−クリッド距離
が短いほど入力パタ−ン信号ベクトルＳ １と重み係数
Ｗijで表されるテンプレ−ト・ベクトルが類似している
ことを示すものである。このような概念に基づいて、上
記LVQ2セレクタ４は、中間層ノ−ド３から転送された中
間層出力値１０のうち、最小値を与える中間層ノ−ドＵ
ｋmin を入力パタ−ン信号にもっとも近い中間層ノ−ド
として選択し、この中間層ノ−ドＵｋmin に該当するク
ラス名を、出力応答信号５として出力する。図２０で、
信号Ｓが入力信号ベクトルを表すとすると、中間層ノ−
ドＵa1〜Ｕa3，Ｕb1〜Ｕb4までの距離はそれぞれＯa1〜
Ｏa3，Ｏb1〜Ｏb4となる。この例では中間層ノ−ドＵa1
が最小距離Ｏa1を与える。従って、システムは、出力応
答信号として、中間層ノ−ドＵa1の重みに対応する文字
「Ａ」を出力応答信号５として出力する。

【０００９】次に、従来装置の、『学習モ−ド』につい
て説明する。『学習モ−ド』においては、上述『認識モ
−ド』と同様の処理で決定した出力応答信号５と外部か
ら与えられた教師信号６とを比較し、正しく分類できな
かった場合、上記中間層ノ−ド３の比較器１２の重み係
数の値を変えることにより本装置の学習機能を達成す
る。具体的には、LVQ2セレクタ４は、『認識モ−ド』で
決定した出力応答信号５のクラス名と教師信号６で与え
られる正解クラス名とを比較する。もし、両者が異なっ
ている場合、本システムは正しく機能してないとみな
し、重み係数修正処理に入る。すなわち、すべての中間
層ノ−ド３の中間層出力値１０のうち、最も小さい値と
２番目に小さい値とを検出した後、下記条件を満たすか
否かを判定する。そして、下記条件を満たす場合、学習
信号７により信号線１１を介して指示した中間層ノ−ド
の比較器１２の重み係数を、式（２）の条件の下に、後
に述べる式（３）に従って修正する。

【００１０】学習条件は次の通りである。Ｕi は最も小
さい中間層出力値Ｏi を出力した（入力パタ−ン信号Ｓ
に最も近いと判定された）中間層ノ−ド、Ｕj は２番目
に小さい出力値Ｏj を出力した（入力パタ−ン信号Ｓに
次に近いと判定された）中間層ノ−ドである。また、中
間層ノ−ドＵi はクラスＣi に属し、中間層ノ−ドＵj
はクラスＣj （Ｃi ≠ Ｃj）に属する。更に、入力パタ
−ン信号ＳはクラスＣj に属し、クラスＣi には属さな
い。かつ、入力パタ−ン信号Ｓは、式（２）に示す指定
した窓の条件に入っていなければならない。 Ｏj −Ｏi ≦ｔｈ２ …（２） ただし、ｔｈ２はあらかじめ定めた固定のしきい値であ
る。

【００１１】重み修正方法は次の通りである。中間層ノ
−ドＵi とＵj に格納した重み係数の値を下記式（３）
にしたがって修正する。 中間層ノ−ドＵi の重みＷik(t+1)=Ｗik(t)-α(t)[Ｓk-
Ｗik(t)] 中間層ノ−ドＵj の重みＷjk(t+1)=Ｗjk(t)+α(t)[Ｓk-
Ｗjk(t)] ｆｏｒ ｋ＝１，…Ｎ …（３） ただし、t は時刻t をあらわす単調増加する整数（t=1,
2,，…）。また、α(t)は、十分小さい値を持つ、単調
現象関数であり、たとえばα(t) ＝１／(t+1) などで
計算する。いま、中間層ノ−ドＵi は入力パタ−ン信号
Ｓに最も近いが正解クラスとは異なっており、中間層ノ
−ドＵj は入力パタ−ン信号Ｓに次に近くて正解クラス
であるとする。このとき式（２）は、図２１のウインド
ウ領域Ｗの中に入力信号Ｓが入ることを意味する。ウイ
ンドウＷは、中間層ノ−ドＵi とＵj の重み係数を持つ
近接テンプレ−トの境界付近でｔｈ２の幅を持ってい
る。これらのテンプレ−ト・ベクトルは、図２１（ａ）
中の２２０ａと２２０ｂで示される。もし、入力パタ−
ン信号ベクトル５がウインドウ領域Ｗの中に入るなら、
入力パタ−ンは近接テンプレ−ト・ベクトルの境界領域
にある。そして、入力パタ−ン信号は高精度で正しく区
別することが出来ない。

【００１２】このような誤りを修正するために、上記の
式（３）の第一の式により、入力パタ−ン信号Ｓと異な
るクラスの中間層ノ−ドＵi の重み係数で表されるテン
プレ−トを、ベクトル空間上において入力パタ−ン信号
Ｓと引き離すように、中間層ノ−ドＵi の重み係数を修
正する（図２１（ａ）のｍ1 に対応する）。また、上記
の式（３）の第二の式により、入力パタ−ン信号Ｓと同
一クラスの中間層ノ−ドＵj の重み係数で表されるテン
プレ−トを、ベクトル空間上において入力パタ−ン信号
Ｓに近付けるように、中間層ノ−ドＵj の重み係数を修
正する（図２１（ａ）のｍ2 に対応する）。この結果、
図２１（ｂ）に示すように重み係数は調整される。この
様にして、この学習を繰り返すことにより、すべての中
間層ノ−ドの重み係数が、正しく入力パタ−ン信号を分
類できるように構成されていくという特徴をもつ。上記
『学習モ−ド』は、学習するために用意された、すべて
の入力パタ−ン信号に対し適用し、上記の式（３）に示
す中間層ノ−ドの重み係数ベクトルが修正されなくなる
まで繰り返される。これは学習専用で行っても良く、通
常の認識、モ−ドと併用して行っても良い。

【００１３】

【発明が解決しようとする課題】上記従来のLVQ2学習手
法を用いたニュ−ラル・ネットワ−クによるパタ−ン分
類装置は以上のように構成されているので、上記文献
『Statistical …Networks:Benchmarking Studies 』で
述べられているように、類似したクラス間のパタ−ン信
号分布における識別境界を正しく設定出来るように中間
層ノ−ドの重み係数を修正する優れた学習法である。し
かし本手法は、類似したクラス間のパタ−ン信号分布に
おける識別境界を正しく設定するように重み係数を修正
する学習方法であるため、既存の重み係数で表されるテ
ププレ−トとかけ離れた入力パタ−ン信号が入力される
と、誤った分類を発生させてしまい、上記窓の条件式
（２）を満足せず、学習が行われない。さらにまた、入
力パタ−ン信号Ｓに最も近いと判定されたクラスＣi と
入力パタ−ン信号Ｓに次に近いと判定されたクラスＣj
のクラスが共に、学習信号として与えられた正しいクラ
スと異なる場合、学習が行われない。したがって、中間
層ノ−ドの重み係数の改善が行われない。このため、学
習が収束しなくなる。さらに、本装置に登録されていな
いクラスの入力パタ−ン信号が入力されたとき、該当ク
ラスス中間層ノ−ドがないため、学習することが出来な
いという課題があった。

【００１４】この発明は、上記のような課題を解決する
ためになされたもので、どの様な入力パタ−ン信号に対
しても安定に正しく学習出来る自己組織型パタ−ン分類
システムを得ることを目的とする。

【００１５】

【課題を解決するための手段】この発明における自己組
織型パタ−ン分類システムは、学習済のパタ−ンでクラ
ス分けしたテンプレ−トを持ち、このテンプレ−トと比
較する手段と、この比較手段により入力をクラス分けす
る手段と、このクラス分けが正しいか確認する手段と、
さらに正解クラスが他のクラスと十分離れているか調べ
る手段と、テンプレ−トが安定か確認する手段とを設け
た。または、学習済のパタ−ンでクラス分けしたテンプ
レ−トを持ち、このテンプレ−トと比較する手段と、こ
の比較手段により入力をクラス分けする手段と、このク
ラス分けが正しいか確認する手段と、さらに正解を示す
クラスのテンプレ−トがあるかを調べる手段と、クラス
分けが正しくないときや正解クラスが選べないときに、
新しいクラス用のテンプレ−トを生成する手段を設け
た。

【００１６】または、入力パタ−ン信号の各要素用の入
力バッファと、この入力パタ−ンの各要素から重み付け
て中間層出力を生成する中間層ノ−ド群と、さらにこれ
らの中間層ノ−ド群をクラス別にした各クラスの中間層
ノ−ドの中間層出力値中の最小値を得て各クラス信号と
して出力する出力層ノ−ド群と、さらに出力層ノ−ドの
クラス信号の最小値を提供する中間層ノ−ドのクラスを
外部へ出力し、また学習信号を中間層ノ−ドに出力する
セレクタと、この学習信号としては出力層ノ−ド群の出
すクラス信号と外部から与えられた教師信号に基づいて
算出され、この学習信号により中間層ノ−ドの重みを調
整する手段とを設けた。または、上記の構成において、
セレクタは少なくとも認識モ−ドと学習モ−ドの別を持
ち、認識モ−ドでは各クラス信号を表す中間層ノ−ドの
出力値から、中間層出力値の最小値を求めて、その最小
値を与える出力のクラス名を出力し、学習モ−ドでは各
出力ノ−ドが出力するクラス名と外部からの教師信号に
よって、中間層ノ−ドの重み係数を修正する手段を設け
た。

【００１７】または、入力パタ−ン信号の各要素用の入
力バッファと、クラス分けのためのパタ−ン用のテンプ
レ−ト群と、上記入力パタ−ン信号とこれらテンプレ−
トとを比較し、両者の差を出力する中間層出力手段群
と、これら中間層出力を選択してクラス信号とし、出力
する受信手段と、これら受信手段のクラス中から、最小
値を出すクラスを選択する選択手段を設けた。または、
入力パタ−ンと、各クラスを表すテンプレ−トとを比較
するステップと、これらの比較結果中の差の最小値を選
択してそのクラスの最小値と定めるステップと、さらに
各クラス最小値中から最小の値を選ぶステップと、入力
パタ−ンをその選ばれた最小の値のクラスとするステッ
プとを備えた。

【００１８】

【作用】この発明における自己組織型パタ−ン分類シス
テムでは、まず学習済のパタ−ンで区分されたテンプレ
−トと入力パターンとが比較され、その差信号の最も小
さなものがクラスを表す信号となるよう選ばれる。この
とき隣接クラスと十分に差があるかどうかも調べられ
る。また、クラス分けが出来ないか、学習時とは異なる
誤ったクラス分けになる時は、テンプレ−トは修正され
る。または、入力パタ−ンは入力バッファに入り、入力
バッファの各要素から組み合わされた各中間層ノ−ドに
入り、これら中間層ノ−ド群中の最小値がクラス信号と
なる。また、クラス信号を出力する認識動作以外に、学
習動作時には、各クラス信号と教師信号とで中間層ノ−
ドの重み係数が変化する。または、まず入力と各クラス
のテンプレ−トとが比較され、その結果から最小差を示
すクラスが選ばれ、さらにその最小値からクラスが特定
される。

【００１９】

【実施例】 実施例１．以下、この発明の一実施例を図１〜図１６を
用いて説明する。図１は、本発明による自己組織化学習
法を用いた自己組織型パタ−ン分類システムの概念図で
ある。図において、本装置は以下の要素から構成され
る。Ｎ次元の要素Ｓ1,Ｓ2,…ＳN からなる入力パタ−ン
信号Ｓ １を入力する入力バッファとして働く入力層ノ
−ド２と、Ｎ個の入力層ノ−ド２から信号線８経由で受
け取ったＮ次元の入力パタ−ン信号Ｓから中間層出力値
１０を生成するＭ個の中間層ノ−ド３と、同一クラスに
属する中間層ノ−ドの中間層出力値１０を信号線２０経
由で入力とし、その中間層出力値１０の最小値を求め、
その中間層ノ−ド番号と中間層出力値１０をクラス出力
信号１７として出力する出力層ノ−ド１８と、出力層ノ
−ドから転送されたクラス出力信号１７と外部から与え
られた教師信号６に基づいて、出力応答信号５と、中間
ノ−ドに対しては信号線１１を経由して学習信号７を出
力する自己組織化セレクタ１９とから構成される。図に
おいて、１，２，３，５〜８，１０は従来装置と同一部
分である。なお、入力パタ−ン信号はオ−ディオや映像
信号、文字パタ−ン、声紋、ターゲットパターン等であ
る。

【００２０】本発明による装置は、従来の装置同様に、
入力パタ−ン信号をそれに対応するカテゴリに分類する
『認識モ−ド』と中間層ノ−ドの重み係数ベクトルを修
正する『学習モ−ド』とで動作する。まず『認識モ−
ド』の動作を述べる。従来の装置と同様な方法により、
まず、入力層ノ−ド２で、入力パタ−ン信号ＳのＮ個の
要素Ｓ1,Ｓ2,…ＳN を受け取る。中間層ノ−ド３は、入
力層ノ−ド２から転送された入力パタ−ン信号Ｓ １と
中間層ノ−ド３の比較器１２の重み係数とに基づいて、
従来例でも述べた式（１）の中間層出力値１０を作成す
る。つまり、中間層出力値１０は、入力パタ−ン信号の
各要素と対応する重み係数Ｗijとの差の２乗和の平方根
である。中間層ノ−ド３の中間層出力値１０は、信号線
２０を介して、その中間層ノ−ドが表すクラスの出力層
ノ−ド１８へ転送される。出力層ノ−ド１８は、複数個
の中間層ノ−ドから転送された中間層出力値１０のなか
から最小値をあたえる中間層ノ−ドをこのクラスを代表
する中間層ノ−ドとして選択し、この中間層ノ−ドの出
力値とクラス名とをクラス出力信号１７として、信号線
２１を介して自己組織化セレクタ１９に転送する。自己
組織化セレクタ１９は、出力層ノ−ド１８から送られた
クラス出力信号１７として送られた各クラスを代表する
中間出力値のなかから、最小値をあたえる出力層ノ−ド
を、入力パタ−ン信号が属するクラスの出力層ノ−ド１
８として決定し、この出力層ノ−ドの表すクラス名を出
力応答信号５として外部に出力する。

【００２１】次に、『学習モ−ド』の動作を述べる。本
モ−ドにおいては、上記『認識モ−ド』と同様の処理に
より、出力層ノ−ド１８から送られたクラス出力信号１
７と出力応答信号５および外部から与えられた教師信号
６とに基づいて、上記中間層ノ−ド３の比較器１２の重
み係数の値が修正される。本発明によるシステムでは、
従来例と違って、出力応答信号５で示されるクラス名と
教師信号６で与えられた正解クラス名とが異なるため誤
って分類した場合以外に、出力応答信号５で示されるク
ラス名と教師信号６で与えられた正解クラス名とが同じ
であって正しく分類された場合にも、中間層ノ−ド３の
比較器１２の重み係数を学習するように動作する。

【００２２】図２は本発明によるシステムが安定なクラ
ス分けを行うように重みを修正する動作を示したフロ−
チャ−ト図である。重み係数を修正するために、自己組
織化セレクタ１９は、まず、『認識モ−ド』と同様にし
て得た、入力パタ−ン信号１を分類した出力応答信号５
から得られるクラス名と、教師信号６で与えられた正解
クラス名とを比較する（図２中のステップ２００）。も
し、出力応答信号５で示されるクラス名と教師信号６で
与えられた正解クラス名とが同一であれば、この正解ク
ラスが安定して分類されたか否かを判定する（同じくス
テップ２０２）。安定に分類されたか否かを知るため、
自己組織化セレクタ１９は、出力層ノ−ド１８から転送
されたクラス出力信号１７からえられる各クラスを代表
する中間層出力値のなかから、２番目に小さい値を与え
る出力層ノ−ドを検出する。このクラスを代表する中間
層ノ−ド番号Ｕi とその出力値Ｏi をもとめ、値Ｏi と
正解クラスの出力層ノ−ド１８からもとめた該当クラス
を代表する中間層ノ−ドＵj の中間層出力値Ｏj とを条
件式（４）で比較する。 Ｏi −Ｏj ≦ｔｈ２ … （４） ただし、ｔｈ２はあらかじめ定めた固定のしきい値であ
る。ｔｈ２の値は、すでに述べたウインドウＷの幅に対
応する。ｔｈ２の値は入力パタ−ンのサンプルデ−タの
標準偏差σを計算することで得られる。たとえば入力パ
タ−ンの１０個のクラスに分類する場合を考える。この
場合例えば、１０個のクラスのサンプルデ−タの各クラ
ス内におけるサンプルデ−タの標準偏差をσ1,σ2,…σ
10とすると、ｔｈ２の値は次のように決定できる。

【００２３】

【数２】

【００２４】ｔｈ２の値は実験等で調整することもでき
る。上記条件式（４）は、入力パタ−ン信号Ｓに最も近
いと判定された正解クラスを代表する中間層ノ−ドＵj
の中間層出力値Ｏj と、正解クラスと異なりかつ入力パ
タ−ン信号Ｓに次に近いと判定された中間層ノ−ドＵi
の中間層出力値Ｏiとの値が近接しており、この１つの
中間層ノ−ドＵi とＵj とに格納されている重み係数
は、類似して誤り易い状況にあることを意味するもので
ある。そこで、上記条件式（４）を満足する場合、式
（３）に基づいて中間層ノ−ドＵi とＵj との重み係数
を修正する（ステップ２０４）。もし、出力応答信号５
で示されるクラス名と教師信号６で与えられた正解クラ
ス名とが異なる場合は、正しく分類できるようにするた
めに、中間層ノ−ドの重み係数を調整する。ここで、不
適当な分類は以下のいずれかの理由で発生する。 （１）自己組織型パタ−ン分類システムに登録されて無
いクラスのパタ−ン信号が入力されて誤った。 （２）すでに登録してある中間層ノ−ドの重み係数ベク
トルが表すテンプレ−トとベクトル空間上で掛け離れた
入力パタ−ン信号が入って来てために誤った。 （３）正解クラスに属する中間層ノ−ドに格納した重み
係数ベクトルと、正解クラス以外の中間層ノ−ドに格納
した重み係数ベクトルとが、ベクトル空間上で近接して
存在しているため誤った。

【００２５】自己組織化セレクタ１９は、まず教師信号
６で与えられた正解クラス名に該当するクラスの出力層
ノ−ドが存在するか否か、調べる（ステップ２０６）。
もし、正解クラスに該当するクラスの出力層ノ−ドが存
在しなければ、図３に示すように正解クラスの出力層Ｔ
ｈ ２２がネットワ−クに追加される（図２のステップ
２１０）。具体的には、図３の例に示すように、正解ク
ラスの出力層ノ−ドＴｈ ２２と入力パタ−ン信号Ｓの
各要素を重み係数にした中間層ノ−ドＵM+1 ２３、お
よび入力層ノ−ドと中間層ノ−ドＵM+1 ２３を接続す
る信号線２４、また、中間層ノ−ドＵM+1 ２３と正解
クラスの出力層ノ−ドＴｈ ２２を接続する信号線２
５、および正解クラスの出力層ノ−ドＴｈ ２２を自己
組織化セレクタ１９接続する信号線２６を、自己組織型
パタ−ン分類システムに追加する。ここで、中間層ノ−
ドＵM+1 ２３の重み係数としては、入力パタ−ン信号
の各要素を割り当てることにより実現する。また、出力
層ノ−ドＴｈ ２２には、新しいクラス名を登録する。

【００２６】もし、正解クラスに該当するクラスの出力
層ノ−ドが存在する場合、自己組織型セレクタ１９は以
下の処理を行う。正解クラスの出力層ノ−ドから得られ
る該当クラスの中間層ノ−ドＵj の中間層出力値Ｏj
が、条件式（６）を満足するか否かを判定する。 Ｏj ≧ ｔｈ１ … （６） ただし、ｔｈ１はあらかじめ定めた固定のしきい値であ
る。定数ｔｈ１は、入力パタ−ン信号ベクトルＳと、正
解クラスの最小出力値を出す中間層ノ−ドＵj の重み係
数で表されるテンプレ−ト・ベクトルとが十分な距離以
上に離れているか否かを判定する基準であり、定数ｔｈ
１はベクトル空間の基準距離とみなされる。ｔｈ１の近
似値は、１つのクラスに属するサンプルデ−タの標準偏
差σを計算して得られる。例えば、１０クラスの入力パ
タ−ン信号のサンプルを用いてｔｈ１を次のように決め
ることができる。１０クラスの各クラスに対応するサン
プルデ−タの標準偏差σ1,σ2,…, σ10が決められる
と、ｔｈ１は例えば次の式（７）で与えられる。

【００２７】

【数３】

【００２８】ｔｈの値は例えば実験で調整してもよい。
式（６）は、入力パタ−ン信号と、中間層ノ−ドＵj
（正解クラスを表す）の重み係数で表されるテンプレ−
トとの間のベクトル空間での距離が、しきい値ｔｈ１
（大きな値に設定してある）より十分に大きいか否かを
決めるのに有効である。したがって、中間層出力値Ｏj
が条件式（６）を満たす場合（図２のステップ２０
８）、すでに登録してある正解クラスの中間層ノ−ドの
重み係数ベルトルが表すテンプレ−トと、ベクトル空間
上で掛け離れた入力パタ−ン信号が、入ってきたことを
意味する。このため、この条件式（６）を満たす場合、
図４に示すように、入力パタ−ン信号Ｓの各要素を重み
係数とした中間層ノ−ドＵL ２７と、入力層ノ−ドと
中間層ノ−ドＵL ２７とを接続する信号線２８および
中間層ノ−ドＵL ２７と正解クラスの出力層ノ−ドを
接続する信号線２９を追加する（図２ステップ２１
２）。ここで、中間層ノ−ドＵL ２７の重み係数とし
ては、入力パタ−ン信号の各要素を割り当てることによ
り実現する。

【００２９】もし、出力応答信号５で示されるクラスが
教師信号６で示される正解のクラスに適合しなかった場
合、そして（６）式は満足しないが正解クラスと認めら
れる出力があった場合は、出力層ノ−ド１８から送られ
たクラス出力信号１７のなかから、クラスを代表する中
間層出力値のうち最小値を与える出力層ノ−ドから求ま
る中間層ノ−ド番号Ｕi とその中間層出力値Ｏi を検出
する。さらに、この値Ｏi と中間層ノ−ドＵj （正解ク
ラスの出力層ノ−ドから得られたクラスを代表する）の
出力値Ｏj が（８）式を満足するか否かを判定する。 Ｏj −Ｏi ≦ｔｈ２ … （８） ただし、ｔｈ２は、上述のようにあらかじめ定めた固定
のしきい値である。条件式（８）を満たす場合は、正解
クラスに属する中間層ノ−ドに格納した重み係数で表さ
れるテンプレ−トと、正解クラス以外の中間層ノ−ドに
格納した重み係数のテンプレ−トがベクトル空間上で近
接しているため誤ったことを意味する（図２のステップ
２１６）。このため、先に述べた（３）式にしたがって
中間層ノ−ドＵi とＵj の重み係数を修正する（図２の
ステップ２１４）。

【００３０】上記いずれの場合にも当てはまらずに誤っ
て分類された場合は、正解クラスに属する中間層ノ−ド
Ｕj に格納した重み係数ベクトルのみを下記式（９）式
にしたがって、修正する（図２のステップ２１８）。 中間層ノ−ドＵj の重み Ｗjk(t+1)＝Ｗjk(t)+α(t)[Ｓk-Ｗjk(t)] … （９） ｆｏｒ ｋ＝１，… Ｎ ただし、ｔは時刻ｔをあらわす単調増加する整数（ｔ＝
１，２，…）。また、α(t) は、０と１の間の十分小さ
い値を持つ、単調減少関数であり、例えばα(t) ＝１／
(t+1) またはｅ^-tなどで計算する。α(t) として大きな
値を選んだ場合は不安定になることがあるので、小さな
値が望ましい。α(t) は減少関数であり、更新毎に安定
性を増す。

【００３１】図５は、すでに多く利用されているモトロ
−ラのＭＣ６８０３０のようなマイクロプロセッサに代
表される逐次型デジタル計算機によって、上記の本発明
を実現した一例である。本装置は、入力パタ−ン信号を
格納する入力信号バッファ３０を持つ。このバッファは
図１の入力ノ−ド２に対応している。この他、中間層ノ
−ドの重み係数および出力層ノ−ドのクラス情報（図
１）を、格納保存しておく磁気ディスク等の外部メモリ
３１、実行時の中間層ノ−ド３（図１）の重み係数と出
力層ノ−ド１８のクラス情報を格納しておくＲＡＭ（Ra
mdom Access Memory）３２を持つ。さらに、Adder,Muil
iplierなどの論理演算装置で構成されており中間層出力
値および重み係数を修正する演算装置３３、演算装置の
結果を格納する出力応答信号格納バッファ３４を持つ。
外部メモリ３１、入力信号バッファ３０、ＲＡＭ３２、
演算装置３３と応答信号バッファはバス２２４で結合さ
れている。学習条件を判定するためのしきい値と実行プ
ログラムを格納したＲＯＭ（Read Only Memory）３５お
よび制御装置３６もシステムの構成要素である。

【００３２】図６は、図５のシステムでのメモリ中に、
出力層ノ−ド、中間層ノ−ド、重み係数が記憶されてい
る状態を示す。また、図６は、図５のシステムで実行さ
れるソフトウェア・プログラムの変数を保持するテ−ブ
ルも示している。図６中で示されるように、メモリ空間
は４つのテ−ブルを持っている。すなわち、変数テ−ブ
ル１０１と、出力層ノ−ドテ−ブル１０２と、中間層ノ
−ドテ−ブル１０３と、重み係数テ−ブル１０４であ
る。変数テ−ブルには各種の定数、変数の現在値が格納
される。例えば、定数ｔｈ１ １０５はアドレス０に数
値２０でストアされており、定数ｔｈ２ １０６はアド
レス１に値４でストアされている。これらの数値は
（７）式と（５）式で表されるしきい値である。他の変
数として変数テ−ブルに含まれるものは、学習サイクル
の最大回数を表す最大時間１０７があり、また、許容出
力層ノ−ド中の最大数を表す最大出力層ノ−ド数１０８
や、中間層ノ−ドの最大数を表す最大中間層ノ−ド数１
０９も含まれる。さらに、Ｎは入力信号ベクトル中の要
素数を示し、時間カウント（学習回数）１１１の値は、
現在学習中の回数を表している。さらに変数テ−ブルは
終了フラブ１１２も持っている。

【００３３】メモリは出力層ノ−ドテ−ブル１０２も持
っており、このテ−ブル１０２は出力層ノ−ドを形成す
るに必要な情報が記憶されている。出力層ノ−ドテ−ブ
ルの最初にはテ−ブルに保持されている出力層ノ−ドの
数を示す出力層ノ−ド数１１３の値が入っている。図６
での例では、２６の出力層ノ−ドがある。最初の数値が
テ−ブル中の出力層ノ−ドの数を示しているのに続き、
テ−ブルにはネットワ−ク中の各出力層ノ−ドに各一つ
の記録が割り当てられるようになっている。これらは出
力層ノ−ド情報１１４として割り当てられる。各記録は
幾つかの区分を持ち、まず、出力層ノ−ドの出力クラス
名を示す出力クラス１１５の領域を持っている。また、
最小中間層出力値を出す代表中間層ノ−ド番号１１６と
代表中間層出力値１１７も持っている。さらに、入力信
号のクラスとしてどれだけ出力層ノ−ドのクラスが選択
されたかを示す使用頻度１１８の部分も持っている。他
に、出力層ノ−ドを追加するための出力空白領域１１９
もある。

【００３４】中間層ノ−ドテ−ブル１０３は中間層ノ−
ドに関する記録部分で、先頭部分にはテ−ブル中にある
中間層ノ−ドの数を示す中間層ノ−ド数１２０がくる。
図６の例では、２８０のノ−ドがある。この中間層ノ−
ド数が示されているのに続き、各中間層ノ−ドの記憶部
分があり、中間層ノ−ド情報１２１のように表示され
る。これらの記録は各中間層ノ−ドに関する有効な情報
を保持していて、最初の領域は中間層ノ−ドのクラスを
示す中間クラス名１２２である。図６の中間層ノ−ドテ
−ブル１０３の例では、クラス名はアルファベットの
「Ａ」である。また、中間層ノ−ドの数を表すノ−ド数
１２３の領域がある。ノ−ドの数は通常、整数であり、
単調増加する。さらに重み係数テ−ブルへのポインタ数
も持っていて、これは重み係数ポインタ１２４で示され
る領域である。このポインタはその中間層ノ−ドの各重
み係数群１２７を指示している。詳しくは、そのブロッ
クの先頭を示している。各ブロックは入力信号の要素数
Ｎ１１０に対応してＮ個登録されている。さらに中間層
ノ−ドテーブルは、中間層ノ−ドの出力値を保持する中
間層出力１２５の部分も持っている。中間層ノ−ドテ−
ブル１０３は、空白領域として、中間層空白領域１２６
を持つ。この大きさは実行過程で変化し、応用例でも変
化する。メモリには既述の、重み係数テ−ブル１０４も
ある。これは各中間層ノ−ドの重み係数のブロックを保
持していて、中間層ノ−ドテ−ブルのポインタがこのブ
ッロクの先頭を示す。他のテ−ブル同様、このテ−ブル
にも重み係数空白領域１２８がある。これらの役割詳細
は後述する。

【００３５】図７，図８，図９は、図５中のデ−タ処理
システムでの単一プロセサが、学習モ−ドでどう動作す
るかを示したフローチャートである。プログラムを走ら
せたとき、まず中間層ノ−ドと出力層ノ−ドの情報が外
部メモリ３１からＲＡＭ３２にロ−ドされているか、制
御ユニット３６（図５）により、出力層ノ−ドテ−ブル
１０２と中間層ノ−ドテ−ブル１０３（共に図６）に基
づいてチェックする（図７のステップ３７）。もしロ−
ドされていなければ、システムは中間層ノ−ドと出力層
ノ−ドの情報のデ−タが外部メモリ３１（図５）に格納
されているか否かを判定する（図７のステップ３８）。
もし、格納されているならば外部メモリからＲＡＭ３２
（図５）に上記情報をロ−ドする（図７のステップ３
９）。該当するデ−タが外部メモリに無い場合、ＲＡＭ
内の中間層ノ−ドの情報と出力層ノ−ド情報を、テーブ
ルの中間層ノ−ド数１２０と出力層ノ−ド数１１３（共
に図６）の値を初期化する（図７のステップ４０）。次
に、学習終了フラグ（end-flag）（図６中の１１２）を
ＯＦＦ、学習ル−プの回数（time-count）（同１１１）
を１に初期化する（図７のステップ４１）。

【００３６】以下、学習終了フラグ（end-flag）が、Ｏ
Ｎになるまで以下の処理を繰り返す（図９のステップ７
０）。 ［１］ＲＡＭ３２中の学習終了フラグ（end-flag）１１
２を一旦ＯＮにする（図７のステップ４２）。 ［２］学習用に用意された入力パタ−ン信号セットのう
ち、最初の入力パタ−ン信号を読み取るように入力信号
バッファ３０中の入力パタ−ン信号ポインタを戻す（図
７のステップ４３）。 ［３］入力パタ−ン信号を入力装置（図１１）から読み
込み、入力信号バッファ３０（図５）に格納する（図７
のステップ４４）。図１１は、図５のシステムで使用さ
れる入力を読み込むための要素を示した図である。詳し
くは、例えば文字にクラス分けされるべき対象２４４
が、文字認識用ビデオカメラのような入力手段２４２で
走査される。ビデオ入力はキ−ボ−ド２３６、モニタ２
３８を持つデ−タ端末２３４に入る。端末２３４は、各
種構成要素と相互に影響してシステムの使用者が利用可
能な状態になり、また、図５のシステム２３２に接続さ
れている。端末はまた、多数の異なった文字パタ−ンや
他のパタ−ンを記憶しているデ−タベ−ス２３０にも接
続されている。デ−タベ−スの利用法は以下に詳述す
る。文字認識の例では、入力デ−タ構造は図１２に示さ
れる形となる。デ−タ構造は２つの部分からなる。最初
の部分２５０は、入力信号のクラス名を示し、第２の部
分２５２はビデオカメラ２４２から読み込まれたピクセ
ルパタ−ンである。図１２に示されるように、そこでの
文字群すべてはピクセルパタ−ンが異なる同一デ−タ構
造を持つ。

【００３７】［４］ＲＡＭ３２（図５）に格納した、す
べての中間層ノ−ドの重み係数１０４（図６）と、入力
信号バッファ３０（図５）中の入力パタ−ン信号を、上
述した式（１）に基づいて演算装置３３で計算し、すべ
ての中間層ノ−ドに対応する中間層出力値を求め、ＲＡ
Ｍ３２（図５）の中間層出力１２５（図６）に格納する
（図７ステップ４５）。 ［５］ＲＡＭ３２中の代表中間層出力１１７（図６）に
格納された中間層ノ−ドの出力値のうちで最小値が、演
算装置３３と制御ユニット３６（図５）により、ＲＡＭ
３２中の中間層出力１２５と入力クラス名１２２に基づ
き計算され、これら中間層ノ−ド番号と中間層出力値は
代表中間層ノ−ド番号１１６と代表中間層出力１１７
（図１０）に、クラスの中間層ノ−ドの出力クラス信号
として格納される（図７のステップ４６）。 ［６］最も小さい値を出力する出力層ノ−ドに対応する
クラス名を演算装置３３と制御ユニット３６で求め、代
表中間層出力１１７の値に基づいて、このクラス名を出
力応答信号とする（図７のステップ４７）。 ［７］入力パタ−ン信号の正解クラス名を教師信号６と
して入力装置（図１１）から読み込む（図７ステップ４
８）。 ［８］入力パタ−ン信号のクラス名と出力応答信号のク
ラス名とが等しいか否かを制御ユニット３６（図５）で
判定する（図７ステップ４９）。等しく無い場合、［１
３］の処理に進む。 ［９］出力層ノ−ドのクラス出力信号のなかから、２番
目に小さい値を与える出力層ノ−ドに対応する中間層ノ
−ド番号Ｕi とその中間層出力値Ｏi 、および、正解ク
ラスの出力層ノ−ドから求まる中間層ノ−ドＵj の中間
層出力値Ｏj とを制御ユニット３６で検出する（図７ス
テップ５０）。

【００３８】［１０］上記中間層出力値Ｏi と中間層出
力値Ｏj とが、上述した式（４）を満たすか否かを演算
装置３３と、制御ユニット３６で判定する（図７ステッ
プ５１）。式（４）を満たさない場合、処理［２７］へ
移る。 ［１１］もし式（４）を満たす場合、上述した式（５）
に従い中間層ノ−ドＵiとＵj の重み係数を修正してＲ
ＡＭ３２中の重み係数テ−ブル１０４（図６）に格納す
る（図７ステップ５２）。 ［１２］処理［２６］へ移る。 ［１３］正解クラスに対応する出力層ノ−ドがあるか、
制御ユニット３６で判定する。もし、在れば処理［１
７］へ移る（図８ステップ５３）。 ［１４］ＲＡＭ３２内に、新しい中間層ノ−ド情報１１
４、出力層ノ−ド情報１２１および重み係数１２７を格
納するエリアを確保する（図８ステップ５４）。もし、
確保するスペ−スがなければ（つまり出力層ノ−ドの出
力空白領域１１９がなくなったか、または中間層ノ−ド
テ−ブル１０３の中間層空白領域１２６がなくなった
か、または重み係数テ−ブル１０４の重み係数空白領域
１２８がなくなった場合）、制御ユニット３６は、その
メッセ−ジを出力し（図８ステップ５５）、処理［２
７］に移る。 ［１５］確保した中間層ノ−ドの重み係数に、入力信号
バッファ３０中の入力パタ−ン信号の各要素の値を格納
する（図８ステップ５６）。そして、新たに出力層空白
領域１１９に得られたクラス名を出力クラス名１１５に
格納する。また、中間層空白領域１２６中の新クラス名
を中間クラス名１２２に格納する。 ［１６］処理［２６］に移る。

【００３９】［１７］正解のクラスに属する出力層ノ−
ドによって与えられる、正解クラスに属する中間層ノ−
ドのうち、最も小さい中間層出力値を出力した中間層ノ
−ドＵj の中間層出力値Ｏj が、上述した式（６）を満
たさない場合は、処理［２１］に移る（図９ステップ５
７）。 ［１８］入力パタ−ン信号のクラスカテゴリに対応する
中間層ノ−ドを新しく追加する。すなわちＲＡＭ３２内
に、新しい中間層ノ−ド用エリアを確保する（図９ステ
ップ５８）。もし、確保するスペ−スが中間層空白領域
１２６になければ、その領域がないというメッセ−ジを
出力し（ステップ５９）、処理［３７］に移る。 ［１９］確保した中間層ノ−ドの重み係数領域１２７
に、入力信号バッファ３０中の入力パタ−ン信号の各要
素の値を格納する（図９のステップ６０）。 ［２０］処理［２６］に移る。 ［２１］出力層ノ−ドのクラス出力信号から求まる代表
中間層出力１１７の出力値のなかから、最も小さい値を
与える出力層ノ−ドに対応する中間層ノ−ド番号Ｕi
と、その中間層出力値Ｏi が求まる。また、出力ノ−ド
テ−ブル１０２に格納された正解クラスの出力層ノ−ド
から得られる中間層ノ−ド番号Ｕj とその中間層出力値
Ｏj も検出される（図９ステップ６１）。

【００４０】［２２］上記中間層出力値Ｏi と中間層出
力値Ｏj とが、上述した式（８）を満たすか否かを判定
する（ステップ６２）。式（８）を満たさない場合、処
理［２５］へ移る。 ［２３］式（８）を満たす場合、上述した重み係数修正
式（３）にしたがって中間層ノ−ドＵi とＵj の重み係
数を演算装置３３と制御ユニット３６により修正する
（図９ステップ６３）。 ［２４］処理［２６］に移る。 ［２５］上述した式（９）にしたがって、ＲＡＭ３２中
の重み係数テ−ブル１０４にある中間層ノ−ドＵj の重
み係数を、演算装置３３と制御ユニット３６で修正する
（図９のステップ６４）。 ［２６］学習終了フラグ（図６のend-flag１１２）をＯ
ＦＦにする（図９のステップ６５）。 ［２７］すべての学習用入力パタ−ン信号を処理したか
調べる。もし処理してないならば、制御を処理［３］へ
移す（図９ステップ６６）。 ［２８］学習ル−プ（図６のtime-count１１１）の値を
１増やす（図９のステップ６７）。 ［２９］学習ル−プ（time-count１１１）があらかじめ
定めた所定の値MAX-time１０７（図６）以上になったな
ら、学習終了フラグ１１２（図６のend-flag）をＯＮに
する（図９のステップ６９）。 ［３０］学習フラグ（end-flag）がＯＦＦならば、処理
［１］に戻る（図９のステップ７０）。 ［３１］学習した図６に示されるネットワ−ク情報を外
部メモリ３１に保存する（図９のステップ７１）。 ［３２］学習を終了する。

【００４１】実施例２．なお、上記実施令は、逐次型デ
ジタル計算機によって、本発明を実現した一例である
が、本発明はこれに限らず、並列型デジタル計算機によ
って実現できる。図１０は、例えば『A VLSI Architect
ure for High-performance,Low-cost,On-chip Learnin
g』,Dan Hammerstrom,Proceedings of International J
oint Conference On Neural Networks,June 17-21,199
0,Vol.2 pp.537 - 544に開示された並列型デジタル計算
機によって本発明を実現した一例である。本装置は、入
力パタ−ン信号を格納する入力信号バッファ３０、中間
層ノ−ドの重み係数および出力層ノ−ド情報を格納保存
しておく磁気ディスク等の外部メモリ３１、各々のクラ
スに対応する中間層ノ−ドと出力層ノ−ドの出力値を計
算するプロッセサ・エレメント７２、学習条件を判定す
るためのしきい値とプログラムを格納したＲＯＭ（Read
Only Memory）３５および並列プロセッサ制御装置７
３、演算装置３３、演算結果を保存するＲＡＭ７４から
構成されている。プロセッサ・エレメント７２は、各ク
ラスの重み係数を格納するＲＡＭ７５、プロセッサ演算
装置７６、出力信号格納レジスタ７７、およびプロセッ
サ・エレメントが有効か無効かを示すための使用フラグ
格納バッファ７８とから構成されている。

【００４２】本装置の例では、ひとつのプロセッサ・エ
レメントが、中間層ノ−ドの中間層出力値と、出力層ノ
−ド１８（図１）の出力クラス信号を計算するように割
り当てられている。そして、逐次型デジタル計算機によ
る例で示した図７，図８，図９に示すフロ−チャ−トの
うち、中間層ノ−ドの中間層出力値３と出力層ノ−ド１
８の出力クラス信号１７を計算する処理を並列に計算す
る点が、逐次型デジタル計算機を用いた場合と大きく異
なる。なお、出力層ノ−ドに登録されていない入力パタ
−ン信号を学習する場合、使用フラグによって無効とな
っているプロセッサ・エレメントをサ−チし、このプロ
セッサ・エレメントに新しく中間層ノ−ドと出力層ノ−
ドの機能を割り当て、使用フラグを有効にすることによ
り、達成する。本装置では、計算を並列に処理できるた
め高速なパタ−ン分類装置を得ることができる。

【００４３】実施例３．なお、上記実施例では中間層ノ
−ドの演算として式（１）に示すユ−クリッド距離法を
用いる方法について述べたが、中間層ノ−ドの演算とし
て、パタ−ン認識の分野で周知の下記式（１１）に示す
ベクトル間の内積で得られる類似度Ｐiをもちいても良
く、上記実施例と同様の効果が得られる。 Ｏi ＝１ − Ｐi （１０） ここで、Ｐi は以下の式（１１）の定義による。また式
（１１）中、Ｓj とＷijは既に述べた定義の通りとす
る。

【００４４】

【数４】

【００４５】実施例４．上記のニュ−ロ・ネットワ−ク
・システムの生成、修正は、成長プロセスとして発生す
る。一般に、適合クラス認識用デ−タ処理システムの調
整に関係するステップは、メ−カ−段階とユ−ザ段階に
分けられる。図１３はメ−カ−段階とユ−ザ段階に分け
られたステップのフロ−チャ−ト図である。判かり易く
するため、このフロ−チャ−トは文字認識に使用したシ
シテムを想定している。しかし上記のように、こうした
システムはオ−ディオ・パタ−ン認識や、タ−ゲット認
識にも使用できる。文字認識の基準はとても判かり易
く、メ−カ−段階の第１ステップでは、一般的な学習デ
−タが文字認識のために設けられる。このデ−タは、汎
用デ−タベ−ス、つまり文字認識、オ−ディオ・パタ−
ン認識、タ−ゲット認識用のシステムの情報を持ってい
るデ−タベ−スから読み込まれる。文字認識のための一
般学習デ−タ読み込みのため、文字認識に関する汎用デ
−タベ−スのある部分が図１１のデ−タベ−ス２３０か
ら選択される（図１３のステップ２５０）。

【００４６】一旦、デ−タベ−ス２３０から一般学習デ
−タが選択されると、当初は中間層ノ−ドと出力層ノ−
ドを持たないニュ−ロ・ネットワ−クにこのデ−タを適
用する。そして図７、図８、図９で示された一般学習デ
−タで、中間層ノ−ドと出力層ノ−ドを生成、修正して
ゆく。例えば日本語認識のためのニュ−ロ・ネットワ−
クを生成するため、図１４で示す日本語２７０の一般学
習デ−タがデ−タベ−ス２３０（図１４）から選択され
る。そして中間層ノ−ドと出力層ノ−ドが図７、図８、
図９で示したように日本語の一般学習デ−タが形成され
てゆく。抽出されたニュ−ロ・ネットワ−クの中間層ノ
−ドと出力層ノ−ドの情報は、日本語認識のためのマス
タ−ノ−ドとして格納される。この抽出マスタ−デ−タ
は、日本語認識のために制作された全システムに使用さ
れる。一旦このマスタ−デ−タが生成されると、これら
のコピ−は異なるユ−ザ用に図１３のステップ２５４，
２５８で示されるように組込ができ、システムの大量生
産が可能となる。殊に、マスタ−デ−タがシステムの外
部メモリ３１にロ−ドされると、各ユ−ザに送付でき
る。図１３の場合は、デ−タベ−スはユ−ザ１とユ−ザ
２の外部メモリに組み込まれる。ステップ２５０，２５
２，２５４，２５８はメ−カ−段階のステップである。

【００４７】ステップ２５６，２６０で構成されるユ−
ザ段階では、ユ−ザ・システム用に設置されたデ−タ
は、ユ−ザ個別に修正、または再調整される。これら個
別の調整後デ−タはユ−ザ・システムの外部メモリに設
置される。そうした可能性のあるタイプの例として特別
のフォントの作成がある。図１５で示すように、システ
ムにはクラス「Ａ」用のテンプレ−ト２６２をメ−カ−
段階で用意する。しかしユ−ザはテンプレ−ト２６４の
ようなテンプレ−トに修正したいのかもしれない。両方
のテンプレ−トは同一のクラス（即ち文字Ａ）である
が、デ−タはテンプレ−ト２６４を学習するように調整
される。一般に、一連のデ−タがメ−カ−段階で設置さ
れると、各々の特殊な文字パタ−ンは当初は中間層ノ−
ドを持たないニュ−ロ・ネットワ−クに適用される。そ
して、システムは文字テンプレ−トを学習し、特殊文字
パターンが入力されると、テンプレ−ト用に適当な中間
層ノ−ドを生成する。このように、全入力で各中間層ノ
−ドテンプレ−トを生成し、これが図１４のステップ２
５２で実行されることである。

【００４８】しかしユ−ザ段階のステップ２５６と２６
０では、クラスを表す中間層ノ−ドは既にあり、既存の
テンプレ−ト・パタ−ンに加えられて、または修正され
て新しい中間層ノ−ドとなる。例えば、もしステップ２
５６で、ユ−ザ１が既に日本語用に形成されたシステム
をドイツ語用に変更したいと考えたとすると、ニュ−ロ
・ネットワ−クにドイツ語を入力してドイツ語を認識す
るように学習する。この応用例は、ドイツ語パタ−ン用
の新しいテンプレ−トの学習または生成ができ、これら
は既知の日本語文字と一緒に保持される。ここで、こう
した例では入力パタ−ンの分離が重要であることを、強
調しておかなければならない。日本語パターンは、お互
いに極くわずかな違いしかないので、入力デ−タはその
わずかな違いを区別して高分解能で分離される必要があ
る（即ちピクセル数が多い）。ドイツ語はこれに反し
て、違いが大きいので、そんなに高い分解能はいらな
い。システムは既に日本語用に形成されており、高い分
解能を持っているので、そんなに高い分解能がいらない
ドイツ語認識は、たいして困難ではない。

【００４９】これに反し、もしシステムが当初分解能が
低くてよいドイツ語文字用に形成されていた場合には、
これを用いた日本語文字の学習は問題となる。この対策
の一つは全言語に十分対処できる高分解能なものを用意
すればよい。しかし、これは効率との兼ね合いであり、
場合に応じて決める必要がある。さらに、デ−タ・キャ
ラクタ・タ−ゲットとか音声パタ−ン・デ−タのどの型
に対しても、入力データ構造は均一に形成され、単一シ
ステム形成で全パタ−ン認識に対応できなければならな
い。上記異なった文字列のシステム能力の議論の視点か
ら、他の必要なシステム仕様が述べられる。上記実施例
１によれば、ひんぱんには使われないメモリの部分は、
内部ＲＡＭ３２（図５）から消去され、外部メモリ３１
に移されることもある。詳しくは、あまり使用されない
（即ち入力パタ−ンのクラスとして、あまり選択されな
い）出力層ノ−ド１８と上記出力層ノ−ドに関係する中
間層ノ−ドは、外部メモリに移される。このペ−ジング
に似た操作で、外部メモリ３１に格納されているデ−タ
は再び必要な時にフェッチされ、内部メモリ３２に移さ
れる。

【００５０】転送操作のフロ−チャ−トが図１６で示さ
れる。図６の使用頻度１１８の領域が各クラス毎にチェ
ックされる（ステップ２７０）。上記のように、この使
用頻度領域は入力のクラスとして選択される度毎にイン
クレメントされる。またこのシステムはどのグル−プが
一番使用されなかったかということも調べる（ステップ
２７２）。この例では、グル−プは、異なった言語列を
指す。もっと一般的には、各グル−プは文字認識以外の
応用のための異なったデ−タ列である。簡単な例が日本
語文字とドイツ語文字の例である。

【００５１】このシステムでは、互いの出力層ノ−ドを
みて、最後のクラスまで到達したかをまずチェックする
（ステップ２７４）。もし最後のクラスまで到達してい
なければ、次のクラスをとりあげて（ステップ２７
６）、使用頻度領域が０であるかどうかを調べる（ステ
ップ２７８）。もし０でなければ次のクラスを調べる。
もし０なら、そのクラスが最小使用頻度グル−プかどう
かを調べる（ステップ２８０）。もし最小使用頻度グル
−プなら、その出力層ノ−ドと対応する中間層ノ−ドは
外部メモリに転送される（ステップ２８０）。もし最小
使用頻度グル−プでないなら、そのクラスは転送されな
い。この方法は選択されたグル−プはよく使用されると
推定し、内部メモリに入れておくことを意味する

【００５２】この転送手段は定期的に起動され、たとえ
ば１０００字入力毎に行われる。学習モ−ドでは、もし
図１の教師信号６で与えられる正解クラスに属するノ−
ドがないときは、図５の制御ユニット３６は、ＲＡＭ３
２中に新しい正解出力層ノ−ドと中間層ノ−ドを生成す
る前に、外部メモリ３１中に正解クラスの情報が転送さ
れているかどうかを調べる。あれば外部メモリから持っ
てくるし、もし外部メモリ３１に正解クラスの出力層ノ
−ドと中間層ノ−ドがないなら、制御ユニット３６が正
解クラスの出力層ノ−ドと中間層ノ−ドを生成する。

【００５３】上記実施例以外に、本発明の形式か内容を
変化させ、本発明の本質を離れない範囲で種々の応用が
可能である。

【００５４】

【発明の効果】以上のようにこの発明によれば、まずテ
ンプレ−トと入力パタ−ンを比較し、クラス分けする手
段とこのクラス分けが正しいか確認する手段と、他のク
ラスと離れて安定かを調べる手段を設けたので、クラス
分けが不十分で安定でないときはテンプレ−トを変更し
て安定なクラス分けができる効果がある。さらに、間違
ったクラス分けやクラス分けができないときも新しくク
ラスを設定して修正し、新しいテンプレ−トを用意し
て、やはり安定なクラス分けが出来る効果がある。ま
た、入力段、中間層段、出力段、セレクタと分離し、特
に中間層段では各クラス別に重みを変更出来るようにし
たので、安定なクラス分けが出来る効果がある。さら
に、認識モ−ドと学習モ−ドを別にして、学習モ−ドで
教師信号に対応したクラス分けもするので、外部信号を
基準に安定なクラス分けが出来る効果がある。また、機
能別の構成手段でなくとも、入力パタ−ンと各クラスを
順次比較し、差の結果を記憶していて、クラス信号を定
めるようにしたので、クラス別のテンプレ−トとの比較
で区分可能なクラス分けが出来る効果がある。

【図面の簡単な説明】

【図１】本発明の実施例である自己組織型パタ−ン分類
システムのブロック図である。

【図２】本発明の実施例である、正解クラスと出力応答
信号との関係を調べるフロ−チャ−ト図の例である。

【図３】本発明の実施例の自己組織型パタ−ン分類シス
テムが、正解クラスがない時に新しい中間層ノ−ドと出
力層ノ−ドを生成することを説明する図である。

【図４】自己組織型パタ−ンの分類システムが新しい中
間層ノ−ドを生成することを説明する図である。

【図５】本発明の実施例である直列プロセッサを使用し
た自己組織型パタ−ン分類システムを示す図である。

【図６】メモリ中での中間層ノ−ド群、出力層ノ−ド
群、制御変数の数値の記憶状態を示す図である。

【図７】図１のシステムの動作を説明するフロ−チャ−
ト図である。

【図８】図１のシステムの動作を説明する他のフロ−チ
ャ−ト図である。

【図９】図１のシステムの動作を説明する他のフロ−チ
ャ−ト図である。

【図１０】本発明の実施例である並列プロセッサを使用
した自己組織型パタ−ン分類システムを示す図である。

【図１１】図５のシステムの入力信号を得るためのイメ
−ジ読み取りの例を示すブロック図である。

【図１２】図５のシステムの入力文字のデ−タ構造を示
す図である。

【図１３】本発明の一実施例の自己組織型パタ−ン分類
システムの大きな分類別でのステップを示すフロ−チャ
−ト図である。

【図１４】日本語の一般的な文字デ−タベ−スと、学習
デ−タの生成を示す図である。

【図１５】文字「Ａ」の種々のフォントを示す図であ
る。

【図１６】転送（掃き出し）プロセスを示すフロ−チャ
−ト図である。

【図１７】従来技術によるパタ−ン分類システムの図で
ある。

【図１８】図１７のシステムの中間層ノ−ドを表わすブ
ロック図である。

【図１９】アルファベットの各クラスを表す種々のテン
プレ−ト・パタ−ンを示す図である。

【図２０】ベクトル空間での入力信号ベクトルを中間層
ノ−ドの関係とを表した図である。

【図２１】入力パタ−ン信号のクラス分けを容易にする
よう重み係数を変更することを説明する図である。

【符号の説明】 ３ 中間層ノ−ド ５ 出力応答信号 ６ 教師信号 ７ 学習信号 ８ 第１の信号線 １０ 中間層ノ−ド出力 １１ 信号線 １７ クラス出力信号 １８ 出力層ノ−ド １９ セレクタ ２０ 信号線 ２１ 信号線 ３０ 入力バッファ ３１ 外部メモリ ３２ 重み情報メモリ ３３ 演算ユニット ３４ 応答信号バッファ ３５ プログラムメモリ １０１ 変数テ−ブル １０２ 出力層ノ−ド・テ−ブル １０３ 中間層ノ−ド・テ−ブル １０４ 重み係数テ−ブル

【手続補正２】

【補正対象書類名】図面

【補正対象項目名】図２

【補正方法】変更

【補正内容】

【図２】

【手続補正３】

【補正対象書類名】図面

【補正対象項目名】図１８

【補正方法】変更

【補正内容】

【図１８】

Claims (6)

【特許請求の範囲】
1. 【請求項１】 入力パタ−ンをクラス分けする以下の要
   素から構成される自己組織型パタ−ン分類システム （ａ）既に学習したパタ−ンでそれぞれクラス分けされ
   たテンプレ−トと比較する手段と、 （ｂ）上記比較手段によって入力パタ−ンをクラス分け
   する手段と、 （ｃ）入力信号が正しくクラス分けされたかどうかを調
   べる手段と、 （ｄ）入力信号に対し正解クラスが選択された時、正解
   クラスが他のクラスから離れたテンプレ−トを持ってい
   るかどうかを調べる手段と、 （ｅ）テンプレ−トが調整されて安定なクラス分けがで
   きているかどうかを調べて調整する手段。
2. 【請求項２】 入力パタ−ンをクラス分けする以下の要
   素から構成される自己組織型パタ−ン分類システム （ａ）既に学習したパタ−ンでそれぞれクラス分けされ
   たテンプレ−トと比較する手段と、 （ｂ）上記比較手段によって入力パタ−ンをクラス分け
   する手段と、 （ｃ）入力信号が正しくクラス分けされたかどうかを調
   べる手段と、 （ｄ）正解クラスのテンプレ−トがあるかどうかを調べ
   る手段と、 （ｅ）正しくないクラスが選択されたか、または正解ク
   ラスのテンプレ−トがない時は、比較用の新しいテンプ
   レ−トを生成する手段。
3. 【請求項３】 入力パタ−ン信号をクラス分けする以下
   の要素から構成される自己組織型パタ−ン分類システム （ａ）入力パタ−ン信号の各要素を受ける入力バッファ
   と、 （ｂ）上記入力バッファからの要素信号を受けて、各々
   中間出力値を生成する中間層ノ−ド群と、 （ｃ）同一各クラスの中間層ノ−ドの中間層出力値を受
   け、上記中間層出力値中の最小値を調べ、最小値対応の
   中間層ノ−ド群を示すクラス信号を各々クラス信号とし
   て出力する出力ノ−ド群と、 （ｄ）最小値を出力する中間層ノ−ドのクラスを示す応
   答信号を外部へ出力し、また学習信号を上記中間層ノ−
   ドにも出力する自己組織化セレクタを備え、 上記学習信号は、上記出力ノ−ド群からのクラス信号
   と、外部から入力パタ−ン信号の正解クラスを示す教師
   信号であって、これにより上記中間層ノ−ドの重み係数
   を調整する手段。
4. 【請求項４】 システム中に構成される自己組織型セレ
   クタは、以下の認識モ−ドと学習モ−ドで動作するもの
   である自己組織型パタ−ン分類システム （ａ）認識モ−ドでは、中間層出力値の中から最小値を
   求め、その最小出力値を与える上記出力ノ−ドのクラス
   名を応答信号として出力し、 （ｂ）学習モ−ドでは、上記出力ノ−ドからのクラス信
   号と外部からの教師信号によるクラス分けに基づき、上
   記中間層の上記重み係数を修正する。
5. 【請求項５】 入力ベクトルをクラス分けする以下の要
   素から構成される自己組織型パタ−ン分類システム （ａ）入力ベクトルを格納する入力バッファと、 （ｂ）特定クラスに関係したパタ−ンを持つ各クラスの
   パタ−ンのテンプレ−トを格納する手段と、 （ｃ）上記入力ベクトルと上記格納された各テンプレ−
   トとを比較し、上記入力ベクトルとテンプレ−トとの比
   較結果の差を中間層出力信号とする中間層出力手段と、 （ｄ）上記クラスのテンプレ−トで比較し最小の差を持
   つ中間層出力を選択してクラスを表す信号とし、選択手
   段に上記クラス出力信号を送る受信手段と、 （ｅ）各クラスの上記受信手段からの最小出力信号を受
   け、さらに上記最小出力信号の最小値を求め、上記最小
   値を送出した受信手段のクラスを求め、そのクラスを示
   す出力を生成する選択手段。
6. 【請求項６】 入力パタ−ンをクラス分けする以下のス
   テップからなる自己組織型分類方法 （ａ）入力パタ−ンのデ−タと、差算出用の入力の各ク
   ラスのテンプレ−トと比較するスッテプと、 （ｂ）各クラスのテンプレ−トでの比較結果で差が最小
   の値を選択し、そのクラスの最小値と定めるステップ
   と、 （ｃ）クラス最小値中の最小の値を選択するステップ
   と、 （ｄ）上記選択された最小の値を持つテンプレ−トのク
   ラスに入力信号をクラス分けするステップ。