JPH09500988A

JPH09500988A - 認識システム

Info

Publication number: JPH09500988A
Application number: JP6522895A
Authority: JP
Inventors: ロバートバートホウルミューランバート; リチャードジョンフライアー; ウィリアムポールコックショット
Original assignee: ユニバーシティーオブストラスクライド
Priority date: 1993-04-13
Filing date: 1994-04-13
Publication date: 1997-01-28
Also published as: KR960702129A; GB9307611D0; DE69404143T2; WO1994024636A1; US6505181B1; EP0694192B1; DE69404143D1; EP0694192A1

Abstract

(57)【要約】自動編成型人工神経ネットワークタイプの認識システムがアレンジされ、訓練プロセスによって決定された保存カテゴリに従って入力データを分類する。訓練プロセスにおいて、当初カテゴリ代表は、一連の訓練パターンに対応し、競争学習ルーチンに従って選択的・反復的に更新される。このルーチンは、代表期間、特に長期利用期間及び短期利用期間に受信された全入力情報に基づいてカテゴリ利用メジャーを使用し、全入手可能なカテゴリが使用されることと、本システムが安定していることとを保証する。更新により、カテゴリ代表に対する修正アマウントを決定する訓練度は各カテゴリに限定的であり、そのカテゴリの成熟性と、内部代表パターンと訓練入力情報との間の類似性メジャーとに基づいており、訓練期間は最短化される。ユーザーが操作する選択操作可能な提案学習入力情報は各カテゴリに提供され、訓練プロセスを修正したり、入力データの分類中にその入力データを訓練パターンとして使用することで二義的訓練を実行させる。それらのカテゴリは、それぞれの重要値を備えた多基準パターンによって代表あるいは表され、入力情報とカテゴリとの間の両立性の程度は、その重要値を利用して計算される。

Description

【発明の詳細な説明】認識システム本発明はパターン認識並びパターン分類のための認識システムに関し、必然的ではないが、特には非管理学習（ｕｎｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇ）が可能な自動編成式人工神経ネットワーク（ｓｅｌｆ−ｏｒｇａｎｉｓｉｎｇａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）に関する。神経ネットワークとは相互接続プロセス要素（ｉｎｔｅｒｃｏｎｎｅｃｔｅｄｐｒｏｃｅｓｓｉｎｇｅｌｅｍｅｎｔｓ）のネットワークのことであり、異なる相互接続強度（ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎｓｔｒｅｎｇｔｈ）又は相互接続重量（ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎｗｅｉｇｈｔ）をセットすることで情報を内部保存するものである。このネットワークの各要素はウエイトされた（ｗｅｉｇｈｔｅｄ）入力情報の１機能である出力情報を提供し、このネットワークは、例えば、一連の訓練パターン（ｔｒａｉｎｉｎｇｐａｔｔｅｒｎ）に対応して相互接続重量（ウエイト）を調整することでカテゴリ（ｃａｔｅｇｏｒｙ）を学習する。このような人工神経ネットワークの利用は従来から知られており、訓練によって決定された保存カテゴリに従って入力データを分類するように訓練（ｔｒａｉｎ）されている。１つの特定な訓練様式は競争学習（ｃｏｍｐｅｔｉｔｉｖｅｌｅａｒｎｉｎｇ）として知られている。ある訓練セットの各入力パターンの提供で、各存在カテゴリはその入力情報を代表（ｒｅｐｒｅｓｅｎｔ）しようと競争する。その入力情報に最も近似している理由でその入力情報を代表する（表す）１カテゴリあるいは複数カテゴリは特定され、さらに修正（ｍｏｄｉｆｙ）され、その入力情報はそれら修正されたカテゴリによってさらに良好に代表、あるいは表される［ローゼンブラット（Ｒｏｓｅｎｂｌａｔｔ）Ｆ．（１９６２年）「神経力学の原理」ニューヨーク：スパルタン社］。この修正程度は訓練度（ｔｒａｉｎｉｎｇｒａｔｅ）として知られている。この方法の問題点は、訓練の終了時に特定されたカテゴリが、各可能（ポテンシャル）カテゴリの初期内部代表（ｉｎｉｔｉａｌｉｎｔｅｒｎａｌｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ）の影響を受けることである。初期内部代表の選択が不十分であれば、このシステムのその後の使用中に、（システム内の物理的又は実効的能力に対応する）カテゴリによっては使用頻度過多となったり使用頻度不足となり、場合によっては全く使用されないことになる。この問題を解決しようといくつかの技術が提案されているが、それぞれに特有な欠点を備えている。（ｉ）初期カテゴリ代表は、訓練データの「代表例」で予備セットされている。従って、定義されたカテゴリを適正なユーザー領域に存在させるが、システムユーザーにその領域内のデータ範囲と分布との詳細な知識を要求する。この技術は、そのようなデータが訓練以前に入手可能であることを想定している。この要求や想定は、多数の現実的な問題に対しては実用的ではない。（ｉｉ）別方法［ルメルハート（Ｒｕｍｅｌｈａｒｔ）Ｄ．Ｅ．及びジプサー（Ｚｉｐｓｅｒ）Ｄ．（１９８５年）「競争学習による特性の発見」認識化学９、ページ７５〜１１２］は、各訓練データ入力の代表後の全カテゴリ代表の更新（ｕｐｄａｔｉｎｇ）に関係している。各カテゴリ代表はその勝利／敗北状態（ｗｉｎ／ｌｏｓｅｓｔａｔｅ）に従って更新され、そのネットワークに提供されたパターンの敗者（ｌｏｓｅｒ）は、勝利カテゴリを修正するのに使用された訓練度の一部を使用してそれらのカテゴリ代表を修正させる。この技術は全カテゴリが利用されるという利点を有している。しかし、学習の不安定さと、それに関連する敗北とを回避するため、カテゴリが修正される訓練度は非常に低く抑えられなければならない。この結果、非現実的な長期訓練時間が必要となる。（ｉｉｉ）位相マッピング（ｔｏｐｏｌｏｇｉｃａｌｍａｐｐｉｎｇ）がカテゴリ間に存在するように競争ユニットをアレンジすることは可能である［コホネン（Ｋｏｈｏｎｅｎ）Ｔ．（１９８９年）「自動編成及び関連メモリ」第３版ベルリンスプリンゲル・ベルラグ社］。その後にカテゴリ群は各訓練入力情報の提供で修正される。典型的には、勝利カテゴリは影響範囲を有しており、更新すべきカテゴリを決定する。この影響範囲は訓練の進行と共に減少する。影響範囲が減少する度合（ｒａｔｅ）には問題があり、長期訓練時間が必要とされる。（ｉｖ）各カテゴリの個別初期化（initialisation）の代用として、各カテゴリ代表を同一代表パターンＶに初期化するシステムが報告されている［ヘクト− ニールセン（Ｈｅｃｈｔ−Ｎｉｅｌｓｅｎ）Ｒ．（１９８７年）「逆伝達ネットワーク」応用光学２６ページ４９７９〜４９８４］。訓練が進行するに従って、訓練の基礎をなすＸで表示された各入力パターンは修正され、［α．Ｘ＋（１−α）．Ｖ］（αは制御パラメータであり、当初は０であるが、訓練の進行に伴って１となる）の形態となる。この技術によってカテゴリ代表は調整され、入力パターンの全範囲をカバーするとされている。しかし、この調整は（データ分布及び提供順序の両方で）データに依存するものであり、しかも処理が遅い。全入手可能なカテゴリの使用は保証されない。（ｖ）各カテゴリに対して動的しきい値（ｄｙｎａｍｉｃｔｈｒｅｓｈｏｌｄ）を適用するためのバイアスターム（ｂｉａｓｔｅｒｍ）の使用に関して研究が実行され［ドシエノ（ＤｅＳｉｅｎｏ）（１９８８年）「競争学習に対する自制心の付加」会報ＩＥＥＥ神経ネットワーク国際会議サンディエゴＩページ１１７〜１２４］、使用頻度不足のカテゴリにさらに容易に学習させようと試みられた。しかし、そのバイアスは制御が困難であり、通常は不安定である。結果として、訓練度を低く保つ必要が生じ、長時間の訓練時間を要した。さらに、バイアスを変動させる度合は非常にデータに依存するものとなり、実用性に乏しい。（ｖｉ）ノイズを入力パターンに追加し、訓練の進行に連れてその強度を減少させることは可能である。全カテゴリが訓練中に使用されるようにそのノイズを構築することも可能である［Ｇ．Ｊ．フーテル（Ｈｕｅｔｅｒ）（１９８８年）「適応リングを使用した旅セールスマンの問題の解決」会報ＩＥＥＥ神経ネットワーク国際会議サンディエゴＩページ８５〜９２］。カテゴリの合理的分布を達成するため、訓練度を非常に低く保つ必要があり、長期間の訓練時間を要する。別な問題点は、訓練中に２つの矛盾する条件が発生することである。すなわち、適応性（ｐｌａｓｔｉｃｉｔｙ：新パターンの学習能力）と安定性（ｓｔａｂｉｌｉｔｙ：既学習パターンに対する反応の保持能力）である。すなわち、安定性−適応性ジレンマと呼ばれる問題が発生する。もし訓練度が高く、形成されたカテゴリの大修正が行われれば、新パターンは急速に学習されるが、既形成カテゴリは犠牲となる。すなわち、このシステムは不安定となる。非常に低い訓練度で、カテゴリが類似データに対して一定の反応で安定するなら、このシステムがそれを認識するまで新パターンを何度も提供することが必要である。訓練度を訓練の初期に高くし、訓練が進行するに連れて０として安定性を保証することは一般的に行われている。安定した適正なカテゴリ化されたデータを望むように組合せるため、カテゴリを秩序正しく進化させるように、訓練データは注意深くオーダー（ｏｄｅｒ）されなければならない。安定性−適応性ジレンマと対処するため、「メモリベース学習（Ｍｅｍｏｒｙ −ＢａｓｅｄＬｅａｒｎｉｎｇ）」が、競争学習への付加物として提案されており、（確立されたカテゴリを維持しながら）新カテゴリを形成する訓練パターンを系統的に保存している。この一般的な方法は、適応性共振理論（ＡｄａｐｔｉｖｅＲｅｓｏｎａｎｃｅＴｈｅｏｒｙ：ＡＲＴ）である［カーペンター（Ｃａｒｐｅｎｔｅｒ）Ｇ．Ａ．及びグロスバーグ（Ｇｒｏｓｓｂｅｒｇ）Ｓ．（１９８７年）「自動編成神経パターン認識機用メモリ並行機構」コンピュータビジョングラフィックスと画像処理３７ページ５４〜１１５］。ＡＲＴは、各々が当初は０値（ｅｍｐｔｙ）である無数の入手可能カテゴリの存在を想定している。提供される最初のパターンは、第１カテゴリの代表として系統的に保存される。引き続く訓練パターンは、既成であって、存在する１カテゴリと充分に類似していれば、そのカテゴリを修正するために使用されるであろうカテゴリとの類似メジャー（ｍｅａｓｕｒｅ）を発生させる。存在する１カテゴリと充分に類似していなければ、その訓練パターンは新カテゴリを初期化（ｉｎｉｔｉａｌｉｓｅ）するのに使用される。安定性を確保させるため、既成カテゴリは緩やかに修正される。この方法で訓練が速くて安定的であるとき、新カテゴリを確立すべきか否かを決定する基準の設定はユーザーの仕事であるが、この決定は、その適用領域の理解が充分であっても容易ではない。さらに、この方法はノイズに影響を受け、訓練セットを充分に代表するとは限らず、カテゴリの最終数が分からないので、この最終システムの機能の予測を困難にする。同一データをカテゴリ化するため、各ユニットに同一入力情報を受信させ、各ユニットに他の全部のユニットと競争させるよう、各競争学習を採用している１群の競争ユニットをアレンジすることもできる。そのような群は競争隣体（ｃｏｍｐｅｔｉｔｉｖｅｎｅｉｇｈｂｏｕｒｈｏｏｄ）として定義される。いかなる数の競争隣体でも単層（ｓｉｎｇｌｅｌａｙｅｒ）に組み入れることができる。各隣体は同一で、オーバラップする入力パターンか、あるいは異なる入力パターンを受信するが、その単層内の競争ユニット出力情報を入力情報として受信することはできない。多くの単純な適用においては、単層の競争ユニットで充分である。単純な適用ケースでは、ポテンシャル（可能）なカテゴリの知識の必要性と、安定性と、長訓練時間との問題は解決可能である。しかし、単層が扱える情報には限度があり、カテゴリ化の分量と複雑さが増加するに従って層の追加が必要となる。多層システム（ｍｕｌｔｉ−ｌａｙｅｒｓｙｓｔｅｍ）においては、各層は他層からの出力情報を入力情報として受信する。ほとんどの競争隣体は、外部からではなく、他層の競争隣体から入力情報を受信するので、ユーザーがそれらの層に対するカテゴリ代表（ｃａｔｅｇｏｒｙｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を予備セット（ｐｒｅ−ｓｅｔ）することは実際的でなく、良好なカテゴリ化は決定が非常に困難である。多層ネットワークの訓練には安定性が不可欠である。当初層（ｉｎｉｔｉａｌｌａｙｅｒ）内のカテゴリ化がコンスタントに変化すれば、ネットワークの高層は、カテゴリ化の基礎となるコンスタントな入力情報を得ることはできないであろう。訓練度の注意深い選択及び／又は各層内の安定性の達成がなければ、伝達される情報はほとんど無価値であろう。それでも訓練中は、ネットワークは学習可能でなければならず、提供のオーダーとは無関係に提供されるパターンの分類に対応しなければならない。すなわち、安定性−適応性ジレンマと対処できなければならない。多層訓練において、安定性を得るためのＡＲＴ法は、形成されるカテゴリ数が動的であるため非実用的である。実際には、多層競争ネットワークは利用され、１層ごとに訓練される。このようなネットワークは、各層を訓練するための適切なデータの決定において、設計者に非常に注意深い設計と、多大な努力とを強いる。各層の訓練が終了してしまえば、それ以上の訓練は不可能となる。これは、その後の層への入力情報を無効化し、パフォーマンスの改善、及び／又は新分類の学習のためのそれ以上の訓練を妨害するからである。本発明の１目的は認識システムの提供であり、本システムにおいては、入力データセットとは無関係に、競争学習プロセスは入力データをカテゴリ化し、そのデータの分配は形成されたカテゴリによって反映され、各カテゴリは同等に利用され、ネットワークに保存される情報量は最大となる。本発明の第１の特徴により、訓練プロセスによって決定された保存ベクトル代表（ｖｅｃｔｏｒｒｅｐｒｅｓｅｎｔａｔｉｏｎ）によってそれぞれ定義された複数カテゴリのうち少なくとも１つのカテゴリにデータベクトルを分類するシステムが提供される。このシステムは、複数の相互接続プロセス要素（ｅｌｅｍｅｎｔ）を含んでおり、訓練プロセスを適用するため、入力訓練ベクトルを受信する入力手段と、そのカテゴリのベクトル代表を保存する保存手段と、各カテゴリの入力ベクトルと保存代表との間の類似性メジャー（ｍｅａｓｕｒｅ）を計算する計算手段と、訓練プロセス中に反復ベースでカテゴリを再定義するよう、保存ベクトル代表を選択し、選択された保存ベクトル代表を修正（ｍｏｄｉｆｙ）する選択修正手段と、を含んでおり、この選択修正手段は、各カテゴリのプロセス要素のために、受信された入力ベクトルに関するカテゴリのための複数の異なる学習メジャーを記録する記録手段と、そのカテゴリのための起動値（ａｃｔｉｖａｔｉｏｎｖａｌｕｅ）を形成する記録された学習メジャーを組み合わせる組合せ手段と、この起動値とそれぞれの類似性メジャーとからカテゴリ強度値（ｓｔｒｅｎｇｔｈｖａｌｕｅ）を評価する評価手段と、このシステム内の他のカテゴリのプロセス要素からそのカテゴリ強度値を受信し、比較カテゴリ強度に基づいて受信側カテゴリ代表を修正すべきかどうかの判断をする受信判断手段と、を含んでいる。本発明の第２の特徴により、分類システムの訓練のためのプロセスが提供される。一連の入力訓練ベクトルの各入力ベクトルは、複数のカテゴリのうち少なくとも１つのカテゴリに分類され、各入力ベクトルを複数の保存ベクトル代表と比較し、比較後であって、次の入力ベクトルの比較前に少なくともいくつかの保存ベクトル代表を修正することで、保存ベクトル代表によってそれぞれ定義されるものであり、この保存ベクトル代表の修正を実施するため、本システムは、（ａ）受信された入力ベクトルに関する各カテゴリのための複数の異なる学習メジャーを記録し、（ｂ）各カテゴリのために、現行の比較（ｃｕｒｒｅｎｔｃｏｍｐａｒｉｓｏｎ）における類似性を定量化し、（ｃ）各カテゴリのために、ステップ（ａ）と（ｂ）からのメジャーを強度ファクター（ｓｔｒｅｎｇｔｈｆａｃｔｏｒ）に組み入れ、（ｄ）全カテゴリのために、多数強度ファクターを相関させて比較し、（ｅ）所定の分類に入る強度ファクターを有したカテゴリを特定し、（ｆ）ステップ（ｅ）で特定されたカテゴリを修正する、ステップを含んでいる。本発明によって、汎用競争訓練ルールは修正され、カテゴリの修正は、カテゴリの使用と、内部代表パターンとネットワーク訓練入力情報との間の類似性との両方に影響を受ける。さらに特定すれば、カテゴリの使用は、訓練プロセス内のカテゴリ利用の複数メジャーで構成され、そのカテゴリを修正するのに使用される代表期間に受信される全入力情報の割合に基づいている。典型的には、２利用メジャーが使用され、それぞれ長短期間のカテゴリ学習をモニターする。長期間メジャーは、そのカテゴリが何度その保存ベクトル代表を修正したかを記録し、短期間メジャーは、そのカテゴリがその保存ベクトル代表をどの程度最新に修正したかを記録する。短期間メジャーは、好適には、各未使用入力ベクトルと非線形的に増加する。本文中で「成熟性（ｍａｔｕｒｉｔｙ）」と呼ぶことにする長期間利用基準は、全入手可能カテゴリが訓練中に使用されることを保証する。本文中で「ポテンシャル（ｐｏｔｅｎｔｉａｌ）」と呼ぶことにする短期間利用基準は、成熟性とポテンシャルのプロダクトコンビネーション（ｐｒｏｄｕｃｔｃｏｍｂｉｎａｔｉｏｎ：ここでは「起動化（ａｃｔｉｖａｔｉｏｎ）」と呼称）が、カテゴリ修正において決して「類似性（ｓｉｍｉｌａｒｉｔｙ）」を支配しないように保証することで、安定性を向上させている。修正すべきカテゴリの選択に使用されるカテゴリ強度の所定分類は、例えば、その強度値が平均値以上の全カテゴリによって形成可能であり、あるいは、最大強度値を有した１カテゴリによって形成可能であり、あるいは、最大強度値を有したどの任意の数（例えば５）のカテゴリでも形成可能である。従来技術システムにおいては、カテゴリを修正することができる量（ａｍｏｕｎｔ）は、全カテゴリに適用可能な汎用訓練度によって決定され、カテゴリが理想的な代表を形成する訓練度は、入力データの分布と、提供されるオーダーと、各カテゴリ内の当初代表によって変化する。安定性を確保させるため、従来技術は汎用訓練度を低くしており、カテゴリ代表内の大きな変化を必要とすれば、訓練時間は長くなるであろう。この問題を解決するため、汎用訓練度は、各カテゴリに限定された訓練度によって、本発明の１好適特徴に従い置換が可能である。この限定訓練度はそのカテゴリの成熟性と、内部代表パターンと訓練入力情報との間の類似性の両方に基づくものである。使用不足カテゴリ、あるいはその内部代表に対する低類似性を有した（訓練開始時には普通のことである）カテゴリ学習入力情報は高い限定訓練度を有しており、その内部代表を急速に修正することができる。充分に利用されているカテゴリ、あるいはその内部代表に高い類似性を有するカテゴリ学習パターンは非常に低い限定訓練度を有し、従って安定性を保証することができる。複数のカテゴリ利用メジャーと組み合わせて限定訓練度を使用することで、前の訓練プロセスを反復することを要せず、システムの増加的再訓練を施すことが可能となる。従って、二義的あるいは第２の訓練プロセス（ｓｅｃｏｎｄａｒｙｔｒａｉｎｉｎｇｐｒｏｃｅｓｓ）において追加訓練ベクトルのみがシステムに提供されればよい。多層ネットワーク内で、他層のための入力情報を発生させるのに使用されるカテゴリの安定性は、層が同時に学習するのであれば必須である。しかし、必要に応じてカテゴリの再配分（ｒｅａｓｓｉｇｎｍｅｎｔ）を確実にするために適応性（ｐｌａｓｔｉｃｉｔｙ）は維持されなければならない。本発明の好適な別特徴は、各カテゴリに対して「提案学習（ｓｕｇｇｅｓｔｉｖｅｌｅａｒｎｉｎｇ）」入力情報を導入することである。１操作モードにおいて、この提案学習入力情報は、重要なカテゴリに対して選択的に利用可能であり、訓練と活性化の両方に影響を及ぼすことでこれらのカテゴリの形成を安定化させる。さらに別な操作モードにおいて、提案学習入力情報は新カテゴリの形成をガイドし、ユーザーは望ましいポテンシャル出力カテゴリを提案することができる。このようなガイド信号は、望まれる分類のデータ認識を促進させるため、適正に適用されたネットワークの層を介して伝達される。さらに、提案学習入力情報は、非重要なカテゴリを特定して抑圧し、新セットのパターンを自由にカテゴリ化させることができる。この提案学習入力情報は、データを訓練パターンとして使用し、入力データの分類中に二義的訓練を進展させるにも使用が可能である。本発明のさらに別な好適特徴は、ノイズに対する抵抗力を向上させ、限定訓練度を利用してカテゴリ安定性をさらに向上させるものであり、各カテゴリは多基準パターン（ｍｕｌｔｉｐｌｅｒｅｆｅｒｅｎｃｅｐａｔｔｅｒｎ）で代表が可能である。そのような各基準パターンは、そのカテゴリの典型であると考えられる度合に応じた重要値（ｉｍｐｏｒｔａｎｃｅｖａｌｕｅ）を取り込んでいる。１カテゴリと１入力情報の間の適合性の決定にあたって、各保存基準パターンの重要値は考察される。１入力情報と特定の１カテゴリとの間の適合性の計算された度合は、その入力情報と各内部基準パターンとの間の類似性の１関数となり、ケースごとに調整されて、そのパターンの重要値は考察される。多基準パターンの使用の結果、頻度の低い、あるいは現行で非典型的な入力情報は、低重要値の内部基準パターンのみの修正に使用が可能となり、全体的カテゴリ反応にはほとんど影響を及ぼさない。しかし、もしそのような入力情報が低重要値の１内部基準パターンを、例えば、さらに頻度が高くなることで修正し続けるならば、その内部基準パターンの重要値は上がり、やがては全カテゴリを支配させることになる。全多基準パターンはそのカテゴリに特有な同一限定訓練度を有するかも知れないが、各内部基準パターンに、それ自体の重要値と、全体としてそのカテゴリの成熟性との両方に基づく限定訓練度を持たせることが望ましい。従って、訓練中に内部基準パターンはシフトし、現存するカテゴリに適合しない入力情報に反応できる低重要値基準パターンが常に存在するが、１高重要値内部基準パターンは修正に対して抵抗力を付与され、カテゴリを安定に保つことができる。入力情報と内部代表は、一連式あるいは並行式に提供されたアナログ形態であってもデジタル形態であっても構わない。入力データは、例えば、オーディオセクエンス（ｓｅｑｕｅｎｃｅ）の密度サンプル、又は他の特性、ビデオ画像の密度メジャー、色彩、又は他の特性、あるいは、産業制御プロセスで発生した信号を代表することができる。本発明の実施例は、神経ネットワークタイプの従来式パターン認識システムに特有な弱点を克服あるいは軽減させるものであり、以下においてそれらを説明する。特に、それらは分類カテゴリを、比較的に小規模の訓練セットで急速に学習させるものである。さらに、新カテゴリの学習のために充分な適応性を残したまま、ユーザーにとっては重要である既学習カテゴリの安定的な保持をも可能とする。理解を助けるため、これら実施例は、本文中で「マスター成分（ｍａｓｔｅｒｃｏｍｐｏｎｅｎｔ）」及び「スレーブ成分（ｓｌａｖｅｃｏｍｐｏｎｅｎｔ）」と呼称する２つの特徴的なプロセス要素に基づいて提供されている。隣体内の各カテゴリは、マスター−スレーブペア（ｐａｉｒ）によって代表される。起動化（ａｃｔｉｖａｔｉｏｎ）を使用することでマスターは、カテゴリ特定と訓練初期化に対して責任を負う。スレーブは内部基準パターンの保存と修正に対して責任を負う。マスタースレーブペアは人工神経ネットワークの一部を形成する。本発明の理解をさらに助け、どのように実施されるかを説明するため、図面を添付して解説する。図１は、１体の競争隣体の略図であり、各カテゴリにはマスター成分とスレーブ成分とが提供されている。図２は、図１の改良型好適実施例であり、各マスターは１提案学習入力情報を有しており、位相接続性（ｔｏｐｏｌｏｇｉｃａｌｃｏｎｎｅｃｔｉｖｉｔｙ）が使用されている。図３は、スレーブ成分の好適実施例であり、そのシングル基準パターンは多基準パターンで置換されている。図４は、図２のマスター成分の好適実施例の詳細図である。図５は、図１と図２に示すシステムで実行される主要ステップのフローチャートである。図６から図９は、図５のプロセスのそれぞれの特定ステップをさらに詳細に示す。図１０は、図９のプロセスの１特定ステップをさらに詳細に示す。図１に略図で示されている本発明の認識システム又は分類システムは、複数のマスター−スレーブペアを有しており、それらの各々はポテンシャルなカテゴリである。１入力情報を隣体に提供すると（Ｄ１．７）、各スレーブ（Ｄ１．５．１〜Ｄ１．５．ｐ）は、その入力情報と、その保存パターンとの間の類似性であるスレーブ強度（ｓｌａｖｅｓｔｒｅｎｇｔｈ）を決定する。各マスター（Ｄ１．３．１〜Ｄ１．３．ｐ）は、その対応するスレーブ（Ｄ１．５．１〜Ｄ１．５．ｐ）から入力情報（Ｄ１．４．１〜Ｄ１．４．ｐ）を受信する。その入力情報はそのスレーブ強度に対応している。マスターの活性化（その成熟性とポテンシャルとによって決定される）との組み合せで、各マスターはマスター強度（ｍａｓｔｅｒｓｔｒｅｎｇｔｈ）を決定する。このマスター強度はライン（Ｄ１．２．１〜Ｄ１．２．ｐ）を介して隣体内の他の全マスターに伝達され、各マスターはそのカテゴリ出力情報（Ｄ１．１．１〜Ｄ１．１．ｐ）と、スレーブ訓練信号（Ｄ１．６．１〜Ｄ１．６．ｐ）とを決定することができる。図２において、各マスターには提案学習入力情報（Ｄ２．１）が提供され、学習を安定及び／又はガイドする。カテゴリドリフト（ｄｒｉｆｔ）を減少させ、カテゴリ間の関係の情報を伝達する別な特徴は、マスター−スレーブペア間の位相接続を利用する。従って、各マスターは隣体（Ｄ２．２．１〜Ｄ２．２．ｐ）内の全スレーブから入力情報を受信する。図１から図１０は、マスター−スレーブペアで構成された競争隣体の例である。これらの例は以下の条件を想定している。 − １セットのパターンがカテゴリ化される。各パターンはノーマル化されたベクトルである。各ベクトルは物理的メジャメント（ｐｈｙｓｉｃａｌｍｅａｓｕｒｅｍｅｎｔ）に対応する１要素（ｅｌｅｍｅｎｔ）又は複数要素を有している。例えば、１画像内の画素（ｐｉｘｅｌ）であり、各々の画素はグレーレベル光度（ｇｒｅｙｌｅｖｅｌｉｎｔｅｎｓｉｔｙ）を代表している。 − このシステムの必要条件は、このセットのパターンがｐ個の特異カテゴリに分割されていることであり、ｐ＞１である。 − 各スレーブはｍ個の内部パターンベクトルを利用しており、ｍ＞１である。（たいていの場合、２＜＝ｍ＝８） − １入力情報を最良にカテゴリ化するマスター−スレーブペアのみがその入力情報を学習できる。すなわち、ウイナーテークオール（ｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌ）の学習である。 − オブザーバ（ｏｂｓｅｒｖｅｒ）に対し、各入力情報は、バイナリー（ｂｉｎａｒｙ）勝利（ｗｉｎ）／敗北（ｌｏｓｅ）状態（ｓｔａｔｅ）によって特定されるシングルカテゴリを活性化させるはずである。 − ユーザーが求めるままに、外部学習制御を学習可能、あるいは学習不能にする。さらに、図２に示す例、及びその詳細な説明における付加的な想定は以下の通りである。 − 使用は、マスター−スレーブペア間の距離に基づく１次元（線的）隣体接続位相学（ｏｎｅｄｉｍｅｎｓｉｏｎａｌｎｅｉｇｈｂｏｕｒｈｏｏｄｃｏｎｎｅｃｔｉｏｎｔｏｐｏｌｏｇｙ）で成る。マスター−スレーブペアは等間隔であることが想定されている。 − カテゴリの形成における限定されたガイダンスが必要である。従って提案学習を含むことが求められる。隣体を訓練して使用するには、図５のフローチャートに示される手順に従う。初期化（Ｆ１．１）は、全スレーブ内部パターンベクトルをランダムユニットベクトルとするようにセットする。全マスターとスレーブ制御パラメータは適正な当初値（ｉｎｉｔｉａｌｖａｌｕｅ）にセットされる。この値はこれらのパラメータの説明において特定されている。入力情報へのノーマル化された入力ベクトル（Ｆ１．２）の提供に続き、各スレーブはカテゴリ類似性メジャー（ここではスレーブ強度と呼称）を決定する。この決定は、その内部パターンベクトルと入力情報（Ｆ１．３）との間の類似性に基づいている。本好適実施例は、マルチ内部パターンベクトル（ｍｕｌｔｉｐｌｅｉｎｔｅｒｎａｌｐａｔｔｅｒｎｖｅｃｔｏｒ）を使用することである。計算が終了すると、各スレーブはその強度を全マスターに送る。マスターはこれらの入力情報をウエイト（ｗｅｉｇｈｔ）し、望む位相接続を達成する。各マスターは、ウエイトされたスレーブ強度とその活性に基づいてマスター強度を計算する。このマスター強度は隣体内の他の全マスターに伝達され、マスターに特定される最大強度を提供する（Ｆ１．４）。各入力ベクトルは１カテゴリのみにアサイン（ａｓｓｉｇｎ）が可能であり、最大強度を有したマスターは、入力情報がアサインされる（Ｆ１．５）カテゴリを特定する。学習が望ましいとすれば（Ｆ１．６）、最大強度を有したマスターはそのスレーブに現行入力ベクトルの学習を命令する。（Ｆ１．７）このプロセスは、隣体（Ｆ１．８）によって処理する入力ベクトルが無くなるまで反復される。スレーブ強度の決定好適実施法は、各スレーブにｍ個の内部パターンベクトルを提供することである。各々のベクトルは付加された重要値を有しており、ｍ＞１である。スレーブのこの好適実施法は図３に示されている。内部パターンベクトルはＷ _ijで表され、それらの関連重要値はε_ijで表されている。ｉはマスター−スレーブペアのインデックスであり、ｊは内部パターンベクトルのインデックスである。入力ベクトルｘのスレーブ（Ｄ３．６）への提供に引き続き、その入力情報と各内部パターンベクトル（Ｄ３．５．１〜Ｄ３．５．ｍ）との間の類似性メジャーが計算される。これらの類似性はそれぞれ対応する重要値と共に、スレーブ強度Ｓ_i（Ｄ３．２）を獲得するのに使用される適当な選択機構（Ｄ３．３）に伝達される（Ｄ３．４．１〜Ｄ３．４．ｍ）。本例において、Γ（ｘ，ｗ _ij）で表されている類似性メトリック（similarity metric）は、ベクトルドットプロダクト（vector dot product）である。スレーブ強度を決定するための選択機構は、Ｓ_iを最大にウエイトされた内部パターンベクトル類似性にセットする。このウエイト化は内部パターンベクトル重要度（internal pattern vector importance）である。全内部パターンベクトル重要度が当初は１／ｓｑｒｔ（ｍ）にセットされているとして、隣体内の全スレーブ強度の決定法は図６に示されている。Ｓ_iの決定において、第１内部パターンベクトルのウエイトされた類似性は、Ｓ_i（Ｆ２．２）に直接的にアサインされる。各追加内部パターンベクトルＳ_iは、ウエイトされた内部パターンベクトル類似性（Ｆ２．４）に対してテストされ、もしこのテストで真（ｔｒｕｅ）と評価されれば、Ｓ_iは再アサイン（ｒｅ−ａｓｓｉｇｎ）され、新規にウエイトされた類似性（Ｆ２．５）と等しくなる。このプロセスは全内部パターンベクトル（Ｆ２．７）に対してと、隣体内の全スレーブ（Ｆ２．９）に対して反復される。マスター強度の決定マスター成分の好適実施法は図４に示されている。各マスターは各スレーブ（Ｄ４．１．１〜Ｄ４．１．ｐ）から入力情報を受信する。これら入力情報（マスター自身のスレーブ（Ｄ４．１ｉ）からの入力情報以外）の各々はウエイトされ（Ｄ４．２）、マスター−スレーブペア間の位相距離を反映する。本例において、マスター−スレーブペアｉとｋの距離は、｜ｉ−ｋ｜であり、１＜＝ｋ＜＝ｐである。ウエイト化は距離とは逆のものであり、スレーブｋからのマスターｉへの入力情報はＳ_k／（｜ｉ−ｋ｜＋１）である。もし学習が要求されなければ（カテゴリ化モード）、マスターは自身のもの（Ｄ４．３）以外の全スレーブ入力情報を無視する。各マスターは、それぞれ成熟性（Ｄ４．５）とポテンシャル（Ｄ４．６）と命名された２つの制御値を介して他の全スレーブに関するスレーブ学習に影響を及ぼす。Ψ_iと定義された成熟性は、０値から始まる。マスターは（訓練中に）そのスレーブに、ネットワークへ提供された入力ベクトルの所定の一部を学習するように命令したと想定すれば、成熟性は増加する。もしパターンの所定部分よりも少なく学習されたら、成熟性は降下する。成熟性はマスター−スレーブペアの長期利用をトラック（ｔｒａｃｋ）する。成熟性はシステムが訓練モード（Ｄ４．２１）にあるときにのみ修正される。 τ_iで表されるポテンシャルは短期利用をモニターする。ポテンシャルは当初は０にセットされる。学習時にスレーブが学習を命令されていなければ、ポテンシャルは、カテゴリ強度と処理カテゴリとの間の差（ｄｉｓｐａｒｉｔｙ）を反映するレートで上昇する。スレーブに学習を命じると、マスターはそのポテンシャルを０にセットする。ポテンシャルはシステムが訓練モード（Ｄ４．２６）にあるときのみ修正される。その成熟性とポテンシャルとから、マスターはその起動性あるいは活性（ａｃｔｉｖａｔｉｏｎ）を決定する。活性は成熟性（Ｄ４．７）の関数（ｆｕｎｃｔｉｏｎ）と、ポテンシャル（Ｄ４．８）の関数の積（ｐｒｏｄｕｃｔ：Ｄ４．８）である。成熟性に対しては、抑制され単純に減少する関数（bounded monotoni c ally decreasing function：Ｄ４．７）が使用される。ポテンシャルに対しては、単純減少グラジエント（Ｄ４．８）を有した非抑制単純増加関数（unbounde d monotonically increasing function）が使用される。マスター強度はＭ_iで表されており、ウエイトされたスレーブ入力情報（Ｄ４．４）と活性（Ｄ４．１０）の合計（Ｄ４．１１）により提供される。もしカテゴリ化モードにあれば、活性は０（Ｄ４．１０）であろう。計算が終了すれば、各マスターはその強度を全ての他のマスター（Ｄ４．１２）に伝達する。全マスター強度（Ｄ４．１３）を受信すると、最大強度が特定される（Ｄ４．１４）。各マスターの強度と最大強度の計算手順は、図７のフローチャートに示されている。学習（Ｆ３．１）が必要であれば、第１マスターＭ₁の強度は等式１（Ｆ３．３）でセットされる。さもなければＭ₁＝Ｓ₁（Ｆ３．２）である。最大強度Ｍ_MAXは第１マスター（Ｆ３．４）の強度に等しくセットされる。その後の各マスター強度は計算され、学習していれば、Ｍ_iは等式２（Ｆ３．８）で更新（ｕｐｄａｔｅ）される。さもなければＭ_i＝Ｓ_i（Ｆ３．７）である。各マスター強度が計算されると、Ｍ_MAXに対してテストされる。もしＭ_iが新最大強度であれば、Ｍ_MAXは更新（Ｆ３．１０）される。この手順は全マスター（Ｆ３．１２）に対して反復される。カテゴリ出力情報の決定各マスターは、入力情報がアサイン（Ｄ４．１６）されるカテゴリを特定するバイナリ勝利／敗北出力情報を有している。勝利者は最大強度（Ｄ４．１５）を発生させるマスターである。各マスターのカテゴリ出力情報を決定する手順は、図８のフローチャートにて示されている。各マスターは、自身の強度を最大マスター強度（Ｆ４．２）に対してテストする。もしその強度が等しければ、マスターはバイナリ「１」を出力し、自身を勝利者（Ｆ４．４）として特定する。さもなければ、バイナリ「０」（Ｆ４．５）を出力する。このプロセスは全マスターに対して反復される。ネットワークの訓練学習が要求されていると想定すると、その内部勝利／敗北状態を決定するにあたり各マスターは、その成熟性とポテンシャルとを更新し、そのスレーブに対して適正な訓練命令を発行するであろう。カテゴリ出力情報とは異なり、内部勝利／敗北状態は提案学習（Ｄ４．１８）の使用に影響を受ける。この適用に対しては、１マスターのみが提案学習信号（Ｄ４．１７）をいつでも発行できる。従って、隣体に対する提案学習入力χは、現行入力情報を学習するためのマスターのインデックスを代表する。成熟性とポテンシャルを修正し、スレーブに学習を命令するための、勝利／敗北状態Ｑ_iを決定する手順は、図９のフローチャートに示されている。各マスターの勝利／敗北状態は、当初は敗北（Ｆ５．２）にセットされている。使用されているか否かを（Ｆ５．６）判定するため、提案学習入力情報がチェックされる。使用されおり、χが現行マスター（Ｆ５．４）に対応すれば、Ｑ_i は勝利状態（Ｆ５．６）を表示するようにセットされる。もし提案学習が使用されておらず、マスターが最大強度（Ｆ５．５）を発生していれば、Ｑ_iは勝利状態（Ｆ５．６）を表示するようにセットされる。マスターが敗北状態（Ｄ４．１９）にあれば、この成熟性は定数β（Ｆ５．８）によって減少される（Ｄ４．２０）。β＞０。βの値は隣体が成熟するレートを決定する。ポテンシャルの値は増加し（Ｄ４．２４）、マスターが勝利する（Ｆ５．１０）（Ｄ４．２２）のに必要な追加強度を反映する。αの値（Ｄ４．２３）は一定であり、ポテンシャルが上昇できるレートを決定する。たいての適用においては、０＜α＜１である。マスターが勝利状態（Ｄ４．１９）にあれば、その成熟性はλβｐ（Ｆ５．９）だけ増加する（Ｄ４．２０）。λの値は学習中の等価レベルを決定する。１／（λｐ＋１）は、成熟が発生するなら、学習が必要なパターンの最低部分である。ほとんどの場合、λ＝１でよい。勝利の場合（Ｄ４．２５）、マスターはそのポテンシャルを０（Ｆ５．１１）にセットする。最後に、信号がそのスレーブに送られ、入力ベクトル（Ｆ５．１２）を学習するように命令する。このプロセスは隣体（Ｆ５．１４）内の全マスターに対して反復される。スレーブ（ｉ）の更新そのマスターからの学習信号を受信すると、スレーブは、入力ベクトルに最も近似に合致する内部パターンベクトルを更新し、それら２者間の類似性を増加させる。各内部パターンベクトルに取り付けられた重要値は全て、その学習を反映するように更新される。シングルスレーブの訓練手順は、図１０のフローチャートに示されている。入力情報に最良に合致する内部パターンベクトルは最初に特定されなければならない。一時的可変ＳＩＭを使用し、第１内部パターンベクトルと入力情報との間の類似性が計算され、ＳＩＭ（Ｆ６．１）内に保存される。各追加内部パターンベクトルのための類似性は次に決定され、ＳＩＭ（Ｆ６．３）の値に対して各々がチェックされる。ＳＩＭよりも大きければ（さらに良好な類似性）、ＳＩＭはさらに類似性が高くなるように更新される（Ｆ６．４）。この手順は全内部パターンベクトルに対して反復される（Ｆ６．６）。入力情報（Ｆ６．９）と最大の類似性を有した内部パターンベクトルの特定で、その内部パターンベクトルは更新され、△ｗ _ijからｗ _ijへの変化は等式３（Ｆ６．１０）で提供される。ζは定スケール係数（ｃｏｎｓｔａｎｔｓｃａｌｉｎｇｆａｃｔｏｒ）である。内部パターンベクトルの重要値は、その内部パターンベクトル（Ｆ６．１１）への修正スケールを反映するように増加される。重要値の増加は、修正以前の入力情報と内部パターンベクトルとの間の類似性に比例する。修正された内部パターンベクトルは、必要に応じて、類似メトリック（Ｆ６．１３）によって、単一に再ノーマル化（ｒｅ−ｎｏｒｍａｌｉｚｅｄ）される。修正されていない内部パターンベクトルの重要値は、学習後には全て減少される。これは、その重要値を、単一（ｕｎｉｔｙ）となるようにノーマル化されるベクトル要素として処理することで実行される。ステップ（Ｆ６．１２）はその重要ベクトル（ｉｍｐｏｒｔａｎｃｅｖｅｃｔｏｒ）の長さの計算に使用される。その後、各重要値は分割され、その長さは単一（Ｆ６．１７）に保持される。前記の等式１、２、３は以下の通りである。

───────────────────────────────────────────────────── フロントページの続き (72)発明者フライアーリチャードジョンイギリストランスジー64 ４ディーエックス，キングスパーク２ (72)発明者コックショットウィリアムポールイギリスグラスゴージー44 ５ユージェイ，キャスカート，キルメイリングロード32 【要約の続き】力情報とカテゴリとの間の両立性の程度は、その重要値を利用して計算される。

Claims

【特許請求の範囲】１．訓練プロセスによって決定されている保存ベクトル代表によりそれぞれ定義される複数のカテゴリのうち少なくとも１つのカテゴリにデータベクトルを分類するシステムであって、本システムは複数の相互接続プロセス要素を含んでおり、該複数の相互接続プロセス要素は、訓練プロセスを実行するため、入力訓練ベクトルの受信のための入力手段と、前記カテゴリのベクトル代表を保存するための保存手段と、各カテゴリのための入力ベクトルと前記保存代表との間の類似性メジャーを計算するための計算手段と、訓練プロセス中に反復ベースで前記カテゴリを再定義するため、前記保存ベクトル代表を選択し、選択された保存ベクトル代表を修正する選択修正手段と、を含んでおり、該選択修正手段は、各カテゴリの前記プロセス要素のために、受信されている入力ベクトルに関するカテゴリのための複数の異なる学習メジャーを記録する記録手段と、該カテゴリのための活性値を形成するために記録された該学習メジャーを組み合わせる組合せ手段と、該活性値と、前記それぞれの類似性メジャーとからカテゴリ強度値を評価する評価手段と、本システム内の他のカテゴリのプロセス要素から該カテゴリ強度値を受信し、比較カテゴリ強度に基づいて、受信側カテゴリ代表を修正すべきか否かを決定する受信決定手段と、を含んでいることを特徴とする分類システム。２．前記利用メジャーは長期間カテゴリ学習と短期間カテゴリ学習とをモニターし、長期間メジャーはカテゴリが施したその保存ベクトル代表の過去の修正回数を記録し、短期間メジャーはカテゴリが施したその保存ベクトル代表の最新修正からの時間を記録することを特徴とする請求項１記載の分類システム。３．前記短期間メジャーは各未使用入力ベクトルと非線形に増加することを特徴とする請求項２記載の分類システム。４．前記記録メジャーの組合せはプロダクトコンビネーション（ｐｒｏｄｕｃｔｃｏｍｂｉｎａｔｉｏｎ）であることを特徴とする請求項２又は３記載の分類システム。５．カテゴリが修正され得るアマウント（ａｍｏｕｎｔ）は各カテゴリに限定されており、そのカテゴリの成熟性と類似性メジャーとの両方に基づいていることを特徴とする前記請求項のいずれかに記載の分類システム。６．各カテゴリは多基準パターンによって代表され、各パターンは、該パターンが全カテゴリの典型と見なされる程度に対応する関連重要値を有していることを特徴とする請求項５記載の分類システム。７．各内部基準パターンは、自身の重要値と、カテゴリ全体の成熟性とに基づく限定訓練度を有していることを特徴とする請求項６記載の分類システム。８．前記プロセス要素は多層構造内にアレンジされており、提案学習入力情報は各カテゴリに提供され、該提案学習入力情報はユーザーによって選択的に操作が可能であることを特徴とする前記請求項のいずれかに記載の分類システム。９．分類システムを訓練する方法であって、セクエンス（ｓｅｑｕｅｎｃｅ）の入力訓練ベクトル内の各入力ベクトルを、それぞれ保存ベクトル代表によって定義された複数のカテゴリのうちの少なくとも１つのカテゴリに、各入力ベクトルを該複数の保存ベクトル代表と比較し、さらに、その比較後であって、前記セクエンス内の次の入力ベクトルの比較以前に、前記保存ベクトル代表の少なくともいくつかを修正して前記カテゴリを選択的に再定義することで分類するものであり、前記保存ベクトル代表の前記修正を実行するために、本システムは、（ａ）受信された入力ベクトルに関する各カテゴリのための複数の異なる学習メジャーを記録し、（ｂ）各カテゴリのために現行の比較における類似性を定量化し、（ｃ）ステップ（ａ）と（ｂ）からのメジャーを、各カテゴリのための強度ファクターに組み入れ、（ｄ）全カテゴリのためにその多数の強度ファクターを相関させて比較し、（ｅ）所定の分類に入る強度ファクターを有したカテゴリをを特定し、（ｆ）ステップ（ｅ）で特定されたカテゴリを修正する、各ステップを含んでいることを特徴とする訓練方法。