JP2517036B2 - パタ―ン認識システム及び方法 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、パターン認識システム及び方法に関し、更
に詳細には、適応フィルターを用いるパターン認識シス
テム及び方法に関する。

従来技術及びその課題 本発明の基礎となる技術及び関連技術は、下記のとお
りの文献に開示されている。

カーペンター（carpenter）、G.A.とグロスベルグ（g
rossberg）、S.著、カテゴリ学習及び適応パターン認
識：神経網モデル。1986年、応用数学と計算についての
第３回陸軍会議の議事録。AROレポート86−１、ページ3
7−56。

カーペンター、G.A.とグロスベルグ、S.著、カテゴリ
学習及び認識の神経動学：注意、記憶着生及び記憶消
失。ジェー・デーヴィス、アール（J.Davis.R.）ニュー
バーグとイー・ヴェグマン（編集）、頭脳構造、学習及
び記憶、1987年AAASシンポジウム・シリーズより。

カーペンター、G.A.とグロスベルグ、S.著、カテゴリ
学習及び認識の神経動学：構造不変量、強化、及び誘発
電位。エム・エル・コモンズ、エス・エム・コスリンと
アール・ジェー・ヘルンシュタイン（編集）、動物、人
間、及び機械におけるパターン認識及び概念、ヒルスデ
イル（Hillsdale）、ニュージャージー：アールバウ
ム、1987年。

カーペンター、G.A.とグロスベルグ、S.著、適応共鳴
理論：入力パターンの任意リストに応答する神経認識コ
ードの安定自己組織。認識科学協会の議事録、1986年。

カーペンター、G.A.とグロスベルグ、S.著、自己組織
神経パターン認識機械に対する大規模並列構成。コンピ
ュータ視覚、グラフィックス、及び画像処理、1987年。

カーペンター、G.A.とグラフィックス、S.著、連想学
習、適応パターン認識、及び神経網による競合意志決
定。ハイブリッド及び光学計算方式、エッチ・スズ、編
集、SPIE、1986年。カーペンター、G.A.とグロスベル
グ、S.著、自己組織神経網による認識コードの絶対的安
定学習。避寒会議の議事録、米国物理学協会、1986年。

聴覚又は視覚パターンの如く、パターンを受信し、か
つ、これらのパターンを特定数のカテゴリに類別するた
めの機構を自動的に発展させるために、種々のシステム
の開発が要望され、種々の理論が提案されてきた。その
後そのようなシステムは、パターンが前に確立されたカ
テゴリに属するか否かを認識しなければならない。例え
ば、システムは、各々がアルファベットの異なる文字に
対応する26個のカテゴリを認識する。学習過程中、シス
テムは、各カテゴリ内においてさえも異なる一連の入力
パターンを受信するかもしれない。パターンの類別が必
要とされないパターンの要素は、雑音として拒否されな
ければならない。

カテゴリ学習の１つの理論は、スティーヴン・グロス
ベルグ（stephengroossberg）によって提案されたが、1
984年度のニューヨーク科学学会の会誌、425巻、頭脳及
び情報：事象関係電位により、「発生、認識と動機付け
理論の精神生理学と薬理学の相互関係」において記載さ
れている。その理論の下で、入力パターンは、短期メモ
リに記憶され、そしてパターンは、カテゴリを選択する
ために、適応フィルターを通して適用される。選択され
たカテゴリは、別の短期メモリに保持されるが、適応フ
ィルターの並列セットを通つてそのカテゴリに対応する
予想パターンを生成する。予想パターンと入力パターン
との間の相応関係は、入力パターンが最初に選択された
カテゴリに属するか否かを決定する。対応するならば、
適応フィルターは、入力パターンによって提供された情
報を反映するように修正される。入力パターンが選択さ
れたカテゴリに属さないならば、このシステムは、カテ
ゴリと関連する適応フィルターの修正を止め、そして新
カテゴリを選択する。

本発明は、最初のグロスベルグ理論の動作可能機械ア
ーキテクチャーの展開に基づく。

課題を解決するための手段 適応パターン認識のための、適応共鳴理論（ART）ア
ーキテクチャーと呼ばれるネツトワークが、以下に記載
される。アーキテクチャーは、任意の多数でかつ任意に
複雑な入力パターンの任意の順序に応答して、その認識
コードを自己組織しかつ自己安定させる。トップ・ダウ
ン注意及び一致機構（attentional and matching me
chanism）が、コード学習過程を自己安定させる際に重
要である。アーキテスチャは、学習過程が進展する時、
その有効性を維持するために、適応してそれ自身を更新
する自己調整並列探索機構を組み入れている。学習が自
己安定した後、探索過程は、自動的に解放される。以
後、入力パターンは、探索なしに、それらの認識コード
を直接にアクセスする。こうして、認識時間は、コード
複雑性の関数として増大しない。新規の入力パターン
は、そのカテゴリのありふれた典型のセットと不変な性
質を共有するならば、カテゴリを直接にアクセスする。
これらの不変な特性は、学習された限界機能パターン、
即ち原型の形式において現れる。アーキテクチャーは、
発生する限界機能パターンを形成可能にする文脈依存自
己基準特性を所有する。それらは、今までに経験された
すべての入力パターンのセットから導出される機能要素
の統計的に予測される構成を検出しかつ記憶する。４つ
の形式の注意過程（attentional process）−プライミ
ング（priming）、ゲイン制御、注意（vigilance）、及
びインターモーダル競合−は、機械論により特徴付けさ
れる。トップ・ダウンのプライミングとゲイン制御は、
コード一致と自己安定化のために必要とされる。注意
は、学習されたカテゴリの細分程度を決定する。注意
が、環境拒絶により増大するならば、システムは、より
微細な認識カテゴリを自動的に探索しかつ学習する。新
非線形一致法則（2/3規則）と新非線形関連法則（ウェ
ーバーの法則、連合崩壊規則、及びテンプレート学習規
則）が、これらの特性を達成するために必要とされる。
規則のすべては、並列ネツトワーク交互作用の発生特性
を記述する。アーキテクチャーは、雑音、飽和、容量、
直交性、及び代りの認識モデルによって安定に学習され
るコードを制限する線形予測可能性の制約を回避してい
る。ARTシステムは、探索又は更に他の学習を受けるこ
となしに、その原型と一貫しないすべての入力パターン
を拒否するように準備される。

本発明によれば、入力パターンの複数の入力要素が、
自己組織パターン認識システムに適用される。入力要素
は、複数のカテゴリの各々に関して要素を個々に重みを
付ける適応フィルターを通して処理される。各カテゴリ
は、雑音を消去して入力パターンから導出されたパター
ンを学習するために利用される。各カテゴリに対して、
適応フィルターは、重み付けされた入力要素の組み合わ
せを表すカテゴリ選択指示を提供する。それから、カテ
ゴリの少なくとも１つが、組み合わされた重み付け信号
の大きさに基づいて選択される。

各カテゴリは、テンプレートを通り予想パターンを規
定する。初期的に、各カテゴリは、すべての可能な要素
を含む予想パターンを規定する。選択されたカテゴリか
らの予想パターンは、２つの一致を検出するために入力
パターンと比較される。入力パターンにおける要素数に
よって規定されることができるパターン複雑性に関して
一致を重み付けすることによって、システムは、カテゴ
リ化決定において自己基準化する（self−scaling）。
好ましくは、一致は、予期と入力パターンとの間の交差
である一致パターンから決定することができる。一致パ
ターンにおける要素数は、相対的一致を提供するため
に、入力パターンにおける要素数の比較することができ
る。

充分な一致が検出されれば、適応フィルターと、選択
されたカテゴリに対する記憶された予想パターンとが修
正される。入力パターンと予想パターンとの間の共通の
要素は、保持され、そしてすべての他の要素は、重視さ
れない。特に、高速応答システムにおいて、非一致要素
は、選択されたカテゴリに対する適応フィルターにおい
てゼロ重み（zero weight）を提供され、そして一致要
素は、選択されたカテゴリに対する適応フィルターにお
いて重く重み付けされる。選択されたカテゴリによって
以後生成されるパターンは、前の予想パターンと入力パ
ターンの交差である。

充分な相対的一致が検出されないならば、他の代りの
カテゴリは、適応フィルター又は前に選択されたカテゴ
リに関する予想パターンを修正することなく、選択され
る。それから、他の代りのカテゴリは、入力パターンと
比較される他の代りの予想パターンを生成する。

こうして、システムは、予想パターンが、入力パター
ンと充分な相対的一致を提供して選択されるまで、適応
フィルターにおいて前学習された重み（weight）によっ
て決定された順序で、多数の前に規定された予想パター
ンを選択する。それから、予想パターン及び入力パター
ンと共通しない要素は、特定のカテゴリに対して適応フ
ィルターを修正し、かつそのカテゴリから予想パターン
を再規定する際に、雑音として取り扱われる。

将来の重み（future weight）が前に予期されたパタ
ーンと入力パターンとの間の交差における要素数に反比
例する如く、適応フィルターは、一致が検出された時、
修正される。こうして、サブセットとスーパーセットの
両方が、学習され、そして適応フィルターを通り直接に
アクセスされる。

好ましいシステムにおいて、予想パターンと入力パタ
ーンとの間の一致を示す一致パターンが、短期メモリ
（STM）において生成される。相対的一致は、一致パタ
ーンを入力パターンと比較することによって決定され
る。予想パターンが、一致パターンを生成するために受
信される前には、一致パターンは、パターンが記憶され
る短期メモリに適用された高ゲインを有する入力パター
ン自身である。以後、予想パターンがまた短期メモリに
適用される時、ゲインが減少され、かつ、予想パターン
が入力パターンの上に重ねられる。入力パターンと予想
パターンの両方に見い出されるこれ等の要素のみが、一
致パターンの要素と考えられるのに充分なレベルに対し
結合されることができる。

リセット関数は、入力パターンにおける要素数に関す
る、予想パターンと入力パターン（一致パターン）の間
の交差における要素数として規定される。注意（vigila
nce）パラメーターは、一致パターンに適用されたゲイ
ンに関する、入力パターン要素に適用されたゲインの比
として規定されることができる。注意パラメーターは、
システムに対してセットされ、そしてリセット関数が注
意パラメーター以上であるかそれに等しい限り、一致
は、他の代りの選択に対するリセットを抑止するために
充分であると考えられる。リセット関数が不充分である
ならば、別のカテゴリが、定数と予想パターンにおける
要素数の和（ｂ）に対する、定数と一致パターンにおけ
る要素数の積（ａ）の比として規定される順序関数によ
り選択される。

注意は、システムによって提供された組織が、外部要
求事項に対応しない場合、外部入力によって変更され
る。こうして、システムは、より注意であると教示され
ることができる。

システムは、入力パターンによって選択される特定パ
ターンを予期するために、入力パターン以外の基礎を有
する。その場合、予想パターンは、入力パターンの受信
前にも、選択されたカテゴリから生成される。それか
ら、相対的一致が決定され、そして選択されたカテゴリ
が、受容又は拒否される。

実施例 本発明を具体化するシステムが、第１図に示されてい
る。本発明は、任意の形状のパターンに加えられるが、
パターンが、画素（ピクセル）の２次元配列の視覚パタ
ーン認識システムに関して説明する。さらに、本システ
ムは、各ピクセルが広範囲の強さレベルを取るグレイト
ーン（gray tone）・パターンで使用されるが、大部分
は、各ピクセルが、高い又は低い値を有するビット方向
づけシステム（bit oriented system）に関して説明
する。

入力パターンＩは、バッファーメモリ12内にメモリさ
れる。入力パターンは、バッファー12から短期メモリ
（STM）F₁に加えられ、そこから適応フィルター14を通
つて第２短期メモリF₂に加えられる。適応フィルター14
を通る、入力パターンによって選択されたカテゴリ（ca
tegory）は、F₂に保持され、そしてテンプレート（temp
late）として役立つ適応フィルター16の第２セットを通
り、そのカテゴリに対する予想パターンを生成する。そ
れから、予想パターンと入力パターンの間の一致が、以
下に説明されている如く、F₁において決定される。

説明される方向づけシステム（orientingsystem）Ａ
を通り、システムは、一致が、入力パターンを選択され
たカテゴリ内にあるとして識別するのに充分であるか否
かを決定する。入力パターンが選択されたカテゴリにな
ければ、そのカテゴリは、F₂においてディスエーブルさ
れ、そして別のカテゴリが選択される。方向づけサブシ
ステム18が、入力を選択されたカテゴリ内にあるとして
識別するならば適応フィルター14と16は、そのカテゴリ
を選択するパターンを再規定し、かつカテゴリから予想
パターンを再規定するために、F₁において保持された一
致パターンに従って修正される。

システムの動作実施例が、第２図と第３図に例示され
ている。第2A図において、入力パターンＩは、初期にF₁
にメモリされる。適応フィルター14を通り、F₁における
パターンは、F₂におけるカテゴリを選択する。この実施
例における選択されたカテゴリは、F₂,16において示さ
れた予想パターンを示すために、テンプレート16によっ
て予め規定されている。第2b図に示された如く、それか
ら、予想パターンは、F₁に加えられ、そして入力パター
ンと予想パターンの間との交差を示すパターンが、生成
される。それから、その一致パターンは、入力パターン
と共に、方向づけサブシステム18に加えられる。方向づ
けサブシステムは、入力パターンにおけるピクセル数に
関する一致パターンにおけるピクセル数が、選択された
カテゴリにおいて、入力パターンをカテゴリにするため
に充分な入力パターンと予想パターンの間の相関を示す
か否かを決定する。第２図に示された場合では、方向づ
けサブシステム18は、充分な一致が得られなかったこと
を決定し、そしてF₂において選択されたカテゴリをディ
スエーブルする。それから、このシステムは、他のカテ
ゴリを選択する。第２図によって示された動作におい
て、次に選択されたカテゴリは、前に規定されなかった
ものであり、そのため、予想パターンは、完全ピクセル
配列である。第2C図に示された如く、完全ピクセル配列
と入力パターンとの間の交差は、入力パターン自身であ
る。一致パターンにおけるピクセル数が、入力パターン
におけるピクセル数に同一であるから、システムは、入
力パターンが、選択されたカテゴリに関し識別されるべ
きであることを指示する。方向づけシステムは、選択さ
れたカテゴリをディスエーブルせず、そして第2D図に例
示された如く、選択されたカテゴリにおける予想パター
ンは、適応フィルター14と16により一致パターンによっ
て再規定される。

第３図は、入力パターンによって最初選択されたパタ
ーンが、第3A図のF₂、16に例示されたもの如く前に規定
されている別の動作を示す。一致パターンは、F₁におい
て例示されている。この場合、システムは、一致パター
ンと入力パターンとの間の充分な対応関係（correspond
ence）を示し、そしてパターンは、第3B図に示された如
く、一致パターンによって再規定される。

適応フィルター14は、第４図に概略的に示されてい
る。F₁におけるパターンは、パターンのピクセルに対応
する複数のノード20、21、22、23、と24にある。第４図
において、丁度２以上のレベルが提供されるので、グレ
イトーン・パターンが取られる。F₁における各ノードの
各ピクセルのレベルは、適応フィルター14を通り、F₂に
おける各ノード25、26、27、と28に加えられる。F₂にお
ける各ノードが、カテゴリを表わす。従って、例えば、
アルファベットが類別されれば、26ノードが提供され
る。F₁における各ピクセル・ノードからの信号は、各カ
テゴリードに加えられる時、フィルター14の適応フィル
ター要素30によって重み付けされる。異なる重みが異な
る大きさの端子30によって例示されている。重みがゼロ
である場合には、F₁のノードとF₂のノードとの間に、ラ
インは示されなかった。重みは、入力パターンへの学ん
だ応答に適応し、そしてそれから、適応フィルター長期
メモリ（LTM）の要素30として保持される。第４図の例
示において、ノード21と22からそれ等のそれぞれの適応
フィルター要素を通りノード26への信号は、最大の大き
さに合計され、こうしてノード26のカテゴリが、初期に
選択される。

F₁のノードからF₂のノードへの各適応フィルターに対
し、F₂のノードからF₁のノードへのフィルター16の対応
LTM適応フィルター要素がある。それは、予想パターン
を規定する適応フィルター要素である。適応フィルター
32を通って、下方に選択ノード26に加えられた信号34か
ら、パターンが、第4B図に示された如く、ピクセル21と
22において形成される。図示された如く、新パターン
は、F₁における初期入力パターンにおけるものとは異な
るピクセルのセットを含み、そしてグレイコード・シス
テムにおいて、それぞれのピクセルにおけるレベルは異
なる。

第１図に提供された方向付けを考える時、F₁からF₂へ
の適応フィルター経路は、ボトムアップ経路と呼ばれ、
そしてF₂からF₁へのそれらは、トップダウン経路と呼ば
れる。

第4A図においてF₂で示されたパターンは、単一カテゴ
リノードにおける信号34である。しかし、アクティビテ
ィのパターンは、４つのノードにおいて増進させ、且つ
F₂における信号の各又は選択されたものが、適応フィル
ター16によりF₁に加えられた予想パターンに寄与するこ
とが認識される。コントラスト向上のより一般席バージ
ョン（version）は、コーエン、M.A.とグロスベルグ、
S.著、「音声及び言語符号化の神経動学：発生プログラ
ム、知覚分類、及び短期メモリに対する競合」、人間神
経生物学、（1986年、第５巻、１−22ページ）、及びグ
ロスベルグ、S.著、「行動における逐次適応自己組織：
音声、言語、及び運動神経コントロール」、人間と機械
によるパターン認識、第１巻、音声知覚、イー・シー・
シュワブとエッチ・シー・ナスバウム（編集）、ニュー
ヨーク：アカデミック・プレス、1986年、187−294ペー
ジ、において提示されている。

予想パターンが適応フィルター16を通り提供され、か
つ一致が入力パターンに関して決定されるまで、方向づ
けサブシステム18は、選択されたノードをディスエーブ
ルしないことが重要である。この目的のため、F₁におい
て初期的に保持されたパターンは、入力パターン自身で
ある。予想パターンが提供される時、その結果得られた
一致パターンは、予想パターンと入力パターンの間の交
差である。本システムにおいて、この結果は、ゲインコ
ントロール38により得られる。

信号40が、入力パターンが受信されていることを指示
し、かつ、42の信号が、予想パターンが発生されていな
いことを指示する時、ゲインコントロールは、F₁の入力
パターン側において受信されたパターンの各ピクセルに
対し、非特定の高いゲインを提供する。しかし、予想パ
ターンが生成される時、ライン24における信号は、ゲイ
ンコントロール38からF₁に加えられたゲインを消去する
ために、ライン40における信号から減算される。加えら
れたゲインがないと、入力パターン・バッファー12乃至
F₁に供給されたピクセル信号は、出力ライン44において
一致パターンを生成するために、それら自身では充分で
ない。しかし、適応フィルター16から受信された信号
は、入力パターンからの信号とピクセル毎に合計され
る。予想パターンと入力パターンの両方から入力を受信
するピクセルは、一致パターンにおいてしきい値に達す
る。しかし、F₁におけるノードが、入力パターンからの
信号のみ、又は予想パターンからの信号のみを受信する
ならば、そのピクセルに対する信号は、一致パターンに
おいてしきい値に達しない。結果としては、一致パター
ンが、入力パターンと予想パターンの間の交差になる。
こうして、上記のシステムは、入力パターン、予想パタ
ーンとゲインコントロールの各々からの３つの入力の２
つが受信される2/3ルールを実現することが解る。この
「2/3ルール」とは、F1ノードを「意識の上で」アクテ
イベートするには、ボトムアップ入力、トップダウン入
力、ゲインコントロール入力の三つの内少なくとも二つ
から入力を受けることが必要であるというルールであ
る。

パターン要素が、２進値を有する場合には、一致パタ
ーンは、入力パターンと予想パターンの完全交差にな
る。しかし、グレイトーン（gray tone）が使用される
場合、一致パターンは、完全交差内に包含される部分的
交差である。２つのパターンにおける対応要素の１つ又
は両方が、低い値を有する場合、それらの値の合計は、
一致パターンにおける要素をトリガーするために充分で
ない。

2/3ルール（Rule）の自己安定化のために、一致パタ
ーンの各要素は、入力パターンと予想パターンの両方に
おいて見い出される。一致パターンは、学習（learnin
g）をコントロールするが、予想パターンにない要素の
強調を引き起こさない。一致パターン内のすべての要素
は、適応フィルター14と16に保持される。一致パターン
にないすべての要素が、選択されたカテゴリに関するフ
ィルター重みを減らすことによって軽視される。高速学
習システムにおいて、重みは、即座にゼロに減少され
る。

F₂に対するゲインコントロール46は、入力パターンが
受信されない時、F₂におけるすべての短期メモリ（ST
M）アクティビティを終了させる。しかし、システムの
意図的なプライミングを考慮して、ゲインは、入力48に
より作動される。システムが、選択されるべきカテゴリ
が特別のものであることの期待から、入力パターン以外
の基礎を有するならば、信号は、そのカテゴリに対する
F₂におけるノードに加えられる。こうして生成された予
想パターンは、ゲインコントロール30を抑止し、そして
第２入力が入力パターンから提供されるまで、一致パタ
ーンが生成されない。システムのそのようなプライミン
グは、一本化している。例えば、視覚カテゴリシステム
は、聴覚システムによって認識されるカテゴリに対して
は準備されない。

プライミングは、雑音に対する高速かつ正確な応答及
び／又は非常に高速な入力を可能にする。それはまた、
学習の順序を指示する。例えば、視覚システムは、覚醒
のレベルにおいて、赤又はオレンジとして色を適切に類
別する。聴覚システムは学習過程において、他のカテゴ
リに優るカテゴリ選択をするように視覚システムに情報
を提供する。

学習規則（Learning Rule） 本システムの１つの見地は、次の状態を考察すること
によって動機付けされる。ボトムアップ入力パターンI
⁽¹⁾が、好ましくは、すでにF₁からF₂への適応フィルタ
ーによってコード化されているとする。さらに、別のパ
ターンI⁽²⁾が、好ましくは、すでにコード化されてお
り、かつ、I⁽²⁾がI⁽¹⁾をサブセットとして含むとする。
即ち、I⁽²⁾は、I⁽¹⁾が正であるすべてのノードにおいて
I⁽¹⁾に等しい。I⁽¹⁾とI⁽²⁾が充分に異なるならば、それ
らは、F₂における別個のカテゴリにアクセスを有するべ
きである。しかし、I⁽²⁾が交差においてI⁽¹⁾に等しく、
かつ、I⁽²⁾がI⁽¹⁾に等しくないF₁ノードのすべてが、I
⁽¹⁾が提出される時、非アクティブであるために、I⁽¹⁾
が提出される時、ネツトワークは、どのようにして２つ
のカテゴリのどちらか一つを決定するであるうか。この
問題は、完全にコード化されている入力パターンI⁽¹⁾に
応答して、I⁽¹⁾をコード化するF₂におけるノードV₁は、
I⁽¹⁾のスーパーセットI⁽²⁾をコード化するノードV₂より
も適応フィルターからより大きな信号を受信するべきで
あることを示唆する（第5A図）。この制約を実現するた
めに、I⁽¹⁾をフィルターするV₂におけるLTMトレース
は、I⁽¹⁾をフィルターするV₁におけるLTMトレースより
も小でなければならない。V₂におけるLTMトレースは、
スーパーセット・パターンI⁽²⁾によってコード化される
ので、この制約は、大形入力パターンが小形LTMトレー
スによってコード化されることを示唆する。こうして、
異なるノードV₁とV₂に投影されるLTMトレースの絶対サ
イズは、これらのノードによってコード化された入力パ
ターンI⁽¹⁾とI⁽²⁾の全体サイズを反映する。

単一ノードに投影されるLTMトレースの相対的サイズ
は、そのノードによってコード化された入力パターンの
内部構造を反映する。例えば、I⁽¹⁾がゼロに等しいF₁ノ
ードからF₂ノードV₁への経路におけるLTMトレースを考
える（第5B図）。I⁽¹⁾の学習中、これらのLTMトレース
は、ゼロに減衰する。対照的に、I⁽¹⁾ではなくI⁽²⁾によ
って活動化されるF₁セルからの経路におけるV₂に対する
LTMトレースを考える。これらのLTMトレースは、I⁽²⁾の
学習が進行するにつれて大になる。

前述の論述は、サブセットI⁽¹⁾に、スーパーセットI
⁽²⁾に対応するノードよりもむしろ、ノードV₁を選択的
に活動化可能にする制約を示唆する。一方、スーパーセ
ットI⁽²⁾は、サブセットI⁽¹⁾のノードV₁よりもむしろ、
ノードV₂を直接に活動化可能でなければならない。しか
し、V₁の正のLTMトレースは、V₂の対応するLTMトレース
よりも大であり、そしてI⁽²⁾の提示は、全サブセット・
パターンI⁽¹⁾を活動化する。I⁽²⁾が、V₁におけるよりも
より多くのV₂におけるLTMトレースによってフィルター
されるという事実は、V₁におけるLTMトレースの大形サ
イズを補償可能でなければならない。サイズと正のLTM
トレース数との間の適正な平衡を確立することによっ
て、ウェーバーの法則（Weber Law Rule）は、I⁽¹⁾と
I⁽²⁾の両方に、それ等のそれぞれのノードV₁とV₂に対し
直接アクセスを有することを可能にする。LTMトレース
がサブセット及びスーパーセットF₂コードの両方を直接
アクセス可能な２つの学習規則（learning rules）を
さらに正確に説明する。ウェーバー法則とLTMトレース
の学習されたサイズに対する連合崩壊規則の共同動作
は、所望の特性を有する。考えを固定するために、F₁に
対する各入力パターンＩは０と１のパターンであるとす
る。|I|は、入力パターンＩにおける１の数を表わすと
する。２つの規則は、次の如く要約される。

連合崩壊規則（Associative Decay Rule）により、
Ｉが学習が行われた後、非アクティブF₁ノードとアクテ
ィブF₂ノードとの間のボトムアップ・コード化経路とト
ッブダウン・テンプレート経路の両方におけるLTMトレ
ースは０に等しいか、又は少なくとも非常に小さい。こ
うして、LTMトレース内の列号学習（Associative lear
ning）は、トレースのサイズにおける増大と共に減少を
引き起こす。これは、連合学習の非ヘヴィアン（non−H
ebbian）形式である。

ウェーバー法則の下で、入力パターンＩを学習後、ア
クティブF₁とF₂ノードに対応するボトムアップ・コード
化経路におけるLTMトレースは、次式に等しい。

（１）により、Ｉをコード化する各正のLTMトレース
のサイズは、|I|が増大する時減少する。再びサブセッ
トI⁽¹⁾とスーパーセットI⁽²⁾を考える。（１）により、
I⁽¹⁾をコード化する正のLTMトレースは、次のサイズを
有する。

I⁽²⁾をコード化する正のLTMトレースは、次のサイズ
を有する。

この場合|I⁽¹⁾|＜|I⁽²⁾|である。I⁽¹⁾がF₁に提出され
る時、F₁における|I⁽¹⁾|ノードは、しきい値の上であ
る。こうして、V₁に対する全体入力は、次のサイズを有
する。

そしてV₂に対する全体入力は、次のサイズを有する。

|I⁽¹⁾|＜|I⁽²⁾|であるから、J₁₁＞J₁₂となる。こうし
て、I⁽¹⁾は、V₂の代わりにV₁を活動化（activate）す
る。

I⁽²⁾がF₁に提供される時、F₁における|I⁽²⁾|ノード
は、しきい値の上である。こうして、V₂に対する全体入
力は、次式である。

今連合崩壊規則を呼び出す。I⁽²⁾は、I⁽¹⁾のスーパー
セットであるから、I⁽¹⁾によって活動化されるI⁽²⁾にお
けるF₁ノードのみが、V₁における正のLTMトレースに投
影される。こうして、V₁に対する全体入力は、次式にな
る。

J₂₂とJ₂₁の両方は、次の関数の式で表現される。

これは、ξの増加関数である。I⁽¹⁾ I⁽²⁾であるため
に、J₂₂,J₂₁である。こうして、スーパーセットI
⁽²⁾は、サブセット・ノードV₁に優先してノードV₂を活
動化する。

学習のコースを特徴付けるために、各学習試行（lear
ing trial）におけるLTMトレースの変化率が指定され
なければならない。ここで、すべての学習試行におい
て、LTMトレースが、その試行における入力パターンに
よって課せられる新平衡値に達することができる場合を
考える。これらを高速学習ケースと呼ぶ。また、LTMト
レースが非常に遅く変化し、単一試行における入力パタ
ーンによって課せられる新平衡値に達しない場合も考え
る。これらを低速学習ケースと呼ぶ。

高速学習と低速学習の両方中、STMトレースは、LTMト
レースよりもより急速に変化し、そして学習過程は、最
終的に自己安定化する。しかし、システムは、低速学習
中よりも高速学習中に入力パターンの順序により感応す
る。低速学習中、各LTMトレースは、単一試行（single
trial）よりもずっと長い時間間隔に亙って平均化さ
れ、そしてこれにより入力の順序に感応的でなくなる。

最後に、2/3ルールとウェーバー法則は、STMトレース
とLTMトレースの初期値の選択方を示唆していることに
注目する。初期のSTMトレースの選択は単純である。シ
ステムは、平衡において、又はゼロSTMトレースにより
起動され、そしてSTMトレースは、各入力パターンが遮
断された後、急速に平衡に戻る。

初期LTMトレースは、トップダウン適応フィルター16
におけるとは別様に、ボトムアップ適応フィルター14に
おいて選択される必要がある。ウェーバー法則により、
大形入力パターンに応答して学習された個々のボトムア
ップLTMトレースは、比較的小さい。完全コード化大形
パターンの提示のために、非コード化ノードではなく、
コード化ノードを直接にアクセスするために、ボトムア
ップLTMトレースの初期値は、大形入力パターンに対応
する学習されたLTM値よりも小でなければならない。さ
らに、幾つかのボトムアップLTMトレースは、初期的に
ゼロに等しいが、各F₂ノードに隣接する他のLTMトレー
スは、F₁がそのノードを完全に励起するために、初期的
に正でなければならない。

2/3ルールにより、初期トップダウンLTMトレースは、
あまり小さくできない。入力パターンが、最初にF₂ノー
ドを選ぶ時、そのノードのトップダウン・テンプレート
をゲートでコントロールするLTMトレースは、テンプレ
ート学習（template learning）が行われる前も2/3ル
ールを満足しなければならない。トップダウンLTMトレ
ースが、非常に小で起動されるならば、F₁ノードは、2/
3ルールを満足するに充分なトップダウン入力を受信し
ない。その結果、全体システムは、遮断される。こうし
て、トップダウン学習（learning−by−selection）
は、選択による学習の形式である。

要約すると、ボトムアップLTMトレースは、小で起動
されるが、これに対してトップダウンLTMトレースは、
大で起動される。ボトムアップ学習とトップダウン学習
は、時間を通じて、それ等の全体サイズと共に、それら
のLTMトレースの空間的分布を形成する。トップダウンL
TMトレースの初期サイズが大である制約は、2/3ルール
の結果である。ボトムアップLTMトレースの初期サイズ
が小である制約は、完全コード化F₂ノードに対する直接
アクセスを保証するために必要とされる。従ってこの後
者の制約は直接アクセス規則（Direct Access Rule）
と呼ばれる。

探索の順序（Order of search） 今、次の制約に従うネツトワークにおいて探索の順序
を特徴付けることができる。１）高速学習（fast lear
ning）が行われる。２）入力パターンが０と１から構成
される。３）2/3ルールが成立する。４）ウェーバーの
法則が成立する。５）直接アクセス規則が成立する。

探索順序のこの論述は、STMリセット事象が、任意に
与えられた段階において探索を停止させるか否かを分析
しない。STMリセットに対する基準は、以下に提供され
る。

単純な関数は、コード化されたF₂ノードV_jが、入力パ
ターンＩに応答して探索される順序を決定する。この関
数は、順序関数と呼ぶが、次の如く規定される。

式（９）において、V^(j)は、F₂のノードV_jによって読
み出されるトップダウン・テンプレート・パターンを表
わす。一度にただ一つのノードがF₂においてアクティブ
であるために、F₂によって読み出される全体テンプレー
トは、その時にアクティブであるノードに対応するテン
プレートである。

ＩがF₁に提供された後、しかしF₂がアクティブになる
前に、（９）における関数T_jは、ノードV_iに対する全ボ
トムアップ入力である。

（９）における項α（β＋|V^(j)|）^-1は、ウェーバー
の法則の結果である。この項は、V_jは隣接する正の学習
されたLTMトレースのサイズを記述する。項|V^(j)∩I|
は、正の学習LTMトレースを有し、かつ、入力Ｉが提供
される時、正の信号を保持するノードV_jに隣接する経路
の数を記述する。正の学習LTMトレースを有するV_jに隣
接する経路の全体数は、V^(j)である。F₁におけるノード
V_iからF₂におけるノードV_jへのボトムアップLTMトレー
スが、V_jからV_iへの対応するトップダウンLTMトレース
が学習（learning）により増大する時に限り、学習によ
り増大するために、これは成立する。V_jにつながる経路
には、V_jからつながる経路におけると同数の正の学習LT
Mトレースが存在する。入力ＩがF₁によって登録される
時に、これらの|V^(j)|経路の|V^(j)∩I|のみが活動化さ
れる。こうして、F₂におけるノードV_jに対する全入力
は、（９）におけるT_jによって与えられる。

選択されたノードV_jから、予想パターンは、F₁に加え
らえる。その予想パターンは、F₁における原パターンに
おいてアクティブであったよりも少ないアクティブ・ピ
クセルを含み、そして2/3ルールの下で、最初にアクテ
ィブであったF₁におけるノードの幾つかは、非活動され
る。しかし、これらのノードの非活動化は、選択された
ノードV_jにおける受信された値T_jを変更せず、そしてこ
うして選択は安定のままである。これは、トップダウン
経路の消去が、ボトムアップ経路の消去と同時に得られ
るのみであり、かつ、予想パターンによって非活動化さ
れるF₁ノードが、選択されたF₂ノードに対し経路を以前
に提供しなかったためである。予想パターンがF₁におい
て受信される時F₁ノードの非活動化により、かつ、追加
のF₁ノードの活動化が可能でないことにより、残りの非
選択F₂ノードは、同次又は低次関数T_jを受けとる。

入力パターンＩに応答する探索の順序を論述するため
に、３つの形式の学習テンプレートを規定する。サブセ
ット・テンプレート、スーパーセット・テンプレート、
と混合テンプレートである。サブセット・テンプレート
ＶのLTMトレースは、入力パターンＩによって活動化さ
れるF₁のサブセットにおいてのみ大である（第6A図）。
スーパーセット・テンプレートＶのLTMトレースは、Ｉ
によって活動化されない幾つかのF₁ノードにおけると共
に、入力パターンによって活動化されるF₁ノードのすべ
てにおいて大である（第6B図）。混合テンプレートＶの
LTMトレースは、Ｉによって活動化されない幾つかのF₁
ノードにおいてと共に、入力パターンＩによって活動化
されるF₁ノードのすべてというわけでないが幾つかにお
いて大である（第6C図）。

規定されたテンプレートV^(j)＝ＶがF₂ノードV_jによっ
て読み出されている時探索が終了するならば、このテン
プレートのLTMトレースは、新テンプレートV^(j)＝Ｖ∩
Ｉに再コード化される。この結論は、2/3ルールと連合
崩壊規則の共同動作から起こる。セットVIにおけるF₁ノ
ードのみが、2/3ルールにより、しきい上（supralimina
e）のままであり、そしてV_jと非アクティブF₁ノードと
の間の経路のLTMトレースは、連合崩壊規則によりゼロ
に収束する。こうして、学習（learning）が行われた
後、サブセット・テンプレートとして開始されたか否か
に拘わらず、アクティブ・テンプレートV^(j)＝Ｖ、スー
パーセット・テンプレート、又は混合テンプレートは、
入力パターンＩによってサブセット・テンプレートV^(j)
＝Ｖ∩Ｉに記録される。このサブセット記録特性は、コ
ード安定化のために重要な必要要件である。

以下に、サブセット記録特性の重要性について、その
不在が一時的な不安定コードとなるかを記述によって例
示する。

第7A図は、抑制（inhibitory）トップダウン注意ゲイ
ン（attentional gain）コントロール信号42が小さく
選ばれたので2/3ルールがF₁において成立しない不安定
コード学習のコンピュータ・シミュレーションを要約す
る。第7B図は、2/3ルールの回復（reinstatement）がコ
ード学習をどのように安定化させるかを示すコンピュー
タ・シミュレーションを要約する。この図において使用
されるフォーマットは、また、他のコンピュータ・シミ
ュレーションを表示する際に使用される。このため、こ
の図を詳細に説明する。

第7A図の第１列は、シミュレーションにおいて使用さ
れた４つの入力パターンを記載する。これらの入力パタ
ーンは、Ａ、Ｂ、Ｃ、とＤとラベル付けされている。パ
ターンＢ、Ｃ、とＤは、すべて、Ａのサブセットであ
る。シミュレーション作業を行う入力間の関係は、次の
如くである。

Ｄ⊂Ｃ⊂Ａ、 （11） Ｂ⊂Ａ、 （12） Ｂ∩Ｃ＝¢ （13） |D|＜|B|＜|C| （14） こうして、これらの結果は、ちょうど４つの入力パタ
ーンのアルファベットが、2/3ルールなしには安定にコ
ード化されない無限に多数の例を提供する。第２列にリ
ストされた番号１、２、３、・・・は、提示順序を記
す。第３列は、ボトムアップに対してBUとラベル付けさ
れているが、各試行において提出された入力パターンを
記載する。第7A図と第7B図の両方において、入力パター
ンは、ABCADの順序で周期的に提供された。

第７図のトップダウン・テンプレート列の各々は、F₂
における異なるノードに対応し、列１は、ノードV₁に対
応し、列２は、ノードV₂に対応する等である。各行は、
入力パターンに対するネツトワーク応答を要約する。記
号RESは、共鳴を表し、試行において入力パターンをコ
ード化するF₂におけるノードを示す。例えば、V₂は、試
行３におけるパターンＣをコード化し、そしてV₁は、試
行７におけるパターンＢをコード化する。与えられた行
におけるパターンは、学習がその試行において行われた
後のテンプレートを表わす。

第7A図において、入力パターンＡは、周期的に再コー
ド化される。試行１において、それはV₁によってコード
化される。試行４において、それはV₂によってコード化
される。試行６において、それはV₁によってコード化さ
れる。試行９において、それはV₂によってコード化され
る。パターンＡをコード化するノードV₁とV₂におけるこ
の交互は、無限に反復される。

2/3ルールの違反は、試行４、６、８、９等で起こ
る。この違反は、試行３と４におけるV₂のテンプレート
を比較することによって例示される。試行３において、
V₂のテンプレートは、パターンＡのサブセットであるパ
ターンＣによってコード化される。試行４において、パ
ターンＡが、提出され、そしてノードV₂を直接に活動化
する。2/3ルールは成立しないために、パターンＡは、
サブセット・テンプレートＣがV₂から読み出された後
も、意識の上（supraliminal）、即ち、しきい値の上で
ある。こうして、探索は、パターンＡとそのサブセット
・テンプレートＣの不一致によって誘い出されない。そ
の結果、V₂のテンプレートは、パターンＣからスーパー
セット・パターンＡに記録される。

第7B図において、対照的に、2/3ルールは、注意ゲイ
ンコントロールパラメーターの大きな選択により成立す
る。こうして、ネツトワークは、最終的に安定化する一
連の記録を行う。特に、試行４において、ノードV₂は、
入力パターンＡと不一致であるサブセット・テンプレー
トＣを読み出す。行４におけるテンプレート記号の下の
番号は、探索の順序を記載している。まず、V₂のテンプ
レートＣは、Ａと不一致である。それから、V₁のテンプ
レートＢは、Ａと不一致である。最後に、Ａは、テンプ
レートＡを学習する時、F₁と共鳴する未遂のノードV₃を
活動化する。

第7B図の行（row）を走査すると、パターンＡは、試
行１においてV₁によって、試行４と６においてV₃によっ
て、そして試行９においてV₄によってコード化される。
すべての将来の試行において、入力パターンＡは、V₄に
よってコード化される。さらに、入力パターンＡ、Ｂ、
Ｃ、とＤのすべては、試行９により安定コードを学習し
ている。こうして、コードは、入力リストABCADにより
第２ランによって自己安定化する。試行11から15におい
て、そしてすべての将来に試行において、各入力パター
ンは、異なるノード（V₄に対してＡ、V₁に対してＢ、V₃
に対してＣ、V₂に対してＤ）を選ぶ。以下で論述される
注意（vigilance）パラメーターは、この例において、
大であるように選ばれたために、各パターンは、別個の
項類に属する。さらに、コード学習が安定化した後、各
入力パターンは、追加の探索を行うことなしに、F₂にお
けるそのノードを直接に活動化する。こうして、試行９
の後、「RES」記号のみが、トップダウン・テンプレー
トの下に現れる。９と15との間の任意の行に示されたパ
ターンは、学習コードの完全な記述を提供する。

新しい典型が前に学習されたカテゴリをどのように活
動化するかの例が、第7A図と第7B図における試行２と５
に見られる。例えば、試行２において、パターンＢが、
初めて提出され、そして試行１においてパターンＡによ
って前に学習されたV₁によってコード化されたカテゴリ
を直接にアクセスする。人工知能の用語において、Ｂ
は、Ａと同じカテゴリの「ポインター」、又は「マーカ
ー」、又は「インデックス」を活動化する。それを行う
際に、Ｂは、カテゴリの「インデックス」を変更しない
が、どの入力パターンが、将来の試行においてこのイン
デックスによってコード化されるかを決定するカテゴリ
のテンプレートを変更するかもしれない。カテゴリは、
変化しないが、その不変量は変化するかもしれない。

非常に異なる入力パターンの提示が、どのように固定
入力パターンのカテゴリに影響を与えるかの例が、第7B
図における試行１、４、と９の考察により理解される。
パターンＡが、他の入力パターンの介在発生により再コ
ード化される試行がある。試行１において、パターンＡ
は、V₁によってコード化される。その間にパターンＢが
V₁によってコード化され、そしてパターンＣがV₂によっ
てコード化されているために、試行４において、ＡはV₃
によって再コード化される。その間にパターンＣがV₃に
よって再コード化され、そしてパターンＤがV₂によって
コード化されているために、試行９において、パターン
Ａは、V₄によって再コード化される。

これらの移行のすべてにおいて、入力パターンの全体
的構造は、どのF₂ノードが活動化されるかを決定し、そ
してF₁におけるパターン一致の全体的測度は、これらの
ノードがリセットされるか、又はSTMにおいて共鳴する
ことを許容されるかを決定する。

サブセット、スーパーセット、混合セットの探索 第7B図におけるコードが最後に安定化する前に、それ
は、値T_jによって特徴付けられた順序でネツトワークを
探索する。今、第7B図に記載された例を含む特別重要な
場合について、この探索順序の意味を説明する。これ
は、式（９）におけるパラメーターβが「小」である場
合である。小によって、パラメーターβが、次の不等式
を満たすことを意味する。

この場合|I|_maxは、任意の入力パターンＩによって活
動化されているF₁ノードに最大数である。

A.サブセット・テンプレート 入力パターンＩのサブセットである学習されたテンプ
レートが存在するとする（第6A図）。その時、不等式
（15）が成立するならば、選ばれるF₂における第１ノー
ドは、最大サブセット・テンプレートＶに対応する。テ
ンプレートＶが、F₂のSTMリセットを防止する程充分に
入力Ｉに一致するか否かは、ＶがＩよりもどれほど小さ
いかと共に、記載される方向づけシステム18に依存す
る。Ｖ＝Ｉならば、リセットは、決して行われない。こ
の場合に、直接アクセス規則は、Ｖに対応するノードが
最初に選ばれることを意味する。このノードのテンプレ
ートＶは、F₁におけるＩをカバーする。その結果、F₁ア
クティビティにおける削減は、2/3ルールによって行わ
れず、そしてSTMリセットは行われない。

最初に選ばれたノードが、Ｉをカバーしないならば、
リセットは行われない。リセットが行われるならば、ネ
ツトワークは、サブセット・テンプレートを所有するF₂
ノードを探索し続ける。探索順序は、大から小のサブセ
ット・テンプレートに進む。この探索順序は、V^(j)⊂Ｉ
の場合には、V^(j)∩Ｉ＝V^(j)であるために、（９）に従
って行われ、その結果順序関数T_jは、次の式を満足す
る。

こうして、サブセット・テンプレートが探索される順
序は、すべてのサブセット・テンプレートに対するV^(j)
の相対サイズによって決定される。第7Bは、これらのサ
ブセット探索特性を示す。例えば、試行９において、入
力パターンＡに応答して、サブセット・テンプレート
Ｃ、Ｂ、とＤに対応するノードが、（14）における如
く、テンプレート・サイズの減少順に探索される。

B.スーパーセット・テンプレートと非混合テンプレート ネツトワークは、入力パターンＩに対応するすべての
学習されたサブセット・テンプレートを探索したとす
る。今、可能性を幾つかの場合に分けることによって後
続の探索順序を考える。混合テンプレートは、学習され
なかったが、少なくとも１つのスーパーセット・テンプ
レートが学習されたとする。

主な結論は、すべてのサブセット・テンプレートがす
でにリセットされているならば、システムは、最小のス
ーパーセット・テンプレートV^(j)＝Ｖを有するF₂ノード
V_jを使用して、Ｉをコード化するということである。こ
のコード化事象により、V^(j)は、次の如く、再コード化
される。

V^(j)＝Ｖ∩Ｉ＝Ｉ （17） ネツトワークは、次式により、最小のスーパーセット
・テンプレートを最初に選ぶ。

この場合Ｖ⊃Ｉである。こうして、スーパーセット・
テンプレートの最小のものは、最大のボトムアップ入力
T_jを生成する。スーパーセット・テンプレートＶは、F₁
における入力パターンＩを完全にカバーしないために、
ネツトワークは、この選択をリセットしない。2/3ルー
ルにより、Ｉだけによって引き起こされたF₁アクティビ
ティ・パターンは、スーパーセット・テンプレートが効
力を有した後存続する。F₁アクティビティの削減は、ス
ーパーセット・テンプレートによって行われない。この
ため、F₂コードは、方向づけシステムによってリセット
されない。こうして、STMにおける安定な選択を保証す
る同じ特性はまた、それが最小のスーパーセット・テン
プレートに達することができるならば、探索が終了する
ことを意味する。

スーパーセットの前にサブセットが探索される理由、
及び未遂ノードの前にスーパーセットが探索される理由
の説明が残されている。

入力パターンＩのサブセット・テンプレートV⁽ⁱ⁾とス
ーパーセット・テンプレートV^(j)が与えられたならば、 |V⁽ⁱ⁾|≦|I|＜|V^(j)| （19） そして （15）、（19）、（20）、と（21）から、次式が導かれ
る。

T_i＞T_j （22） そしてこのため、サブセット・テンプレートが、スー
パーセット・テンプレートの前に探索されることにな
る。この特性は、（18）における小さなβの選択に限界
的に依存する。

スーパーセット・テンプレートを有するノードは、完
全にコード化されたノードへの直接アクセスを保証する
同じ特性により、未遂（uncommitted）ノードの前に探
索される。初期のボトムアップLTM値は、任意の入力パ
ターンを完全にコード化するノードを直接アクセス可能
である程充分に小さく選ばれなければならないことに注
目していた。特に、 この場合Z₀は。初期のボトムアップLTMトレースの最大
サイズであり、そしてα（β＋|V^(j)|）^-1は、スーパー
セット・テンプレートV^(j)に対応する学習されたLTM値
である。こうして、入力Ｉに応答する未遂ノードに対す
る全体ボトムアップ入力は、せいぜいZ₀|I|であり、こ
れは、スーパーセット・ノードV_jに対する全体ボトムア
ップ入力α|I|（β＋|V^(j)|）^-1よりも小である。

C.スーパーセット・テンプレートと混合テンプレート ネツトワークが、すでにサブセット・テンプレートを
探索したとする。また、スーパーセット・テンプレート
と混合テンプレートの両方が、以前に学習されたとす
る。スーパーセット・テンプレートを有するノードが、
アクテイブされるならば、入力パターンは、そのノード
によってコード化されるということを前に示した。特
に、ノードのテンプレートは、入力パターンに完全に一
致するように再コード化される。今、ネツトワークが、
スーパーセット・テンプレートを探索する前に、混合テ
ンプレートを探索する状況を特徴付ける。

入力パターンＩに関して混合テンプレートV⁽ⁱ⁾をコー
ド化するノードV_iを考える。また、V^(j)をＩに対応する
最小のスーパーセット・テンプレートとする。その時、 そして 混合テンプレートV⁽ⁱ⁾は、次の式の場合に限り、スー
パーセット・テンプレートV^(j)の前に探索される。

スーパーセット・ノードが選ばれる時探索が常に終了
するために、混合テンプレートが（26）を満足するノー
ドV_iのみが、探索される可能性がある。これらのノード
は、|V⁽ⁱ⁾∩I||V⁽ⁱ⁾|^-1の減少順に探索される。２つの
ノードが同じ比率を有するならば、大混合テンプレート
を有するものが、最初に探索される。探索が、最小のス
ーパーセット・テンプレートを有するノードV_jに達する
ならば、それは、V_jにおいて終了する。

ネツトワークが、すでにサブセット・テンプレートを
探索したとする。スーパーセット・テンプレートではな
く、混合テンプレートが、以前に学習されたとする。こ
の状況において、探索は、混合テンプレートV⁽ⁱ⁾を有す
るノードV_iか、又は以前に選ばれなかったノードのどち
らかを選ぶことによって終了する。例えば、次式が成立
するならば、混合テンプレートを有するノードV_iが、新
ノードの前に選ばれる。

Z₀は、ボトムアップLTMトレースの最大初期サイズで
ある。完全にコード化されたノードを直接にアクセス可
能にするために、すべてのテンプレートV⁽ⁱ⁾に対して、 であることを想起せよ。こうして、不等式（28）は、|V
⁽ⁱ⁾∩I|がＩよりもあまり小さくない時成立する。

D.混合テンプレートでもスーパーセット・テンプレート
でもない この場合、すべてのサブセット・ノードが探索された
後、以前に未遂のノードが探索される。F₂に対するそれ
らの初期ボトムアップ入力サイズは、初期LTMトレース
の選択に依存する。こうして、未遂ノードの間の探索の
順序は、ランダム因子によって決定される。アクテイブ
にされる第１の未遂ノードは、探索を終了し、そして入
力パターンＩをコード化する。これは、すべての初期ト
ップダウンLTMトレースが、2/3ルールを満足するために
充分に大きく選ばれるために、正しい。

すべての完遂コードが拒否された後、探索される未遂
ノードがない場合には、入力パターンが、ネツトワーク
によってコード化できない。この特性は、不適当な事象
による持続的再コード化に対し、ネツトワークがコード
をバッファーに入れるか又は保護する能力を有する結果
である。

第８図と第９図は、前述の論述における主要点を示す
２つのコード化列を示す。第８図において、９つの入力
パターンの各々が、一度に提出された。試行９において
提出された最終入力パターンＩに応答して行われた探索
順序を考える。試行８により、ノードV₁とV₂は、この入
力パターンのサブセット・テンプレートをすでにコード
化している。このため、試行９において、これらのノー
ドが、テンプレート・サイズの減少順に探索された。ノ
ードV₃、V₄、V₅、とv₆は、入力パターンの混合テンプレ
ートをコード化した。これらのノードは、V₃、V₅、V₄の
順序で探索された。この探索順序は、それ自体テンプレ
ート・サイズによって決定されず、（27）における比|V
⁽ⁱ⁾∩I||V⁽ⁱ⁾|^-1によって支配された。ノードV₃、V₅、
とV₄に対するこれらの比は、それぞれ、9/10、14/16、
と7/8である。14/16＝7/8であるから、|V⁽⁵⁾|＝16 ８
＝|V⁽⁴⁾|のために、ノードV₅はノードV₄の前に探索され
た。混合テンプレート・ノードV₆は、探索されなかっ
た。V₅を探索後、ネツトワークは、最小のスーパーセッ
ト・テンプレートを所有するノードV₇を活動化した。列
７における行８と９の比較は、V₇のスーパーセット・テ
ンプレートが、入力パターンに一致するために再コード
化された方法を示す。|I||V⁽⁷⁾|^-1＝17/21は、|V⁽⁶⁾∩I
||V⁽⁶⁾|^-1＝14/18よりも大であるために、ノードV₇は、
ノードV₆の前に探索された。

第９図の８つの入力パターンは、未遂ノードのコード
化が続いて行われる探索を示すために選ばれた。第９図
における最後の入力パターンＩは、第８図における最後
の入力パターンと同じである。しかし、第９図におい
て、入力パターンＩに対応するスーパーセット・テンプ
レートがなかった。その結果、Ｉは、試行８の前に未遂
のノードV₈によってコード化された。特に、試行８にお
いて、ネツトワークは、最初に、V₂、V₁の順序でサブセ
ット・テンプレートを有するノードを探索する。それか
ら、混合テンプレート・ノードが、V₄、V₆、V₅、とV₇の
順序で探索された。混合テンプレート・ノードV₃は、テ
ンプレートが、入力パターンＩに不当に不一致であった
ために、探索されなかった。その代わり、未遂ノードV₈
が、活動化され、そして入力パターンに一致したテンプ
レートを学習した。

パラメーターβが、不等式（18）を満足するために充
分小でないならば、混合テンプレート又はスーパーセッ
ト・テンプレートは、サブセット・テンプレートの前に
探索される。すべての場合に、完全にコード化されたパ
ターンのアクセスが達成される。

前述の論述は、新しい学習が行われてもカテゴリの不
変特性が存続する方法についての項目に新しい光を投げ
かけている。２つの主要な場合が、区別される必要があ
る。第１の場合には、新しい入力パターンは、そのボト
ムアップ・フィルターとトップダウン・テンプレートが
以前に学習を経験したノードによってコード化される。
第２の場合には、新しい入力パターンは、以前に選ばれ
ていないノードによってコード化される。ここでは、第
１の場合に注目する。

この場合には、新しい入力パターンの提示は、ネツト
ワークによってコード化されるカテゴリ数だけでなく、
またF₂におけるSTMのこれらのカテゴリをコード化する
ノードのセットも即座に変更しない。F₂からの出力信号
は、ネツトワークの観察可能な応答を生成する。このた
め、この場合には、新しいパターンは、カテゴリの代替
と観察可能な応答の以前に確立されたセットに同化され
る。学習の少なくとも２つの異なる形式が、そのような
同化過程を伴うことができる。即ち、カテゴリの認識に
外部の学習と、この過程に内部の学習である。

外部学習（external learing）の例として、新しい
入力が、同じカテゴリにおける前の入力とは異なる強化
計画（reinforcement schedule）と関連するとする。F
₂におけるカテゴリと強化機構の間の新しい学習は、カ
テゴリにおける入力のすべてに対するネツトワークの応
答を変更しない。こうして、同じカテゴリにおけるメン
バーシップの事実は、新しいカテゴリの典型が新しい外
部の偶然性と関連する時、古い外部の偶然性の忘却を強
要する。

内部学習（internal learning）の例として、次の事
実を考える。新しい入力パターンが「古い」F₂ノードに
よってコード化されるならば、この入力パターンは、そ
のノードに対応するボトムアップ・フィルターとトップ
ダウン・テンプレートを変更する。それを行う際に、新
しい入力パターンは、全体としてネツトワークのカテゴ
リの境界を変更する。前の試行において規定されたノー
ドによってコード化された入力パターンは、それらが後
に提出される時、同じノードによってもはやコード化さ
れない。こうして、カテゴリの数と公然の応答に対する
それらの経路が変化しなくても、カテゴリの不変量は変
化する。

しかし、2/3ルールは、カテゴリのフィルターとテン
プレートが、そのカテゴリによってコード化される入力
パターンのすべてのサブセットであることを意味する。
学習により新しい入力パターンをカテゴリに追加する
と、カテゴリのフィルターとテンプレートをさらに精練
にすることができる。こうして、そのパターンをコード
化することによって、テンプレートが入力パターンのサ
ブセットになった後、他の入力パターンが同じカテゴリ
に加わる時、テンプレートが何回精練（refine）されて
も、テンプレートは、すべての将来の時間に亙って入力
パターンのサブセットのままである。テンプレートがし
だいに精練になると、テンプレートとカテゴリによって
コード化された最大の入力パターンの間の不一致は、し
だいに大きくなる。この不一致が非常に大きいならば、
これらの大入力パターンの幾つかは、結局再コード化さ
れる。例えば、第7B図において、パターンＢは、試行２
においてノードV₁によってコード化され、そして新しい
カテゴリは、確立されない。しかし、後に、パターンＡ
が試行４において次に提出される時、それは試行１の後
であるために、それは、もはやノードV₁からのテンプレ
ートに適切に一致しない。このため、パターンＡは、新
しいカテゴリを確立する。

２つの主要な結論が、これらの考察に従って行われ
る。最初に、コード学習過程（cord learning proces
s）は、識別の漸進的な精練の１つである。現れる識別
は、幾つかの前もって割り当てられた特徴ではなく、ネ
ツトワークが今までに経験した入力パターンのすべての
結果である。第２に、一致過程は、分離した特徴ではな
く、全体のパターンを比較する。例えば、２つの異なる
テンプレートは、特徴検出器（feature detector）の
同じセットにおいてF₁に対する入力パターンに重なる
が、ネツトワークは、一方のテンプレートのF₂ノードを
リセットし、他方のテンプレートのF₂ノードをリセット
しない。全体としてテンプレートと入力の不一致の程度
は、再コード化が行われるか否かを決定する。こうし
て、カテゴリの不変量の学習は、２つの相反する傾向を
解決する。カテゴリが大きくなると、そしてこのため益
々全体的不変量をコード化すると、それらを規定するテ
ンプレートは、小さくなり、そしてこのため限界的特徴
分類のセットにコードを基づかせる。以下には、規定さ
れた入力環境に応答する識別カテゴリの動的平衡又は自
己安定化につながる、これらの２つの相反する傾向が解
決される方法を説明する。

次の節では、入力パターンとテンプレートの間の充分
に良好な一致が探索を終了させ、かつ学習が行われるこ
とを可能にするが、それらの充分に大きな不一致がSTM
リセットにつながる方法を説明する。

覚醒（vgilance）、方向づけ、及びリセット 以下に、F₁における追加サブシステム内の一致が、ど
のように方向づけサブシステムＡが活動化され、これに
よりF₂における追加サブシステムのリセットするか否か
を決定するかを示す。

方向づけサブシステムは、F₁における一致パターンが
不適当の一致を示す時、及び入力Ｉがバッファー12から
受信される時、F₂のリセットをトリガーする。入力パタ
ーンの受信に対する必要要件は、システムが、予想パタ
ーンと入力パターンとの間の不一致を識別し、入力パタ
ーンが受信されない時単に受動的非アクティビティを識
別することを可能にする。一方、入力が受信され、か
つ、充分な一致パターンがF₁において生成される時、方
向づけシステムＡによるF₂のリセットは、一致パターン
によって抑止される。

ボトムアップ入力パターンがF₁を活動化し、そしてＡ
の活動化を阻止したとする。さらに、F₁が、F₁において
ボトムアップ入力に不当に不一致であるテンプレートを
読み出すF₂ノードを活動化するとする。2/3ルールによ
り、ボトムアップ入力のみによって活動化されたF₁ノー
ドの多くは、トップダウン・テンプレートによって抑制
される。この不一致事象は、F₁に亙って全体アクティビ
ティにおける大きな崩壊を起こし、そしてこうしてF₁が
Ａに伝える全体抑制における大きな削減を引き起こす。
この削減が充分に大きいならば、Ａに対する刺激的ボト
ムアップ入力は、ＡからF₂への非特定リセット信号を生
成することに成功する。

リセット信号が発生する時を特徴付けるために、次の
自然な仮定を行う。入力パターンＩは正の信号をF₁の|I
|個のノードに送信するとする。すべてのアクティブ入
力経路は、Ａに投影されるために、Ｉは、|I|に比例す
るＡに対する全体入力を生成する。Ａは、全体入力γ|I
|に線形に反応するとする。また、各アクティブF₁ノー
ドは、Ａに対し固定サイズの抑制信号を生成すると仮定
する。すべてのアクティブF₁ノードはＡに投影されるた
めに、f₁からＡへの全体抑制入力δ|X|は、アクテイブF
₁ノードの数Ｘに比例する。γ|I|＞δ|X|である時、Ａ
は、正味の刺激的信号を受信し、そしてF₂に対し非特定
リセット信号を生成する。

サイズ|I|のボトムアップ入力パターンに応答して、
かつ、F₁における予想パターンの受信前に、F₁からＡへ
の全体抑制入力は、δ|I|に等しく、そのためＡに対す
る正味の入力は（γ−δ）|I|に等しい。Ａがこの場合
に発火する（firng）のを防ぐために、δ≧γであると
仮定する。

を方向づけサブシステムの注意パラメーターと呼ぶ。制
約δ≧γ≧０は、０≦ρ≦１に等しい。ρサイズは、リ
セットを防ぐために一致されなければならない入力パタ
ーンの比率を決定する。

ボトムアップ入力Ｉとトップダウン・テンプレートV
^(j)の両方が同時にアクティブである時、2/3ルールは、
F₁からＡへの全体抑制信号が、δ|V^(j)∩I|に等しいこ
とを意味する。この場合、方向づけサブシステムは、 |I|＞δ|V^(j)∩I| （31） 即ち、 である時に限り活動化される。

F₂が入力パターンＩに応答してリセットされるか否か
を決定する関数は、リセット関数と呼ばれる。不等式
（32）は、リセット関数が次の如く規定されなければな
らないことを示す。

リセット関数R_jと順序関数 は、探索が進行する方法を決定する。

このラインの論述は、次の如く直観的に要約される。
2/3ルールにより、F₁における不当な不一致は、全体F₁
アクティビティの大崩壊を引き起こし、これはＡの活動
化につながる。これが起こるためには、システムは、全
体F₁アクティビティの先行レベルの測度を維持しなけれ
ばならない。基準レベルは、Ａにおけるボトムアップ入
力を合計することによって計算される。この合計は、ボ
トムアップ入力によるF₁の初期活動化に比例し、そして
さらに一致過程が実時間において展開される時不変のま
まであるために、基準を提供する。

今、入力パターンの複雑性が変化する時、ネツトワー
クが雑音基準を自動的に再評価する方法を示す。特に、
固定パラメーターでも、ネツトワークは、大入力パター
ンに応答する大不一致を許容することができる。例え
ば、ネツトワークが、異なる時間において２つの入力パ
ターンを処理するとする。１つの入力パターンI⁽¹⁾は、
幾つかのF₁特徴検出器を活動化する。一方、他の入力パ
ターンI⁽²⁾は、多数のF₁特徴検出器を活動化する。即
ち、 |I⁽¹⁾|＜|I⁽²⁾| （34） さらに、I⁽¹⁾がF₃ノードV₁を活動化するとする。I⁽²⁾
はF₂ノードV₂を活動化し、そして |V⁽¹⁾∩I⁽¹⁾|＝|V⁽²⁾∩I⁽²⁾| （35） 言い換えれば、両方の入力パターンは、同じ量だけそれ
らのテンプレートに重なる。しかし、（34）により、 不等式（32）と（36）により、ネツトワークは、I⁽¹⁾に
応答してV₁をリセットするよりも、I⁽²⁾に応答してV₂を
リセットしやすい。こうして、大入力パターンとの一定
量の一致は、小入力パターンとの同じ量の一致よりもコ
ード化に対し証拠を提供しない。（35）が成立するなら
ば、大パターンI⁽²⁾は、小パターンI⁽¹⁾よりもより多く
の特徴においてテンプレートと不一致である。このた
め、（31）により、V₁はリセットされないが、V₂は、リ
セットされる。これは、実際には、ρがR₁とR₂の間にあ
る時の場合である。

再評価（rescaling）特性は、ネツトワークが全体と
して入力パターンを所有することを示す。ネツトワーク
の関数単位は、特徴検出器の個々の活動化ではなく、特
徴検出器の範囲に亙って活動化パターンである。ネツト
ワークは、I⁽¹⁾に応答してV₁をリセットしないならば、
V₁のテンプレートは、交差V⁽¹⁾∩I⁽¹⁾に等しいように精
練（refine）される。言い換えれば、ネツトワークが、
I⁽¹⁾がV₁によってコード化されなければならないという
証拠を受け取るとすると、STMとLTMの両方において、I
⁽¹⁾がV⁽¹⁾に不一致である特徴を雑音として抑制する。
この特性を使用して、ネツトワークはまた、大入力パタ
ーン間よりも小入力パターン間のより微妙な差を識別す
ることができる。小入力パターンI⁽¹⁾とそのテンプレー
トV⁽¹⁾の間の不一致量が、大入力パターンI⁽²⁾とそのテ
ンプレートV⁽²⁾の間の不一致量に等しいとする。即ち、 |I⁽¹⁾|−|I⁽¹⁾∩I⁽¹⁾|＝ |I⁽²⁾|−|I⁽²⁾∩I⁽²⁾| （37） （34）と（37）により、 こうして、V₁は、V₂がI⁽²⁾によってリセットされるよ
りもI⁽¹⁾によってリセットされやすい。これは、固定量
の不一致は、雑音である時よりも入力パターンが単純で
ある時、リセットに対しより証拠を提供する。言い換え
れば、ネツトワークは小入力パターンを処理する時小不
一致によってリセットされるために、それは、大入力パ
ターン間よりも小入力パターン間のより微妙な差を自動
的に識別する。

第10図におけるシシュレーションは、ネツトワークが
一致基準を自動的に再評価する（rescale）方法を示
す。最初の４つの提示において、パターンは、ABABの順
序で提出される。試行２により、コード化は完了する。
パターンＡは、試行３におけるノードV₁を直接にアクセ
スし、そしてパターンＢは、試行４におけるノードV₂を
直接にアクセスする。こうして、パターンＡとＢは、異
なるカテゴリ内でコード化される。試行５−８におい
て、パターンＣとＤは、CDCDの順序で提出される。パタ
ーンＣとＤは、同一の上方半分をＡとＢに追加すること
によって、それぞれ、パターンＡとＢから構成される。
こうして、パターンＡがパターンＢと異なる同一位置に
おいて、パターンＣは、パターンＤとは異なる。しか
し、パターンＣとＤは、パターンＡとＢよりもより多数
のアクティブな特徴を表すために、ＡとＢの間の差は重
要であると考えられるのに対し、ＣとＤの間の差は、雑
音として処理される。特に、パターンＣとＤの両方は、
試行７と８における同じカテゴリ内でコード化される。

パターンＡとＢ対パターンＣとＤのネツトワークの異
なるカテゴリゼイシヨンは、次の如く理解される。核心
項目は、試行６において、Ｄが、Ｃをコード化したノー
ドV₃を受容するのに対し、試行２において、Ｂは、Ａを
コード化したノードV₁をなぜ拒否するのか、である。こ
れは、ＢとI⁽¹⁾の間の不一致が、ＤとI⁽³⁾の間の不一致
に等しいという事実に拘わらず起こる。（37）における
如く、 |B|−|I⁽¹⁾∩B|＝３＝|D|−|V⁽³⁾∩D| （39） 理由は、関連リセット関数を比較することによって理解
される。

そして このシミュレーションにおいて、注意パラメーターρ
＝.8である。こうして、 R_1B＜ρ＜R_3D （42） （32）により、パターンＢは、V₁をリセットするが、Ｄ
は、V₃をリセットしない。その結果、Ｄは、Ｃと同じカ
テゴリによってコード化されるが、Ｂは、Ａと異なるカ
テゴリによってコード化される。

注目された如く、各固定覚醒レベルが与えられると、
ネツトワークは、感度を可変複雑化のパターンに自動的
に再評価する。また、覚醒レベルにおける変化は、固定
列の入力パターンに応答して学習されたカテゴリの粗雑
さを調整する。

低い覚醒レベルは、粗雑なカテゴリの学習につながる
が、高い覚醒レベルは、緻密なカテゴリの学習につなが
る。例えば、低い覚醒レベルが、規定入力環境への成功
した適応に対し、識別される必要がある入力の学習され
た分類に導かれるとする。さらに、このエラーの分類の
結果として、懲罰事象（punishing event）が、入力50
により発生するとする。そのような懲罰事象は、多重効
果を有する。負の強化効果（reinforcing effect）に
加えて、それはまた、直接の識別効果を有するとする。
即ち、それは、環境に対する注意感度（attentive sen
sitivity）を増大させる。感度におけるそのような増大
は、注意パラメーターρにおける増大によりネツトワー
ク内でモデル化される。この単一パラメーターを増大さ
せると、ネツトワークは以前に一緒にまとめられたパタ
ーンを弁別可能になる。一旦これらのパターンがF₂にお
ける異なるカテゴリによってコード化されると、異なる
カテゴリは、異なる挙動応答（behavioral response
s）に関連する、 このようにして、懲罰事象の如く環境フィードバック
は、自己組織認識システムに対し「教育者（teache
r）」として作用する。この教育関数（teaching funct
ion）は、アルゴリズムの形式、又はパターン特定情報
の任意の他の形式を取らない。むしろ、それは、ネツト
ワークの内部組織との相互作用が、ネツトワークに発生
する入力パターンをより緻密に解剖可能にする単一非特
定パラメーターをセットする。注意パラメーターは、例
えば、入力パターンからＡへの信号のすべてが非特定に
増幅され、その結果パラメーターが増大するならば、増
大される。F₁からＡへの信号δのサイズにおける非特定
の減少は、また、ρを増大させる。あるいはまた、Ａに
対する強化活動化の非特定刺激的入力（excitatory in
put）はまた、Ａの不一致調停された（mismatch−media
ted）アクテイベーシヨンを容易にする。覚醒レベルが
監視される過程は、ネツトワーク内に存在する非特定覚
醒の３つのタイプの１つである。

第11図は、４つの入力パターンＡ、Ｂ、Ｃ、とＤが、
F₂における４つのノードを有するネツトワークによって
コード化される一連のシミュレーションを示す。このシ
ミュレーションにおいて、Ａ⊂Ｂ⊂Ｃ⊂Ｄである。図の
種々の部分は、カテゴリの学習が、ρの変化とともにど
のように変化するかを示す。シミュレーションは、パタ
ーンの任意の連続対（Ａ、Ｂ）（Ｂ、Ｃ）（Ｃ、Ｄ）
が、異なる覚醒レベルにおける同じカテゴリにおいてコ
ード化されることを示す。ρ＝.8（第11A図）ならば、
４つのカテゴリ（Ａ）（Ｂ）（Ｃ）（Ｄ）が学習され
る。ρ＝.7（第11図Ｂ図）ならば、３つのカテゴリ
（Ａ）（Ｂ）（Ｃ、Ｂ）が学習される。ρ＝.6（第11C
図）ならば、３つの異なるカテゴリ（Ａ）（Ｂ、Ｃ）
（Ｄ）が学習される。ρ＝.5（第11D図）ならば、２つ
のカテゴリ（Ａ、Ｂ）（Ｃ、Ｄ）が学習される。ρ＝.3
（第11E図）ならば、２つの異なるカテゴリ（Ａ、Ｂ、
Ｃ）（Ｄ）が学習される。ρ＝.2（第11F図）ならば、
パターンのすべてが、単一カテゴリにまとめられる。

そのようなネツトワークがより複雑な一連のパターン
を体系化する方法を示すために、第12図において、入力
パターンとしてアルファベット文字を使用して、シミュ
レーションの最初の20試行が示される。第12A図におい
て、注意パラメーターρ＝.5である。第12B図におい
て、ρ＝.8である。３つの特性が、これらのシミュレー
ションにおいて注目される。最初に、異なる注意パラメ
ーターを選ぶと、より高い覚醒がコード化をより緻密な
カテゴリに誘導する如く、異なるコード化履歴を決定す
る。第２に、ネツトワークは、先行学習の累積効果を反
映するために、各試行においてその探索順序を修正し、
そして学習が行われた後、カテゴリを直接にアクセスす
るために、方向づけシステムを迂回する。第３に、粗雑
なカテゴリのテンプレートは、それらが非常に多数の入
力パラメーターの典型に近似的に一致しなければならな
いために、より抽象的になる傾向がある。

ρ＝.5が与えられると、ネツトワークは、26文字パタ
ーンを、３つの提示内の８つの安定カテゴリに分類す
る。このシミュレーションにおいて、F₂は、15ノードを
含む。こうして、覚醒と全体的コードの自己一貫性の基
準を満足した後、ネツトワークは学習を自己安定化させ
るために、７モードは、非コード化のままである。ρ
＝.8と15個のF₂ノードが与えられると、ネツトワーク
は、26文字中の25文字を３提示内の15の安定カテゴリに
分類する。26番目の文字は、覚醒と全体的コードの自己
一貫性の基準を満足する間その学習を自己安定化させる
ために、ネツトワークによって拒否される。これらのシ
ミュレーションは、処理資源のネツトワークの使用が、
全体的な文脈依存特性を有する展開的動的組織に依存す
ことを示す。このクラスのネツトワークは、任意に複雑
な入力パターンの任意の列を、覚醒、全体的コード自己
一貫性、及びF₁とF₂におけるノード数の制約を受ける安
定なカテゴリに組織することができる。高速学習速度よ
りも低速学習が使用されるならば、カテゴリのコード
が、よりゆっくり学習されるが、それは、なお、リスト
された限界特性を享有する。

本発明が、好ましい実施態様を参照して具体的に示さ
れかつ記載されたが、添付の請求の範囲に規定された如
く、発明の精神と範囲を逸脱することなく、形式と詳細
においていろいろな変更が行われることは、当業者には
理解されるであろう。

図面の簡単な説明 第１図は、本発明を具体化するシステムを示すブロッ
ク図。

第２図は、第１図のシステムにより典型的パターンの
処理を示す図。

第３図は、第１図のシステムにおけるパターンの処理
の例をさらに示す図。

第４図は、第１図のメモリF1とF2との間の適応フィル
ター要素の概略図。

第５図は、サブセットとスーパーセットパターンに対
するシステムの応答の概略図。

第６図は、入力パターンと予想パターンとの間の可能
な関係を示す図。

第７図は、2/3規則が呼び出される場合と呼び出され
ない場合の第１図のシステムによるカテゴリ学習を示す
図。

第８図は、第１図のシステムを使用するカテゴリ探索
を示す図。

第９図は、第１図のシステムによる探索の順序を示す
別の図。

第10図は、システムが可変複雑性の入力パターンから
雑音を区別する方法を示す図。

第11図は、注意の種々のレベルを有するシステムの応
答を示す図。

第12図は、異なる注意レベルにおけるシステムの動作
を示す別の図。

12……パッファー 14……適応フィルター 16……適応フィルター 20……ノード 21……ノード 22……ノード 23……ノード 25……ノード 26……ノード 27……ノード 30……フィルター要素

Claims (21)

(57)【特許請求の範囲】
1. 【請求項１】１以上の認別し得る要素を有する入力パタ
   ーンを認別し、カテゴリ分けする自己組織パターン認識
   システムにおいて、 入力パターン（12）を受け取り、この入力パターンの要
   素に対応した出力パターンを生成するパターン生成ユニ
   ット（F1）と、 複数のパターンカテゴリの各々に関して上記出力パター
   ンの要素に個々に重み付けする適応フィルター手段（1
   4）と、 重み付けされた要素の組み合わせに応答して、少なくと
   も１つのパターンカテゴリを選択するカテゴリ選択ユニ
   ット（F2）と、 選択された少なくとも１つのパターンカテゴリに応答し
   てテンプレート乃至予想パターンを生成して、該パター
   ン生成ユニット（F1）に供給するテンプレート手段（1
   6）と、 上記入力パターンと上記予想パターンとの間の要素の一
   致に関する決定を生成する手段（18）と、 上記少なくとも１つの選択されたパターンカテゴリに関
   する該予想パターン及び該出力パターンの要素の重み付
   けを修正する修正手段であって、上記決定が閾値を越え
   たとき、該修正手段を作動して、上記入力パターンと上
   記予想パターンに共通な修正予想パターンを規定する要
   素を保持し、他のこのような要素の全てを軽減し、上記
   決定が閾値を越えなかったとき、該修正手段を作動し
   て、代わりのパターンカテゴリを選択して、代わりのパ
   ターンカテゴリを利用して、新たな予想パターンを生成
   する修正手段と を具備することを特徴とする自己組織パターン認識シス
   テム。
2. 【請求項２】上記決定が、入力パターンと上記予想パタ
   ーンとに共通である要素のパターンである一致パターン
   から生成される請求の範囲１に記載のシステム。
3. 【請求項３】該決定を生成するための手段が、入力パタ
   ーンにおける要素の数に関する、一致パターンにおける
   要素の数を決定する手段を含む請求の範囲２に記載のシ
   ステム。
4. 【請求項４】該修正するための手段が、上記一致パター
   ンにない、選択されたパターンカテゴリの少なくとも１
   つに関する、要素の重み付けをに減ずるための手段を含
   む請求の範囲２又は３に記載のシステム。
5. 【請求項５】上記一致パターンは、上記予想パターンが
   生成されないときの入力パターンであり、上記一致パタ
   ーンは、上記予想パターンが生成されたときの入力パタ
   ーンと上記予想パターンとに共通する要素のパターンで
   ある請求の範囲２〜４のいずれか１項に記載のシステ
   ム。
6. 【請求項６】上記パターンの要素が２進値であり、上記
   一致パターンが、上記予想パターンが生成されたとき
   の、上記入力パターンと上記予想パターンとの間の交差
   である請求の範囲５に記載のシステム。
7. 【請求項７】閾値が、入力パターンにおける要素の数に
   関する一致パターンにおける要素の数の予め決定された
   比率である請求項２〜６のいずれか１項のシステム。
8. 【請求項８】該カテゴリ選択ユニット（F2）が、（ａ）
   定数αと上記一致パターンにおける要素数の積と、
   （ｂ）定数βと上記予想パターンにおける要素数の和の
   比に従ってパターンカテゴリを選択する請求の範囲２〜
   ７のいずれか１項に記載のシステム。
9. 【請求項９】該カテゴリ選択ユニット（F2）が、出力パ
   ターンの重み付けされた入力要素の最大和を有する単一
   パターンカテゴリイのみを選択する請求の範囲１〜８の
   いずれか１項に記載のシステム。
10. 【請求項１０】該修正するための手段が、入力パターン
    と上記予想パターンとに共通する要素の数に逆比例する
    ように、適応フィルターにおける出力パターンの要素の
    重み付けを修正する請求の範囲１〜９のいずれか１項に
    記載のシステム。
11. 【請求項１１】逆比例関係が、 で表され、α及びβが、定数であり、Ｉがパターン生成
    ユニットにおける出力パターンであり、のV^(j)が選択さ
    れたカテゴリに対応する予想パターンである請求項10の
    システム。
12. 【請求項１２】すべての可能な要素の初期重み付けが、
    低である請求項１〜11のいずれか１項のシステム。
13. 【請求項１３】出力パターンにおける可能な要素の初期
    の重みが、異なったパターンカテゴリで異なっている請
    求項12のシステム。
14. 【請求項１４】該適応フィルター手段と該テンプレート
    手段を修正する閾値を変更する手段（50）を含む請求項
    １〜13のいずれか１項のシステム。
15. 【請求項１５】前の入力パターンに依存する選択された
    パターンカテゴリに対応する入力パターンを予想する、
    更に入力パターンの受信の前にパターンカテゴリを選択
    する手段を備えている請求項１〜14のいずれか１項のシ
    ステム。
16. 【請求項１６】１つ以上の識別し得る要素を有する入力
    パターンを識別し、カテゴリ分けするパターン認識方法
    において、 入力パターンの要素に応答して出力パターンを生成する
    パターン生成ユニット（F1）に入力パターンを供給する
    こと、 複数のパターンカテゴリの各々に関して出力パターンの
    要素を個々に重み付けすること、 重み付けされた要素の組み合わせを基礎に少なくとも１
    つのパターンカテゴリを選択すること、 少なくとも１つの選択されたパターンカテゴリに応答し
    て、テンプレート乃至予想パターンを生成して、該パタ
    ーン生成ユニット（F1）に供給すること、 入力パターンと予想パターンとの間の要素の一致に関す
    る決定を生成して、上記決定が、閾値を越えたか否かを
    検出すること、 上記決定が閾値を越えたとき、少なくとも１つの選択さ
    れたパターンカテゴリに関する予想パターンの要素及び
    出力パターンの要素の重み付けを修正して、入力パター
    ンと予想パターンに共通する修正された予想パターンを
    規定する要素を保持し、他のこのような全ての要素の軽
    減し、 上記決定が閾値を越えないとき、代わりのパターンカテ
    ゴリを選択して、代わりの選択されたパターンカテゴリ
    を利用して、新たな予想パターンを生成すること を含むことを特徴とする方法。
17. 【請求項１７】上記決定が、入力パターンと予想パター
    ンとに共通する要素のパターンである一致パターンから
    生成される請求の範囲16記載の方法。
18. 【請求項１８】上記決定が、入力パターンの数に対する
    上記入力パターンと予想パターンに共通する要素の数を
    決定することによって生成される請求の範囲第16項又は
    第17項記載の方法。
19. 【請求項１９】出力パターンの要素の重み付けが、入力
    パターンと予想パターンに共通する要素の数に反比例す
    るように修正される請求の範囲第16〜18項いずれか１項
    に記載の方法。
20. 【請求項２０】１以上の識別し得る要素を有する入力パ
    ターンを識別し、カテゴリ分けする自己組織パターン認
    識システムにおいて、 入力パターン（12）を受け取り、この入力パターンの要
    素に対応した出力パターンを生成するパターン生成ユニ
    ット（F1）と、 複数のパターンカテゴリの各々に関して上記出力パター
    ンの要素を個々に重み付けする適応フィルター手段（1
    4）と、 重み付けされた要素の組み合わせに応答して、少なくと
    も１つのパターンカテゴリを選択するカテゴリ選択ユニ
    ット（F2）と、 選択された少なくとも１つのパターンカテゴリに応答し
    てテンプレート乃至予想パターンを生成し、該パターン
    生成ユニット（F1）に供給するテンプレート手段（16）
    と、 上記入力パターンの複雑性に関する上記入力パターンと
    上記予想パターンとの間の要素の一致に関する決定を生
    成する手段（18）と、 上記決定が閾値を越えたとき、上記少なくとも１つの選
    択されたパターンカテゴリに関する上記出力パターンと
    上記予想パターンの要素の重み付けを修正し、上記決定
    が閾値を越えかなったとき、代わりのパターンカテゴリ
    を選択して、代わりのパターンカテゴリを利用して、新
    たな予想パターンを生成するする修正手段と を具備することを特徴とする自己組織パターン認識シス
    テム。
21. 【請求項２１】１つ以上の識別し得る要素を有する入力
    パターンを識別し、カテゴリ分けするパターン認識方法
    において、 入力パターンの要素に応答して出力パターンを生成する
    パターン生成ユニット（F1）に入力パターンを供給する
    こと、 複数のパターンカテゴリの各々に関して出力パターンの
    要素を個々に重み付けすること、 重み付けされた要素の組み合わせを基礎に少なくとも１
    つのパターンカテゴリを選択すること、 少なくとも１つの選択されたパターンカテゴリに応答し
    て、テンプレート乃至予想パターンを生成して、該パタ
    ーン生成ユニット（F1）に供給すること、 入力パターンの複雑性に関する入力パターンと予想パタ
    ーンとの間の要素の一致に関する決定を生成して、上記
    決定が閾値を越えたか否かを検出すること、 上記決定が閾値を越えたとき、少なくとも１つの選択さ
    れたパターンカテゴリに関する予想パターンの要素及び
    出力パターンの要素の重み付けを修正し、上記決定が閾
    値を越えないとき、代わりのパターンカテゴリを選択し
    て、代わりの選択されたパターンカテゴリを利用して、
    新たな予想パターンを生成すること を含むことを特徴とする方法。