JPS63501455A - パターン認識システム及び方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 バ　−ン孟：シスーム 政府０末隈 米国政府は、次の契約の下において本発明に対し権利を有する。

ＡＦＯ３Ｒ８５−０１４９ ＮＳＦ　ＤＭＳ−８４−１３１１９ ＡＦＯ３ＲＦ−４９−６２０−８６−Ｃ−００３７ＡＲＯＤＡＡＧ−２９−８５ −ＫＯＯ９５ＮＳＦ−ＩＳＴ−８４１７７５６ 圃違昌肌 これは、１９８５年１１月２７日出願の［カテゴリイＣｃａｔｅｇｏｒｙ　）学 習及び認識の神経勧学（ＮＥＵＲＡＬ　ＤＹＮＡＭＩＣ８）（注意、記憶強化、 及び記憶消失）」と題する米国特許出願第８０２．５７６号の一部継続出願であ る。

区迷に行撫 次の刊行物は、本発明の特徴を記載しており、そして参照によりここに編入され る。７ カーペンター（ｃａｒｐｅｎｔｅｒ）、Ｇ、Ａ、とグロスベルブ（ｇｒｏｓｓｂ ｅｒｇ）、Ｓ。

著、カテゴリイ学習及び適応パターン認識：神経網モデル、１９８６年、応用数 学と計算についての第３回陸軍会議の議事録、ＡＲＯレポート８６−１、ベージ ３７−５６．　カーペンター、Ｇ、Ａ、とグロスベルブ、Ｓ、著、カテゴリイ学 習及びｆ！！識の神経勧学：注意、記憶着生及び記憶消失、ジェー・デーヴイス 、アール（Ｊ、　Ｄａｖｉｓ、　Ｒ，）ニューバーブとイー・ヴエグマン（ａｉ 集）、頭脳構造、学習及び記憶、１９８７年ＡＡＡＳシンポジウム・シリーズよ り、　カーペンタ−１Ｇ、Ａ、とグロスベルブ、Ｓ、著、カテゴリイ学習及び認 識の神経勧学：構造不変量、強化、及び誘発電位、エム・エル・コモンズ、ニス ・エム・コスリンとアール・ジェー・ヘルンシュタイン（編集）、動物、人間、 及び機械におけるパターン認識及び概念、ヒルスデイル（Ｈｉｌｌｓｄａｌｅ） 、ニュージャージー二アールバウム、１９８７年。

カーペンター、Ｇ、Ａ、とグロスベルブ、Ｓ、著、適応共鳴理論二人カバターン の任意リストに応答する神経認識コードの安定自己組織、認識科学協会の議事録 、１９８６年。

カーペンタ−１Ｇ、Ａ、とグロスベルブ、Ｓ、著、自己Ｍｆｆｉ神経パターン認 識機械に対する大規模並列構成、コンピュータ視覚、グラフィックス、及び画像 処理、１９８７年。

カーペンター、Ｇ、Ａ、とグラフィックス、Ｓ、著、連想学習、適応パターン認 識、及び神経網による競合意志決定、ハイブリッド及び光学計算方式、エッチ・ スズ、編集、５ＰＩＥ、１９８６年、　カーペンタ−１Ｇ、Ａ、とグロスベルブ 、Ｓ、著、自己組織神経網による認識コードの絶対的安定学習、避寒会議の議事 録、米国物理学協会、１９８６年。

賢東 聴覚又は視覚パターンの如く、パターンを受信し、かつ、これらのパターンを特 定数のカテゴリイに類別するためのＩ！楕を自動的に発展させるために、種々の システムの開発が要望され、種々の理論が提案されてきた。その後そのようなシ ステムは、パターンが前に確立されたカテゴリイに属するか否かを認識しなけれ ばならない０例えば、システムは、各々がアルファベットの異なる文字に対応す る２６個のカテゴリイを認識する。学習過程中、システムは、各カテゴリイ内に おいてさえも異なる一連の入カバターンを受信するかもしれない、パターンの類 別が必要とされないパターンの要素は、雑音として拒否されなければならない。

カテゴリイ学習の１つの理論は、スティーヴン・グロスベルブ（ｓｔｅｐｈ６ｎ 　ｇｒｏｓｓｂｅｒＢ＞によって提案されたが、１９８４年度のニューヨーク科 学学会の会誌、４２５巻、′　び　：事象　イ　によ　、［発生、認識と動機性 は理論の精神生理学と薬理学の相互関係」において記載されている。その理論の 下で、入カバターンは、短期記憶に記憶され、そしてパターンは、カテゴリイを 選択するために、適応フィルターを通して適用される１選択されたカテゴリイは 、別の短期記憶に保持されるが、適応フィルターの並列セットを通ってそのカテ ゴリイに対応する予期パターンを生成する。予期パターンと入カバターンとの間 の相応関係は、入カバターンが最初に選択されたカテゴリイに属するか否かを決 定する。

対応するならば、適応フィルターは、入カバターンによって提供された情報を反 映するように修正される。入カバターンが選択されたカテゴリイに属さないなら ば、このシステムは、カテゴリイと関連する適応フィルターの修正を止め、そし て新カテゴリイを選択する。

本発明は、最初のグロスベルブ理論の動作可能機械アーキテクチャ−の展開に基 づく。

北咀Ω圃示 適応パターン認識のための、適応共鳴理論（ＡＲＴ）アーキテクチャ−と呼ばれ るネットワークが、以下に記載される。アーキテクチャ−は、任意の多数でかつ 任意に複雑な入カバターンの任意の順序に応答して、その認識コードを自己組織 しかつ自己安定させる。トップ・ダウン注意及び一致機構（ａｔｔｅｎｔｉｏｎ ａｌ　ａｎｄ　ｍａｔｃｈｉｎ８ｓｅｃｈａｎｉｓ＠）が、コード学習過程を自 己安定させる際に重要である。アーキテクチャ−は、学習過程が進展する時、そ の有効性を維持するために、適応してそれ自身を更新する自己調整並列探索８１ 楕を組み入れている。学習が自己安定した後、探索過程は、自動的に解放される 。以後、入カバターンは、探索なしに、それらの認識コードを直接にアクセスす る。こうして、認識時間は、コード複雑性の間数として増大しない、新規の入カ バターンは、そのカテゴリイのありふれた典型のセットと不変な性質を共有する ならば、カテゴリイを直接にアクセスする。これらの不変な特性は、学習された 限界機能パターン、即ち原型の形式において現れる。アーキテクチャ−は、発生 する限界機能パターンを形成可能にする文脈依存自己基準化特性を所有する。そ れらは、今までに軽験されたすべての入カバターンのセットから導出される機能 要素の統計的に予測される構成を検出しかつ記憶する。４つの形式の注意過程（ ａｔｔｅｎｔｉｏｎａｌ　ｐｒｏｃｅｓｓ）−プライミング（ｐｒｉｍｉｎＨ） 、ゲイン制御、覚醒（ｖｉＨｉ　１ａｎｃｅ）、及びインターモーダル競合−は 、機械論により特徴付けされる。トップ・ダウンのブライミングとゲインｐノ御 は、コード一致と自己安定化のために必要とされる。注意覚醒は、学習されたカ テゴリイの細分程度を決定する。覚醒が、環境拒絶により増大するならば、シス テムは、より微細な認識力テゴリイを自動的に探索しかつ学習する。新井線形一 致法則（２／３規則）と新井線形関連法則（ウェーバ−の法則、連合崩壊規則、 及びテンプレート学習規則）が、これらの特性を達成するなめに必要とされる。

規則のすべては、並列ネットワーク相互作用の発生特性を記述する。アーキテク チャ−は、雑音、飽和、容量、直交性、及び代りの認識モデルによって安定に学 習されるコードを制限する線形予測可能性の制約を回避している。ＡＲＴシステ ムは、探索又は更に他の学習を受けることなしに、その原型と一貫しないすべて の入カバターンを拒否するように準備される。

本発明によれば、入カバターンの複数の入力要素が、自己組織パターン認箆シス テムに適用される。入力要素は、複数のカデゴリイの各々に関して要素を個々に 重みを付ける適応フィルターを通して処理される。

各カテゴリイは、雑音を消去して入カバターンから導出されたパターンを学習す るために利用される。各カテゴリイに対して、適応フィルターは、重み付けされ た入力要素の組み合わせを表すカテゴリイ選択指示を提供する。それから、カテ ゴリイの少なくとも１つが、組み合わされた重み付は信号の大きさに基づいて選 択される。

各カテゴリイは、テンプレートを通り予期パターンを規定する。初期的に、各カ テゴリイは、すべての可能な要素を含む予期パターンを規定する。選択されたカ テゴリイからの予期パターンは、２つの一致を検出するために入カバターンと比 較される。入カバターンにおける要素数によって規定されることができるパター ン複雑性に関して一致を重み付けすることによって、システムは、カテゴリイ化 決定において自己基準化する（＋ｅｌｆ−ｓｃａｌｉｎｇ）、好ましくは、一致 は、予期と入カバターンとの間の交差である一致パターンから決定されることが できる。一致パターンにおける要素数は、相対的一致を提供するために、入カバ ターンにおける要素数と比較されるとかできる。

充分な一致が検出されれば、適応フィルターと、選択されたカテゴリイに対する 記憶された予期パターンとが修正される。入カバターンと予期パターンとの間の 共通の要素は、保持され、そしてすべての他の要素は、重視されない、特に、高 速応答システムにおいて、非−数要素は、選択されたカテゴリイに対する適応フ ィルターにおいてゼロ重み（ｚｅｒ。

ｗｅｉｇｈｔ）を提供され、そして−数要素は、選択されたカテゴリイに対する 適応フィルターにおいて重く重みイすけされる０選択されたカテゴリイによって 以後生成されるパターンは、前の予期パターンと入カバターンの交差である。

充分な相対的一致が検出されないならば、他の代りのカテゴリイは、適応フィル ター又は前に選択されたカテゴリイに関する予期パターンを修正することなく、 選択される。それがら、他の代りのカテゴリイは、入カバターンと比較される他 の代りの予期パターンを生成する。

こうして、システムは、予期パターンが、入カバターンと充分な相対的一致を提 供して選択されるまで、適応フィルターにおいて前学習された重み（＠ｅｉｇｈ ｔ）によって決定された順序で、多数の前に規定された予期パターンを選択する 。それから、予期パターン及び入カバターンと共通しない要素は、特定のカテゴ リイに対して適応フィルターを修正し、がつそのカテゴリイから予期パターンを 再規定する際に、雑音として取り扱われる。

将来の重み（４ｕｔｕｒｅ　ｗｅｉｇｈｔ）が前に予期されたパターンと入カバ ターンとの間の交差における要素数に反比例する如く、適応フィルターは、一致 が検出された時、修正される。こうして、サブセットとスーパーセットの両方が 、学習され、そして適応フィルターを通り直接にアクセスされる。

好ましいシステムにおいて、予期パターンと入カバターンとの間の一致を示す一 致パターンが、短期記憶（ＳＴＭ）において生成される８相対的一致は、一致パ ターンを入カバターンと比較することによって決定される。予期パターンが、一 致パターンを生成するために受信される前には、一致パターンは、パターンが記 憶される短期記憶に適用された高ゲインを有する入カバターン自身である。以後 、予期パターンがまた短期記憶に適用される時、ゲインが減少され、かつ、予期 パターンが入カバターンの上に重ねられる。入カバターンと予期パターンの両方 に見い出されるこれ等の要素のみが、一致パターンの要素と考えられるのに充分 なレベルに対し結合されることができる。　リセット関数は、入カバターンにお ける要素数に関する、予期パターンと入カバターン（一致パターン）の間の交差 における要素数として規定される。覚′ｖｌ（ｖｉＨｉ　１ａｎｃｅ）パラメー ターは、一致パターンに適用されたゲインに関する、入カバターン要素に適用さ れたゲインの比として規定されることができる。覚醒パラメーターは、システム に対してセットされ、そしてリセット関数が覚醒パラメーター以上であるかそれ に等しい限り、一致は、他の代りの選択に対するリセットを抑止するために充分 であると考えられる。リセット関数が不充分であるならば、別のカテゴリイが、 定数と予期パターンにおける要素数の和（ｂ）に対する、定数と一致パターンに おける要素数の積（ａ）の比として規定される順序関数により選択される。　覚 醒は、システムによって提供された組繊が、外部要求事項に対応しない場合、外 部入力によって変更される。こうして、システムは、より覚醒であると教示され ることができる。

システムは、入カバターンによって選択される特定パターンを予期するために、 入カバターン以外の基礎を有する。その場合、予期パターンは、入カバターンの 受信前にも、選択されたカテゴリイから生成される。

それから、相対的一致が決定され、そして選択されたカテゴリイが、受容又は拒 否される。

区眞の囚熊欠求咀 本発明の前述及び他の目的、特徴、及び利点は、同じ参照文字が同じ部分を指示 している添付図面に示された如く、本発明の好ましい実施態様の次のより特定な 説明から明らかとなるであろう。図面は、必ずしも尺度で記される必要はなく、 代わりに、本発明の原理を示すことに強調が置かれている。

第１図は、本発明を具体化するシステムを示すブロック図。

第２図は、第１図のシステムによる典型的パターンの処理を示す図。

第３図は、第１図のシステムにおけるパターンの処理の例をさらに示す図。

第４図は、第１図の記憶Ｆ、とＦ２との間の適応フィルター要素の概略図。

第５図は、サブセットとスーパーセットパターンに対するシステムの応答の概略 図。

第６図は、入カバターンと予期パターンとの間の可能な関係を示す図。

第７図は、２重３規則が呼び出される場合と呼び出されない場合の第１図のシス テムによるカテゴリイ学習を示す図。

第８図は、第１図のシステムを使用するカテゴリイ探索を示す図。

第９図は、第１因のシステムによる探索の順序を示す別の図。

第１０図は、システムが可変複雑性の入カバターンから雑音を区別する方法を示 す図。

第１１図は、覚醒の種々のレベルを有するシステムの応答を示す図。

第１２図は、異なる覚醒レベルにおけるシステムの動作を示す別の図。

好ましい実施態様の説明 本発明を具体化するシステムが、第１図に示されている０本発明は、任意の形状 のパターンに適用されるが、パターンが、画素（ピクセル）の２つのデイメンシ ョナルアレイを含む視覚パターン認識システムに関して説明する。さらに、本シ ステムは、各ピクセルが広範囲の強さレベルを取るグレイトーン（ｇｒａｙ　ｔ ｏｎｅ）・パターンで使用されるが、大部分は、各ピクセルが、高い又は低い値 を有するビット指向システム（ｂｉｔ。

ｒｉｅｎｔｅｄ　ｓｙｓｔｅｍ）に関して説明する。

入カバターン■は、バッファー記憶１２内に記憶される。入カバターンは、バッ ファー１２から短期記＋ｆｌ　（Ｓ　Ｔ　Ｍ　）　Ｆ　＋に適用され、そこから 適応フィルター１４を通って第２短期記憶Ｆ２に適用される。適応フィルター１ ４を通る、入カバターンによって選択されたカテゴリイ（ｃａｔｅｇｏｒｙ）は 、Ｆ、に保持され、そしてテンプレート（ｔｅｍｐｌａｔｅ）として役立つ適応 フィルター１６の第２セツトを通り、そのカテゴリイに対する予期パターンを生 成する。それから、予期パターンと入カバターンの間の一致が、以下に説明され ている如く、Ｆ、において決定される。

説明される指向システム（ｏｒｉｅｎｔｉｎｇｓｙｓｔｅｍ）、Ａを通り、シス テムは、一致が、入カバターンを選択されたカテゴリイ内にあるとして識別する のに充分であるか否かを決定する。入カバターンが選択されたカテゴリイになけ れば、そのカテゴリイは、Ｆ、においてディスエーブルされ、そして別のカテゴ リイが選択される。指向サブシステム１８が、入力を選択されたカテゴリイ内に あるとして識別するならば適応フィルター１４と１６は、そのカテゴリイを選択 するパターンを再規定し、かつカテゴリイから予期パターンを再規定するために 、Ｆ、において保持された一致パターンに従って修正される。

システムの動作実施例が、第２図と第３図に例示されている。第２Ａ図において 、入カバターンＩは、初期にＦ、に記憶される。適応フィルター１４を通り、Ｆ 、におけるパターンは、Ｆ２におけるカテゴリイを選択する。この実施例におけ る選択されたカテゴリイは、Ｆ２，１６において示された予期パターンを示すた めに、テンプレート１６によって予め規定されている。第２ｂ図に示された如く 、それから、予期パターンは、Ｆｔに適用され、そして入カバターンと予期パタ ーンの間との交差を示すパターンが、生成される。それから、その一致パターン は、入カバターンと共に、指向サブシステム１８に適用される。指向システムは 、入カバターンにおけるビクセル数に関する一致パターンにおけるピクセル数が 、選択されたカテゴリイにおいて、入カバターンをカテゴリイにするために充分 な入カバターンと予期パターンの間の相関を示すか否かを決定する。第２図に示 された場合では、指向サブシステム１８は、充分な一致が得られなかったことを 決定し、そしてＦ２において選択されたカテゴリイをディスエーブルする。それ から、このシステムは、他の力テゴリイを選択する。第２図によって示された動 作において、次に選択されたカテゴリイは、前に規定されなかったものであり、 そのため、予期パターンは、完全ビクセル配列である。第２Ｃ図に示された如く 、完全ピクセル配列と入カバターンとの間の交差は、入カバターン自身である。

一致パターンにおけるピクセル数が、入カバターンにおけるピクセル数に同一で あるから、システムは、入カバターンが、選択されたカテゴリイに関し識別され るべきであることを指示する。指向システムは、選択されたカテゴリイをディス エーブルせず、そして第２Ｄ図に例示された如く、選択されたカテゴリイにおけ る予期パターンは、適応フィルター１４と１６により一致パターンによって再規 定される。

第３図は、入カバターンによって最初選択されたパターンが、第３Ａ図のＦ２． １６に例示されたちの如く前に規定されている別の動作を示す、一致パターンは 、Ｆ、において例示されている。この場合、システムは、一致パターンと入カバ ターンとの間の充分な対応関係（ｅｏｒｒｅｓｐｏｎｄｅｎｃｅ）を示し、そし てパターンは、第３Ｂ図に示された如く、一致パターンによって再規定される。

適応フィルター１４は、第４図に概略的に示されている　Ｆ、におけるパターン は、パターンのピクセルに対応する複数のノード２０．２】、２２．２３、と２ ４にある。第４図において、丁度２以上のレベルが提供されるので、グレイトー ン・パターンが取られる。Ｆｌにおける各ノードの各ピクセルのレベルは、適応 フィルター１４を通り、Ｆ２における各ノード２５．２６．２７、と２８に適用 される。Ｆｔにおける各ノードが、カテゴリイを表わす、従って、例えば、アル ファベットが類別されれば、２６ノードが提供される。Ｆｔにおける各ピクセル ・ノードからの信号は、各カテゴリイノードに適用される時、フィルター１４の 適応フィルター要素３０によ、って重み付けされる。異なる重みが異なる大きさ の端子３０によって例示されている０重みがゼロである場合には、Ｆｌのノード とＦ２のノードとの間に、ラインは示されなかった０重みは、入カバターンへの 学んだ応答に適応し、そしてそれから、適応フィルター長期記憶（ＬＴＭ）の要 Ｆ：３０として保持される。第４図の例示において、ノード２１と２２からそれ 等のそれぞれの適応フィルター要素を通りノード２６への信号は、最大の大きさ に合計され、こうしてノード２６のカテゴリイが、初期に選択される。

Ｆ、のノードからＦ、のノードへの各適応フィルターに対し、Ｆ、のノードから Ｆ、のノードへのフィルター１６の対応ＬＴＭ３！［応フィルター要素がある。

それは、予期パターンを規定する適応フィルター要素である。適応フィルター３ ２を通って、下方に選択ノード２６に適用された信号３４から、パターンが、第 ４Ｂ図に示された如く、ピクセル２１と２２において形成される。■示された如 く、新パターンは、Ｆ、における初期入カバターンにおけるものとは異なるピク セルのセットを含み、そしてグレイコード・システムにおいて、それぞれのピク セルにおけるレベルは異なる。

ｔＡ１図に提供された方向付けを考える時、Ｆ、からＦ、への適応フィルター経 路は、ボトムアップ経路と呼ばれ、そしてＦ２からＦｌ／＼のそれらは、トップ ダウン経路と呼ばれる。

第４Ａ図においてＦ２で示されたパターンは、囃−力テゴリイノードにおける信 号３４である。しかし、アクティビティのパターンは、４つのノードにおいて増 進され、且つＦ、における信号の各又は選択されたものが、適応フィルター１６ によりＦｌに適用された予期パターンに寄与することが認識される０本説明は、 最大入力を受信するノードのみが選ばれ、かつそのノードのみが短期メモリＦ２ にアクティビティを記憶できるコントラスト向上の特殊の場合に適用される。コ ントラスト向上のより一鍛的バージョン（ｖｅｒｓｉｏｎ）は、コーエン、Ｍ、 Ａ、とグロスベルブ、Ｓ、著、「音声及び言語符号化の神経勧学２允生プログラ ム、知覚分類、及び短期記憶に対する競合」、人間神経生物学、（１９８６年、 第５巻、１−２２ページ）、及びグロスベルブ、Ｓ、著、［行動における逐次適 応自己組織：音声、言語、及び運動神経制御」、人間と橘械によるパターンＨＢ Ｈ１第］巻、音声知覚、イー・シー・シュワブとエッチ・シー・ナスバウム＜ｍ ｓ＞、ニューヨーク：アカデミツク・プレス、１９８６年、１８７−２９４ペー ジ、において提示されている。

予期パターンが適応フィルター１６を通り提供され、かつ一致が入カバターンに 関して決定されるまで、指向サブシステム１８は、選択されたノードをディスエ ーブルしないことが重要である。この目的のため、Ｆ、において初期的に保持さ れたパターンは、入カバターン自身である。

予期パターンが提供される時、その結果得られた一致パターンは、予期パターン と入カバターンの間の交差である１本システムにおいて、この結果は、ゲイン制 御３８により得られる。

信号４０が、入カバターンが受信されていることを指示し、かつ、信号４２が、 予期パターンが発生されていないことを指示する時、ゲイン制御は、Ｆｌの入カ バターン側において受信されたパターンの各ビクセルに対し、非特定の高いゲイ ンを提供する。しかし、予期パターンが生成される時、ライン４２における信号 は、ゲイン制御３８からＦ、に適用されたゲインを消去するために、ライン４０ における信号から減算される。適用されたゲインがないと、入カバターン・バッ ファー１２乃至Ｆ、に供給されたビクセル信号は、出力ライン４４において一致 パターンを生成するために、それら自身では充分でない、しかし、適応フィルタ ー１６から受信された信号は、入カバターンからの信号とビクセル毎に合計され る。予期パターンと入カバターンの両方から入力を受信するビクセルは、一致パ ターンにおいてしきい値に達する。しかし、Ｆ、４こおけるノードが、入カバタ ーンからの信号のみ、又は予期パターンからの信号のみを受信するならば、その ビクセルに対する信号は、一致パターンにおいてしきい値に達しない、結果とし ては、一致パターンが、入カバターンと予期パターンの間の交差になる。こうし て、上記のシステムは、入カバターン、予期パターンとゲイン制御の各々からの ３つの入力の２つが受信される２／３規則を実現することが解る。

パターン要素が、２進値を有する場合には、一致パターンは、入カバターンと予 期パターンの完全交差になる。しかし、グレイトーン（ｇｒａｙｔｏｎｅ）が使 用される場合、一致パタｉンは、完全交差内に包含される部分的交差である。２ つのパターンにおける対応要素の１つ又は両方が、低い値を有する場合、それら の値の合計は、一致パターンにおける要素をトリガーするために充分でない。

２／３規則（Ｒｕｌｅ）の自己安定化のために、一致パターンの各要素は、入カ バターンと予期パターンの両方において見い出される。一致パターンは、学習（ １ｅａｒｎ　ｉｒ＋Ｈ）を制御するが、予期パターンにない要素の強調を引き起 こさない、一致パターン内のすべての要素は、適応フィルター１４と１６に保持 される。一致パターンにないすべての要素が、選択されたカテゴリイに関するフ ィルター重みを減らすことによって軽視される。

高速学習システムにおいて、重みは、即座にゼロに減少される。Ｆｘに対するゲ イン制ｍ４６は、入カバターンが受信されない時、Ｆ、におけるすべての短期記 憶（ＳＴＭ）アクティビティを終了させる。しかし、システムの意図的なプライ ミングを考慮して、ゲインは、入力４８により作動される。システムが、選択さ れるべきカテゴリイが特別のものであることの期待から、入カバターン以外の基 礎を有するならば、信号は、そのカテゴリイに対するＦ２におけるノードに適用 される。こうして生成された予期パターンは、ゲイン制御３０を抑止し、そして 第２人力が入カバターンから提供されるまで、一致パターンが生成されない、シ ステムのそのようなプライミングは、一本化している０例えば、視覚力テゴリイ システムは、聴覚システムによって認識されるカテゴリイに対しては準備されな い。

プライミングは、雑音に対する高速かつ正確な応答及び／又は非常に高速な入力 を可能にする。それはまた、学習の順序を指示する０例えば、視覚システムは、 覚醒のレベルにおいて、赤又はオレンジとして色を適切に類別する。聴覚システ ムは、学習過程において、他のカテゴリイに優るカテゴリイ選択をするように視 覚システムに情報を提供する。

学習規則（ＬｅａｒｎｉＢ　Ｒｕ１ｅ）本システムの１つの見地は、次の状態を 考察することによって動機付けされる。ボトムアップ入カバターンｉｌｌ＋が、 好ましくは、すてにＦ。

からＦ２への適応フィルターによってコード化されているとする。さらに、別の パターン１′２）が、好ましくは、すでにコード化されており、かつ、工１２＋ が■ｉｌ＋をサブセットとして含むとする。即ち、１１２）は、１ｕ＋が正であ るすべてのノードにおいてＩＮ＋に等しい　Ｉｌｌ１と１１２１が充分に異なる ならば、それらは、Ｆ２における別個のカテゴリイにアクセスを有するべきであ る。しかし、）　ｆ２１が交差において７Ｎ＋に等しく、かつ、■（２）が■１ 言）に等しくないＦ、ノードのすべてが、Ｉｉｌ＋が提出される時、非アクティ ブであるために、ｌ　Ｉｌｌが提出される時、ネットワークは、どのようにして ２つのカテゴリイのどちらか一つを決定するであろうか、この問題は、完全位コ ード化されている入カバターンＩ（目に応答して、ＩＬ′′をコード化するＦ、 におけるノードＶ、は、ｉｌｌのスーパーセットｌ　１２１をコード化するノー ドｖ２よりも適応フィルターからより大きな信号を受信するべきであることを示 唆する（第５Ａ図〉。

この制約を実現するために、■ＬＩ′をフィルターするＦ２におけるＬＴＭトレ ースは　ｉｌｌをフィルターするＶ、におけるＬＴＭ）レースよりも小でなけれ ばならない、Ｆ２におけるＬＴＭ）−レースは、スーパーセット・パターンＩｆ ２１によってコード化されるので、この制約は、大形入カバターンが小形ＬＴＭ ）レースによってコード化されることを示唆する。こうして、異なるノードｖＩ とＦ２に投影されるＬＴＭ）レースの絶対サイズは、これらのノードによってコ ード化された入カバターンｌ　ＩｌｌとＩ′２′の全体サイズを反映する。

単一ノードに投影されるＬＴＭ）レースの相対的サイズは、そのノードによって コード化された入カバターンの内部構造を反映する０例えば、Ｊｕｌがゼロに等 しいＦ、ノードからＦ、ノード■１への経路におけるＬＴＭトレースを考える（ 第５Ｂ口）、■ｌｌ＋の学習中、これらのＬＴＭトレースは、ゼロに減衰する。

対照的に、■（１）ではな（）１１によって活動化されるＦ１セルからの経路に おけるｖ２に対するＬＴＭ）レースを考える。これらのＬＴＭＩ−レースは、■ ｔｘ＋の学習が進行するにつれて大になる。

前述の論述は、サブセラ）−１＋１３に、スーパーセット■１２′に対応するノ ードよりもむしろ、ノード■１を選択的に活動化可能にする制約を示唆する。一 方、スーパーセット１１２）は、サブセットＩ（１）のノード■１よりもむしろ 、ノードＶ２を直接に活動化可能でなければならない。しかし、Ｖｌの正のＬＴ Ｍｌ−レースは、■、の対応するＬＴＭ）レースよりも大であり、そしてＩＩＩ の提示は、全サブセット・パターン■（１）を活動化する　（＋２１が、■１に おけるよりもより多くの■、における１７Ｍトレースによってフィルターされる という事実は、■１における１７Ｍトレースの大形サイズを補償可能でなければ ならない、サイズと正のし’Ｉ”Ｍ）レース数との間の適正な平衡を確立するこ とによって、ウェーバ−の法則（Ｗｅｂｅｒ　Ｌａｗ　Ｒｕ１ｅ＞は、７１１＋ とｌ　１２１の両方に、それ等のそれぞれのノードＶ１とＶ２に対し直接アクセ スを有することを可能にする。

１、ＴＭ）レースがサブセット及びスーパーセットＦｌコードの両方を直接アク セス可能な２つの学習規則（ｌｅａｒｎｉｎｇ　ｒｕｌｅｓ）をさらに正確に説 明する。ウェーバ−法則と１７Ｍトレースの学習されたサイズに対する連合崩壊 規則の共同動作は、所望の特性を有する。考えを固定するために、Ｆ、に対する 各入カバターン１は０と１のパターンであるとする。

ＩＩＩは、入カバターン■における１の数を表わすとする。２つの規則は、次の 如く要約される。

連合崩壊規則（Ａｓｓｏｃｉａｔｉｖｅ　Ｄｅｃａｙ　Ｉｔｕｌｅ）により、■ の学習が行われた後、非アクティブＦｌノードとアクティブＦｌノードとの間の ボトムアップ・コード化経路とトップダウン・テンプレート経路の両方における ＬＴＭ）レースはＯに等しいか、又は少なくとも非常に小さい、こうして、ＬＴ Ｍ　トレース内の連合学習（Ａｓｓｏｃｉａｔｉｖｅ　ｌｅａｒｎｉｎｇ）は、 トレースのサイズにおける増大と共に減少を引き起こす、これは、連合学習の非 ヘヴイアン（ｎｏｎ−Ｈｅｂｂｉａｎ）形式である。　ウェーバ−法則の下で、 入カバターン■を学習後、アクティブＦ、とＦ、ノードに対応するボトムアップ ・コード化経路におけるＬＴＭ）レースは、次式に等しい。

（１）により、工をコード化する各正のＬＴＭ）レースのサイズは、Ｉｌｌが増 大する時減少する。　再びサブセット１＋＋＋とスーパーセットＩ３２＋を考え る。（１）により、ｌ　１１１をコード化する正のＬＴＭ）レースは、次のサイ ズを有する。

ｌ　＋２１をコード化する正のＬＴＭ）レースは、次のサイズを有する。

この場合１１ｕ＋　１　＜Ｉ　Ｉ＋２１１である　ＪｌｌｌがＦ、に提出される 時、Ｆｌにおける１Ｉｌｌｌｌノードは、しきい値の上である。こうして、■１ に対する全体入力は、次のサイズを有する。

Ｊｌｌ　＝　αｌＩ′目＋　＜４） そしてＶ２に対する全体入力は、次のサイズを有する。

ｌ　ｌ１ｌｌｌ（ｌ　ｌ１ｌｌｌであるから、Ｊｕ＞Ｊｌｚとなる。こうして、 Ｉｏｌは、Ｖ？の代わりに■１を活動化（ａｃｔｉｖａｔｅ）する。

１１２１がＦｌに提供される時、Ｆｌにおけるｌｌ′２＋１ノードは、しきい値 の上である。こうして、■２に対する全体入力は、次式である。

Ｊ２２　＝　αＩＩ”＋　（６） 全連合崩壊規則を呼び出す　ｌ　＋２１は、ｌ　Ｉｌｌのスーパーセットである かおける正の１７Ｍトレースに投影される。こうして、■、に対する全体入力は 、次式になる。

Ｊ２１　＝　α１１”’＋　（７） Ｊ２２とＪ２１の両方は、次の関数の式で表現される。

Ｗ（ξ）　＝　αξ　（８） これは、ξの増加関数である　ｌ　Ｉｌｌ　、　］　＋２１であるために、Ｊｔ ２Ｊ２１である。こうして、スーパーセットＩ＋２１は、サブセット・ノード■ １に優先してノードｖ２を活動化する。

学習のコースを特徴付けるために、各学習試行（ｆｅａｒｉｎｇ　ｔｒｉａｌ） におけるＬＴＭ）レースの変化率が指定されなければならない、ここで、すべて の学習試行において、ＬＴｒ％１トレースが、その試行における入カバターンに よって課せられる新平衡値に達することができる場合を考える。

これらを高速学習ケースと呼ぶ、また、１７Ｍトレースが非常に遅く変化し、単 一試行における入カバターンによって課せられる新平衡値に達しない場合も考え る。これらを低速学習ケースと呼ぶ。

高速学習と低速学習の両方中、ＳＴＭ）−レースは、ＬＴＭ）レースよりもより 急速に変化し、そして学習過程は、最終的に自己安定化する。

しかし、システムは、低速学習中よりも高速学習中に入カバターンの順序により 感応する。低速学習中、各ＬＴＭ）レースは、単一試行（ｓｉｎｇｌｅｔｒｉａ ｌ）よりもずっと長い時間間隔に互って平均化され、そしてこれにより入力の順 序に感応的でなくなる。　最後に、２／３規則とウェーバ−法則は、ＳＴＭ）レ ースと１７Ｍトレースの初期値の選択方法を示唆していることに注目する。初期 の８１Ｍトレースの選択は単純である。

システムは、平衡において、又はゼロＳＴＭ）レースにより起動され、モしてＳ ＴＭ）レースは、各入カバターンが遮断された後、急速に平衡に戻る。

初期ＬＴＭ）レースは、トップダウン適応フィルター１６におけるとは別様に、 ボトムアップ適応フィルター１４において選択される必要がある。ウェーバ−法 則により、大形入カバターンに応答して学習された個々のボトムアップＬＴＭ） レースは、比較的小さい、完全コード化大形パターンの提示のために、非コード 化ノードではなく、コード化ノードを直接にアクセスするために、ボトムアップ Ｌ’ｌ”Ｍ）レースの初期値は、大形入カバターンに対応する学習されたＬＴＭ 値よりも小でなければならない、さらに、幾つかのボトムアップＬＴＭ）レース は、初期的にゼロに等しいが、各Ｆ、ノードに隣接する他のＬＴＭ）レースは、 Ｆ。

がそのノードを完全に励起するために、初期的に正でなければならない。

２／３規則により、初期トップダウンＬＴＭ）レースは、あまり小さくできない 、入カバターンが、最初にＦ、ノードを選ぶ時、そのノードのトップダウン・テ ンプレートをゲートで制御するＬＴＭ）レースは、テンプレート学習（ｔｅｍｐ ｌａｔｅ　ｌｅａｒｎｉｎｇ）が行われる前も２／３規則を満足しなければなら ない。トップダウンＬ　Ｔ　Ｍ　）レースが、非常に小で起動されるならば、Ｆ １ノードは、２／３規則を満足するに充分なトップダウン入力を受信しない、そ の結果、全体システムは、遮断される。こうして、トップダウン学習（ｌｅａｒ ｎｉｎｇ−ｂｙ−ｓｅｌｅｃｔｉｏｎ）は、選択による学習の形式である。

要約すると、ボトムアップＬＴＭ）−レースは、小で起動されるが、これに対し てトツプグウンＬＴＭＩ−レースは、大で起動される。ボトムアップ学習とトッ プダウン学習は、時間を通じて、それ等の全体サイズと共に、それらのＬＴＭ） レースの空間的分布を形成する。トップダウンしＴＭ）レースの初期サイズが大 である制約は、２／３規則の結果である。

ボトムアップＬＴＭ）レースの初期サイズが小である制約は、完全コード化Ｆ、 ノードに対する直接アクセスを保証するために必要とされる。

従ってこの後者の制約は直接アクセス規則（Ｄｉｒｅｃｔ　ＡｃｃｅＳｓ　Ｒｕ １ｅ）と呼ばれる。

区寒Ｏ肌ｍ（ｏｒｄｅｒ　ｏｆ　５ｅａｒｃｈ）今、次の制約に従うネットワー クにおいて探索の順序を特徴付けることができる。１）高速学習（ｆａｓｔ　ｌ ｅａｒｎｉｎｇ）が行われる。２）入カバターンが０と１がら構成される。３） ２／３規則が成立する。４）ウェーバ−の法則が成立する。５）直接アクセス規 則が成立する。

探索順序のこの論述は、ＳＴＭリセット事象が、任意に与えられた段階において 探索を停止させるか否かを分析しない、８７Ｍリセットに対する基準は、以下に 提供される。

羊純な関数は、コード化されたＦ２ノード■、が、入カバターンＩに応答して探 索される順序を決定する。この関数は、順序関数と呼ぶが、次の如く規定される 。

ＴＪ−ａ　ｌ　Ｖ”’　ｎ　Ｉ　ｌ　（９＞式（９）において、Ｖ”’は、Ｆ２ のノード■、によって読み出されるト・ノブダウン・テンプレート・パターンを 表わす、一度にただ一つのノードがＦ２においてアクティブであるために、Ｆ、 によって読み出される全体テンプレートは、その時にアクティブであるノードに 対応するテンプレートである。

ＩがＦ、に提供された後、しかしＦ、がアクティブになる前に、（９）における 関数ＴＪは、ノードｖＪに対する全ボトムアップ入力である。

（９）における項α（β＋ｌ　ｖ４Ｊｌ　ｌ　）−１は、ウェーバ−の法則の結 果である。この項は、■、に隣接する正の学習されたＬＴＭＩ−レースのサイズ を記述する０項ｌ　■（Ｊｌｆｉ　ｌ　ｌは、正の学習ＬＴＭ）−レースを有し 、かつ、入カニが提供される時、正の信号を保持するノードＶ、に隣接する経路 の数を記述する。正の学習ＬＴＭ）レースを有する■、に隣接する経路の全体数 は、Ｖ　ｔ　Ｊ　ｌである。Ｆ、におけるノードＶ、からＦ２におけるノード■ 、へのボトムアップＬＴＭ）！／−スが、■、からＶ、への対応するトップダウ ンＬＴＭ）レースが学習（ｌｅａｒｎｉｎｇ）により増大する時に限り、学習に より増大するために、これは成立する。■、につながる経路には、■、からつな がる経路におけると同数の正の学習り、ＴＭ）レースが存在する。入力ＩがＦ、 によって登録される時に、これらの１ＶＬＪｌ＋経路（１）　ｌ　Ｖ”　ｌ”ｌ 　Ｉ　ｌ　ノｈカ活動化される。こうして、Ｆ、におけるノード■、に対する全 入力は、（９）におけるＴ、によって与えられる。

選択されたノード■、から、予期パターンは、Ｆｌに適用される。その予期パタ ーンは、Ｆ、における原パターンにおいてアクティブであったよりも少ないアク ティブ・ビクセルを含み、そして２／３規則の下で、最初にアクティブであった Ｆ、におけるノードの幾つかは、非活動化される。しかし、これらのノードの非 活動化は、選択されたノード■、における受信された値Ｔ、を変更せず、そして こうして選択は安定のままである。これは、トップダウン経路の消去が、ボトム アップ経路の消去と同時に得られるのみであり、かつ、予期パターンによって非 活動化されるＦ１ノードが、選択されたＦ、ノードに対し経路を以前に提供しな かったためである。予期パターンがＦｌにおいて受信される時Ｆ、ノードの非活 動化により、かつ、追加のＦ、ノードの活動化が可能でないことにより、残りの 非選択Ｆ２ノードは、同次又は低次関数Ｔ、を受けとる。

入カバターンＩに応答する探索の順序を論述するために、３つの形式の学習テン プレートを規定する。サブセット・テンプレート、スーパーセット・テンプレー ト、と混合テンプｌ、−）・である。サブセット・テンプレート■のＬＴＭｔ− レースは、入カバターン■によって活動化されるＦ、のサブセットにおいてのみ 大である（第６Ａ図）、スーパーセット・テンプレート■のＬＴＭトレースは、 工によって活動化されない幾つかのＦ、ノードにおけると共に、入カバターンに よって活動化されるＦ、ノートのすべてにおいて大である（第６Ｂ図）、混合テ ンプレートＶのＬＴＭ）レースは、■によって活動化されない幾つかのＦ１ノー ドにおいてと共に、入カバターン■によって活動化されるＦ１ノードのすべてと いうわけではないが幾つかにおいて大である（第６Ｃ図）。

規定されたテンプレートｙ＋ａ＋＝　■がＦ２ノード■、によって読み出されて いる時探索が終了するならば、このテンプレートのＬＴＭ）レースは、新テンプ レートｖ”＝ｖｎｉに再コード化される。この結論は、２／３規則と連合崩壊規 則の共同動作から起こる。セットＶＩにおけるＦ１ノードのみが、２／３規則に より、しきい上（ｓｕｐｒａｌｉｍｉｎａｅ）のままであり、そしてｖＪと非ア クテイブＦ１ノードとの間の経路のＬＴＭ）レースは、連合崩壊規則によりゼロ に収束する。こうして、学習（Ｉｅａｒｎｉｎｇ）が行われた後、サブセット・ テンプレートとして開始されたか否かに拘わらず、アクティブ・テンプレートＶ 　＋　Ｊ　ｌ　＝　Ｖ、スーパーセット・テンプレート、又は混合テンプレート は、入カバターンＩによってサブセット・テンプレートｖ＋　Ｊｌ＝Ｖ　ｎｌに 記録される。このサブセット記録特性は、コード安定化のために重要な必要要件 である。

以下に、サブセット記録特性の重要性について、その不在が一時的な不安定コー ドとなるかを記述によって例示する。

第７Ａ図は、抑制（ｉｎｈｉｂｉｔｏｒｙ＞　）　ツブダウン注意ゲイン（ａｔ ｔｅｎｔｉｏｎａｌｇａｉｎ）制御信号４２が小さく選ばれたので２／３規則が Ｆ、において成立しない不安定コード学習のコンピュータ・シミュレーションを 要約する。第７Ｂ図は、２／３規則の回復（ｒｅｉｎｓｔａｔｅｓｅｎｔ）がコ ード学習をどのように安定化させるかを示すコンピュータ・シミュレーションを 要約する。この図において使用されるフォーマットは、また、他のコンピュータ ・シミュレーションを表示する際に使用される。このため、この図を詳細に説明 する。

第７Ａ図の第１列は、シミュレーションにおいて使用された４つの入カバターン を記載する。これらの入カバターンは、Ａ、Ｂ、Ｃ１とＤとラベル付けされてい る。パターンＢ、Ｃ１とＤは、すべて、Ａのサブセットである。シミュレーショ ン作業を行う入力間の関係は、次の如くである。　ＤＣＣＣＡ、　（１１） ＢＣＡ、　（１２） ＢｎＣ＝ｅ　（１３） ｌＤＩ＜ＩＢＩ＜ＩｃＩ　（１４） こうして、これらの結果は、ちょうど４つの入カバターンのアルファベットが、 ２／３規則なしには安定にコード化されない無限に多数の例を提供する。第２列 にリストされた番号１．２．３、・・・は、提示順序を記す、第３列は、ボトム アップに対してＢＵとラベル付けされているが、各試行において提出された入カ バターンを記載する。第７Ａ図と第７Ｂ図の両方において、入カバターンは、Ａ ＢＣＡＤの順序で周期的に提供された。

第７図のトップダウン・テンプレート列の各々は、Ｆ、における異なるノードに 対応し、列１は、ノードｖｌに対応し、列２は、ノード■２に対応する等である 。各行は、入カバターンに対するネットワーク応答を要約する。記号ＲＥＳは、 共鳴を表し、試行において入カバターンをコード化するＦ、におけるノードを示 す０例えば、■、は、試行３におけるパターンＣをコード化し、そしてＶ、は、 試行７におけるパターンＢをコード化する。与えられた行におけるパターンは、 学習がその試行において行われた後のテンプレートを表わす、　第７Ａ図におい て、入カバターンＡは、周期的に再コード化される。試行１において、それはＶ 。

によってコード化される。試行４において、それは■、によってコード化される 。試行６において、それは■、によってコード化される。試行９において、それ はＦ２によってコード化される。パターンＡをコード化するノード■、とＦ２に おけるこの交互は、無限に反復される。

２／３規則の違反は、試行４．６．８．９等で起こる。この違反は、試行３と４ におけるＦ２のテンプレートを比較することによって例示される。試行３におい て、Ｆ２のテンプレートは、パターンＡのサブセットであるパターンＣによって コード化される。試行４において、パターンＡが、提出され、そしてノードＶ２ を直接に活動化する。２／３規則は成立しないために、パターンＡは、サブセッ ト・テンプレートＣがＦ２から読み出された後も、いきの上（ｓｕｐｒａｌｉｍ ｉｎａｌ）、即ち、しきい値の上である。こうして、探索は、パターンＡとその サブセット・テンプレートＣの不一致によって誘い出されない、その結果、Ｆ２ のテンプレートは、パターンＣからスーパーセット・パターンＡに記録される。

第７Ｂ図において、対照的に、２７３規則は、注意ゲイン制御パラメーターの大 きな選択により成立する。こうして、ネットワークは、最終的に安定化する一連 の記録を行う、特に、試行４において、ノードＶ２は、入カバターンＡと不一致 であるサブセット・テンプレートＣを読み出す１行４におけるテンプレート記号 の下の番号は、探索の順序を記載している。まず、Ｆ２のテンプレートＣは、Ａ と不一致である。それから、■、のテンプレートＢは、Ａと不一致である。最後 に、Ａは、テンプレートＡを学習する時、Ｆ、と共鳴する未遂のノードｖ３を活 動化する。

第７Ｂ図の行（ｒｏｍ）を走査すると、パターンＡは、試行１においてｖｌによ って、試行４と６において■、によって、そして試行９においてＦ４によってコ ード化される。すべての将来の試行において、入カバターンＡは、■、によって コード化される。さらに、入カバターンＡ、Ｂ、Ｃ１とＤのすべては、試行９に より安定コードを学習している。こうして、コードは、入力リストＡＢＣＡＤに より第２ランによって自己安定化する。試行１１から１５において、そしてすべ ての将来の試行において、各入カバターンは、異なるノード（Ｖ、に対してＡ、 Ｖ＋に対してＢ、Ｖ、に対してＣ，Ｖ、に対してＤ）を選ぶ、以下で論述される 覚醒（ν１ｇ１ｌａｎｅｅ）パラメーターは、この例において、大であるように 選ばれたために、各パターンは、別個の頂頭に属する。さらに、コード学習が安 定化した後、各入カバターンは、追加の探索を行うことなしに、Ｆ、におけるそ のノードを直接に活動化する。こうして、試行９の後、ｒＲＥｓＪ記号のみが、 トップダウン・テンプレートの下に現れる。９と１５との間の任意の行に示され たパターンは、学習コードの完全な記述を提供する。

新しい典型が前に学習されたカテゴリイをどのように活動化するかの例が、第７ Ａ図と第７Ｂ図における試行２と５に見られる０例えば、試行２において、パタ ーンＢが、初めて提出され、そして試行１においてパターンＡによって前に学習 されたＦ１によってコード化されたカテゴリイを直接にアクセスする０人工知能 の用語において、Ｂは、Ａと同じカテゴリイの「ポインター」、又は「マーカー 」、又は「インデックス」を活動化する。それを行う際に、Ｂは、カテゴリイの 「インデックス」を変更しないが、どの入カバターンが、将来の試行においてこ のインデックスによってコード化されるかを決定するカテゴリイのテンプレート を変更するかもしれない、カテゴリイは、変化しないが、その不変壁は変化する かもしれない。

非常に異なる入カバターンの提示が、どのように固定入カバターンのカテゴリイ に影響を与えるかの例が、第７Ｂ図における試行１．４、と９の考察により理解 される。パターンＡが、他の入カバターンの介在発生により再コード化される試 行がある。試行１において、パターンＡは、■、によってコード化される。その 間にパターンＢがＶ、によってコード化され、そしてパターンＣがＶ、によって コード化されているために、試行４において、Ａは■、によって再コード化され る。その間にパターンＣが■、によって再コード化され、そしてパターンＤがＶ 、によってコード化されているために、試行９において、パターンＡは、Ｆ４に よって再コード化される。

これらの移行のすべてにおいて、入カバターンの全体的構造は、とのＦ、ノード が活動化されるかを決定し、そしてＦ、におけるパターン一致の全体的測度は、 これらのノードがリセットされるか、又はＳＴＭにおいて共鳴することを許容さ れるかを決定する。

ブセット　スーパーセ・・ト　ムセットの　索第７Ｂ図におけるコードが最後に 安定化する前に、それは、値Ｔ、によって特徴付けられた順序でネットワークを 探索する。今、第７Ｂ図に記載された例を含む特別重要な場合について、この探 索順序の意味を説明する。これは、式（９）におけるパラメーターβが「小」で ある場合である。小によって、パラメーターβが、次の不等式を満たすことを意 この場合ＩＩ１．．．は、任意の入カバターンＩによって活動化されているＦ、 ノードの最大数である。

Ａ、サブセット・テンプレート 入力パターンエのサブセットである学習されたテンプレートが存在するとする（ 第６Ａ図）、その時、不等式（１５）が成立するならば、選ばれるＦ２における 第１ノードは、最大サブセット・テンプレートＶに対応する。テンプレート■が 、Ｆ２の８７Ｍリセットを防止する程充分に入力Ｉに一致するか百かは、■が工 よりもどれほど小さいかと共に、記載される指向システム１８に依存する。Ｖ＝ Ｉならば、リセットは、決して行われない、この場合には、直接アクセス規則は 、■に対応するノードが最初に選ばれることを意味する。このノードのテンプレ ート■は、ＦｌにおけるＩをカバーする。その結果、Ｆ、アクティビティにおけ る削減は、２／３規則によって行われず、そして８１Ｍリセットは行われない。

最初に選ばれたノードが、■をカバーしないならば、リセットは行われない。リ セットが行われるならば、ネットワークは、サブセット・テンプレートを所有す るＦ、ノードを探索し続ける。探索順序は、大から小のサブセット・テンプレー トに進む、この探索順序は、■”ｃＩの場合には、■ｆＪｌｎ　工＝■ｌｌであ るために、（９）に従って行われ、その結果順序間数ＴＪは、次の式を満足する 。

Ｔｓ＝ａ　ｌ　Ｖ”’　ｌ　（１６） こうして、サブセット・テンプレートが探索される順序は、すべてのサブセット ・テンプレートに対するＶ　Ｉ　Ｊ　ｌの相対サイズによって決定される。第７ Ｂ図は、これらのサブセット探索特性を示す。例えば、試行９において、入カバ ターンＡに応答して、サブセット・テンプレートＣ１Ｂ、とＤに対応するノード が、（１４）における如く、テンプレート・サイズの減少順に探索される。

Ｂ、スーパーセット・テンプレートと非混合テンプレートネットワークは、入カ バターン■に対応するすべての学習されたサブセット・テンプレートを探索した とする。今、可能性を幾つかの場合に分けることによって後続の探索順序を考え る。混合テンプレートは、学習されなかったが、少なくとも１つのスーパーセッ ト・テンプレートが学習されたとする。

主な結論は、すべてのサブセット・テンプレートがすでにリセットされているな らば、システムは、最小のスーパーセット・テンプレート■ｌ　Ｊ　ｌ−Ｖを有 するＦ、ノード■、を使用して、■をコード化するということである。このコー ド化事象により、Ｖｆｊｌは、次の如く、再コード化される。　Ｖ”＝Ｖｌ”ｌ 　Ｉ　＝　Ｉ　（１７＞ネットワークは、次式により、最小のスーパーセット・ テンプレートを最初に選ぶ。

Ｔ、＝　Ｊｌ　Ｉ　ｉ　（１８） この場合Ｖ：）Ｉである。こうして、スーパーセット・テンプレートの最小のも のは、最大のボトムアップ人力Ｔ、を生成する。スーパーセット・テンプレート Ｖは、Ｆｌにおける入力パターンエを完全にカバーしないために、ネットワーク は、この選択をリセットしない、２７３規則により、■だけによって引き起こさ れたＦ、アクティビティ・パターンは、スーパーセット・テンプレートが効力を 有した後存続する。Ｆ１アクティビティの削減は、スーパーセット・テンプレー トによって行われない。

このため、Ｆ、コードは、指向システムによってリセットされない、こうして、 ＳＴＭにおける安定な選択を保証する同じ特性はまた、それが最小のスーパーセ ット・テンプレートに達することができるならば、探索が終了することを意味す る。

スーパーセットの前にサブセットが探索される理由、及び未遂ノードの前にスー パーセットが探索される理由の説明が残されている。

入カバターンＩのサブセット・テンプレートＶ　ｌ　ｌ　ｌとスーパーセット・ テンプレートＶ”ゝが与えられたならば、１Ｖ１１１≦＋ｒ＋＜＋ｖ＋ａ＋＋　 （１９）Ｔ、＝　α１■τ″’　＋　（２０） β＋ｌｖ＋Ｉ川 そして Ｔ　Ｊ　＝　Ｊｌ　Ｉ　＋　（２１） （１５）、（１９）、（２０）、と（２１）から、次式が導かれる。

Ｔ、＞Ｔ、　（２２） そしてこのため、サブセット・テンプレートが、スーパーセット・テンプレート の前に探索されることになる。この特性は、（１８）における小さなβの選択に 限界的に依存する。

スーパーセット・テンプレートを有するノードは、完全にコード化されたノード への直接アクセスを保証する同じ特性により、未遂（ｕｎｅｏ＋ａｍｉｔｔｅｄ ）ノードの前に探索される。初期のボトムアップＬＴＭ値は、任意の入カバター ンを完全にコード化するノードを直接アクセス可能である程充分に小さく選ばれ なければならないことに注目していた。特に、２、＜　α　（２３） この場合７０は、初期のボトムアップＬＴＭ）レースの最大サイズであり、そし てα（β＋ｌ　ｖｌｌ　ｌ　）−１は、スーパーセット・テンプレートＶ（Ｊｌ に対応する学習されたＬＴＭ値である。こうして、入力Ｉに応答する未遂ノード に対する全体ボトムアップ入力は、せいぜいＺ、ｉＩｌであり、これは、スーパ ーセット・ノード■、に対する全体ボトムアップ人力α！１１　（β＋ｌ　■′ ＪＩ　ｊ　）　−１よりも小である。

Ｃ，スーパーセット・テンプレートと混合テンプレートネットワークが、すでに サブセット・テンプレートを探索したとする。

また、スーパーセット・テンプレートと混合テンプレートの両方が、以前に学習 されたとする。スーパーセット・テンプレートを有するノートが、アクティブさ れるならば、入カバターンは、そのノードによってコード化されるということを 前に示した。特に、ノードのテンプレートは、入カバターンに完全に一致するよ うに再コード化される。今、ネットワークが、スーパーセット・テンプレートを 探索する前に、混合テンプレートを探索する状況を特徴付ける。

入カバクーンＩに関して混合テンプレートＶ　ｌ　ｌ　＋をコード化するノード ■、を考える。また、Ｖ　Ｉ　Ｊ　ｌをｌに対応する最小のスーパーセット・テ ンプレートとする。その時、 Ｔ＋＝　ａ　ｌ　Ｖ”ｎＴ　ｌ　（２４＞そして Ｔ、＝　Ｊｌ　Ｉ　Ｉ　（２５＞ 混合テンプレートｙ　＋　＋　＋は、次の式の場合に限り、スーパーセット・テ ンプレートｖ＋Ｊ′の前に探索される。

ｌｖ”ｒｕ　ｌ＞ｌ　Ｉ　ｌ　＜２６＞ｌ　Ｖ″ｌ　ｌ　ｌ　Ｖｆｊｌ　ｌ スーパーセット・ノードが選ばれる時探索が常に終了するために、混合テンプレ ートが（２６）を満足するノードＶ、のみが、探索される可能性がある。これら のノードは、ｌ　Ｖ”’ｎＩ　ｌ　ｌ　Ｖ”　ｌ　−’の減少順に探索される。

２つのノードが同じ比率を有するならば、大混合テンプレートを有するものが、 最初に探索される。探索が、最小のスーパーセット・テンプレートを有するノー ドＶＪに達するならば、それは、■４において終了する。

ネットワークが、すでにサブセット・テンプレートを探索したとする。

スーパーセット・テンプレートではなく、混合テンプレートが、以前に学習され たとする。この状況において、探索は、混合テンプレートＶ　＋　ｌ　＋を有す るノード■、か、又は以前に選ばれなかったノードのどちらかを選ぶことによっ て終了する。例えば、次式が成立するならば、混合テンプレートを有するノード 〜ｉ、が、新ノードの前に選ばれる。

ａ　ＩＶ”’ｎｌ　ｌ＞Ｚｏｌ　１１　（２８）Ｚｏは、ボトムアップＬＴＭ　 １−レースの最大初期サイズである。完全にコード化されたノードを直接にアク セス可能にするために、すべてのテンプレートｙ　ｌ　Ｉ　＋に対して、 。　＞　ｚ、　（２９） であることを想起せよ、こうして、不等式（２８）は、１ｙｉｌｌｎＪｌがＩよ りもあまり小さくない時成立する。

Ｄ、混合テンプレートでもスーパーセット・テンプレートでもないこの場合、す べてのサブセット・ノードが探索された後、以前に未遂のノードが探索される。

Ｆ２に対するそれらの初期ボトムアップ入力サイズは、初期ＬＴＭトレースの選 択に依存する。こうして、未遂ノードの間の探索の順序は、ランダム因子によっ て決定される。アクティブにされる第１の未遂ノードは、探索を終了し、そして 入力パターンエをコード化する。これは、すべての初期トップダウンＬＴＭ）レ ースが、２／３規則を満足するために充分に大きく選ばれるために、正しい。

すべての完遂コードが拒否された後、探索される未遂ノードがない場合には、入 カバターンが、ネットワークによってコード化できない、この特性は、不適当な 事象による持続的再コード化に対し、ネットワークがコードをバッファーに入れ るか又は保護する能力を有する結果である。

第８図と第９図は、前述の論述における主要点を示す２つのコード化列を示す、 第８図において、９つの入カバターンの各々が、一度に提出された。試行９にお いて提出された最終入カバターン■に応答して行われた探索順序を考える。試行 ８により、ノード■、と■、は、この入カバターンのサブセット・テンプレート をすでにコード化している。このため、試行９において、これらのノードが、テ ンプレート・サイズの減少層に探索された。ノード■ツ、ｖ４、■６、とＶ、は 、入カバターンの混合テンプレートをコード化した。これらのノードは、■３、 Ｖ％、■４の順序で探索された。この探索順序は、それ自体テンプレート・サイ ズによって決定されず、（２７）における比ｌ　ｖ１１＋ｎＩｌ　ｌ　Ｖｌｌｌ し１によって支配された。ノードＶコ、Ｖ５、とＶ４に対するこれらの比は、そ れぞれ、９／１Ｏ５１４／１６、と７／８である。１４／１６＝７／８であるか ら、ＩＶ”Ｉ＝１６　８＝ｌＶ’４１１のたａｌ’）４１ｍ、／−Ｆｖｓは／− ＦＶ＜の前に探索された。混合テンプレート・ノードＶ６は、探索されなかった 。■、を探索後、ネットワークは、最小のスーパーセット・テンプレートを所有 するノードＶｔを活動化した。列７における行８と９の比較は、■、のスーパー セット・テンプレートが、入カバターンに一致するために再コード化された方法 を示す、ｌ　Ｉ　Ｉ　ＩＶ”Ｉ−’＝１７／２１は、１ｖｃａ）ｎｒ　ｌ　ＩＶ ”’　ｌ−’＝１４／１８．）：ｌ）ｔ＋大Ｔあルｆ、：　メ４：：、ノードＶ 、は、ノードｖ６の前に探索された。

第９図の８つの入カバターンは、未遂ノードのコード化が続いて行われる探索を 示すために選ばれた。第９図における最後の入力パターンエは、第８図における 最後の入カバターンと同じである。しかし、第９図において、入カバターンＩに 対応するスーパーセット・テンプレートがなかった。その結果、■は、試行８の 前に未遂のノード■８によってコード化された。特に、試行８において、ネット ワークは、最初に、■２、ｖｌの順序でサブセット・テンプレートを有するノー ドを探索した。それから、混合テンプレート・ノードが、■１、■６、■３、と Ｖ、の順序で探索された。混合テンプレート・ノード■、は、テンプレートが、 入カバターンＩに不当に不一致であったために、探索されなかった。その代わり 、未遂ノードＶ、が、活動化され、そして入カバターンに一致したテンプレート を学習した。

パラメーターβが、不等式（１８）を満足するために充分小でないならば、混合 テンプレート又はスーパーセット・テンプレートは、サブセット・テンプレート の前に探索される。すべての場合に、完全にコード化されたパターンのアクセス が達成される。

前述の論述は、新しい学習が行われてもカテゴリイの不変特性が存続する方法に ついての項目に新しい光を投げかけている。２つの主要な場合が、区別される必 要がある。第１の場合には、新しい入カバターンは、そのボトムアップ・フィル ターとトップダウン・テンプレートが以前に学習を経験したノードによってコー ド化される。第２の場合には、新しい入カバターンは、以前に選ばれていないノ ードによってコード化される。ここでは、第１の場合に注目する。

この場合には、新しい入カバターンの提示は、ネットワークによってコード化さ れるカテゴリイ数だけでなく、またＦ、におけるＳＴＭのこれらのカテゴリイを コード化するノードのセットも即座に変更しない。

Ｆ２からの出力信号は、ネットワークの観察可能な応答を生成する。このため、 この場合には、新しいパターンは、カテゴリイの代替と観察可能な応答の以前に 確立されたセットに同化される。学習の少なくとも２つの異なる形式が、そのよ うな同化過程を伴うことができる。即ち、カテゴリイの認識に外部の学習と、こ の過程に内部の学習である。

外部学習（ｅｘｔｅｒｎａｉ　ｌｅａｒｎｉｎｇ）の例として、新しい入力が、 同じ力テゴリイにおける前の入力とは異なる強化計画（ｒｅｉｎｆｏｒｃｅｍｅ ｎｔ　５ｃｈｅｄｕｌｅ）と関連するとする。Ｆｘにおけるカテゴリイと強化機 構の間の新しい学習は、カテゴリイにおける入力のすべてに対するネットワーク の応答を変更しない、こうして、同じカテゴリイにおけるメンバーシップの事実 は、新しいカテゴリイの典型が新しい外部の偶然性と関連する時、古い外部の偶 然性の忘却を強要する。

内部学習（ｉｎｔｅｒｎａｌ　１ｅａｒｎｉＢ）の例として、次の事実を考える 。新しい入カバターンが「古いＪＦｔノードによってコード化されるならば、こ の入カバターンは、そのノードに対応するボトムアップ・フィルターとトップダ ウン・テンプレートを変更する。それを行う際に、新しい入カバターンは、全体 としてネットワークのカテゴリイの境界を変更する。

前の試行において規定されたノードによってコード化された入カバターンは、そ れらが後に提出される時、同じノードによってもはやコード化されない。こうし て、カテゴリイの数と公然の応答に対するそれらの経路が変化しなくても、カテ ゴリイの不変量は変化する。

しかし、２／３規則は、カテゴリイのフィルターとテンプレートが、そのカテゴ リイによってコード化される入カバターンのすべてのサブセットであることを意 味する。学習により新しい入カバターンをカテゴリイに追加すると、カテゴリイ のフィルターとテンプレートをさらに精練にすることができる。こうして、その パターンをコード化することによって、テンプレートが入カバターンのサブセッ トになった後、他の入カバターンが同じ力テゴリイに加わる時、テンプレートが 何回精練（ｒｅｆ　ｉｎｅ）されでも、テンプレートは、すべての将来の時間に 互って入カバターンのサブセットのままである。テンプレートがしだいに精練に なると、テンプレートとカテゴリイによってコード化された最大の入カバターン の間の不一致は、しだいに大きくなる。この不一致が非常に大きいならば、これ らの大入カバターンの幾つかは、結局再コード化される０例えば、第７Ｂ図にお いて、パターンＢは、試行２においてノードｖｌによってコード化され、そして 新しいカデゴリイは、確立されない、しかし、後に、パターンＡが試行４におい て次に提出される時、それは試行１の後であるために、それは、もはやノード■ 、からのテンプレートに適切に一致しない、このため、パターンＡは、新しいカ テゴリイを確立する。

２つの主要な結論が、これらの考察に従って行われる。ｆｉ初に、コード学習過 程（ｃｏｒｄ　ｌｅａｒｎｉｎｇｐｒｃ＋ｅｅｓｓ）は、識別の漸進的な精練の １つである。現れる識別は、幾つかの前もって割り当てられた特徴ではなく、ネ ットワークが今までに経験した入カバターンのすべての結果である。

第２に、一致過程は、分離した特徴ではなく、全体のパターンを比較する１例え ば、２つの異なるテンプレートは、特徴検出器（ｆｅａｔｕｒｅ　ｄｅｔｅｃｔ ａｒ）の同じセットにおいてＦｌに対する入カバターンに重なるが、ネットワー クは、一方のテンブレー１・のＦ、ノードをリセットし、他方のテンプレートの Ｆ、ノードをリセットしない。全体としてテンプレートと入力の不一致の程度は 、再コード化が行われるか否かを決定する。こうして、カテゴリイの不変量の学 習は、２つの相反する傾向を解決する。

カテゴリイが大きくなると、そしてこのため益々全体的不変量をコード化すると 、それらを規定するテンプレートは、小さくなり、そしてこのため限界的特徴分 類のセットにコードを基づかせる。以下には、規定された入力環境に応答する識 別力テゴリイの動的平衡又は自己安定化につながる、これらの２つの相反する傾 向が解決される方法を説明する。

次の節では、入カバターンとテンプレートの間の充分に良好な一致が探索を終了 させ、かつ学習が行われることを可能にするが、それらの充分に大きな不一致が ＳＴＭリセットにつながる方法を説明する。

覚ｇ　（ｖｇｉ　１ａｎｃｅ）、指向、及びリセット以下に、Ｆｌにおける追加 サブシステム内の一致が、どのように指向ザブシステムＡが活動化され、これに よりＦ、における追加サブシステムのリセットするか否かを決定するかを示す。

指向サブシステムは、Ｆｌにおける一致パターンが不適当な一致を示す時、及び 入力Ｉがバッファー１２から受信される時、Ｆ２のリセットをトリガーする。入 カバターンの受信に対する必要要件は、システムが、予期パターンと入カバター ンとの間の不一致を識別し、入カバターンが受信されない時単に受動的非アクテ ィビティを識別することを可能にする。一方、入力が受信され、かつ、充分な一 致パターンがＦｌにおいて生成される時、指向システムＡによるＦ２のリセット は、一致パターンによって抑止される。

ボトムアップ入カバターンがＦ、を活動化し、そしてＡの活動化を阻止したとす る。さらに、Ｆ、が、Ｆ、においてボトムアップ入力に不当に不一致であるテン プレートを読み出すＦ、ノードを活動化するとする。

２／３規則により、ボトムアップ入力のみによって活動化されたＦ１ノードの多 くは、トップダウン・テンプレートによって抑制される。この不一致２ｇ象は、 Ｆ、に亙って全体アクティビティにおける大きな崩壊を起こし、そしてこうして Ｆ、がＡに伝える全体抑制における大きな削減を引き起こす、この削減が充分に 大きいならば、Ａに対する刺激的ボトムアップ入力は、ＡからＦ、への非特定リ セット信号を生成することに成功する。

リセット信号が発生する時を特徴付けるなめに、次の自然な仮定を行う、入カバ ターン■は正の信号をＦ、の１１１個のノードに送信するとする。すべてのアク ティブ入力経路は、Ａに投影されるために、■は、Ｉｌｌに比例するＡに対する 全体入力を生成する。Ａは、全体人力γＩＩＩに線形に反応するとする。また、 各アクティブＦｌノードは、Ａに対し固定サイズの抑制信号を生成すると仮定す る。すべてのアクティブＦｌノードはＡに投影されるために、ｆｌからＡへの全 体抑制人力δＩＸＩは、アクティブＦ１ノードの数Ｘに比例する。γＩＩＩンδ ＩＸＩである時、Ａは、正味の刺激的信号を受信し、そしてＦ、に対し非特定リ セット信号を生成する。

サイズＩＩＩのボトムアップ入カバターンに応答して、かつ、Ｆ、における予期 パターンの受信前に、ＦｌからＡへの全体抑制入力は、δＩＩＩに等しく、その ためＡに対する正味の入力は（γ−δ）　Ｉｌｌに等しい、Ａがこの場合に発火 する（ｆｉｒｉｎｇ）のを防ぐために、δ≧γであると仮定する。

を指向サブシステムの覚醒パラメーターと呼ぶ、制約δ≧γ≧０は、０≦ρ≦１ に等しい、ρのサイズは、リセットを防ぐために一致されなければならない入カ バターンの比率を決定する。

ボトムアップ入力Ｉとトップダウン・テンプレートＶ＋Ｊｌの両方が同時にアク ティブである時、２／３規則は、Ｆ、からＡへの全体抑制信号が、δｌ　Ｖ”ｎ 　Ｉ　Ｉに等しいことを意味する。この場合、指向サブシステムは、 １１１〉　δＩＶ”Ａｌ　ｌ　（３１）即ち、ＩＶ”’ｎＩ　ｌ＜、ｏ　（３２ ）Ｉｌｌ である時に限り活動化される。

Ｆ２が入カバターンＩに応答してリセットされるか否かを決定する関数は、リセ ット関数と呼ばれる。不等式（３２）は、リセット関数が次の如く規定されなけ ればならないことを示す。

ＲＪ＝　ｌ　ＶＣｊｌｎ　Ｉ　＋　（３３）ＩＩ リセット関数Ｒ４と順序関数 Ｔｓ＝ａ　ｌ　Ｖ”ｎＩ　ｌ　（９） は、探索が進行する方法を決定する。

このラインの論述は、次の如く直観的に要約される。２／３規則により、Ｆｌに おける不当な不一致は、全体Ｆ１アクティビティの大崩壊を引き起こし、これは Ａの活動化につながる。これが起こるためには、システムは、全体Ｆ、アクティ ビティの先行レベルの測度を維持しなければならない、基準レベルは、Ａにおけ るボトムアップ入力を合計することによって計算される。この合計は、ボトムア ップ入力によるＦ、の初期活動化に比例し、そしてさらに一致過程が実時間にお いて展開される時不変のままであるために、基準を提供する。

今、入カバターンの複雑性が変化する時、ネットワークが雑音基準を自動的に再 評価する方法を示す、特に、固定パラメーターでも、ネットワークは、大入カバ ターンに応答する大王一致を許容することができる。

例えば、ネットワークが、異なる時間において２つの入カバターンを処理すると する。１つの入カバターンＪ＋Ｉ＋は、幾つかのＦ、特徴検出器を活動化する。

一方、他の入カバターン■１２１は、多数のＦｌ特徴検出器を活動化する。即ち 、 Ｉ　Ｉ”’ｌ＜ｌ　Ｔ”＋　（３４） さらに、■ｉｌｌがＦ、ノードＶ、を活動化するとする　（＋２１はＦ、ノード Ｖ、を活動化し、そして ＩＶ”’Ｉ’ｌｌ”’１＝ｌＶ’２１ｎＩ”＋　＜３５）言い換えれば、両方の 入カバターンは、同じ足だけそれらのテンプレートに重なる。しかし、（３４） により、Ｒ１＝　ｌ　Ｖｌｌ’ｎ　］　”　ｌｌ＞　ｌ　Ｖ１２）ｎ　Ｉ　（２ ＋　１＝Ｒ２不等式（３２）と（３６）により、ネットワークは、ＩＩｌ＋に応 答してＶ、をリセットするよりも、ｌ　１２１に応答してＶ、をリセットしやす い。

こうして、大入カバターンとの一定量の一致は、小人カバターンとの同じ量の一 致よりもコード化に対し証拠を提供しない、（３５）が成立するならば、大パタ ーンＩゝ２′は、小パターン１１１′よりもより多くの特徴においてテンプレー トと不一致である。このため、（３１）により、■１はリセットされないが、■ ２は、リセットされる。これは、実際には、ρがＲ３とＲ７の間にある時の場合 である。

再評価（ｒｅｓｃａｌ　ｉｎｇ）特性は、ネットワークが全体として入カバター ンを所有することを示す、ネットワークの関数単位は、特徴検出器の個々の活動 化ではなく、特徴検出器の範囲に互って活動化パターンである。

ネットワークは、ｌ′１１に応答してＶ、をリセットしないならば、■１のテン プレートは、交差Ｖｌｌｌｌ”ＩＩτ目に等しいように精練（ｒｅｆ　１ｎｅ） される、言い換えれば、ネットワークが、ｉｆ＋＋が■、によってコード化され なければならないという証拠を受け取るとすると、ＳＴＭとＬＴＭの両方におい て、Ｉ°１゛が■“１′に不一致である特ｉを雑音として抑制する。

この特性を使用して、ネットワークはまた、大入カバターン間よりも小人カバタ ーン間のより微妙な差を識別することができる。小人カバターンｌｌ１ｌとその テンプレートＶ１１）の間の不一致藍が、大入カバターンＩ＋２１ｇそのテンプ レートＶ　ｌ　２１の間の不一致菫に等しいとする。即ち、ｌ　Ｊ　１１１　ｌ −ｌ　ｔ、ｕｌｌｎＩＴｌｌ　ｌ　＝＋　Ｉ”１−ＩＶ１２’ｎｌ”＋　（３７ ）（３４）と（３７）により、 ＩＴＩ口ｌ　１１＋２１１ こうして、■、は、■、がＩ＋２）によってリセットされるよりもＪ＋＋＋によ ってリセットされやすい、これは、固定量の不一致は、複雑である時よりも入カ バターンが単純である時、リセットに対しより証拠を提供する。

言い換えれば、ネットワークは小人カバターンを処理する時車不一致によってリ セットされるために、それは、大入カバターン間よりも小人カバターン間のより 微妙な差を自動的に識別する。

第１０図におけるシミュレーションは、ネットワークが一致基準を自動的に再評 価する（ｒ（ｃＢｅａｌｅ）方法を示す、最初の４つの提示において、パターン は、ＡＢＡＢの順序で提出される。試行２により、コード化は完了する。パター ンＡは、試行３におけるノードＶ１を直接にアクセスし、そしてパターンＢは、 試行４におけるノード■２を直接にアクセスする。こうして、パターンＡとＢは 、異なるカテゴリイ内でコード化される。試行５−８において、パターンＣとＤ は、ＣＤＣＤの順序で提出される６パターンＣとＤは、同一の上方半分をＡとＢ に追加することによって、それぞれ、パターンＡとＢから構成される。こうして 、パターンＡがパターンＢと異なる同一位置において、パターンＣは、パターン Ｄとは異なる。しかし、パターンＣとＤは、パターンＡとＢよりもより多数のア クティブな特徴を表すために、ＡとＢの間の差は重要であると考えられるのに対 し、ＣとＤの間の差は、雑音として処理される。特に、パターンＣとＤの両方は 、試行７と８における同じ力テゴリイ内でコード化される。

パターンＡとＢ対パターンＣとＤのネットワークの異なるカテゴリゼイションは 、次の如く理解される。核心項目は、試行６において、Ｄが、Ｃをコード化した ノード■、を受容するのに対し、試行２において、Ｂは、Ａをコード化したノー ドＶ１をなぜ拒否するのか、である、これは、ＢとＶ　ｌ　ｌ　＋の間の不一致 が、ＤとＶ　ｌ　３　＋の間の不一致に等しいという事実に拘わらず起こる。（ ３７）における如く、ＩＢＩ−ＩＶ（１）ｎＢ　ｌ　＝３＝ＩＤ　ｌ−ｉ　Ｖ’ コ’ｎＤｌ　（３９）理由は、関連リセット関数を比較することによって理解さ れる。

Ｒ１ｍ＝１Ｖ′１ｎＢｌ　＝　８　（４０）そして Ｒ３Ｄ＝！Ｖ”ｌｌ”ＩＤ＋＝１４　（４１）このシミュレーションにおいて、 覚醒パラメーターρ＝、８である。こうして、 Ｒ，、＜ρ＜　Ｒ３◎　（４２） （３２）により、パターンＢは、ｖｌをリセットするが、Ｄは、■、をリセット しない、その結果、Ｄは、Ｃと同じ力テゴリイによってコード化されるが、Ｂは 、Ａと異なるカテゴリイによってコード化される。　注目された如く、各固定覚 醒レベルが与えられると、ネットワークは、感度を可変複雑性のパターンに自動 的に再評価する。また、覚醒レベルにおける変化は、固定列の入カバターンに応 答して学習されたカテゴリイの粗雑さを調整する。

低い覚醒レベルは、粗雑なカテゴリイの学習につながるが、高い覚醒レベルは、 緻密なカテゴリイの学習につながる１例えば、低い覚醒レベルが、規定入力環境 への成功した適応に対し、識別される必要がある入力の学習された分類に導かれ るとする。さらに、このエラーの分類の結果として、懲罰事象（ｐｕｎｉｓｈｉ ｎｇ　ｅｖｅｎｔ）が、入力５０により発生するとする。そのような懲罰事象は 、多重効果を有する。負の強化効果（ｒｅｉｎｆｏｒｃｉｎＨｅｆｆｅｃｔ）に 加えて、それはまた、直接の識別効果を有するとする。

即ち、それは、環境に対する注意感度（ａｔｔｅｎｔｉｖｅ　５ｅｎｓｉｔｉｖ ｉｔｙ）を増大させる。感度におけるそのような増大は、覚醒パラメーターρに おける増大によりネットワーク内でモデル化される。この単一パラメーターを増 大させると、ネットワークは以前に一緒にまとめられたパターンを弁別可能にな る。一旦これらのパターンがＦ、における異なるカテゴリイによってコード化さ れると、異なるカテゴリイは、異なる挙動応答（ｂｅｈａｖｉｏｒａｌ　ｒｅｓ ｐｏｎｓｅｓ）に関連する、このようにして、懲罰事象の如く環境フィードバッ クは、自己組織認識システムに対し［教育者（ｔｅａｃｈｅｒ）　Ｊとして作用 する。この教育関数（ｔｅａｃｈｉｎｇ　ｆｕｎｃｔｉｏｎ）は、アルゴリズム の形式、又はパターン特定情報の任意の他の形式を取らない、むしろ、それは、 ネットワークの内部組織との相互作用が、ネットワークに発生する入カバターン をより緻密に解剖可能にする単一非特定バラメーターをセットする。覚醒パラメ ーターは、例えば、入カバターンがらＡへの信号のすべてが非特定に増幅され、 その結果パラメーターが増大するならば、増大される。Ｆ、からＡへの信号δの サイズにおける非特定の減少は、また、ρを増大させる。あるいはまた、Ａに対 する強化活動化の非特定刺激的入力（ｅｘｅｉｔａｔｏｒｙ　１ｎｐｕｔ）はま た、Ａの不一致調停された（ｗ＋ｉｓｍａｔｃｔ＋−ｍｅｄｉａｔｅｄ）アクテ イベーションを容易にする。覚醒レベルが監視される過程は、ネットワーク内に 存在する非特定覚醒の３つのタイプの１つである。

第１１図は、４つの入カバターンＡ、Ｂ、Ｃ１とＤが、Ｆ、における４つのノー ドを有するネットワークによってコード化される一連のシミュレーションを示す 、このシミュレーションにおいて、ＡＣＢＣＣＣＤである１図の種々の部分は、 カテゴリイの学習が、ρの変化とともにどのように変化するかを示す。シミュレ ーションは、パターンの任意の連続対（Ａ、Ｂ）（Ｂ、Ｃ）（Ｃ，Ｄ）が、異な る覚醒レベルにおける同じ力テゴリイにおいてコード化されることを示す、ρ＝ 、８（第１１Ａ図）ならば、４つのカテゴリイ（Ａ）（Ｂ）（Ｃ）（Ｄ）が学習 される。ρ＝、７（第１１Ｂ図）ならば、３つのカテゴリイ（Ａ）（Ｂ）（ｃ、 Ｂ）が学習される。ρ＝、６〈第】、ＩＣ図）ならば、３つの異なるカテゴリイ （Ａ）（Ｂ、Ｃ）（Ｄ）が学習される。ρ＝、５（第１１Ｄ図）ならば、２つの カテゴリイ（Ａ、Ｂ）（Ｃ，Ｄ）が学習される。ρ−３３（第１１Ｅ図）ならば 、２つの異なるカテゴリイ（Ａ、Ｂ、Ｃ）（Ｄ）が学習される。ρ＝、２（第１ １Ｆ図）ならば、パターンのすべてが、単−力テゴリイにまとめられる。

そのようなネットワークがより複雑な一連のパターンを体系化する方法を示すた めに、第１２図において、入カバターンとしてアルファベット文字を使用して、 シミュレーションの最初の２０試行が示される。第１２Ａ図において、覚醒パラ メーターρ＝、５である。第１２Ｂ図において、ρ＝、８である。３つの特性が 、これらのシミュレーションにおいて注目される。最初に、異なる覚醒パラメー ターを選ぶと、より高い覚醒がコード化をより緻密なカテゴリイに誘導する如く 、異なるコード化履歴を決定する。第２に、ネットワークは、先行学習の累積効 果を反映するために、各試行においてその探索順序を修正し、そして学習が行わ れた後、カテゴリイを直接にアクセスするために、指向システムを迂回する。第 ３に、粗雑なカテゴリイのテンプレートは、それらが非常に多数の入力バラメー ターの典型に近似的に一致しなければならないために、より抽象的になる仰向が ある。

ρ＝、５が与えられると、ネットワークは、２６文字パターンを、３つの提示内 の８つの安定力テゴリイに分類する。このシミュレーションにおいて、Ｆ２は、 １５ノードを含む。こうして、覚醒と全体的コードの自己一貫性の基準を満足し た後、ネットワークは学習を自己安定化させるために、７モードは、非コード化 のままである。ρ＝、８と１５個のＦ２ノードが与えられると、ネットワークは 、２６文字中の２５文字を３提示内の１５の安定力テゴリイに分類する。２６番 目の文字は、覚醒と全体的コードの自己一貫性の基準を満足する間その学習を自 己安定化させるために、ネットワークによって拒否される。これらのシミュレー ションは、処理資源のネットワークの使用が、全体的な文脈依存特性を有する展 開的動的組織に依存することを示す、このクラスのネットワークは、任意に複雑 な入カバターンの任意の列を、覚醒、全体的コード自己一貫性、及びＦ、とＦ２ におけるノード数の制約を受ける安定なカテゴリイに組織することができる。高 速学習速度より６低速学習が使用されるならば、カテゴリイのコードが、よりゆ っくり学習されるが、それは、なお、リストされた限界特性を享有する。

本発明が、好ましい実施態様を参照して具体的に示されかつ記載されたが、添付 の請求の範囲に規定された如く、発明の精神と範囲を逸脱することなく、形式と 詳細においているいろな変更が行われることは、当業者には理解されるであろう 。

ＡＢＣＤ 万ン定コード化　や定っ−Ｆ’１６ １１＊　米ゝ′　ノード　１　１１　＊　８″藁米　、４．ア、ＲＥＳ　ＲＥＳ の　Ｌ ＝　−＋　＋＋ｔｈ　浅　賑　証　奄 トーンプダウン・テ；７’Ｌ−１− ＢＵ　ｌ　２　３　４　５　６　７　８　９Ａ、Ｃ３ＣＣＣＱ （ａ）ρ＝０．８　（ｏ）　ｐ＝ｏ、７トー１７’ダウン・テ；２°ｔ−ト　ド ッグダウン　テン７’Ｌ−）−（ｃ）ρ＝０．６　（ｄ）ρ＝０．５ トップダウン・テングレート　トッ７°グウン・デニ７−一ト（ｅ）ρ＝０．３ 　（ｆ）７り＝０．２トップ／ウン・テンプシート　トッ７°タウン・テ；２° シ一ト（Ｏ）　ドッグダウン・テン２°し一ト　（ｂ）　ト・ンン°ダウン・テ ；７°シート２　ＢＲ２８Ｆで ＲＥＳ　ｐ：０．５　ＲＥＳ　ρ＝０．８５　Ｅ　ｒ’Ｅ　５　Ｅ　ＲｍＤＥ Ｉ　ＲＥＳ　３　１　２ＲＥＳ 国際調査報告 ｌｌ１１−口１１＠−＾・１ｌ−ＩＩＩ１１軸壱　ＰＣ？／υＳ　１１１６１０ ２５５３ＡＮＮＥＸ　Ｔｏ　ｒＨＥ　ＩＮＴ三Ｒ１＝ｌＡＴＩＯＮＡＬ　Ｓ三Ａ ＲＣＨＲＥＰＯＲＴ　ＣＮＵＳ−Ａ−３１９１１４９Ｎｏｎｅ

Claims (31)

【特許請求の範囲】
1. １．自己組織パターン認識システムにおいて：入力パターンの複数の入力要素を 提供する入力手段と、複数のカテゴリイの各々に関して入力要素を個々に重み付 け、かつ、各カテゴリイに関して、少なくとも１つの選択されたカテゴリイを選 択するために、重み付けられた要素の組み合わせを表わすカテゴリイ選択指示を 提供する適応フィルター手段と、 少なくとも１つの選択されたカテゴリイに対応する予期パターンを規定するテン プレート手段と、 入力パターンと予期パターンとの間の充分な該一致を検出する手段と、入力パタ ーンと予期パターンとに共通した要素を保持し、かつ、すべての他の要素を強調 しないために、充分な該一致が検出される場合に、該適応フィルター手段と、少 なくとも１つの選択されたカテゴリイに関する該予期パターンとを修正し、そし て充分な該一致が検出されない場合に、該適応フィルター手段とテンプレート手 段の即時の修正なしに、代りのカテゴリイを選択する手段であつて、該代りのカ テゴリイが、テンプレート手段により、入力パターンと比較される代りの予期パ ターンを生成するために役立つ手段と を具備することを特徴とする自己組織パターン記載システム。
2. ２．該充分な一致を検出するための手段が、パターン複雑性に関して、パターン 間の一致に重み付けする請求の範囲１に記載のシステム。
3. ３．該一致が、入力パターンと該予期パターンとの間の交差である一致パターン から決定される請求の範囲２に記載のシステム。
4. ４．該一致を検出するための手段が、入力パターンにおける要素数に関する、該 一致パターンにおける要素数を決定するための手段を含む請求の範囲３に記載の システム。
5. ５．該修正するための手段が、選択されたカテゴリイに関して、該一致パターン にない要素の重み付けを約ゼロに減ずるための手段を含む請求の範囲３に記載の システム。
6. ６．該一致パターンは、該予期パターンが生成されない時入力パターンであり、 そして該一致パターンは、該予期パターンが受信される時人力パターンと該予期 パターンとの間の交差内に含まれる請求の範囲３に記載のシステム。
7. ７．該パターンの要素が、２進値であり、そして該予期パターンが受信される時 、該一致パターンが、該入力パターンと該予期パターンとの間の交差である請求 の範囲６に記載のシステム。
8. ８．該入力パターンにおける要素数に関する該一致パターンにおける要素数が、 覚醒パラメーター以上である時に該所定の一致が検出される請求の範囲３に記載 のシステム。
9. ９．該選択手段が、（ａ）定数αと該一致パターンにおける要素数の積と、（ｂ ）定数βと該予期パターンにおける要素数の和の比として規定される順序関数に 従ってカテゴリイを選択する請求の範囲９に記載のシステム。
10. １０．該選択手段が、重み付けされた入力要素の最大和を有する単一カテゴリイ のみを選択する請求の範囲１に記載のシステム。
11. １１．該修正するための手段が、入力パターンと該予期パターンとの間の交差に おける要素数に逆比例する程度に、適応フィルターにおける入力要素の重み付け を修正する請求の範囲１に記載のシステム。
12. １２．逆比例関係が、 （α／β＋｜Ｉ∩Ｖ（■）｜） の形式である請求の範囲１１に記載のシステム。
13. １３．βが小である請求の範囲１２に記載のシステム。
14. １４．すべての可能な要素の初期重み付けが、低であり、そして初期テンアレー トが、実質的にすべての可能なカテゴリイの各々からの実質的にすべての可能な 要素を含む請求の範囲１２に記載のシステム。
15. １５．異なる初期重み付けが、各可能カテゴリイに対し提供される請求の範囲１ ４に記載のシステム。
16. １６．該適応フィルター手段と該テンアレート手段の修正となる該入力パターン と該予期パターンの充分な一致を変化させるための手段をさらに含む請求の範囲 １に記載のシステム。
17. １７．該予期パターンに対応するカテゴリイの該入力パターンを予測するために 、システムによる入力パターンの受信前に、該予期パターンを規定する手段をさ らに含む請求の範囲１に記載のシステム。
18. １８．自己組織パターン認識システムにおいて：入力パターンの複数の入力要素 を提供する入力手段と、複数のカテゴリイの各々に関して入力要素を個々に重み 付け、かつ、各カテゴリイに関して、少なくとも１つの選択されたカテゴリイを 選択するために、重み付けられた要素の組み合わせを表すカテゴリイ選択指示を 提供する適応フィルター手段と、 少なくとも１つの選択されたカテゴリイに対応する予期パターンを規定するテン プレート手段と、 入力パターンの複雑性に関してパターン間の一致を重み付けることによって、該 入力パターンと該予期パターンとの間の充分な該一致を検出する手段と、 充分な該一致が検出される場合に、該適応フィルター手段と、少なくとも１つの 選択されたカテゴリイに関する該予期パターンとを修正し、そして充分な該一致 が検出されない場合に、該適応フィルター手段と該テンプレート手段の即時の修 正なしに、代りのカテゴリイを選択する手段であって、代りのカテゴリイが、テ ンプレート手段により、該入力パターンと比較される代りの予期パターンを生成 するために役立つ手段とを具備することを特徴とする自己組織パターン認識シス テム。
19. １９．該一致が、該入力パターンと該予期パターンとの間の交差である一致パタ ーンから決定される請求の範囲１８に記載のシステム。
20. ２０．該一致を検出する手段が、該入力パターンにおける要素数に関する該一致 パターンにおける要素数を決定する手段を含む請求の範囲１９に記載のシステム 。
21. ２１．該一致パターンは、該予期パターンが生成されない時入力パターンであり 、そして該一致パターンは、該予期パターンが受信される時入力パターンと予期 パターンとの間の交差内に含まれる請求の範囲１９に記載のシステム。
22. ２２．該入力パターンにおける要素数に関する該一致パターンにおける要素数が 、覚醒パラメーター以上である時、所定の一致が検出される請求の範囲１９に記 載のシステム。
23. ２３．該選択手段が、（ａ）定数αと該一致パターンにおける翼素数の積と、（ ｂ）定数βと該予期パターンにおける要素数の和の比として規定される順序関数 に従ってカテゴリイを選択する請求の範囲２２に記載のシステム。
24. ２４．自己組織パターン認識システムにおいて：入力パターンの複数の入力要素 を提供する入力手段と、複数のカテゴリイの各々に関して入力要素を個々に重み 付け、かつ、各カテゴリイに関して、少なくとも１つの選択されたカテゴリイを 選択するために、重み付けられた要素の組み合わせを表わすカテゴリイ選択指示 を提供するための適応フィルター手段と、少なくとも１つの選択されたカテゴリ イに対応する該予期パターンを規定するためのテンプレート手段と、 入力パターンの複雑性に関してパターン間の一致を重み付けることによって、該 入力パターンと予期パターンとの間の充分な一致を検出する手段と、 該入力パターンと該予期パクーンとの間の交差における要素数に逆比例する程度 に、該入力パターンと該予期パターンに共通する入力要素の重み付けを修正し、 かつ、すべての他の要素を強調しないために、充分な一致が検出される場合に、 該適応フィルター手段と、少なくとも１つの選択されたカテゴリイに関する該予 期パターンとを修正し、そして充分な一致が検出されない場合に、該適応フィル ター手段と該テンプレート手段の即時の修正なしに、代りのカテゴリイを選択す る手段であつて、該代りのカテゴリイが、該テンプレート手段により、該入力パ ターンと比較される代りの該予期パターンを生成するために役立つ手段とを具備 することを特徴とする自己組織パターン認識システム。
25. ２５．すべての可能な要素の初期重み付けが、低であり、そして初期テンプレー トが、実質的にすべての可能なカテゴリイの各々からの実質的にすべての可能な 要素を含む請求の範囲２４に記載のシステム。
26. ２６．該一致パターンは、該予期パターンが生成されない時該入力パターンであ り、そして該一致パターンは、該予期パターンが受信される時入力パターンと該 予期パターンとの間の交差内に含まれる請求の範囲２４に記載のシステム。
27. ２７．該予期パターンに対応するカテゴリイの該入力パターンを予測するために 、システムによる該入力パターンの受信前に、該予期パターンを規定する手段を さらに含む請求の範囲２４に記載のシステム。
28. ２８．複数のカテゴリイの各々に関して該入力パターンの入力要素を個々に重み 付け、かつ、重み付けされた要素の組み合わせに基づいて少なくとも１つのカテ ゴリイを選択することと、少なくとも１つの選択されたカテゴリイに対応する予 期パターンを規定することと、 該入力パターンと該予期パターンとの間の充分な一致を検出することと、該入力 パターンと該予期パターンとに共通する要素を保持し、かつ、すべての他の要素 を強調しないために、充分な一致が検出される場合に、入力要素の重み付けと、 少なくとも１つの選択されたカテゴリイに関する該予期パターンとを修正し、そ して充分な一致が検出されない場合に、重み付けと該予期パターンの即時の修正 なしに、代りのカテゴリイを選択すること とを含むことを特徴とするパターンを類別する方法。
29. ２９．充分な一致が、該パターン複雑性に関して該パターンの間の一致を重み付 けすることによって検出される請求の範囲２８に記載の方法。
30. ３０．該入力要素の重み付けが、該入力パターンと該予期パターンの間の交差に おける要素数に逆比例する程度に修正される請求の範囲２９に記載の方法。
31. ３１．複数のカテゴリイの各々に関して入力パターンの入力要素を個々に重み付 け、かつ、重み付けされた要素の組み合わせに基づいて少なくとも１つのカテゴ リイを選択することと、少なくとも１つの選択されたカテゴリイに対応する該予 期パターンを規定することと、 該入力パターンの複雑性に関して該パターン間の一致を重み付けることによって 、該入力パターンと該予期パターンの間の充分な一致を検出することと、 充分な該一致が検出される場合に、該入力要素の重み付けと、少なくとも１つの 選択されたカテゴリイに関する該予期パターンとを修正し、そして充分な該一致 が検出されない場合に、重み付けと該予期パターンの即時の修正なしに、代りの カテゴリイを選択することとを含むことを特徴とするパターンを類別する方法。