JPS63501450A

JPS63501450A - パタ−ン・コ−ド化システム

Info

Publication number: JPS63501450A
Application number: JP50635486A
Authority: JP
Inventors: グロスバーグ，ステイーブン; コーエン，マイケル
Original assignee: ザ・トラステイ−ズ・オブ・ボストン・ユニバ−シテイ
Priority date: 1985-11-27
Filing date: 1986-11-26
Publication date: 1988-06-02
Anticipated expiration: 2012-08-27
Also published as: JP2647371B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】パターン・コード化システム発明の背景音声と言語研究、特に知覚、認知、と人工知能に関する基本的問題領域の１つは、音声音が受信器（人間又は機械）によって分類される機能的単位の特性表示に関する。核心問題は、これらの機能的単位の文脈依存性（ｃｏｎｔｅｘｔ−ｓｅｎｓｉｔｉｖｉｔｙ）、又は機能的単位への知覚分類が、全音声ストリームの時空的パターン化に依存することができる方法に関する。

別の核心問題は、認識機構（ｒｅｃｏｇｎｉｔｉｏｎ　ｍｅｃｈａｙｌｉｓｍ）の適応チューニング（ｔｕｎｉｎｇ）と、そのようなチューニングが、なじみの要素の文脈内に形成された分類を変更することができる方法に関する。認識プロセスの適応チューニングは、表現が、経験によるコヒーレント認識コードに単位化又は成分化される（ｃｈｕｎｋ）機構の１つである。

例えば、ｒｍｙｓｅｌｆＪの如きワードは、単位化された口頭表現（Ｖｅｒｂａｌ　ｃｈｕｎｋ）として人によって使用される。しかし、異なる文脈において、ｒｍｙｓｅｌｆ」の成分’ｍ３’Ｊ、ｒｓｅｌｆ」、とｒｅｌｆ」は、すべて、独自にワードとして使用される。さらに、用Ｈ’ｍｙ」で終了する発声は、音声ストリームの１つの分類を生成するが、全ワード「ＭｙｓｅｌｆＪを含む発声は、この１分類を長いワードに適当な分類と取り替える。こうして、文脈依存言語単位が受信器によって知覚される方法を理解するために、音声ストリームのすべての可能な分類が、時間の経過を通して分析される方法と、一定の分類が、異なる文脈において他の分類が選ばれるのを防ぐことなしに、１つの文脈において選ばれる方法について、分析が行われなければならない。

同様な問題は、視覚対象認識及び図地（ｆ　ｉｇｕｒｅ−ｇｒｏｕｎｄ）分割、と認知情報処理において解決される１例えば、Ｅの如き文字は、部分として、ＬとＦの如き文字を含む。

さらに、観測者が、音声又は視覚ストリームのデータを分類する機能的単位は、観測者の事前言語経験に依存する０例えば、ワードｒｍｙ　５ｅｌｆ」に対する単位化表現は、このワードになじみのない観測者の脳には存在しない、こうして、観測者が、音声ストリームを文脈依存言語単位に分解しかつ適応的に分類する方法についての適切な理論では、発達及び学習プロセスが、観測者をバイアスさせて、幾つかの知覚分類を優先的に経験させる方法を分析することが必要とされる。そのような発達及び学習プロセスは、しばしば、理論生物物理学において、「自己組織化ｊのプロセスと呼ばれる（「脳の共同作用」、イー・パーザ−、エッチ・フロール、エッチ・ハケン、とニー・マンデル（編集）、ニューヨーク、シュブルンガー出版、１９８３年）、ビー・リントストム、ピー・マツクネイラージュ、とエム・シュツデールト・ケネディーは、最近、１９８３年に、音声知覚における自己組織プロセスの重要性を示唆した（「自己組織プロセスと音韻論的普遍的特性の説明」、言語の９退的特性の説明、バターワース、コムリーとダール（＃１集）、ハーグ；ムートン。

スティーヴン・グロスベルブは、「適応パターン分類及び普遍的再コード化、■ ：神経特徴検出器の並列化展開とコード化」、生物学サイバネティックス、１９７６年、において「適応共鳴理論」を導入した。この理論は、それ以来、広範囲な発展と応用を遂げた。１つのそのような発展は、言語システムが、複雑な入力環境に応答して実時間で自己組織する方法についての分析から生ずる音声及び言語知覚の理論である。スティーヴン・グロスベルブ著、「人間の記憶の理論：求心性運動神経コード、マツプ、とプランの自己組織と運用」、理論生物学の進歩、アール・ローゼンとエフ・シュネル（編集）、ニューヨーク：アカデミツク・プレス、１９７８年、スティーヴン・グロスベルブ著、「心と頭の研究：学習、知覚、発達、認知、と運動神経制御の神経原理」、リーデル・プレス、ボストン、１９８２年、このアプローチは、言語発達、学習、と記憶を制御する瞬間毎の動的相互作用を強調し、そしてマスキング・フィールドと呼ばれる神経モデルを導入した。

本発明は、適応共鳴理論（＾ｄａｐｔｉｖｅ　Ｒｅ５ｏｎａｎｃａＴｈｅｏｒｙ）において適応分類問題を解決する音声及び言語知覚の理論内において、核心プロセスとして、マスキング・フィールドを量的に分析しかつさらに発展させ、そしてさらに詳細には、内部言語表現が、文脈依存形式において音声ストリームをコード化する方法を示す、さらに、マスキング・フィールドは、視覚対象認識と認知情報処理への応用において、同様な分類問題を解決する。

発ジＶ１１び本発明は、パターン認識に対して、マスキング・フィールド（ｍａｓｋｉｎｇｆｉｅｌｃｌ）と呼ばれる、大規模並列協同競合神経ネットワーク（ｎｅｔｗｏｒｋ）を開示する。マスキング・フィールドは、直接アクセスにより、全入カバターンとそれらのサブパターンの部分的分類（ｇｒｏｕｐｉｎｇ）の両方を検出し、そして分類のコードに対しアクティビティ重み（ａｃｔｉｖｉｔｙ　ｗｅｉｇｈｔ）を割り当てる１重みは、ネットワークの空間的大きさと過去の経験に基づくサブパターンの情報量を予測する。入カバターンが、音声及びレーダー・ストリームの如く時系列（ｔｉｍｅ　５ｅｒｉｅｓ）の空間的コード化である時、マスキツプ・フィールドは５音声ストリームを文脈依存言語表現に分析する。マスキング・フィールドは、事象の時間リストを単位化表現に分類又は成分化しくＣｈｕｎｋ）、新しく発生する項目によって伝えられる情報に基づいて、過去の項目のサブリストの知覚分類（ｐｅｒｃｅｐｔｕａｌ　ｇｒｏｕｐｉｎｇｓ）を再組繊し、そして（音声単位の）情報とく発生時の）時間順序情報を文脈依存コードに一緒に結合する。これらの言語単位は、入カバターンの全体サイズが、各入カバターン内の微細構造（ｍｉｅｒｏ　５ｔｒｕｃｔｕｒｅ）に感知のまま変化する時、その３度を自動的に再スケールする（ｒｅｅｓｅａ　Ｉ　ｉ　ｎｇ）マスキング・フィールドによる開発的（ｅｍｅｒｇｅｎｔ）特性である。マスキング・フィールドネットワークは、空間勾配に沿う結合のランダム成長、アクティビティ依存自己類似セル成長、と保存シナプシス位置に対する競合、の神経単位（ｎｅｕｒｏｎａｌ）発達の単純規則に従う、これらの成長規則は、その並列相互作用が、先行探索（ｐｒｉ□ｒｓｅａｒｃｈ）の必要なしに、正しいサブリスト分類又は成分化（ｅｈｕｎｋｓ）を直接に活動化することができるネットワーク構造を生成する。

本発明によれば、ネットワークは、時間的に発展する入カバターンの多重スケール分析を行うことによって、直接アクセスを達成する。この分析は、正しいサブパターン及びパターンのコード化を高め、そして短期又は作業記憶において不適当なリストのコード化を競合的にマスクする。高められた短期記憶アクティビティは、入力ストリームを表現する仮定、即ちコード、を具体的に表現する。このコードは、利用できる証拠に基づいて、まだ完全に発生していない分類にアクティビティを割り当てることによって、次の事象を予測又は予想する。こうして、マスキング・フィールドは、入力が次の時間間隔中に一部を形成することができる大分類を予想する予測プライミング能力（ｐｒｉｌｌｉｎｇ　ｃａｐａｂｉｌｉｔｙ）を有する。これらの特性を達成するために、ネットワーク内に逐次プログラム又は認知規則構造は存在せず、そして神経単位（ｎｅｕｒｏｎｓ）は、質蓋作用、フィードバック、協同競合相互作用に従う。

マスキング・フィールドは、適応鋭敏特性（ａｃｌａｐｔｉｖｅ　ｓｈａｒｐｅｎｉｎｇｐｒ。

ｐ’Ｗｙ）を有し、これによってよく知られた入カバターンが、よく知られていない入カバターンよりも認識コードのより焦点に絞られた空間的活動化を起こす、認識コードはまた、入カバターンが、その曖昧な予測の基礎となる情報をより多く含む時、より分散されずかつより少ない予測分類を包む、これにより、マスキング・フィールドは、入カバターン内に含まれる予測証拠に対して、実時間コードを具体的に表現することによって、クレジット割り当て問題を解決する。

さらに、連続マスキング原理及び自己類似（ｓｅｌｆ−ｓｉｍｉ　ｆａｒ）成長原理と呼ばれる設計原理が、ネットワークによって具体化される。ネットワーク設計は、連合機構（ａｓｓｏｃｉａｔｉｖｅ　ａ＋ｅｅｈｎｎｉｓ＠）、多重スケール競合相互作用、及び調節的ゲート信号が、単位化認識コードの学習（ｌｅａｒｎｉｎｇ）を調整するために、−緒に結合して使用される方法を示唆する。

図面の簡単な説明本発明の前述及び他の目的、特徴、と利点は、各図面を通して同様な参照番号が同じ部分を指示している添付図面に示された如く、本発明の好ましい実施Ｒ様の次のより具体的な説明から明らかとなるであろう。

図面は、必ずしも共通の尺度がとれておらず、代わりに、本発明の詳細な説明することに強調が置かれている。

第１図は、本発明のプロセスが行われる１つの応用領域を提供する適応共鳴理論のブロック図、　第２図は、本発明のパターン・コード化プロセスの概略図。

第３図は、本発明のプロセスにおいて具体化された容積依存膜組織受容体機構（Ｖｏｌｕｓｅｄｅｐｅｎｄｅｎｔ　ｍｅｍｂｒａｎｅ　ｒｅｃｅｐｔｏｒ　５ｃｈｅ＋ｓｅ）の概略図。

第４図は、第３図の機構の代わりに、本発明のプロセスにおいて具体化されたアクティビティ依存自己類似セル成長機構を示す図。

第５図は、本発明を具体化するマスキング・フィールドによって処理された２つのタイプの感度を示す図。

第６図乃至第１６図は、コンピュータ・シミュレーションによるマスキング・フィールド特性を示す図。

第６図は、シミュレートされたマスキング・フィールドＦ、のＳＴＭに記憶されたＦ、における単一項目（０）に対するＦ２リスト・コード化を示す図。

第７図は、Ｆ、における単一項目（１）に対するＦ、リスト・コード化を示す図。

第８図は、Ｆ、における単一項目（２）に対するＦ２リスト・コード化を示す図。

第９図は、活動化サイズの減少順において２つのＦ、項目（０，１）についてのＦ２リスト・コード化を示す図。

第１０図は、マスキング・フィールドが同じ項目の異なる順序く。ｒｄｅｒｉｎｇ）間を識別することを示し、Ｆ、における２つの項目（０，１）についてのＦ２リスト・コード化の例示である。

第１１図は、減少順において３つのＦ８項目（０，１，２）に対するＦ、リスト・コード化の例示である。

第１２図は、項目サイズにおける順序（１）、（２）、（０）により、３つのＦ３項目（０，１，２）に対するＦ２リスト・コード化の例示である。

第１３図は、活動化サイズの増加順において３つのＦ、項目（０，１，２）に対するＦ　、　Ｓ　Ｔ　Ｍリスト・コード化を示す図。

第１４図は、入力項目（０）に対するサブリスト分類を示し、ＬＴＭ学習により更新されたＦ、リスト・コード化の例示である。

第１５図は、Ｆ１項目（０，１）に対するサブリスト分類を示し、ＬＴＭ学習により更新されたＦ、リスト・コード化の例示である。

第１６図は、Ｆ５項目（０，１，２）に対するサブリスト分類を示し、ＬＴＭ学習により更新されたＦ２リスト・コード化の例示である。

第１７図は、マスキング・フィールドのＦ２ノードの間の相互作用の例示である。

第１８ａ図は、Ｘ、アクティビティの大領域上について、ＳＴＭアクティビティＸｌのサンプリング信号ｆ　（ｘ、）の線形より高速な増加のグラフ、　第１８ｂ図は、Ｘ、アクティビティの大領域について、ＳＴＭアクティビティＸ、のサンプリング信号ｆ（ｘ＋）のしきい値−線形の増加のグラフ。

第１９図は、学習が、Ｆ２における好ましいリスト・コードを選ぶために、適応フィルターをバイアスさせる方法を示し、第１４図と第１５図と同じ入力項目を使用する適応鋭化リスト・コード化によるコンピュータ・シミュレートされたマスキング・フィールドの例示である。　。

第２０図は、第１６図の入力項目と他の入力項目に応答するコンピュータ・シミュレートされた適応鋭化を示す図。

第２１図は、学習によるＦ２ＬＴＭ強度における時間の経過による変化の例示である。

第２２図は、Ｆ、について広汎から焦点へのフェーズ２の活動化の遷移を示すコンピュータ・シミュレーションの例示である。

第２３図は、異なる学習速度の下でＦ、においてＳＴＭに記憶されたリスト・コードを示すコンピュータ・シミュレーションの例示である。

第２４図は、フェーズ１バースト問題を無くす励起及び抑制経路を示す概略図。

第２５図は、Ｆ２の内部フィードバック経路として第２４図の抑制及び励起経路を示す概略図、　第２６図は、フェーズ１バースト問題への別の構造的解決法を示す概略図。

奸ｔｋＵ大施皿檄々脱咀本発明は、マスキング・フィールド（ｍａｓｋｉｎｇ　ｆｉｅｌｄ）と呼ばれる実時間神経ネットワークモデルの更にそれ以上の開発である。マスキング・フィールドは、多重スケール、自己類似、自動的ゲイン制御協同競合フィードバックネットワークである。それは、その特性が、実時間音声認識、視覚対象認識、及び認知情報処理中に、大クラスの圧縮認識コードが確立される方法を理解するために有益である連想記憶の如く作用する。

マスキング・フィールドが向けられてい圧縮コード化又は成分化プロセス（ｅｈｕｎｋｉｎｇ　ｐｒｏｃｅｓｓ）の１つの例が、第１図に示されたニス・グロスベルブ（Ｓ、　Ｃｒｏｓｓｂｅｒｇ）の適応共鳴理論（＾ｄａｐｔｉｖｅ　Ｒｅ５ｏｎａｎｃｅ　Ｔｈｅｏｒｙ）のマクロ回路内で行なわれる。このマクロ回路は、聴覚媒介言語プロセス（レベルＡ、）、視覚認識プロセス（レベルＶ＊）、及び言語生産のための運動神経（ｍｏｔｏｒ）制御プロセス（レベルＭ、）の組み合わせを経て、言語認識及び再現プロセスの自己組織を制御する。これらの段階は、内部的に条件可能経路（黒線）を経て、そして外部的に自己生成前の環境媒介聴取者フィードバック（破線）を経て相互作用する。

理論内の段１ｉｉｔＡ、とＭ、のすべては、同様の一般的ネットワーク法則に従う、これらの法則は、各レベルにおいて存在するノード間の協同及び競合相互作用を説明している。そのような協同競合相互作用は、ネットワークレベルにセル活動化の特性と短期記憶（ＳＴＭ）を賦与する。異なるレベルは、２つのタイプの因子によりＳＴＭの特殊化された特性を示す、即ち、内部連結における差と、各レベルにおけるセルの他のパラメーターである。事実、全ネットワーク階層（ｈｅｉａｒｃｈｙ）の異なる位置内で発生することによって、異なるレベルは、異なるタイプの入力を受信する。この理論の１つの課題は、どのようにして非常に多様な３７Ｍ特性が、特殊化セル間配線図を選ぶことによって、少数のＳＴＭ法則から生成されるかを示すことである。

理論内の学習（ｌｅａｒｎｉｎｇ）及び長期記憶（ＬＴＭ）プロセスのすべては、相互レベル間経路において発生する。これらの学習プロセスのすべてはまた、同様の動的法則に従う、それらは、全ネットワーク階層内におけるそれらの異なるパラメーター選択と異なる位置により、異なるタイプの情報をコード化する。

本発明は、このネットワーク階層の設計レベルＡ４に焦点を当てる。

マスキング・フィールドと呼ばれるレベルＡ４は、レベルＡ３＜一ついて時間とともに明滅する活動化パターンの文脈依存（ｃｏｎｔｅｘｔ−ｒｅｎｒｉ　Ｌｉｖｅ）コード化を生成する。Ａ、についての活動化パターンは、Ａ３からＡ４への、適応フィルター又は条件可能経路を経て、Ａ、に影響を与える。Ａ３からＡ、への結合の発達成長規則とＡ４内の結合の成長規則により、Ａ４が、Ａ３のアクティビティ・パターンの文脈依存分析を達成することを可能にする方法を説明する。最初に、Ａ、によってコード化されるＡ３についてのアクティビティ・パターンの意味を明確にするために、簡単な再検討が、レベルＡ３、Ａ７、とＡ、の特性に与えられる。

発達の初期段階において、第１図の段階Ａ、における環境的活動化聴覚パターンは、Ａ、からＡ、への経路内で、適応重み（ａｄａｐｔｉｖｅ　ｗｅｉｇｈｔｓ）又は長期記憶（ＬＴＭ））レースをチューニング（ｙｕｎｅ）　Ｌ始める。これはまた、Ａ２についての短期記憶（ＳＴＭ）ＩＮ覚［特徴検出器（ＦｅａｔｕｒｅＤｅｔｅｃｔｏｒ）　Ｊ活動化のパターン化の変更を開始する。ＬＴ−Ｍチューニング・プロセスの開始後、それは、「バブリング（ｂａｂｂｌ　ｉｎｇ）　Ｊフェーズによって補なわれる。運動神経コマンド段階Ｍ１の内生的活動化が、簡単な言葉表現を引き出させるのはこの「バブリング」フェーズ中である。

これらの言葉表現は、Ａ、→Ａ２経路をチューニングできるＭｌからＡＩへの環境フィードバックを生成する。フィードバック経路Ｍ１→Ａ、→Ａ２内の学習（ｌｅａｒｎｉｎｇ）は、調音必要要件に対して聴覚感度をチューニングするのを助ける。

Ａ、についての聴覚パターンが、Ａ、→Ａ、のＬＴＭ）レースをチューニングするのとちょうど同じ如く、Ｍ、についての内発的活動化運動神経コマンド・パターンは、Ｍ、→Ｍ２のＬＴＭ）レースをチューニングする１Ｍ２についての活動化パターンは、Ａ２についての活動化パターンが、Ａについての内発的活動化聴覚パターンを「聴覚特徴（ａｎｄｉｔｏｒｙ　ｆｅａｔｕｅｒｓ）　Ｊにコード化するために使用する同じ機構を使用して、Ｍ、についての内発的活動化運動神経コマンドを「運動神経特徴（ｍｏｔｏｒ　ｆｅａｔｕｅｒｓ）　Ｊにコード化する。

適応信号化の流れは、Ａ、からＡ、へ、及びＭ、からＭ、へのボトムアップではない、Ａ２からＡＩへ、及びＭ２からＭ、へのトップダウン条件可能信号も存在する。これらのトップダウン信号パターンは、学習された期待を表わす、これらの最も重要な役割は、適応経路Ａ１→Ａ２とＭ、→Ｍ２内で進行する学習を安定イヒすることである。それを行う際、これらのトップダウン信号パターンはまた、曖昧又は新しいボトムアップ信号に応答する最適期待値の読み出しを構成する。これらの最適期待値は、システムが、過去の経験に基づいて、Ａ、又はＭ、において見い出すことを期待されるパターンを予測する。予測及び実パターンは、実及び期待情報の混合である完了複合パターンを形成するために、Ａ、とＭ、において併合される。

聴覚（＾ｕｄｉｔｏｒｙ）及び運動神経（ｍｏｔｏｒ）特徴は、Ａ２からＭ、への連合マツプを経てリンクされる０Ｍ、が内発的に活動化される時、それは、適応経路Ｍ、→Ｍ、を経てＭ２において運動神経表現を活動化し、そして環境フィードバックＭ、−Ａ、プラス適応経路Ａｌ−４Ａ２を経て、Ａ２において聴覚表現を活動化する。従ってＡ２とＭ２は同時にアクティブであるから、関連マツプＡＩ−＋Ｍ、が学習されることができる。このマツプはまた、聴覚調音特徴をリンクする。

関連マツプＡ、→Ｍ、は、新しい音、特に非自己生成前の模倣を進行させることができる。それは、新しい音をボトムアップ聴覚経路Ａ、→Ａ。

を経て分析し、関連マツプＡ、→Ｍ２を経て聴覚特徴検出器の活動化パターンを特徴検出器にマツプし、そしてそれからトップダウン運動神経テンブレー）Ｍ２ →Ｍ１を経て運動神経特徴パターンをＭ、における純運動神経コマンドにシンセサイズすることによって、それを行う、このようにしてシンセサイズされる運動神経コマンド又は共同作用（Ｓｙｎｅｒｇｙ）は、システムによって現在コード化されている音のいずれよりも新しい音により近い音を生成する。また、学習されたマツプＡ、→Ａ２→Ｍ２→Ｍ、に続いて行われるＭｌからＡ１への環境フィードバックは、閉フィードバック・ループスは「循環性反応（ｃｉｒｃｕｌａｒ　ｒｅａｃｔｉｏｎ）」（ビアジェ、Ｊ。

著、「子供における知能の起点」、ニューヨーク：ツートン、１９６３年、を参照）を規定する。

段階Ａ、とＭ２は、各々、一度に聴覚又は運動神経特徴のただ１つの空間的パターンを処理することができる。こうして、Ａ、は、音声スペクトルの狭い時間スライスから導出される聴覚「特徴コード（ｆｅａｔｕｒｅ　ｃｏｄｅ）」を処理し、そしてＭ２は、同期的に同等の筋肉収縮の単純な運動神経共同作用を制御する。これらの特性は、ネットワークノードのフィールドを横切るアクティビティの空間的パターン即ち分散パターンが実時間ネットワークの計算単位であるという事実の結果である。これらの計算単位は、グロスベルブ、Ｓ、著、「心と頭の研究：学習、知覚、発達、認識、と運動神経制御の神経原理Ｊ、ボストン：リーデル・プレス、１９８２年、に詳述された如く、ネットワークを支配する関連学習法則の数学的結論である。第１図における後のレベルＡ、とＭＪは、すべて、空間的パターン構成ブロックの時間的分類又はリストに対して識別と想起表現を構成するために向けられる。

Ａ２についてのアクティビティの空間的パターンは、瞬間的にＡ、を活動化している聴覚パターンを表わすＡ２の「特徴検出器」のすべての相対的重要度をコード化する。Ａｘについての各空間的パターンは、Ａ２からＭ２への関連マツプを活動化することに加えて、Ａ２からＡ３への適応経路を活動化する。理論の適応経路のすべては、同じ法則に従うが、各経路は、ネットワークにおけるその位置によって、異なる情報を学習する。Ａ２からＡ、経路は、Ａ、についての特徴パターンによって活動化されるので、経路は、これらの特徴パターンの圧縮識別コード又は成分（ｃｈｕｎｋｓ）の形式において学習された表現を構成する。各そのような表現は、項目表現と呼ばれる１項目表現は、音素の表現を含む。

項目表現についてのすべての新しい学習は、Ａ２→Ａ、の適応経路のしＴＭ）レース内でコード化される。各項目表現は、Ａ、についての活動化のパターンとして表わされるが、これらの項目表現の学習は、Ａ、内では行われない０例えば、一連の音パターンがＡＩを活動化する時、Ａ２についての「聴覚特徴」活動化のパターンは、一種の映像的（ｉｃｏｎｉｃ＞記憶を経て構成されかつ急速に崩壊する（スパーリング、Ｇ、著、「簡単な視覚表象において利用可能な情報」、心理学研究論文、１９６０年より）、更に、これらのＡ２活動化パターンは、Ａ、を横切る項目表現（ｉ　ｔｅｔｓ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）の活動化が行われる９項目表現は、Ａ、内のフィードバック相互作用により、一種の［作業記憶側ｏｒｋｉｎｇ　ＭｅＬＩｏｒｙ）」（ｒ人間の記憶における処理レベル」、サーマツク、Ｌ、Ｓ、とフレーク、Ｆ。

（編薬）、ヒルスプール、ＮＪ：エルバウム、１９７９年〉としてＳＴＭに記憶される。Ａ３を横切る一連の項目表現はＳＴＭに記憶されるに従って、Ａ３を横切る８７Ｍアクティビティの空間的パターンは、Ａ、の項目表現を横切る「時間順序情報（Ｔｅ＋５ｐｏｒａｌ　０ｒｄｅｒ　Ｉｎｆｏｒｍａｔｉｏｎ）」を表現する。

多数の項目が提出されるに従って、Ａ、を横切るアクティビティの発展空間的パターンは、いくつかの最大長さまでの項目フィールドの大領域を含む、こうして、項目の時間的処理は、Ａ、における一連の拡大する空間的パターンに変換される。これは、何故視覚処理に適用される空間的機構がまた、音声処理に対するマスキング・フィールドＡ４を設計するのに使用されることができるかの主な理由である。

Ａ、を横切る各アクティビティ・パターンは、それ自身の権利で文脈依存計算単位である。そのような表現において、任意の１つのアクティビティを変化させると、項目の全体リストのコード化された意味が変化する。このため、アクティビティ・パターンは、コードであり、そしてそれを規定するために、さらに他のラベル又はアルゴリズムは必要とされない、しかし、コードが作用する法則の３つのセットがある。

１番目は、項目が、Ａ、を横切る活動化の空間的パターン化を経て、時間的順序情報を確実に表現できる法則である。スティーヴン・グロスベルブは、「人間の記憶の理論：感覚運動神経コード、マツプ、とプランの自己組織と運用」、理輪生、学における進　、アール・ローゼンとエフ・シュネル（＠ａ）＝第５巻、ニューヨーク：アカデミツク・プレス、１９７８年、及び「短期記憶における行動対照：逐次バイナリ−記憶モデル又は並列連続記憶モデル」、致Ｔｎ豪児Ｙ省雅誌、１９７８年、において、安定ＬＴＭコード化と両立するＡ、に対するＳＴＭ法則を導出するために、ｒＬＴＭ不変性原理（ＬＴＨＩｎｖａｒｉａｎｃｅ　Ｐｒ１ｎｃｉｐｌｅ）　Ｊを導入した。この原理は、新項目の提示に応答して、前の項目の８７Ｍアクティビティを変更する方法を示し、その結果新項目によって引き起こされる８７Ｍアクティビティの再パターン化は、古い項目分類に対するＬＴＭコードをうっかり抹消しない０例えば、ワードｒｍｙｓｅｌｆＪを考える。’ｍｙＪ、ｒｓｅｌｆ」、とｒｅｌｆ」に対するＬＴＭコードは、ネットワークが、新ワードｒｍｙｓｅｌｆＪを学習しているからといって抹消されるべきではない、他方において、分類’ｍ３’Ｊ、ｒＳｅｌｆＪ、とｒｅｌｆ」の予測の重要度は、リストｒＭｙｓｅｌｆ」内のそれらの一時的埋め込みによって減少される。従って、Ａ、は、次に述べる旦工ｙＺ３むυ胆１を満足するように設計される。

ＳＴＭにおける時間順序情報の空間的パターンは、新項目がＡｓを活動化する時、過去の分類によって引き起こされたＳＴＭの活動化がＡ４を横切って著しく変化するとしても、過去事象分類のＡ３→Ａ４のＬＴＭコードを不変にしておく如き方法により、逐次的に提出されたリストによって生成される。

Ａ、を横切り適切に設計された協同競合相互作用は、機械的にこの原理を実現する０本目的のために、Ａ３内の項目表現の同一セットを横切る、異なる８７Ｍアクティビティ・パターンは、これらの項目の異なる時間順序をコード化する。ＬＴＭ不変性原理に基づ＜Ａ２設計は、また、種々の他のデータを分析かつ予測するために使用された。（グロスベルブ、Ｓ６著、「人間の記憶の理論：感覚運動神経コード、マツプ、とプランの自己組織と運用」、理−・−にお番る゛　、アール・ローゼンとエフ・シュネル（＠集）、第５巻、ニューヨーク：アカデミツク・プレス、１９７８年；「短期記憶における行動対照：逐次バイナリ−記憶モデル又は並列連続記憶モデル」、’ｆｉ！３ｍ昼ｌヱ＠誰薩、１９７８年；及び「行動における逐次順序の適応自己組織：音声、言語、と運動神経制御」、　と　、によるパターン切＝　１＾：　、イー・シー・シュワップとエッチ・シー・ナスバウム＜ａａＳ＞　、ニューヨーク：アカデミツク・プレス、１９８６年、及びグロスベルブ、Ｓ、とストーン、Ｇ、０．著、「短期記憶における注意切り替えと時間順序情報の神経勧学」、記箆ζ認翅、１９８６年出版１を参照）。

次に、コードが作用する法則の第２及び第３セツトを記述する。これらの法則は、どのようにそれぞれ、ワードの如く完全リストの圧縮又は単位化表現が学習されかつ実行されるか、どのような項目が、Ａ、によって単位化される前後に、リハーサルされかつ想起されるかを支配する。

これらの法則の背景を通して、新しい音の総合による分析が、複合マツプＡ１→ Ａ２→Ｍ２→Ｍ、によって達成されたとする。そのようなマツプは、Ａ２を横切る聴覚特徴の新しいパターンと、Ｍ２についての運動神経特徴の新しいパターンを生成する。その時、これらの特徴パターンは、Ａ３とＭ３における単位化項目表現の学習をトリガーできる。これらの単位化表現は、ネットワークが、「バブリング（ｂｕｂｂｌ　ｉｎｇ）　Ｊフェーズ中にこれらの特徴パターンを内発的に活動化しないとしても、学習されることができる。このようにして、ネットワークの学習された項目コードは、模倣、自己生成発声、ＳＴＭ再分類、とＬＴＭ単位化の組み合わせによって、さらに複雑な構成に発展し続ける。新しい単位化項目表現の間の連合マツプ（ａｓｓｏｅｉａｔｉｖｅ　ｍａｐ）Ａ３＝Ｍ３もまた、学習され続ける。

ネットワークが音声ストリームを処理する時、それは、Ａ、の項目表現を横切る、時間順序情報の発展する５７Ｍパターンを確立する。リストのすべてのサブリストは、また、リストであるので、Ａ、からＡ４への条件付けられる経路は、音声ストリームが時間を通して提出される時、感知するサブリスト分類のすべてを同時に「見る」又はフィルターする。

それから、Ａ４内のマスキング・フィールドは、これらのサブリスト分類のどれがＡ４Ｊ二おけるＳＴＭに記憶されることによってリストを表現するかを決定する。

これらのサブリスト表現は、ワードの認識に寄与する（グロスベルブ、Ｓ、とストーン、Ｇ、０．著、「ワード認識と想起の神経勧学：注意プライミング、学習、と共鳴」、必皿工圧准、１９８６年出版１を、それら自身では、想起を引き出さない、これは、なじみの項目のどのような短い新リストが、単位化の前も想起できるかの問題を提起する。まず、言葉単位が、項目表現とリスト表現の両方を有することができること留意０次に、なじみの項目の短い新リストの想起（ｒｅｃａｌｌ）が、Ａ、への非特定リハーサル波によってトリガーされることに留意、（グロスベルブ、Ｓ、著、「人間の記憶の理論：感覚運動神経コード、マツプ、とプランの自己組織と運用Ｊ、Ｆ！！Ｕ　−におけ　゛　、アール・ローゼンとエフ・シュネル（編Ａ）、第５巻、ニューヨーク：アカデミツク・プレス、１９７８年、及び［逐次バイナリ−記憶モデル又は並列連続記憶モデル」、＊　籐介ｙ）祉誰、１９７８年）、そのような波は、アクティブ項目の出力信号をＡ、からＭ、に放出可能にする出力ゲートを開にし、最もアクティブな項目表現は、アクティブさが劣る項目表現の前に読み出される。各項目が読み出されると、その項目表現を選択的に抑止する負のフィードバック・ループをそれ自身に対し活動化し、これにより次の項目表現を読み出し可能にする。各項目表現は、学習されたＡ３→Ｍ３→Ｍ、→Ｍ１の感覚運動神経マツプを経て想起される。

このタイプの想起は、単位化項目表現のリストのＳＴＭ又は作業記憶からの即時想起である。それは、ＬＴＭからの「自動的（ｉｎｔｏ＋ｍａｔｉｅ）　Ｊ単位化想起であるよりもむしろ、「制御化（ｃｏｎｔｒｏｌ　１ｅｄ）　Ｊプロセスのタイプである。Ａ４における単位化リスト成分（ｃｈｕｎｋ）が、ＬＴＭがら運動神経コマンドのリストを読み出すほうほうを学習するために、その成分は、全運動神経コマンドへの経路をサンプリングするために、学習プロセス中、充分に長くアクティブでなければならない、どのように項目表現を横切る時間順序情報が、ＬＴＭにコード化されかつそれがら読み出されるかの最も簡単な実現において、Ａ、からＡ、への条件付けられる経路が、チューニングされている間、Ａ４からＡ、のトップダウン・テンブレー１・は、この情報を学習する。Ａ４におけるリスト成分（ｌｉｓｔ　ｅｈａｕｎｋ）の後の活動化は、このＬＴＭ時間順序情報を、Ａ３の項目表現を横切るＳＴＭ時間順序情報のパターンに読み込む、この時のリハーサル波の活動化は、リストをＳＴＭの読み出しを可能にする。これにより、単位化想起（ｕｎｉｔｉｚｅｄ　ｒｅｃａｌｌ）が、学習されたＡ、 →Ａ、→Ｍ３→Ｍ２→Ｍ１の感覚運動神経マツプを経て発生する。

この背景により、マスキング・フィールドＡ、の設計を、今、詳細に説明する。

マスキング・フィールドのコンピュータ・シミュレーションに使用される数学的関係を、つづいて概念的に説明する。マスキング・フィールドは、適応分類問題を解決するための実時間ネットワークモデルである。一連の項目が時間的に処理されると、マスキング・フィールドは、リスト表現の選択を更新し、優先パラメーター選択の組み合わせと過去の学習に基づいて、項目列を連想（ｃｏｎｔｅｎｔ−ａｄｒｅｓｓａｂｌｅ）圧縮サブリスト選択の予測分類に分析する。Ａ３の項目表現を横切る８７Ｍアクティビイの空間的パターンは、Ａ４によって分類される入力を提供する。

さらに項目が提出されると、いくつかの最大リスト長さまでのＡコの項目フィールドの大領域を含む新空間的パターンが、登録される。こうして、項目の時間的処理が、Ａ、によって、一連の拡大する空間的パターンに変換される。

これは、絵により第２図に示されている０項目フィールドＦ、は、Ａ。

の項目表現を横切る８７Ｍアクティビイの空間的パターンから、マスキング・フィールドＦ２によって受けとられる。マスキング・フィールドＦ、は、項目フィールドＦ１内の多重分類（ｍｕｌｔｉｐｌｅ　ｇｒｏｕｐｉｎｇ）を同時に検出し、そして重み（ｗｅｉｇｈｔｓ）　２０．２２．２４をこれらの分類に対する圧縮表現又はコードに割り当てる。それぞれの重みを有する分類は、項目フィールドの文脈とシステムの前の学習に関して入カバターンを予測する。

ワードｒｒｎｙｓｅｌｆ」の例が、ここで示される。この場合ワード’ｆｒＤ’ Ｊ、ｒｓｅｌｆ」、とｒｅｌｆ」は、ワードｒｍｙｓｅｌｆ」を含む項目フィールド内の多重分類である０部分’ｍ：ＹＪとｒｓｅｌｆＪは、ｒｅｌｆ、１よりもワードｒｍｙｓｅｌｆ」のより顕著な部分であることが予測されるために、大きな重み（ｗｅｉｇｈｔ）が、ワードｒｅｌｆ」よ・りも部分’ｍ３’ＪとｒｓｅｌｆＪに割り当てられる。この予測は、項目フィールドｒｍｙｓｅｌｆ」の文脈、及び先行の学習又は類似ワードと文脈との親密性に基づく、さらに、ワード「ｍｙ」で終了する項目フィールドは、分類の１つのセットを生成し、そして完全ワードｒｍｙｓｅｌｆＪの包含へと進む項目フィールドは、前の分類に取って代わる分類のセットを生成する。

同じことは、ｒｍｙｓｅｌｆ」の如きワードが、聴覚的よりもむしろ視覚的に提出される時成り立つ、その時、問題は、視覚対象認識と図地分割（ｆｉｇｕｒｅ −ｇｒｏｕｎｄ　ｒｅｇｍｅｎｔａｔｉｏｎ）の１つになる。Ｅの如き文字は、視覚項目フィールドにおける項目として、「Ｌ」と「Ｆ」の如き文字を含むために、問題はまた、視覚又は聴覚処理の精練レベルに存在する。マスキング・フィールドは、多重空間的スケールの範囲を定める多重パターン分類を感知することができ、そしてこれらの分類の各々に、これらの分類の短期記憶（ＳＴＭ）表現又はコードにおける適切なコード化重みを割り当てる。

この特性が与えられると、マスキング・フィールド設計の原理は、適応フィルターＦ　＋　＝　Ｆ　ｚを経て、項目フィールドＦ、をマスキング・フィールドＦ、に関連させて述べることができる。

マスキング・フィールドＦ２は、逐次マスキング原理に従って、適応フィルターＦ１→Ｆ２から入カバターンを受けとる。逐次性弧匹旺吐ヱみ炙ＺＡ度風は、次の如く述べられる。即ち、項目フィールドＦ、の広範囲領域は、広範囲領域がより強力なマスキング・パラメーターによりＦ２におけるノードを選択的に励起する如き方法で、Ｆ、−Ｆ２経路によってフィルターされる。

言い換えれば、マスキング・フィールドＦ２は、Ａ、から受けとる項目フィールドの空間的周波数又はスクールに敏感である０項目の空間的周波数は、また、空間的スケールと共に、多重スケールを意味することが意図される。規定された空間的スケール範囲に選択的に感知する７、８．９の如くマスキング・フィールド（第２図）におけるノードは、それぞれ、マスキング・サブフィールド１２．１４．１６を規定する。各マスキング・サブフィールドは、論述された単純な神経単位の成長規則によって決定される数値パラメーターの異なる選択によって特徴付けられる。

サブフィールド１４の如く、そのセル個体数が広範囲の空間的スケール及び／又は多数のコード化位置を有するサブフィールドは、サブフィールド１２と１６の如く、狭範囲の空間的周波数スケールと少数のコード化位置を有するサブフィールドのＳＴＭアクティビティを競合的にマスクする。

項目フィールドＦ、とそれ自身のノード７．８、と９の間の結合のために、マスキング・フィールドＦ２が従う神経単位成長の規則は、ＦｌからＦ２への空間的傾斜に沿った結合のランダム成長と、Ｆ２内の自己類似アクティビティ依存ノード成長と、保存されたシナプシス位置に対して競合するＦ２の間の細胞間相互作用とを含む。

これらの成長規則は、任意数のネットワークレベルによって従われることができるので、マスキング・フィールドは、その連続するレベルが、項目フィールドＦ１のさらに抽象的な分類を検出しかつ操作することができるコード化された階層Ｆ、→Ｆ２→Ｆｓ→・・・Ｆ７にリンクされることができる。

この論述を通して明確さのために、項目フィールドＦ１は、「項目（ｉｔｅｍ）　Ｊレベルと呼ばれ、そしてマスキング・フィールドＦ２は、「リスト（ｌ　１ｓｔ）　Ｊレベルと呼ばれる。これらの抽象的用語は、２つのレベルＦ。

とＦ、の動的特性と一致し、そして知覚及び認知処理中に発生するコード再組織の文脈依存を適切に取り扱うことのない−「ワード・レベル（ｗｏｒｄ　１ｅｖｅｌ）」と「文字レベル（ｌｅｔｔｅｒ　１ｅｖｅｌ）　Ｊの如く一代替的術語の落とし六を避ける。

成長規則を理解する際に、幾つかの特性が暗に含まれている。即ち、（Ａ）　表　（Ｓｅ　ｕｅｎｅｅ　Ｒｅ　ｒｅｓｅｎｔａｔｉｏｎ　：最大列長までの全実現可能項目列（ｉｔｅ輪５２ｑｕｅｎｅｅｓ）は、初期的に、マスキング・フィールドにおいて、ある差分反応を生成するが、しかし弱い。

（Ｂ）　に　マス　ン　・パーメー　−：マスキング・フィールド・ノードの限界マスキング・パラメーターは、それらを活動化する項目列の長さと共に増加する。この規則は、最適列長に達するまで保持する。

（Ｃ）マスキング　層ｌｌ１ａｓｋｉｎ　Ｒｉｅｒａｒｅｈ　）：与えられた項目列によって活動化されるノードは、この列の部分列（ｓｕｂｒｅｑｕｅｎｅｅｓ）によって活動化されるノードをマスクすることができる。

（Ｄ　）　Ｍ　（Ｓｅ　ｕｅｎｅｅ　５ｅｌｅｃｔｉｖｉｔ　：ノードのトリガー列が、長さｎを有するならば、それは、ｎよりもかなり小さな長きの列によって微いき上（ｓｕｐｒａｌ　１ｍ１ｎａｌｌｙ）では活動化されない。

特性（Ａ）と（Ｂ）は、Ｆ１→Ｆ、経路が、マスキング・フィールドに亙って広く散在する多数の結合を含むことを示唆する。特性（Ｃ）は、密接に関連した列が、マスキング・フィールドにおける近くのセルを活動化することを示唆する。

（Ｄ）は、多数の結合にも拘わらず、長い列のセルのチューニングが、それらを短い部分列に応答することから防止するという意味であると仮定する。

主な問題は、多数の結合と列選択性との間の設計上の緊張問題を解決することである。この緊張（ｔｅｎｓｉｏｎ）は、複列ノードと長列ノードの両方に対して解決されなければならない０本出願人は、Ｆ、→Ｆ２におけるランダム成長規則とＦ２内のアクティビティ付随自己類似成長規則の均衡のとれた組み合わせが、この設計の緊張問題を解決することを発見した。これらの成長規則の相互作用は、次により最も良く理解される。

Ｆ、における各項目ノードが、非常に多数のランダムに分布された経路をＦ２におけるリスト・ノードの方に送出するとする０項目ノードは、小さな確率Ｐを有する列ノードにランダムに接触するとする８項目ノードよりもさらに多数のリスト・ノードが存在するので、この確率は小さい、λを、列ノードのすべてに互るそのような接触の平均数とする。その時、正確にに経路が、与えられた列ノードに接触する確率は、ポアソン分布によって与えられる。

ＩＫが、Ｋ〈λ〈Ｋ＋１として選ばれるならば、Ｐ、は、１≦に≦にの時、ｋの増加関数であり、そしてに≧にの時、ｋの減少関数である。＾が充分に小さい（約４）ならば、（１）は、長さに≦にの列が、マスキング・フィールド内に再提出され、これにより特性（Ａ）と（Ｂ）を満足することを意味する。超幾何分布の如き関連ランダム成長規則は、また、類似特性を有する。

経路の広くかつランダムな分布により、リスト・ノードは、それらのサブリストに対応するノードの近くに密集する傾向があり、これにより特性（Ｃ）を満足する傾向がある。さらに他の特性は、また、特性（Ｃ）を満足することを必要とされる。長リスト・ノードは、そのサブリストのすべてをマスクする傾向があるので、そのようなノードは、これらのサブリストをコード化するノードのすべてに抑制信号を送信することができなければならない、こうして、Ｆ２ノードにおける相互作用範囲（軸索）は、第２図に示された如く最大に感知するリストの長さと共に増加しなければならない、これは、自己類似成長（Ｓｅｌｆ−Ｓｉ＋＊１ｌａｒ　にｒｏｗｔｈ）の原理と呼ばれる。

特性（Ｄ）を実現するために、Ｆからに経路を受けとるＦ、ノードは、各経路において入力を希釈し、その結果（はとんど）すべてのに経路は、しきい値上の応答を生成するためにアクティブでなければならない、ｋが増加する時、希釈の量もまた増加する。この特性は、大容量が、単一の信号出力経路により信号をより効果的に希釈することができるので、長リスト・セルが、大細胞容量を有することを示唆する。大容量はまた、他のものが等しい時、より多くの経路がセルの表面に到達することを可能にする。これにより、長リスト・ノードが、位置と空間的スケールの数の如く大パラメーターに関連する制約は、大表面領域を含むように拡張される。この結論は、マスキング・フィールドを設計する際に自己類似性原理の重要性を再確認する。ノードは、これらの相互作用を支持するために大ノード体を有するので、長い相互作用（軸索）を有する。

その結果、４つの正式な特性（Ａ）−（Ｄ）は、神経単位成長の単純規則の組み合わせによって、マスキング・フィールドの設計において実現され、この場合多数のランダム成長は、シナプシスの位置に対する競合によって制約されるＦ、内のアクティビティ依存自己類似成長を誘導するＦ、からＦ２への空間的傾斜に沿って発生する。

まだ実験的に検査されていないこの特性を達成する２つの主な方法が、コーエン、Ｍ、Ａ、とグロスベルブ、Ｓ、著、「音声及び言語コード化の神経動学：発達プログラム、知覚分類、と短期記憶に対する競合」、人間神経生物学、１９８６年、によって記載されている。２つの方法の組み合わせも可能である。１つの方法は、経路が、第３図に示された如＜　Ｆ　ｒからＦ、にランダムに成長する時、はぼ同一サイズで起こりかつ成長するＦ２ノードによる。Ｆ＋ｈＦｚ経路は、可変量のノード成長を引き起こす可変レベルのＦ、ノード活動化を生成する。第２のａ楕は、第４図に示された如く、容量依存膜受容体を有するＦ、に依存する。Ｆ２のノードは、種々のサイズを取り、そして膜シナプシス位置の数は、ノードの励起を防ぐためにノード位置と共変する。

マスキング・フィールドＦ２は、項目フィールドＦ１におけるアクティビティ・パターンの多重空間的スケール又は空間的周波数分析を行うことによって、項目フィールドＦ２の分類のコード又は単位化表現を選択する。この分析は、正しい分類を高め、そしてＦ３項目の不適当な分類を競合的に抑制又はマスクする。特に、マスキング・フィールドＦ２は、「全体（ｗｈｏｌｅｓ）　Ｊを１部分（ｐａｒｔｓ）　Ｊと混乱せず、適当な入力文脈において、なじみの１部分」がそれ自身で「全体」として現れるのを可能にする０例えば、ワード「ｍｙ」とｒｓｅｌｆ」は、それらが分離して提出されるか、又は−緒に提出される時ｒｍｙｓｅｌｆＪ内の１部分」として処理されるならば、「全体（ｗｈｏｌｅｓ）　Ｊとして処理される。

Ｆ才を横切る高められなＦ、８７Ｍアクティビティの空間的パターンは、入力ストリーム（項目フィールド）を表現する単位化コード又は仮定を具体化する。以下にさらに詳細に記載されている如く、このコードは、利用できる証拠に基づいて、まだ充分に発生していない分類にアクティビティを割り当てることによって、後続の事象を予測又は予想することができる。こうして、マスキング・フィールドは、実時間予測、又は証拠収集の連想記憶機械として作用する。逐次プログラム又は認知規則構造は、これらの特性を達成するために、マスキング・フィールド内に存在しない０代わりに、マスキング・フィールド・ノードは、第１７図に示された分路（質量作用）、中心オン周囲オフ（ｏｎ−ｃｅｎｔｅｒ　ｏｆｆ −ｓｕｒｒｏｕｎｄ）（協同競合）再発（フィードバック）相互作用を受ける膜方程式に従う、マスキング・フィールドＦ、の３７Ｍコードは、これらの相互作用の開発的特性である。

第１７図において、Ｆ、のりスト・コード５は、項目フィールドＦ１の項目ノードの分類３のコード又は単位化表現を受けとる。リスト・ノード５は、正のフィードバック相互作用６によりそれ自身と、そして負のフィードバック・ライン２１によりマスキング・フィールドＦ２の他のリスト・ノードとリンクされる。これらの相互作用は、それらのフィードバックと協同競合設計により再発する中心集中周囲離脱の相互作用である。リスト・ノード５と項目ノード３の間には、マスキング・フィールドＦ２の長期記憶の適応フィルター１７がある。適応フィルター１７は、適切な重み（ｗｅｉｇｈｔ）　１５を各信号交差経路ＦＩ　Ｆｘに割り当て可能にする。これらの重み１５は、信号を過去の学習に基づいた信号の予測重要度を示す量だけ掛は算する。積は、Ｆ２を横切る空間的アクティビティ・パターンの一部分であり、そしてこれにより単位化コードの一部分である。

マスキング・フィールドＦ２によって行なわれる多重空間的スケール分析は、２つの異なるタイプのパターン変化に感知する。ｒｍｙｓｅｌｆ」の如くリスト／ワードが処理される時、’１’ｌ’Ｊの如くサブワードは、完全リスト／ワードｒｍｙｓｅｌｆＪが経験される前に発生する。

第５ａ図は、このタイプの情報変化を図式化する。リスト／ワードが提出される時、高く暗いバー要素として第５ａ図に示されたＦ、内の前の８７Ｍアクティビティは、より短くより明るいカラー・バーとして示された後続の３７Ｍ活動化によって修正されかつ補われる。Ｆ、についてのＳ７Ｍパターンは、リスト・ワードが提出される時、（左から右に）発展する。ワードｒｍｙｓｅｌｆＪが、Ｆ、内に完全に記憶された後、’ｍｙＪ、ｒｓｅｌｆ」とｒｅｌｆ」の如く部分は、全体の中になオ存在する。それから、マスキング・フィールドＦ２は、ｒｍｙｓｅｌｆ」の残りが提出される時、「ｍｙ」へのその初期応答を自動的に再スケールする。このようにして、マスキング・フィールドは、部分よりも全体リスト／ワードを優遇することができる。

部分よりもむしろ全体リストの表現を優遇するマスキング・フィールドの能力は、検出される全体リスト内の分類の各々の全体スケールへの感度から導出される。この自動スケール特性は、マスキング・フィールドに部分よりも全体パターンを優遇することを可能にするが、パターンの一部分のみが提出される時、同じ全体パターン・コードを優遇し続けない、さらに、フィールド感度は、部分自身に新全体として応答し、その結果大パターンが実際に発生する時、大パターン・コードが優遇され、そして小パターンが発生する時、小パターン・コードが優遇される。

マスキング・フィールド分析の第２の感度は、内部パターン微細構造への感度である。これは、２つのワード「レフト（ｌｅｆｔ）Ｊと「フェルト（ｆｅｌｔ）」によって示されている。２つのワードは、項目表現の同一セット−例えば、文字ｒｌ、Ｊ、ｒＥＪ、「Ｆ」とｒ’ｌ’Ｊに対するコードは、異なる項目順序− 例えば、Ｌ−Ｅ−Ｆ−ＴとＦ−Ｅ−Ｌ−Ｔによって活動化されるという問題を示す、ｒｌｅｆｔ」とｒｆｅｌｔ」の両方がＦ、の同一空間的パターンを活動化するために、項目フィーノにドＦ１についての２つのそのようなアクティビティ・パターンを識別するためには、Ｆ、の異なる空間的パターンに対するマスキング・フィールビＦ２内の感度は不充分である１代わりに、項目コード（即ち、文字ｒｆＪ、「ｅ」、ｒｌ、と「ｔ」）の同一セットを励起する３７Ｍパターンにおける異なる項目に対する感度が、第５ｂ図に示された如く、必要とされる０項目の同一セットは、１つの暗い、１つの中間の、そして１つの明るいバー成分を有する三つ組みによって示される。パターン微細構造に対する感度は、三つ組みの各バーが、示された３つの異なる全体パターンにおいて自身の強度又は高さを有することを可能にする。そのような感度により、個々の項目強度は、マスキング・フィールドによって承認されかつ考慮される。

自動的再スケール（ｒｅｓｃａｌｌｉｎｇ）と微＠構造検出特性は、Ｆ２ノードの間の非線形フィードバック相互作用が、Ｆ２によって受けとられた入力をＦ２の圧縮活動化コードに自動的に変形するような方法から導出される。このタイプの非線形フィードバックは、先行技術の多数の代りの分類アルゴリズムにはない、そのようなアルゴリズムの開発に対する最近の寄手における中心問題は、「パラメーター空間におけるオフビークの正投票を取り消すために「負投票」を使用する方法を発見することである（ブラウン、ｃ、ｍ、、ｒツウ（Ｈｏｕｇｈ）変形における固有バイアスと雑音」、パターン　、にお番るアメリ　−　Δ工上旦旦旦と隨！緩、１９８３年）、関連したタイプの問題は、マスキング・フィールドによって解決される。マスキング・フィールドは、正及び負のｒ投票（ｖｏｔｉｎｇ）　Ｊに対するアルゴリズムを正及び負フィードバック相互作用を受ける実時間網と置き換える。このため、本発明は、環境的予測特性を有する単位化分類の安定学習を生成するために、Ｆ２内の非線形フィードバックの設計をＦ１→ Ｆ２３ｉＩ応フィルターにおける非線形学習の適切なタイプと結合する。

マスキング・フィールドＦ１はまた、Ｆ、を活動化する事象のリスト内の１以上の分類を同時に弁別することができる０例えば、マスキング・フィールドＦ２は、全ワードに感知するＦ２ノード個体群を強く活動化し、かつ、ワードの最も顕著な部分に感知するＦ２ノード個体群を弱く活動化することによって、ワードｒｍｙｓｅｌｆＪのＦ＋表現に応答する。

さらに−鍛的に、事象を単独に表現することによって、そして単位化構成として、事象ＡとＢの対に反応する。そのような表現において、Ｆ２を横切る全ＳＴＭパターンは、ｐ、３７Ｍパターンを表現する。Ｆ２のＳＴＭアクティビティの相対サイズは、それぞれのＦ２ノード個体群によってコード化された単位化分類の相対的重要度に重み付けする。

Ｆ、を横切るしきい値上のＳＴＭアクティビティは、そのフィードバック相互作用が、第１７図に示され々正と負のフィードバックの間で競合するという事実により、近似的に標準化又は保存される。こうして、Ｆ２を横切るＳＴＭアクティビティは、実時間確率的論理、又は仮定検査アルゴリズム、又はマスキング・フィールドＦ２がＦ、についてのパターンについて有する証拠のモデルの如く機能する。

さらに、マスキング・フィールドは、予測、予期又はブライミング能力を所有する１項目フィールド感度を横切る単一項目に応答して、最も活発に活動化されるマスキング・フィールドＦ２ノード個体群が、その項目をコード化する。さらに、より活発でない活動化は、項目によって部分が形成された最も顕著な大分類を表現するＦ、ノードにおいて発生する。それから、マスキング・フィールドは、項目が、次の時間間隔中に部分を形成する発生大分類を予期又は予測する。

より多くの項目がＦ、によって記憶される時、Ｆ、において表現された情報に関するＦ、の不確実性は、より予測的な全体パターンの出現により減少する。Ｆ２の不確実性が減少するとき、Ｆ２を横切るＳＴＭアクティビティの空間的分布は、より集中され、又は空間的に局所化され、そしてより予測されない分類を含む、このタイプの空間的鋭化（ｓｐａｅｉａｌ　ｓｈａｒｐｅｎｉｎｇ）は、Ｆ２コード内の情報の不確実性の程度を測定する。

マスキング・フィールドのコンピュータ・シミュレーションの結果が、第６図乃至第１６図に示されている。多重パターン・スケールと内部パターン微細構造に対するマスキング・フィールド感度が、第６図乃至第１３図のコンピュータ・シミュレーションに示されている。これらの図は、本発明のマスキング・フィールドによる分類の最も簡単なタイプを描いている。この実旅例において、Ｆ、を横切る明確なＳＴＭアクティビティ・パターンの各々は、Ｆ２内の３７Ｍ記憶に対し、Ｆ、における単一ノード又は個体群のノードを活動化する。即ち、マスキング・フィールドは、Ｆ＋を横切るアクティビティ・パターンをＦ、内のＳＴＭ選択に全体的に分類する。明確な選択は、微細構造におけると同様に、全体スケールにおいて変化するＦ、パターンに応答して行われ、これにより上記で要約された特性を示す、同じ数値パラメーターが、これらのシミュレーションのすべてに使用された；入カバターンのみが変化している。

学習（ｌｅａｒｎｉｎｇ）は、長期記憶（ＬＴＭ））レース又はＦ、→Ｆ、Ｆｌにおける信号を掛は算する適応重み内で行われることが許容された。

第１４図乃至第１６図において、マスキング・フィールドの予測多重分類特性が示されている。これらの図に示されたコンピュータ・シミュレーションにおいて、Ｆ、を横切るアクティビティ・パターンの予測分類を含めて、マスキング・フィールドが、多重分類をコード化するＳＴＭ表現を生成する方法を示すために、パラメーターの固定であるが異なるセットが使用された。これらのＳＴＭ表現において、マスキング・フィールドは、Ｆｌを横切る全体Ｓ７Ｍパターンに最大に感知するが、それは、また、このパターンのま著なサブパターン（「部分」）とスーパーパターン（「予測」）への部分的活動化を生成する。再び、学習は、Ｆ、−Ｆ２経路におけるＬＴＭトレース内で行われることは許容されなかった。

第６図において、Ｆ、における単一項目が、見出しｒ項目フィールド（Ｉｔｅｍ　Ｆｉｅｌｄ）　」の下でグラフ・ラインに示された如くアクティブである。

この項目は、Ｆ、における非常に多数のノードに対する正の入力を生成する。入力サイズは、「入カバターン（Ｉｎｐｕｔ　Ｐａｔｔｅｒｎ）　Ｊとラベル付けされた３つの行においてバーの高さによって示される。各行は、Ｆ　＋　ｂ）らの同じ数の経路を受けとるすべてのＦ２ノードをリストする。第１の行は、１つの経路を受けとるＦ２ノードを含み、第２の行は、２つの経路を受信するＦ２ノードを含み、そして第３の行は、３つの経路を受けとるＦ２ノードを含む２行１において、（ｉ）とラベル付けされたセットにおいて各Ｆ２ノードは、ｉ＝０．１．２１１１．４の時（ｉ）とラベル付けされたＦ１項目ノードからの経路を受けとる。４つのＦ、ノードが、（０）Ｆｌノードからの入力を受けとることに注意０行２において、（０，１）とラベル付けされたすべてのＦ２ノードは、Ｆ、ノード（０）と（１）からの経路を受けとる０行３において、（０、ｌ、２）とラベル付けされたすべてのＦ２ノードは、Ｆ、ノード（０）、（１）と（２）からの経路を受けとる。

Ｆ、ノード（０）からの経路を受けとるＦ２ノードのすべてに対する入力は、正である。第６図にはそのようなノードが４４ある。この事実に拘わらず、ＳＴＭにおいて持続的にアクティブになることができるＦ。

ノードのみが、アクティブ項目ノード（０）からのみの経路を受けとるノードである。これらは、（０）とラベル付けされたＦ２ノードである。

すべての他のＦ２ノードの３７Ｍアクティビティは、これらのＦ２ノードの多数がまた、Ｆｌから大きな励起的入力を受けとるという事実に拘わらず、Ｆ２内の競合的フィードバック相互作用によって急速に抑制される。Ｆ、ノードの平衡ＳＴＭアクティビティが、見出しｒｓＴＭにおけるリスト・コード（Ｌｉｓｔ　Ｃｏｄｅ　ｉｎ　ＳＴＭ）　」の下で３つの行にリストされる。

これらは、Ｆ２が、広範囲の入カバターンを集中しかつ適切なＳＴＭ活動化コードに変形することができるアクティビティである。各バーの高さは、そのバーによって表現されたアクティビティの強度を示す、正のアクティビティは、各行■ 、ＩＩ、とＩＩＩのラインの上にあるバーとして示される。負のアクティビティは、行ラインの下のバーとして示される。入カバターンに応答する正のアクティビティのみが、リスト・コードの行ＩにあるＦ２リスト・コードのＯ番目ノードであることに注意。

Ｆ２のＳＴＭに記憶されるのは、コードのこの部分である。

さらに、第７図乃至第１３図は、マスキング・フィールドのＳ７Ｍコード形成特性を示す、これらの図の各々は、異なる入カバターンに対するネットワーク応答を表現する。第７図と第８図において、Ｆ、における異なる項目が活動化される。各項目が、Ｆ２に対する広範囲の入カバターンを生成する。各入カバターンは、集中ＳＴＭ活動化へコントラスト向上されている。この８７Ｍ活動化は、アクティブ項目ノードのみから経路を受けとるＦ、ノードに制限される。

第６図、第７図と第９図の比較は、マスキング・フィールド勧学の自己スケール特性を示す０項目（０）、（１）の時間的に順序付けされたリストが、ＦＩによって受けとられるとする。全体としてリストは、第６図における第１項目（０）、又は独立に取られた第７図における第２項目とは異なる第９図におけるＦ、を横切る空間的パターンを生成する。

このリストは全体的にまた別々にとったいづれかの項目よりもより多くのノードを活動化する。この事実に拘わらず、単−Ｆ２ノードのアクティビティのみが、８７Ｍ記憶される。さらに、このＦ、ノードは、Ｆ３３項目０）と（１）からのみ経路を受けとる（０．１）ノードの１つであるから、適切なノードである。こうして、この比較は、Ｆ１ノードの小サブセットによって活動化されるＦ、ノードのアクティビティをマスクするために、非常に多数のＦ１ノードによって活動化されるＦ２ノードのアクティビティを示す、これは、連想記憶（ｃｏｎｔｅｎｔ−ａｄｄｒｅｓｓａｂｌｙ　ｗ＋ｅｗｏｒｙ）としてＦ２が機能する際の重要特性である。

第９図と第１０図の比較は、異なる微細構造を有する項目パターンを識別するＦ２の能力を示す、Ｗ図において、Ｆ１１項目０）、（１）のセットは、活動化されるが、アクティビティの異なる空間的パターンが、項目に互って存在する。第９図の空間的パターンは、項目（０，１）の時間的に順序付けされたリストを表現するが、これに対して第１０図の空間的パターンは、時間的に順序付けされたリスト（１，０）を表現する。

これは、項目（０）の強度が、第９図における項目（１）の強度よりも大きく、そして第１０図においては逆であることを示す、シミュレーションは、項目フィールドにおけるＦ１ノードの同−項目又は順序付けされていないセットを活動化するとしても、Ｆ２が、これらのパターンに対し異なるＳ７Ｍ応答を生成することができるから、全体として項目パターンに感知するのを示している。特に、第９図と第１０図において、異なるＦ２ノードは、項目（０）と（１）のみから経路を受けとるＦ２ノードのセット内でアクティブになる。

第９図と第１０図の間のこの比較は、Ｆ、を横切る空間的パターンが、ネットワークの計算単位であり、かつこれらの計算単位に対するＦ２の差分Ｓ７Ｍ応答が、文脈依存リスト成分化プロセスを具体化するという主張によって意味しているものを明確にする。

第６図乃至第１１図の比較は、これらのＦ２特性のより要求の厳しい変形を示す０項目（０）、（１）、（２）の時間的に順序付けされたリストは、Ｆｌによって処理されるので、項目のすべては、第６図、第９図、と第１１図における空間的パターンが時間により発展する時、ＦＩにおいて個々にアクティブになる。しかし、第１１図における記憶されたＳ７Ｍパターンは、項目（０）、（１）と（２）、又はグラフにおいてラベル付けされた如くセット（０，１，２）からのみ経路を受けとるノードの１つである単−Ｆ、ノードに制限される。こうして、Ｆ、は、構成項目であるよりもむし゛ろ、Ｆｌにおける全パターンの圧縮連想表現を選択する。

第１１図乃至第１３図の比較は、第９図と′第１０図の比較と同じ点であるが、より要求の厳しい変形において行われている。第１１図乃至第１３図の各々において、項目（０）、（１）と（２）の同−無順序のセットは、Ｆｌを横切りアクティブであるｓＦｌを横切る空間的パターンは、これらの項目の異なる時間的順序付けを表現する：即ち、それぞれ、（０，１，２）、（１，２，０）と（２，１，０）である。各図において、異なるＦ２ノードは、リスト・コードの第３行に示された如く、活動化される。さらに、アクティブ項目ノードは、項目ノード（０）、（１）、と（２）からのみの経路を受けとるノードの１つであり、こうして（０，１，２）ノードとしてグラフにおいてラベル付けされる。こうして、連想Ｆ２コードは、Ｆ、アクティビティ・パターンの微細構造に感知する。

第１４０乃至第１６図は、パラメーターが、Ｆ＋パターンの多重分類がＦ、におけるＳＴＭにおいてコード化可能であるように選ばれるマスキング・フィールドの反応を示す、同じ入カバターンが、第６図、第９図と第１１図における如く使用された。第１４図乃至第１６図の比較は、Ｆ１アクティビティ・パターンが拡大する時、自動的スケール特性により、Ｆ２が、検出される分類のすべてに基づいて、ＳＴＭ表現を更新することが可能になる方法を示す、第１４図において、項目（０）は、Ｆ、の（０）ノードを最も強く活動化するが、また（０）を含む分類を表す他のＦ２ノードを弱く活動化する。（０）からのみの項目経路を受けとるＦ、ノードは、リスト・コードの行Ｉに示された約０．１３０の最大アクティビティ・レベルを有する。（０）からの経路を含む、２つの項目経路を受けとるＦ２ノードは、リスト・コードの行ＩＩに示された約０．０７の最大アクティビティ・レベルを有する。（０）からの経路を含む、３つの項目経路を受けとるＦ２ノードは、リスト・コードの行ＩＩＩに示された約０．００７の最大アクティビティ・レベルを有する。

入カバターンに反映される。

第１５図において、Ｆｌを横切る（０．１）空間的パターンは、Ｆ、の（０，１）サブフィールド内のＦノードを最も強く活動化するが、また、（０）からの入力を受けとるＦ２の他のノー、ドを弱く活動化する。アクティビティ・レベルは、リスト・コードの行ＩＩにおける（０．１）ノードに対して約０．１９であり、そしてリスト・コードの行Ｉの（０）ノードに対して約０．０７２である。

第１６図において、ＦＩを横切る（０．１．２）空間的パターンは、約０．１８４のアクティビティを有するＦ２の（０，１，２）サブフィールド内でＦノードを最も強く活動化する。それはまた、約０．００４のアクティビティ・レベルを有するＦ２の（０）サブフィールドを弱く活動化する。Ｆ２を横切るＳＴＭアクティビティ・パターンは、文脈情報が増加すると予測の不確実性を減らすために、第１４図から第１５図、第１６図へとより集中する。

前記では、マスキング・フィールドのＳＴＭ特性を示した。マスキング・フィールドはまた。長期記憶（ＬＴＭ）において適応鋭化特性を所有する。

ＦＩに対する任意のなじみのない入カバターンが、Ｆ、を横切るＳＴＭ表現を生成する時、Ｆ、に対する同一パターンの後続の入力が、Ｆ２を横切る空間的に鋭化された又はコントラスト向上された３７Ｍパターンを生成するような方法で、ＬＴＭは、このＦ１→Ｆ２対から学習する。特に、Ｆ２が、第６図乃至第１３図における如く、ＳＴＭにおいて選択する時、適応鋭化特性を満足する学習は、この選択を確認するように作用する。

さらに一般的に、適応鋭化は、Ｆ、とＦ２との間の信号を適応的にフィルターする経路における学習が、マスキング・フィールドの良好な前記線特性を破壊するのを防ぐ。学習は、マスキング・フィールドを有する適応フィルターの相互作用により、初期決定を強調するが、単に同−Ｆ。

パターンの繰り返された提出により、この平衡を崩すことはない。

適応鋭化特性は、当技術のすべての連合学習法則によって明らかに満足されるわけではない、これは、Ｆ２が、そのノードのすべてによって受信された入力の全体的パターン化に基づいて、ＳＴＭ反応を自動的に再組織するためである。ＬＴＭは、適応フィルターのＦ、→Ｆ、Ｆｌのすべてにおいて使用される単−ＬＴＭ法則に従う、ＬＴＭ法則は、適応鋭化を有するＦｌとＦ、を横切るアクティビティ・パターンのすべての可能な組み合わせに反応するが、Ｆ、→Ｆ、ＦｌとＦ２ →Ｆ２相互作用の間の全体的平衡の破壊には反応しない。

ＬＴＭ法則は、適応鋭化特性を保証し、そしてＦ、パターンの多重分類が学習によって影響を受けることを可能にする。このため、ＦＩを横切る規定パターンが繰り返して提出されるならば、このパターンは、Ｆ２におけるＳＴＭの最も顕著な分類を優先的にコード化するために、適応フィルターをチューニングすることによって「なじみ（ｆａｍｉｌｉａｒ）　Ｊになる。Ｆｌにおける新しいスーパーセット・パターン、即ち、サブパターンとしてなじみパターンを含むパターンが、提出されるならば、なじみパターンのサブセット・パターン分類は、相補的スーパーセット分類から密集して「離脱」する、その結果、スーパーセット・パターンは、共鳴する「部分」の３７Ｍパターン、又はＦ２についての「構造的分類」によって表現される。言い換えれば、先行の適応チューニングは、新しいＦ１パターンが、Ｆ、パターンをなじみの分類の分布コードに分割するＦ２についての直接アクセスＳＴＭ反応を生成することを可能にする。

サブセット・パターンがしばしばＦ、に対し独自に提出されなければ、適応鋭化特性１よまた、スーパーセット分類の繰り返された提出が、そうでなければ可能なサブセット分類をしだいにマスクすることを可能にする。直観的用語において、入力時間列の統計に依存して、なじみの部分の可干渉性セットが、全体を表現するようになるか、又はより全体的な分割が、全体を表現するようになる。その時、適応フィルターとマスキング・フィールドとの間の相互作用は、殆どの環境においては通常失敗する前記線の分割規則を使用して環境を先読みしようとするのではなく、入り入カバターンをユニークな入力環境の統計から学習される構造的関係に動的に組織化する。

本発明のコンピュータ・シミュレーションにおいて、本出願人は、適応鋭化特性の完全バージョン（ｖｅｒｓｉｏｎ）を要求した。第６図乃至第１６図における３７Ｍ分類のすべてが与えられると、適応鋭化は、学習の開始前にＳＴＭにおいて最大に優遇されたＦ７個体群を選ぶ、これを満足するＬＴＭ法則は、次の形式を有する。

この場合ＺＪＩは、項目フィールドＦ１における１番目のノード■、からマスキング・フィールドＦ２におけるｉ番目のノードＶ、への適応フィルターＦ、→Ｆ２における適応重み又はＬＴＭ）レースである。Ｌは、Ｆ１からの入力である。

Ｘｓは、Ｆ８のＳＴＭアクティビティ・レベルである。

ｆ　（ｘ、）は、Ｘ、の充分に大きな値によって活動化される非線形サンプリング信号である。そしてεとＬは、定数である。

（１）に述べられた如き法則は、多数の現在の学習モデルに対する基礎であるヘビアン（Ｈｅｂｂｉａｎ）連合前提条件を侵害する。ヘプ、Ｄ、０．著、「行動の組織化」、ニューヨーク：ワイリー、１９４９年から、ヘブ前提条件１よ、次の如く述べられる：「セルＡの軸索が、セルＢを刺激するに充分に近く、かつ、繰り返して又は持続的に、それを発火する（ｆｉｒｉｎｇ）ことに加わる時、Ｂを発火するセルの１つとしてのＡの有効性が増加する如く、ある成長プロセスが、１つ又は両方のセルにおいて起こる。」さらに、（１）における学習規則は、ｒ連合規則（ａｓｓｏｃｉａｔｉｖｅ　ｒｕｌｅ）　Ｊと呼ばれ、これによってＬＴＭ有効性は、相関したシナプシス前及びシナプシス後のセル・アクティビティの時間平均の関数として変化する。

連合規則は、しばしば、ヘブ（Ｈｅｂｂ）を祝して「ヘビアン（Ｈｅｂｂｉａｎ）　」規則と呼ばれる。しかし、異なる連合規則は、学習特性の異なるタイプを質的に支持することができるので、この慣習は、連合学習の文献において混乱を引き起こしたと信じられる。

連合学習（ａｓｓｏｃｉａｔｉｖｅ　ｌｅａｒｎｉｎｇ）の単位が、別のノードのアクティビティとのその相関が、ノード間の経路のＬＴＭ強度を増加できる単一ノードのアクティビティであると仮定すれば、ヘブの公理は、もつともであるように見える。しかし、第６図乃至第１６図によって必要とされる如く、連合学習の単位が、ノードのネットワークを横切るアクティビティの空間的パターンであることに同意するならば、異なる連合規則が、必要とされる。それから、Ｆｌを横切る空間的パターンとＦ２におけるノードのアクティビティとの間の相関関係は、ＦｌからアクティブＦ２ノードへの経路のセットにおけるＬＴＭ）レースが、ＬＴＭへのアクティビティの全空間的パターンをコード化することを可能にする。この状況において、Ｆ、における非アクディプ・ノードｖｊは、Ｆ２におけるアクティブ・ノードｖ１と相関する時、Ｚｓ＋をゼロに接近させな１すればならないので、連合規則は、ノード・アクティビティ対の関数として、ＬＴＭ＠度の増加と減少の両方をコード化できる連合規則（ａｓｓｏｃｉａｔｉｖｅ　ｒｕｌｅ）が必要とされる。こうして、単一ノードからノードのネットワークを横切る空間的パターンへの学習の機能的単位における変化は、ヘブの公理を侵害する連合規則を必要とする。

学習規則（ｌｅａｒｎｉｎｇ　ｌａｗ）　（１）の別の非クラシックな特性は、サンプリング信号ｆ　（Ｘ、）が、第１８　（ａ）図に示された如く、限定ではないが二次的に、線形より高速に、又は第１８（ｂ）図に示された如く、Ｘ、がゼロの上に増加する時、しきい値−線形の様式で成長する非負関数である１式（１）のサンプリング信号ｆ（Ｘｔ＞において、Ｘ、の値は、Ｘ、の大きな値よりもｚｊＬにおいてずっと遅い学習速度を決定する。その結果、初期のＳＴＭ利点を得るＦ２ノードは、隣接するＬＴＭ）レースの学習を速めることによって利点を非常に増大する。対照的に、アクティビティがゼロの下にあるＦ、ノードは、Ｘ、＝Ｏであれば、ｔ　（Ｘ、）＝０であるから、それらの隣接するＬＴＭ）レースにおいて任意の学習をトリガーできない、この特性は、ｆ（Ｘｔ）をサンプリング信号と呼ぶことを正当化する。

（１）における状態依存学習速度ｆ　（Ｘｓ）は、目標アクティビティＸ、が、Ｆ２の協同競合意志決定機構によって選ばれるＬＴＭトレースＺハのみにおいて、学習が行われ得るという意味である９、そのＦ３項目が正の入カニ、を受けとるすべてのＬＴＭ）レースＺＪＩは、Ｆ２へのそれらの経路においてそれらの入力を掛は算することによって、Ｆ２の意志決定に影響を及ぼすことができる。対照的に、ずっと少数のＬＴＭ）レースは、Ｆ２が受けとる入カバターンよりもずっと分散しない圧縮認識コードを選ぶという特性により、意志決定プロセスから学習される。この意味において、適応Ｆ、→Ｆ、フィルターにより読み出されるＬＴＭと連合法則（１）によって読み込まれるＬＴＭは、Ｆ２内の協同競合相互作用の干渉により、少なくとも部分的に分離される。

出願人は、学習法則（１）が、第６図乃至第１３図において記載されたＳＴＭ！！択のすべてを確認することを発見した。また、適応鋭化特性は、学習法則（１）がＦｌ→Ｆ、適応フィルターにおいて使用される時、ＳＴＭ選択に適応的に変換される第１４図乃至第１６図の多重分類によって示される。

第１９図乃至第２３図は、学習プロセスが、各入カバターンに応答して限界に接近する時、生成される平衡ＳＴＭ選択を示す、システムが常に平衡ＳＴＭ及びＬＴＭ値に接近するという事実は、ＳＴＭ（高速）とＬＴＭ（低速）プロセスとの間のフィードバック相互作用が、設計の悪いシステムにおいては、容易に持続した振動となることがあるので、基本的特性である。

完全動的システムにおいて、ＳＴＭは、低速のＬＴＭ学習プロセスよりもより迅速に入カバターンに反応する。完全動的システムに対する特異近似（Ｓｉｎｇｕｌａｒ　ａｐｐｒｏｘｉｍａｔｉｏｎ）において、３７Ｍアクティビティが平衡値にほとんど達するまで、ＬＴＭが全く変化しないと仮定されている。

それから、ＬＴＭ学習プロセスは、切り替えられ、そしてＳＴＭとＬＴＭの両方は、共同して平衡に接近するまで、相互作用する。そのような特異近似を使用して、ずっと高速のＬＴＭ学習速度（式（１）における大きなε）が、完全システムを使用して検出される平衡ＳＴＭ及びＬＴＭパターンをあまり変化させることなしに使用される。こうして、特異システムのコンピュータ・シミュレーションは、完全システムが、平衡に達するまで、小さなεで統合されるシミュレーションよりもずっと急速に行なわれる。特異近似を使用して適応脱化特性を確認後、完全システムによるシミュレーションは、式（１）における学習速度パラメーターεの幾つかの異なる選択を使用して行われた。

第１９図と第２０図は、そのパラメーターのすべてが、学習速度εを除いて、第１４図乃至第１６図のシミュレーションにおけると同じである特異システムにおける平衡パターンを示す、第１４図乃至第１６図に対して、学習速度ε＝０である。第１９図と第２０図において、εは、トされ、それから、完全システムが平衡に接近することが可能であるように１に等しく切り替えられた。

第１９ａ図、第１９ｂ図、及び第２０ｂ図と、それぞれ第１４図乃至第１６図との比較は、適応鋭化特性が得られることを示す、第１４図乃至第１６図における学習なしと、第１９ａ図、第１９ｄ図及び第２０ｂ図における学習後のＦ２ノードに対する入カバターンの比較は、Ｆｌ→Ｆ２経路におけるＬＴＭ変化が、どのようにＦ２ノードに対する全体入力を変更させるかを示す、さらに特定的には、学習後、第１９ａ図におけるリスト・コードの行ＩＩ及びＩＩＩには正のアクティビティはなく、この場合、学習前、第１４図におけるそれらの行にはアクティビティはあった。Ｆ＋への入力は、行ＩＩ及びＩＩＩに正のアクティビティを残さないリスト・コードの行■における（０）ノードにのみ対応すべきである単なる単一（０）項目であったので、これは、Ｆ２に記憶されるべきアクティビティ・コードの正確な鋭化（Ｓｈａｒｐｅｎｉｎｇ）である、マスキング・フィールド入カバターンの同じ鋭化と結果のリスト・コードが、学習を有する第１９ｄ図において示され、学習なしの第１５図に比較される。第１９ｄ図において、マスキング・フィールド入カバターンの１つの（０，１）ノードは、他の２項目ノードよりも誇張されている。これは、リスト・コードにおけるノード（０，１）の活動化の増加と、第１５図におけるリスト・コードにおいて得られたアクティビティに関して、他のリスト・コード・ノードのアクティビティの減少に反映される。さらに、第１９図の誇張された（０．１）Ｆ２人力ノードを有する行ＩＩは、適応鋭化が、第１５図におけるＦ２に対する入カバターンの行ＩＩについて得られることを示す、他方、第１５図におけるＦ２に対する入カバターンは、他のＦ２人力ノードに関する任意の１つの（０，１）ノードを強調せず、そして（０，１）のＦ、入力に対してより曖昧なリスト・コードを生成する。同様に、第２０ｂ図におけるＦ２人カバターンの行ＩＩＩは、第１６図におけるＦ２人カバターンの行ＩＩＩの鋭化である。その結果、第２０ｂ図のリスト・コードは、（０）ノードと比較的高く活動化された（０．１．２）ノードを有する第１６図におけるリスト・コードの鋭化である単一（０，１，２）ノードである。

特異システムにおいて適応鋭化特性を達成したならば、特性は、次に、第２１図に示された如く、完全システム以外のパラメーターの変化なしに示されている。

これらの完全システムにおいては、シミュレーションは、０．１にセットされており、そして内部フィードバック信号のないＦ２を横切る３７Ｍアクティビティの崩壊速度は、１に等しく選ばれた。

適応鋭化特性は、ＳＴＭとＬＴＭ変化のもつともな相対速度を使用して、完全システムにおいて確認された。第２１図は、Ｆ１→Ｆ、経路のサブセットにおけるＬＴＭ値が、学習により時間を通していかに変化したかのコンピュータ・シミュレーションを示す、シミュレーションは、本マスキング・フィールドと連合学習法則が、特性（Ａ）−（Ｄ）を生成するために充分であることを示す。

第２１図において、項目フィールドは、（０）項目と比較的小さな（１）項目の入力を有する。第１の図は、１．０２５の時点で取られている。

マスキング・フィールド・ノード（０）乃至ノード（４）の各々は、半円グラフのパイ形状区分として示されている。マスキング・フィールド・ノード（０）と（１）は、入力セット（０，１）からの完全に活動化された信号を有する。即ち、項目フィールドの項目（０）と（１）の両方からの経路は、マスキング・フィールドの（０）及び（１）ノードのすべての完全活動化を示す、完全活動化は、グラフにおいて完全半径によって示され、そして部分的活動化は、部分的半径によって示される。１゜０５７と１．１２３の後の時点において、幾つかの経路の活動化レベルは、マスキング・フィールドの（０）と（１）における完全半径拡張から部分的半径拡張から僅かに減少した。これは、マスキング・フィールドの学習による。経路におけるさらに多数のＬＴＭ変更は、３．０３８と５．４２７の時点において現れる。ｆｋｔ＆に、７．８１４と８．５２４の時点において、マスキング・フィールドのただ１つの（０）ノードが完全に活動化され、１つの（１）ノードは、７５パーセントだけアクティブであり、そして他の（０）及び（１）ノードは、最小にアクティブである。

Ｆ、における入カバターンに対するＦ２の反応において、３つの主要フェーズがある。フェーズ１において、入カバターンは、Ｆ、→Ｆ２経路を横切る、信号をＦ２ノードに伝え始め、そしてこれにより多数のＦ２ノードが、活動化され始める。これらのノードが活動化されると、それらは、第１７図に以前に示された如く、他のＦ２ノードに対するフィードバック信号、特に競合信号、を生成し始める。各ノードに対する励起及び抑制信号の間の平衡は、ＦＩからの入カバターンを急速にコントラスト向上させ、そして第６図乃至第１６図に示されたＦ、におけるより集中したＳＴＭ反応を生成する。追加の学習、リセット、又は常習性機構のない時には、これらの集中したＳＴＭ反応は、Ｆ２内の入力とフィードバック信号の平衡によって記憶される。

フェーズ２は、コントラスト向上と、ＳＴＭパターンの記憶を含む。

ハウ（Ｈｏｕｇｈ）変換の言語において、マスキング・フィールドによって投ぜられた正と負の「投票（Ｖｏｔｅｓ）　Ｊは、適応フィルターによって引き起こされた「オフビーク（ｏｆｆ−ｐｅａｋｓ）　」と「フォールス・ピーク（ｆａｌｓｅ　ｐｅａｋｓ）　Ｊの両方を取り消す、フェーズ１からフェーズ２への遷移のコンピュータ・シミュレーションが、第２２図に要約される。パラメーターは、第９図におけるものと同じである。連続図（ａ）乃至（ｅ）の各々は、ＦＩへの入カバターンの開始後の時点におけるＦ、ノードの３７Ｍアクティビティを示す０行Ｉの最初の３７Ｍアクティビティは、正の（０）メートと、比較的小さな正の（１）ノードを示す、後に、第２２ｅ図において、（０）ノードは、負であり、そして（１）ノードは、Ｆ２のフィードバック相互作用によりさらに一層負にアクティブである０行ＩＩにおいて、原始ノードのすべては、第２２ａ図における（２．３）、（２，４）、と（３，４）ノードを除いて、正のアクティビティを有する。後の時点までに、行ＩＩのノードは、１つが他よりもずっとアクティブである２つの（Ｏｌｌ）ノードを除いて、すべて負である０行ＩＩＩにおいて、（２，３，４）ノードを除いて、ノードのすべては、正から負のアクティビティに変化する。こうして、第２２図は、入カバターン・アクティビティＦ＋の後、Ｆ２のフィードバック相互作用によって急速に浸食されるＦ２についての大規模であるが瞬間的なアクティビティのバーストがある。

式（１）におけるεは、非常に大きく選ばれているので、重要な学習は、フェーズ１中に行われ（即ち、学習速度は、非常に高速である）、多数のＦ、ノードＶ、は、それらの学習速度εｔ　（Ｘ、）が、フェーズ１中、大であるために、Ｆ、アクティビティ・パターンをサンプリングすることができる。対照的に、εが小ならば、フェーズ１の持続時間は、速度εｆ　（Ｘ、）において大きなＬＴＭ変化を統合するために充分に長くないので、重要でない学習は、フェーズ１中、行われない、フェーズ２中、Ｆ、内の内部フィードバック相互作用によって選択されるＦ２ノードのみが、入カバターンをサンプリングし、そしてこのため、他のＦ２ノードのすべてにおいて、ｆ　（Ｘ、）＝０であるために、ＬＴＭ）レースをチューニングする。こうして、学習速度が、フェーズ１の持続時間に関して高速ならば、学習は、マスキング・フィールドの分類プロセスによって制御されない、さらに、そのような擬似学習は、フェーズ２中に、予測分類を選択するためのマスキング・フィールドの能力と干渉する。

第２３図は、どのように学習パラメーターにおける変化が、最後に学習される平衡分類を変更するかを示すコンピュータ・シミュレーションを示している。εを非常に大きく選ぶと、また、適応鋭化特性の侵害を引き起こす、第２３ａ図は、幾つかの学習された分類を有する非学習の場合の比較を助けるために、第９図を繰り返している。第２３ｂ−ｄ図において、εは、それぞれ、１１．１と、０１に等しく選ばれる。ε＝１の時、Ｆ２は、第２３ｃ図に示された如く、（０）及び（０，１）ノードの両方を選択した。ε＝０．０１の時、Ｆ２は、第２３ｄ図において示された正しい（０，１）ノードを選ぶ、すべての場合において、学習された２７分類は、適応鋭化の形式を示した。しかし、第２３ｂ図において、選ばれたＦ２ノードは、項目（１）についての情報を全くコード化しない、高速の学習速度における（０）ノードに向かうこのバイアスに対する理由は、フェーズ１サージの特性にトレースされる。第２１図において、（０，１）ノードに対する（０）ノードの初期の利点が、Ｆ２内の自己スケール・フィードバック相互作用のこの利点の逆転前に、見られる。

これらの結果は、前述のマスキング・フィールドにおいて、Ｆ２による協同競合意志決定の速度と、Ｆ、→Ｆ２適応フィルターによる学習の速度との間にトレードオフが存在することを示す、学習は、瞬間的決定の擬似学習を避けるために、意志決定プロセスに関して充分に遅い、しかし、結果はまた、ＬＴＭがＳＴＭよりも約１００倍遅い速度の適切なスケール化が、このサンプリング問題を避けることができることを示す。

フェーズ１サージと、第２２図と第２３図におけるシミュレーションによって提起された高速学習の問題は、マスキング・フィールドの内部結合の変更による本発明の１つの実施態様において解決される。変更は、実質的に、フェーズ１サージを減少させ、そしてマスキング・フイールドに、なお発生する残余のサージに非感知であるようにして学習することを可能にする。

フェーズ１サージは、すべてのＦｌ−４Ｆ、入力が、刺激的であるという事実による。出願人は、これらの入力が、Ｆ２における目標ノードに影響を与える前に、抑制信号で刺激信号を平衡させるＦ、内の内部フィードバック経路を活動化させるということを提案している。これは、第２４図に示されており、この場合、刺激信号４５が、４６における内部フィードバック経路によりＦ２に登録されると同じ瞬間に、抑制信号４２が登録される。刺激人力４５が、抑制信号４２（こよってＩ’１ｍされなＶ１フェーズ１バーストを活動化するような時間間隔番ま存在しな０゜好ましい実施態様において、出願人は、第２５図（＝示された々口く、マスキング・フィールドを規定するために使用されるのと同じ内部フィードバック・ノートを使用するために、適応フィルターからフィードフォワード入力を選ぶ、それから、非制御のフェーズ１バーストは、入力バーストを受けとる時、即時に分類プロセスを開始する構造的機構によって防止される。

第２５図が示す如く、マスキング・フィールドは、今、３つの内部段階に分割される０段階１は、Ｆ、から刺激入力５２を受けとる。段階２は、マスキング・フィールドＦ、についての刺激及び抑制信号を分布する内部経路５４を含む０段階３は、これらの内部経路の目標ノードを含む、これらの目標ノードは、常に刺激５７及び抑制５８信号の混合を受けとる。それらは、決して非制御フェーズ１バーストにさらされない。

段階３ノードは、それらの段階１ソース・ノード２に対して、トポグラフ的の正のフィードバック経路２５を生ずる。これらの正のフィードバック経路２５は、マスキング・フィールド内ｔ内でフィードバック・ループを閉じる。これらの段階を使用して、マスキング・フィールドの内部フィードバック相互作用は、不変のままであるが、Ｆｔ大入力、段階３ノードに影響を与える前に、これらの相互作用に係合する。

第２５図における体系は、完全非制御フェーズ１バ〒ストが発生するのを防ぐ、他方、マスキング・フィールド内の内部フィードバックは、即時には平衡分類を選択しない、Ｆｌ→Ｆ、経路内のＬＴＭ）レースが、平衡から遠い学習アクティビティ・パターンに対してバッファーに入れられる方法を以下に言及する。

克服されるべき主要な問題が、明確に第２５図に示されている０段階３セルは、刺激５７及び抑制５８信号の混合を受けとるが、段階１セルは、刺激信号５２のみを受けとる。さらに、段階１セルについてのＦ１→Ｆ２経路を受けとる。これらの経路の終了内のＬＴＭ）レースが、段階１セルからの信号をサンプリングすることによって活動化されるのを防ぐものは、ＬＴＭトレースを活動化するサンプリング信号であり、そして段１ｉｉ：１ノードから導出されないと、出願人は仮定している。むしろ、サンプリング信号は、経路２５による段階３ノードからのフィードバックによって活動化される。多数の段階３ノードは、入カバターンがオンになる時、段階２介在神経単位によって即時に抑制される　Ｆ、入力によって初期的に活動化される多数の段階１ノードは、続く分類プロセス中法して活動化されない段階３ノードに対応するために、サンプリング信号のソースとしての段階３ノードの使用は、マスキング・フィールド相互作用が、相互作用の最も最初の瞬間から学習を制限することを可能にする。この制約を事例により示すために、出願人は、単に式（１）を次の式によって置き換える。

この場合Ｘ　、　＋　３１は、マスキング・フィールドの段階３におけるｉ番目のノード個体群のアクティビティである。内部フィードバック信号がＬＴＭサンプリング信号を生成するという概念は、グロスベルブ、Ｓ、著、「注意、強化、と弁別学習の神経モデル」、ｔ　の　、′秒１９７５年、において導入された。

出願人は、今、フィードバック信号が、第２５図における如く、細胞間で生成されるか、又は生化学のフィードバック相互作用のネットワークによって細胞内で生成されるかは、脳において広く使用される設計原理であることを信じている。

この設計に対して実験的に検査するために使用される特性の幾つかが、今、要約される。

ＬＴＭ龜み゛みと怖み　しの　：　経モジュレータ−としてのフィードバックＬＴＭの読み出しは、ＬＴＭ）レースが、Ｆ、からＦ、への経路において信号を掛は算によりゲートで制御する時、行なわれる。上記のマスキング・フィールドにおいて、ＬＴＭは、ＬＴＭ）レースが、新しいＬＴＭ値をサンプリングする又は読み込むことを可能にする同じＦ、ノードに読み出される（第１７図）、第２５図における設計は、学習速度がいかに高速に選ばれても、学習を何もトリガーすることなしに、幾つかの段階１ノードが活動化されることを可能にすることによって、ＬＴＭ読み出しとＬＴＭ読み込みのプロセスを分離する。

しかし、段階３から段階１へのフィードバック信号は、サンプリング信号としてのみ作用する。それらは、また、マスキング・フィールドがＳＴＭにおけるリスト・コードを選択することを可能にする内部フィードバック・ループを閉じるために、それらの目標段階１ノード２を活動化しなければならない１段階１に隣接するＬＴＭ）レースは、Ｆｌからの入力による段階１セルの活動化と、段階３からのフィードバック信号による段１１ｉ１セルの活動化との間を区別する。そのような区別が、行なわれなかったならば、ＬＴＭ読み出しとＬＴＭ読み込みの機能的分離は達成されない。

２つのタイプの分離機構が存在する。即ち、化学的か又は電気的のどちらかで示される動的機構と構造的機構である。動的機構において、ＬＴＭ）レースは、段階１セルをサンプリング信号として使用し続けるが、サンプリング信号ｆ（ｘａ）を活動化するためのしきい値は、高く選ばれる。段階１セルは、Ｆｌからの入力によるそれらの直接的活動化が、段階３セルからの大きな正のフィードバック信号によって補なわれる時、サンプリングしきい値を超えるために充分に活動化されると仮定される。

そのような機構は、簡単な学習問題を解決するために適切であるが、それは、複雑な学習システムにおいては不適切である８例えば、マスキング・フィールドにおいて、サンプリングしきい値が非常に小さく選ばれるならば、フェーズ１サージが学習される。サンプリングしきい値が非常に大きく選ばれるならば、適応チューニングを誘導すべき多数の分類は、それを行うことに失敗する。そのような設計は、ロボストではない。

対照的に、問題に対する構造的機構は、はっきりロボストである。五つのそのような構造的機構において、フィードバック信号は、異なる化学的伝達物質により引き渡され、化学的伝達物質は、ＦｌからＦ２への信号をゲートで制御し、かつＦ、→Ｆ２経路における学習されたＬＴＭ変化を調節する。それから、式（２）における項ｆ（ＸＪ′３’）は、フィードフォワード伝達物質において、フィードフォワード伝達物質のモジュレータ−作用により実現される。

２つの伝達物質の使用は、両伝達物質システムが、段階１セルを電気的に活動化することを可能にするが、また、段階１セルに隣接するＬＴＭトレースが、段階３からのフィードバック信号と、段階１における総効果の間を区別することを可能にする。そのような二重の伝達物質システムの１つの微細な実現において、どちらかの伝達物質は、電気的活動化を発生可能にする段階１セルのセル膜における高分子変化を引き起こすが、それらの共同作用のみが、学習プロセスを展開可能にする高分子変化を引き起こす、無を椎動物における連合学習に関する先行技術データは、臨界事象の対が一緒に発生する時のみ活動化されるＣ　ａ”依存製電流を含意する。さらに、カテコールアミンの関与する伝達物質は、このＣａ− 電流の活動化に関係することが公知である１段階３から段階１へのフィードバック信号は、第２５区に示された回路において類似した正式の役割をする。連合学習が、Ｃａ”電流に依存するという提議は、（１）の如き学習式が物理的に実現される方法を説明するために、利用できる断片的な生化学的証拠に基づいて、グロスベルブ、Ｓ、著、「心理学的前提条件の生理学的及び生化学的結果Ｊ　、ｉｊ　国立アカデミ−の鐵！廷、１９６８年、及び「化学的伝達物質の生産と放出、及び細胞制御における関連論題」、猟揄虫物ヱ＠錐蒸、１９６９年、において行われた。

分離問題を解決するための別の構造的１Ｒ楕もまた、もくろまれる、この機構において、各Ｆ、→Ｆ２経路は、第２６図に示された如ぐ段階１において目標ノード膜４において局所的変化を起こす。これらの局所的膜導管４は、段階１ノード６０が、段階２ノードを活動化する前に、それらによって合計される局所的変化を潜在的に起こす６段階３ノードからのフィードバック信号は、段階１ノード６０を通して、全体的な作用ポテンシャルを引き起こす、これらの全体的な作用ポテンシャルは、Ｆ＋からの局所的信号のみによって活動化されない膜導管６２を活動化させる。これらの膜導管６２は、当接するＬＴＭ）レース内で、学習が行われることを可能にする。この可能性は、海鳥内のクラシック条件を議論するために、グロスベルブ、Ｓ、著、「注意、強化、と弁別学習の神経モデル」、挫梗生換ヱΩ皿除比論互誰、１９７５年、及びグロスベルブ、Ｓ、著、「人間の記憶の理論：感覚運動神経コード、マツプ、とプランの自己組繊と運用」、１度生立竺り遣之、アール・ローゼンとエフ・シュネル（編集）、第５巻、ニューヨーク：アカデミツク・プレス、１９７８年、及び新皮質条件を議論するために、「心と頭の研究：学習、知覚、発達、認知、と運動神経制御の神経原理」、ボストン：リーデル・プレス、１９８２年、において使用された。フィードフォワード信号内で充分に合計されるのはフィードバック信号だけではないが、フィードバック信号のすべては、学習が行われることを可能にする全体的変化をトリガーすることが仮定されるために、動的であるよりも構造的機構である。そのような構造的機構はまた、ノードが全体的に活動化される時、Ｃａ−依存電流をトリガーするために使用される。

クティビティ又はポテンシャルＸ５（ｔ）を有する。

Ｖ　（ｔ）は、可変電圧である。Ｃは、一定静電容量である。定数Ｖ゛、■−１とＦ２は、それぞれ、刺激、抑制、及び受動飽和点である０項ｇ゛、ｇ−１とｇＤは、入力信号の関数として時間と共に変化するコンダクタンスである。このため、項（Ｖ”−Ｖ）ｇ”は、刺激導管を示し、項（Ｖ−−Ｖ）ｇ−は、抑制導管を示す、そして（Ｖ’−Ｖ）ｇ’は、受動導管を示す０式（３）におけるコンダクタンスと電圧の間の掛は算関係により、膜方程式は、また、分路相互作用を示すと言われる。

マスキング・フィールドにおいて、ノードは、回帰的又はフィードバック、中心集中周囲離脱相互作用により一緒にリンクされる（第１７図）。

こうして、マスキング・フィールドの特性は、分路回帰的中心集中周囲離脱ネットワークの一般理論の一部分となる。このクラスのネットワークの一般特性の再論評（ｒｅｖｉｅｗ）が、グロスベルブ、Ｓ、（！集）、「発達、知覚、と認知における適応共鳴」、　−心理　と　生理学、プロヴイデンス、ＲＩ：米国数学学会、１９８１年、及びグロスベルブ、Ｓ３、「視覚空間の量子化幾何学：深さ、形式、と明度の苛干渉性計算」、行動と脳の科学、１９８３年、に見られる。

式（３）は、ポテンシャルＸ、（ｔ）に対して次の如く書き換えられる。

この場合添字１は、ｉ番目のノードを意味し、Ｘ、は、ｉ番目のノードのアクティビティ・レベルである。０は、受動平衡点であり、Ｂ　（＞　Ｑ）は、刺激飽和点であり、そして−Ｃ（≦０）は、抑制飽和点である０項Ｐ、は、全体刺激入力であり、そして項Ｑ、は、■、への全体抑制入力である。入力Ｐ１とＱ、は、時間と共に変動するので、−Ｃ≦Ｘ１≦Ｂである。

刺激入力Ｐ、は、項目フィールドからの全体入力と、■、がらそれ自身への正のフィードバック信号の和である。こうして、Ｐ、は、次の形式において書かれる。

この場合Ｉ、は、項目ノード（ｊ）からの出力である。ＰＪＩは、Ｆ、におけるｖｊからＦ２におけるＶ、への経路の強度である。そしてＺＪＩは、この経路内のＬＴＭトレースの適応重みである１項Ｄｆ　（Ｘ、）は、ｖＩがらそれ自身への正のフィードバック信号である。このフィードバック信号は、■、の終了後、 ■、が、ＳＴＭにアクティビティを記憶することを可能にする。

式（４）における抑制入力Ｑ、は、マスキング・フィールドにおける他のノード ■１からのフィールド信号ｇ（Ｘ、）の和である。こうして、Ｑ、は、次の如く書かれる。

Ｑ・＝Σ　Ｉ　ｇ　（Ｘ　−）　Ｅ−１−ε　（６）この場合ＥＭＩは、ノード■、からノードＶ、への抑制係数であり、そしてｒｒＩＩは、項目ノードから入力Ｉを受けとるマスキング・フィールドＱノード■、のセットである。

しかし、マスキング・フィールドの異なるサブフィールドにおけるノ−ドは、異なるパラメーターを所有する。それから、上の添字（Ｊ）は、経路をＦ２におけるノードに選択的に送信するＦ８項目ノードのすべての非順序セットＪを表記するために、式（４）において使用される５式（４）は、次の如く書き換えられる。

この場合ｘ、”’は、Ｆ＋項目ノードのセットＪからのみ入力経路を受けとるＦ２個体群ｖ、′１の８７Ｍアクティビティを表わす、Ｆ２におけるノードＶ　、　ｌ　Ｊ　ｌの任意の数の異なる個体数が、Ｆ１項目の各固定セットＪに対応する。

式（５）は、次の如ぐ書き換えられる。

この場合ｊεＪは、Ｆ２ノードの個体群に言及する項目のセットＪに属するＦ２項目ノードの非順序セットである。そしてＩＪＩは、セットＪのサイズを表記し、こうしてＤ／Ｊ／は、セットＪのサイズに依存し、セットＪにおける項目には依存しない、こうして、刺激フィードバック係数Ｄ７，７は、個体数Ｖ、（Ｊ）の空間的スケールに感知し、セットＪの微細構造又は順序項目には感知しない。

同様に、式（６）は、上添字（Ｊ）によって精練される。関数Ｑｌ′Ｊ′は、次の関係式に従う。

％式％（９）この場合Ｅ０は、ｙ、＋ｘ＋からＶ、ＩＪＩへの抑制フィードバック経路の強度を決定し、ｍは、セット内のすべての活動化を表記し、そしてＫは、すべての非順序セットを表記する。

この経路強度は、ｖ、ｆｆｌとＶ　、　ｌ　Ｊ　ｌが応答する項目の非順序セットにとＪにのみ依存する。ＥにＪは、次の如く、Ｆ２における個体数の間の自己類似成長プロセスのランダムさを表わす。

鷺象作里徂夏作里Ｅ＝Ｆ　Ｇ　Ｈ（１０）ＫＪ　ＩＪＩ　／に／　／ＫｎＪ／Ｆ／Ｊ／、Ｇ／Ｘ、／とＨｙｔｎＪｙは、項目の非順序セットのサイズにのみに依存する。この場合Ｊ、にとそれらの相互作用ＫｎＪは、非順序セットである０式（１０）は、Ｖ　ｊ　Ｉｆ　１から■ＩＪへの抑制相互作用強度が、３つの独立ランダム因子の相互作用の結果であるという仮定を表わす、こうして、純強度Ｅ０は、Ｋ、Ｊ、とそれらの重なりのサイズに依存する成長因子の間の統計的独立な相互作用から起こる。

式（８）、（９）、と（１０〉を式（７）に代入すると、次式が与えられる。

マスキング・フィールド　程り、Ｊ、は、ノードからそれ自身への正のフィードバックが、ノードの自己類似スケールによりどのように変化するかを決定する。　Ｄ／Ｊ／は、スケールと共に増加し、これにより長いサブリストに対応するノードが、他の事項が等しい時、ＳＴＭにおける競合的利点を獲得することを可能にする。ｆ＆も簡単な選択は、出願人のシミュレーション、即ち、次式において行われる。

この場合りは、正の定数である。この規則は、Ｆ、ノード（個体群）が、Ｆ、入力の高レベルに応答して成長する時、それはまた、それ自身の軸索側枝（ａｘｏｎ　ｅｏｌｌａｔｅｒａｌｓ）に対してより刺激的シナプシス位置を生成するという可能性と一致する。

Ｆｌにおけるすべてのノードからの各個体数Ｖ　、　ｌ　Ｊ　ｌに対する全体結合強度と、Ｆ：におけるすべてのノードからの各個体数Ｖ％Ｊｌに対する全体抑制結合強度は、両方共、ＫとＪとは独立に選ばれる。この特性は、各ノードのサイズ（個体群）が、（第３図に示された如く）入力経路の全体強度にスケールされるという説明と両立する。より多くの経路が、そのようなノードに入力されるならば、各入力の効果は、第４図に示されたノードの大サイズによりさらに広げられる。入力経路の全体数に対する一致ノード（個体群）容積の特性は、「シナプシス位置の保存（ｃａｎｓｅｒｖａｔｉｏｎ　ｏｆ　５ｙｎａｐｔｉｃ　５ｉｔｅｓ）　Ｊと呼ばれる。

シナプシス位置の保存は、ネットワークが次の問題を克服することを可能にする。成長規則のランダム性により、Ｆ２のマスキング・サブフィールドの各々において異なる数のノードが存在する。これらのＦ、ノードは、８７Ｍアクティビティを競合するので、競合平衡は、ランダム成長の偶発によってバイアスされる０機構は、ランダム結合の増殖を制御するために必要とされる。シナプシス位置の保存は、１つの効果的機構である。そのような成長規則を具体化するマスキング・フィールドは、次の関係式を使用する。

シナス）ノＪ酉υ」牲 Σ ｊ、ＪＰＪｔ＝ｅｏｎｓｔａｎｔ　＝　１　（１３）この場合Ｆ、におけるｖｌからＦ２におけるＶ、への経路が多い程、各経路はより少なく重みを保持する。

そして９ｋＦ／Ｊ／　Ｇ／Ｊ／　Ｈ／ＫＩＩＪ／　＝　ｃｏｎｓｔａｎｔ　＝　Ｆ　（１４）その結果Ｆ２におけるノードのすべての抑制ノードの和は、一定である。

式（１４）から、この式は、Ｆ２と連絡するノードのすべての容量に関するＦ２のノード容量を表わす。

あるいはまた、係数ｐ　、　、　（Ｊ　ｌは、ウェーバ−の法則に従うＰＪ、” 　［１＋α、ｐ、、ｌＪｌ］−１によって置換された。同様な結果は、共鳴パラメーター範囲内で見いだされた。

Ｆ、からＦ２への結合ｐ、ｌＪｌは、ランダム成長規則と共に、式（１３）のシナプシス保存法則を満足するように選ばれる。

−ン　ム、− この場合変動係数Ｐ　ＩＪＩは、ＦｌからＦ２における成長のランダム程度を決定論的である（しかし部分的に分散している）。

この制限された場合において、Ｆ、における項目ノードからＦ２における固定リスト・ノードへのすべての結合強度は、等しく、そしてリスト・ノードに接触する項目ノードの数／Ｊ／と逆比例するａ　Ｐ　／ｊ／≠Ｏならば、式（１６）における係数ｒ！ｌ＋Ｊ′は、結合強度ｐ、、ＩＪＩに影響を与える。数値［ｒＪ、′Ｊ１：ｊＪ］は、擬似ランダムに選ばれる。即ち、それらは、次式の如く、０と１の間を一様に分散される。

こうして、Ｆ、からＦ２への成長のランダム性は、Ｆ、の項目ノードから出る経路数によって制御され、Ｆ２ノードに収束する経路数によって制御されない。

式１６と１７は、両方で、式１３の保存規則を可能にする。

変動係数Ｐ７，７は、セット・サイズ／Ｊ／に依存するようにされており、その結果平均値［ＰＪ−”’：　ＪεＪ］によって除算された標準偏差［ＰＪｌ”’ ：　ｊεＪ］は、／Ｊ／に独立である。これは、次の如く達成される。

次式の単体上に一様に分布された数値［ｒ　、　、　ｌ　Ｊ　ｌ　：　ＪεＪ］の擬似ランダム列を生成するために、これは、次の如く行われる。標準アルゴリズム（クヌス、Ｄ、Ｅ、、「半数値的アルゴリズム：コンピュータ・プログラミングの技法」、第２巻、記事：アディソン・ウェスレイ、１９８１年）により、ｎ−立法体■。

＝Ｘｘ−＋”［Ｏ１１コ上に一様に分布された数Ｍｗ＝　（Ｗｌ、Ｗｌ、・・・、ｗ、）のベクトルが得られる。Ｗ′１、ｗ’２、・・・Ｗ′。の如く新ベクトルｗ’　＝　（ｗ’　、、ｗ′７、・・・、ｗ’、）を生成するために、サイズの昇順に数値を再配列せよ、Ｉｎからそれ自身へのマツプｗｗ’は、ｗ’　、＝ｗσ、。の如くインデックス（１，２１，、、、ｎ）の置換により決定される。

各置換σは、■、の異なるサブセットを増大するエントリを有するベクトルに変換する。こうして、■、は、単一置換σが、すべてのＷεＤをＷ′ε工、にマツプする如く、セットＤσに分解される。

このため、マツプＷ→Ｗ′は、１．における一様に分布したベクトルを、増大する順序に要素を有する工ゎにおける一様に分布したベクトルに変換する。

次に、増大する順序で要素を有する１１におけるベクトルＷ′を、１対１の線形変換ｙｌ＝ｗ’ｌ、ｙｚ＝Ｗ’　ｚ　Ｗ’　＋、、、ｙ、ｌ＝ｗ’　−ｗ’ゎ− １、とｙ７．、＝１−Ｗゎにより、Ｓ＋ｔ＊ｌにおけるベクトルｙにマツプする。

この線形変換は、等しい容積を等しい表面領域にマツプするので、ベクトルｙは、単体Ｓ１．．において一様に分布する。

変動［Ｐ！％”：　ＪＪコの係数は、次の如＜／Ｊ／（＞）と独立に作成される。上記の精成により、式１６における限界分布ｒ、、ＩＪＩは、濃度関数（／　Ｊ／−１）　（１−ｘ　）　”’−”により分布される。この分布の平均値は、１　／／　Ｊ　／であり、そして標準偏差は、１／／Ｊ／Ｉ＜／Ｊ／−１’）　／　Ｃ／Ｊ／＋　１　＞である、こうして、ｐＪ、ｌＪ茅の平均値は、また、１／／Ｊ／であり、そして標準偏差は、次式である。

Ｆ４．′ハの変動の係数は、標準偏差を平均値で除算した値であり、出願人は、これを／Ｊ／とは独立な定数ｐに等しくセットしな、こうして、

Claims

【特許請求の範囲】

１．パターン認識装置において：全体入力パターンとそれらのサブパターンの部分的分類の両方を、これらの該サブパターンが、それらの空間的スケールと過去の経験に基づいてどれ程情報があるかを予測するアクティビティ重みを使用して、直接アクセスにより、同時にコード化することができる、マスキング・フィールドと呼ばれる、大規模並列協同競合ネットワークを具備することを特徴とするパターン認識装置。
２．入力パターンが、音声又はレーダー・ストリームの如き時系列の空間的コード化であり、そして該マスキング・フィールドが、音声ストリームを文脈依存言語表現に送り、かつ、事象の時間リストを単位化表現に分類又は成分化可能であり、新しく発生する項目によって伝えられる情報により過去の項目のサブリストの知覚分類を再組繊できる方法と、（音声単位の）項目情報と（発生時の）時間順序情報が文脈依存コードに結合される方法とを示す請求の範囲１に記載の装置。
３．該マスキング・フィールドネットワークが、空間的傾斜に沿う結合のランダム成長、アクティビティ依存自己類似セル成長、と保存シナプシス位置に対する競合との神経単位発達の単純な規則に従い、該成長規則は、その並列相互作用が、先行探索の必要なしに正しいサブリスト分類スは成分化を直接に活動化するネットワーク体系を生成する請求の範囲１に記載の装置。
４．該ネットワークが、正しいリストのコード化を高め、そして短期記憶において不適当なリストのコード化を競合的にマスクする、時間的に発展する入力パターンの多重空間的スケール分析を行うことによって、直接アクセスを達成する請求の範囲１に記載の装置。
５．高められた短期記憶アクティビティが、入力ストリームを表現する仮定、即ちコード、を具体的に表現し、そしてこのコードが、これらの特性を達成するために、ネットワーク内に、逐次プログラム又は認知規則構造なしに、利用できる証拠に基づいて、まだ完全に発生していない分類にアクティビティを割り当てることによって、後続の事象を予測又は予想でき、そして神経単位が、質量作用、フィードバック、協同競合相互作用を受ける膜方程式に従う請求の範囲１に記載の装置。
６．連続マスキング原理と、長期記憶不変性原理と、自己類似成長の原理とに基づく請求の範囲１に記載の装置。
７．パターンコード化システムにおいて：ソース・パターンによって活動化され、かつ、ソース・パターンを示す入力パターンを提供する適応フィルターと、該適応フィルター入力パターンを受けとり、かつ、入力パターンに基づいて、該ソース・パターンを予測する圧縮認識又はリスト・コードを活動化し、かつ、該ソース・パターンを予測しないリスト・コードを競合的に抑制又はマスクする連想記憶を含む自己類似の自動的ゲイン制御協同競合非線形フィードバック・マスキング・フィールドネットワークとを具備することを特徴とするパターン・コード化システム。
８．さらに、該マスキング・フィールドが、入力パターン内の多重分類を同時に検出し、そして活動化重みをこれらの分類に対するリスト・コードに割り当て、該重みが、入力パターン内に埋め込まれた文脈情報とシステムの先行学習に基づく請求の範囲７に記載のパターン・コード化システム。
９．該予測リスト・コードが、活動化され、そして非予測リスト・コードが、多重スケール分析により抑制される請求の範囲７に記載のパターン・コード化システム。
１０．該システムの先行学習が、好ましいリスト・コードを活動化するために、該マスキング・フィールドに信号を送るために、適応フィルターをバイアスする請求の範囲９に記載のパターン・コード化システム。
１１．該マスキング・フィールドが、該ソース・パターンの顕著な部分に対するリスト・コートとは異なる全体ソース・パターンに対するレベルにおいてリスト・コードを活動化し、かつ該マスキング・フィールドは、パターン部分が、新ソース文脈においてパターン全体になる時、異なるレベルにおいてソース・パターン部分に対するリスト・コードを活動化する如く、該マスキング・フィールドは、入力パターンの全体サイズが、変化するが入力パターンの微細構造に感知のままの時、その感度を自動的に再スケールする請求の範囲７に記載のパターン・コード化システム。
１２．該マスキング・フィールドが、該ソース・パターンが後続の時間間隔においてどのように発展するかの予測を表現するリスト・コードを活動化する如く、該ソース・パターンから直接に入力によってプライミングされる請求の範囲７に記載のパターン・コード化システム。
１３．該マスキング・フィールドは、なじみのソース・パターンの繰り返しが、なじみでないソース・パターンよりもリスト・コートのより集中した空間的活動化を引き出すために、該適応フィルターをチューニングする適応鋭化特任を示す請求の範囲７に記載のパターン・コード化システム。
１４．該適応フィルターが、システムの短期記憶に保持される好ましいリスト・コードの活動化を引き出すためにチューニングされる請求の範囲１３に記載のパターン・コード化システム。
１５．該入力パターンが、処理される該ソース・パターンの明白な予測の基礎となるより多くの文脈的情報を含む時、活動化されたリスト・コードは、より少く分布されるようになる請求の範囲７に記載のパターン・コード化システム。
１６．さらに、該ソース・パターンを保持し、かつ該適応フィルターを活動化させるために、該適応フィルターにランダムに経路が成長されるソース・ノードを具備する請求の範囲７に記載のパターン・コード化システム。
１７．該経路のランダム成長が、ソース・ノードから現れる経路数に依存する請求の範囲１６に記載のパターン・コード化システム。
１８．該リスト・コードが、アクティビティ依存自己類似成長規則に従うマスキング・フィールド・ノードによって保持される請求の範囲７に記載のパターン・コード化システム。
１９．該アクティビティ依存自己類似成長が、シナプシス位置の保存によって抑えられる請求の範囲１８に記載のパターン・コード化システム。
２０．パターンコード化システムにおいて：ソース・パターンを具体化する複数のソース・ノードと、入力パターンを提供するために該ソース・ノードから成長する複数の適応フィルター経路と、該入力パターンを受けとり、そして該ソース・パターンを予測する圧縮認識コードを提供するリスト・ノードを活動化し、かつ該ソース・パターンを予測しない圧縮認識コードを提供するリスト・ノードを競合的に抑制又はマスクする連想記憶を含むリスト・ノードの多重スケールの協同競合フィードバック・マスキング・フィールドネットワークとを具備し、少なくとも１つの適応フィルター経路が、各ソース・ノードからリスト・ノード又はそのサブセットに成長することを特徴とするパターン・コード化システム。
２１．該適応フィルター経路が、神経単位発達の豊富なランダム成長規則に従う請求の範囲２０に記載のパターン・コード化システム。
２２．該ソース・ノードからの成長のランダム性が、そのソース・ノードから現れる適応フィルター経路数によって制御される請求の範囲２１に記載のパターン・コード化システム。
２３．リスト・ノードに収束する適応フィルター経路の数が、該リスト・ノードのサイズを決定し、そして該リスト・ノードの活動化が、一定の収束経路のサブセットを通り各収束経路の数と強度に依存する請求の範囲２０に記載のパターン・コード化システム。
２４．さらに、リスト・ノードの過度の刺激を防ぐための手段を具備するパターン・コード化システム。
２５．該過度の刺激を防ぐための該手段が、シナプシス位置の保存によって抑えられるアクティビティ依存自己類似成長規則に従うリスト・ノードを含む請求の範囲２４に記載のパターン・コード化システム。
２６．１つのノードに収束する経路が、該ノードがサイズを変化する時、相互に対して強度の変化を受ける請求の範囲２３に記載のパターン・コード化システム。
２７．該リスト・ノードが、シナプシス位置の保存によって抑えられるアクティビティ依存自己類似成長に従う請求の範囲２０に記載のパターン・コード化システム。
２８．該リスト・ノードの容積がサイズの関数であり、かつ該リスト・ノードの相互作用能力が、容積の関数である場合、該リスト・ノードが異なるサイズを取る請求の範囲２０に記載のパターン・コード化システム。
２９．リスト・ノードの相互作用が、それが感知する最大経路入力変化と共に変化する請求の範囲２８に記載のパターン・コード化システム。
３０．リスト・ノードの短期記憶における利点が、その相互作用能力に依存する請求の範囲２８に記載のパターン・コード化システム。
３１．該適応フィルター経路の異なるサブセットが、一定の相互作用能力のリスト・ノードを選択的に刺激する該入力パターンの異なるサブセットを提供する請求の範囲２８に記載のパターン・コード化システム。
３２．該マスキング・フィールドが、該入力パターンにおいて多重分類を同時に検出し、そしてこれらの分類に対する該リスト・コードに活動化重みを割り当て、該重みは、該入力パターン内に埋め込まれた文脈情報と該システムの先行学習とに基づく請求の範囲２０に記載のパターン・コード化システム。
３３．該マスキング・フィールドが、該ソース・パターンの顕著な経路に対するコードを生成する該リスト・ノードとは異なる全ソース・パターンに対するコードを生成する該リスト・ノードを活動化し、かつ新文脈においてパターンが全体になる時、ソース・パターン部分に対するコードを生成する該リスト・ノードを異なるように活動化する如く、該入力パターンの全体サイズが、変化するが該入力パターンにおけるサブパターンの順序に感知のままの時、該マスキング・フィールドが、自動的にその感度を再スケールする請求の範囲２０に記載のパターン・コード化システム。