JP2647371B2

JP2647371B2 - パターン・コード化システム

Info

Publication number: JP2647371B2
Application number: JP50635486A
Authority: JP
Inventors: グロスバーグ，ステイーブン; コーエン，マイケル
Original assignee: TORASUTEIIZU OBU BOSUTON UNIV ZA
Current assignee: TORASUTEIIZU OBU BOSUTON UNIV ZA
Priority date: 1985-11-27
Filing date: 1986-11-26
Publication date: 1997-08-27
Anticipated expiration: 2012-08-27
Also published as: JPS63501450A

Description

【発明の詳細な説明】発明の背景音声と言語研究、特に知覚、認知、と人工知能に関す
る基本的問題領域の１つは、音声音が受信器（人間又は
機械）によって分類される機能的単位の特性表示に関す
る。核心問題は、これらの機能的単位の文脈依存性（co
ntext-sensitivity）、又は機能的単位への知覚分類
が、全音声ストリームの時空的パターン化に依存するこ
とができる方法に関する。別の核心問題は、認識機構
（recognition mechanism）の適応チューニング（tunin
g）と、そのようなチューニングが、なじみの要素の文
脈内に形成された分類を変更することができる方法に関
する。認識プロセスの適応チューニングは、表現が、経
験によるコヒーレント認識コードに単位化又は成分化さ
れる（chunk）機構の１つである。

例えば、「myself」の如きワードは、単位化された口
頭表現（verbal chunk）として人によって使用される。
しかし、異なる文脈において、「myself」の成分「m
y」、「self」、と「elf」は、すべて、独自にワードと
して使用される。さらに、用語「my」で終了する発声
は、音声ストリームの１つの分類を生成するが、全ワー
ド「Myself」を含む発声は、この１分類を長いワードに
適当な分類と取り替える。こうして、文脈依存言語単位
が受信器によって知覚される方法を理解するために、音
声ストリームのすべての可能な分類が、時間の経過を通
して分析される方法と、一定の分類が、異なる文脈にお
いて他の分類が選ばれるのを防ぐことなしに、１つの文
脈において選ばれる方法について、分析が行われなけれ
ばならない。

同様な問題は、視覚対象認識及び図地（figure-groun
d）分割、と認知情報処理において解決される。例え
ば、Ｅの如き文字は、部分として、ＬとＦの如き文字を
含む。

さらに、観測者が、音声又は視覚ストリームのデータ
を分類する機能的単位は、観測者の事前言語経験に依存
する。例えば、ワード「myself」に対する単位化表現
は、このワードになじみのない観測者の脳には存在しな
い。こうして、観測者が、音声ストリームを文脈依存言
語単位に分解しかつ適応的に分類する方法についての適
切な理論では、発達及び学習プロセスが、観測者をバイ
アスさせて、幾つかの知覚分類を優先的に経験させる方
法を分析することが必要とされる。そのような発達及び
学習プロセスは、しばしば、理論生物物理学において、
「自己組織化」のプロセスと呼ばれる（「脳の共同作
用」、イー・バーザー、エッチ・フロール、エッチ・ハ
ケン、とエー・マンデル（編集）、ニューヨーク、シュ
プルンガー出版、1983年）。ビー・リンドストム、ピー
・マックネイラージュ、とエム・シュツデールト・ケネ
ディーは、最近、1983年に、音声知覚における自己組織
プロセスの重要性を示唆した（「自己組織プロセスと音
韻論的普遍的特性の説明」、言語の普遍的特性の説明、
バターワース、コムリーとダール（編集）、ハーグ：ム
ートン。

スティーヴン・グロスベルグは、「適応パターン分類
及び普遍的再コード化、I:神経特徴検出器の並列化展開
とコード化」、生物学サイバネティックス、1976年、に
おいて「適応共鳴理論」を導入した。この理論は、それ
以来、広範囲な発展と応用を遂げた。１つのそのような
発展は、言語システムが、複雑な入力環境に応答して実
時間で自己組織する方法についての分析から生ずる音声
及び言語知覚の理論である。スティーヴン・グロスベル
グ著、「人間の記憶の理論：求心性運動神経コード、マ
ップ、とプランの自己組織と運用」、理論生物学の進
歩、アール・ローゼンとエフ・シュネル（編集）、ニュ
ーヨーク：アカデミック・プレス、1978年。スティーヴ
ン・グロスベルグ著、「心と頭の研究：学習、知覚、発
達、認知、と運動神経制御の神経原理」、リーデル・プ
レス、ボストン、1982年。このアプローチは、言語発
達、学習、と記憶を制御する瞬間毎の動的相互作用を強
調し、そしてマスキング・フィールドと呼ばれる神経モ
デルを導入した。

本発明は、適応共鳴理論（Adaptive Resonance Theor
y）において適応分類問題を解決する音声及び言語知覚
の理論内において、核心プロセスとして、マスキング・
フィールドを量的に分析しかつさらに発展させ、そして
さらに詳細には、内部言語表現が、文脈依存形式におい
て音声ストリームをコード化する方法を示す。さらに、
マスキング・フィールドは、視覚対象認識と認知情報処
理への応用において、同様な分類問題を解決する。

発明の要約本発明は、パターン認識に対して、マスキング・フィ
ールド（masking field）と呼ばれる、大規模並列協同
競合神経ネットワーク（network）を開示する。マスキ
ング・フィールドは、直接アクセスにより、全入力パタ
ーンとそれらのサブパターンの部分的分類（grouping）
の両方を検出し、そして分類のコードに対しアクティビ
ティ重み（activity weight）を割り当てる。重みは、
ネットワークの空間的大きさと過去の経験に基づくサブ
パターンの情報量を予測する。入力パターンが、音声及
びレーダー・ストリームの如く時系列（time Series）
の空間的コード化である時、マスキング・フィールド
は、音声ストリームを文脈依存言語表現に分析する。マ
スキング・フィールドは、事象の時間リストを単位化表
現に分類又は成分化し（Chunk）、新しく発生する項目
によって伝えられる情報に基づいて、過去の項目のサブ
リストの知覚分類（perceptual groupings）を再組織
し、そして（音声単位の）情報と（発生時の）時間順序
情報を文脈依存コードに一緒に結合する。これらの言語
単位は、入力パターンの全体サイズが、各入力パターン
内の微細構造（micro structure）に感知のまま変化す
る時、その感度を自動的に再スケールする（reescalin
g）マスキング・フィールドによる創発的（emergent）
特性である。マスキング・フィールドネットワークは、
空間勾配に沿う結合のランダム成長、アクティビティ依
存自己類似セル成長、と保存シナプシス位置に対する競
合、の神経単位（neuronal）発達の単純規則に従う。こ
れらの成長規則は、その並列相互作用が、先行探索（pr
ior search）の必要なしに、正しいサブリスト分類又は
成分化（chunks）を直接に活動化することができるネッ
トワーク構造を生成する。

本発明によれば、ネットワークは、時間的に発展する
入力パターンの多重スケール分析を行うことによって、
直接アクセスを達成する。この分析は、正しいサブパタ
ーン及びパターンのコード化を高め、そして短期又は作
業記憶において不適当なリストのコード化を競合的にマ
スクする。高められた短期記憶アクティビティは、入力
ストリームを表現する仮定、即ちコード、を具体的に表
現する。このコードは、利用できる証拠に基づいて、ま
だ完全に発生していない分類にアクティビティを割り当
てることによって、次の事象を予測又は予想する。こう
して、マスキング・フィールドは、入力が次の時間間隔
中に一部を形成することができる大分類を予想する予測
プライミング能力（priming capability）を有する。こ
れらの特性を達成するために、ネットワーク内に逐次プ
ログラム又は認知規則構造は存在せず、そして神経単位
（neurons）は、質量作用、フィードバック、協同競合
相互作用に従う。

マスキング・フィールドは、適応鋭敏特性（adaptive
sharpening property）を有し、これによってよく知ら
れた入力パターンが、よく知られていない入力パターン
よりも認識コードのより焦点に絞られた空間的活動化を
起こす。認識コードはまた、入力パターンが、その曖昧
な予測の基礎となる情報をより多く含む時、より分散さ
れずかつより少ない予測分類を包む。これにより、マス
キング・フィールドは、入力パターン内に含まれる予測
証拠に対して、実時間コードを具体的に表現することに
よって、クレジット割り当て問題を解決する。

さらに、連続マスキング原理及び自己類似（self-sim
ilar）成長原理と呼ばれる設計原理が、ネットワークに
よって具体化される。ネットワーク設計は、連合機構
（associative mechanism）、多重スケール競合相互作
用、及び調節的ゲート信号が、単位化認識コードの学習
（learning）を調整するために、一緒に結合して使用さ
れる方法を示唆する。

図面の簡単な説明本発明の前述及び他の目的、特徴、と利点は、各図面
を通して同様な参照番号が同じ部分を指示している添付
図面に示された如く、本発明の好ましい実施態様の次の
より具体的な説明から明らかとなるであろう。図面は、
必ずしも共通の尺度がとれておらず、代わりに、本発明
の原理を説明することに強調が置かれている。

第１図は、本発明のプロセスが行われる１つの応用領
域を提供する適応共鳴理論のブロック図。第２図は、本
発明のパターン・コード化プロセスの概略図。

第３図は、本発明のプロセスにおいて具体化された容
積依存膜組織受容体機構（Volumedependent membrane r
eceptor scheme）の概略図。

第４図は、第３図の機構の代わりに、本発明のプロセ
スにおいて具体化されたアクティビティ依存自己類似セ
ル成長機構を示す図。

第５図は、本発明を具体化するマスキング・フィール
ドによって処理された２つのタイプの感度を示す図。

第６図乃至第16図は、コンピュータ・シミュレーショ
ンによるマスキング・フィールド特性を示す図。

第６図は、シミュレートされたマスキング・フィール
ドF₂のSTMに記憶されたF₁における単一項目（０）に対
するF₂リスト・コード化を示す図。

第７図は、F₁における単一項目（１）に対するF₂リス
ト・コード化を示す図。

第８図は、F₁における単一項目（２）に対するF₂リス
ト・コード化を示す図。

第９図は、活動化サイズの減少順において２つのF₁項
目（０、１）についてのF₂リスト・コード化を示す図。

第10図は、マスキング・フィールドが同じ項目の異な
る順序（ordering）間を識別することを示し、F₁におけ
る２つの項目（０、１）についてのF₂リスト・コード化
の例示である。

第11図は、減少順において３つのF₁項目（０、１、
２）に対するF₂リスト・コード化の例示である。

第12図は、項目サイズにおける順序（１）、（２）、
（０）により、３つのF₁項目（０、１、２）に対するF₂
リスト・コード化の例示である。

第13図は、活動化サイズの増加順において３つのF₁項
目（０、１、２）に対するF₂STMリスト・コード化を示
す図。

第14図は、入力項目（０）に対するサブリスト分類を
示し、LTM学習により更新されたF₂リスト・コード化の
例示である。

第15図は、F₁項目（０、１）に対するサブリスト分類
を示し、LTM学習により更新されたF₂リスト・コード化
の例示である。

第16図は、F₁項目（０、１、２）に対するサブリスト
分類を示し、LTM学習により更新されたF₂リスト・コー
ド化の例示である。

第17図は、マスキング・フィールドのF₂ノードの間の
相互作用の例示である。

第18a図は、X_iアクティビティの大領域上について、S
TMアクティビティX_iのサンプリング信号ｆ（x_i）の線形
より高速な増加のグラフ。第18b図は、X_iアクティビテ
ィの大領域について、STMアクティビティX_iのサンプリ
ング信号ｆ（x_i）のしきい値一線形の増加のグラフ。

第19図は、学習が、F₂における好ましいリスト・コー
ドを選ぶために、適応フィルターをバイアスさせる方法
を示し、第14図と第15図と同じ入力項目を使用する適応
鋭化リスト・コード化によるコンピュータ・シミュレー
トされたマスキング・フィールドの例示である。

第20図は、第16図の入力項目と他の入力項目に応答す
るコンピュータ・シミュレートされた適応鋭化を示す
図。

第21図は、学習によるF₂LTM強度における時間の経過
による変化の例示である。

第22図は、F₂について広汎から焦点へのフェーズ２の
活動化の遷移を示すコンピュータ・シミュレーションの
例示である。

第23図は、異なる学習速度の下でF₂においてSTMに記
憶されたリスト・コードを示すコンピュータ・シミュレ
ーションの例示である。

第24図は、フェーズ１バースト問題を無くす励起及び
抑制経路を示す概略図。

第25図は、F₂の内部フィードバック経路として第24図
の抑制及び励起経路を示す概略図。第26図は、フェーズ
１バースト問題への別の構造的解決法を示す概略図。

好ましい実施態様の説明本発明は、マスキング・フィールド（masking fiel
d）と呼ばれる実時間神経ネットワークモデルの更にそ
れ以上の開発である。マスキング・フィールドは、多重
スケール、自己類似、自動的ゲイン制御協同競合フィー
ドバックネットワークである。それは、その特性が、実
時間音声認識、視覚対象認識、及び認知情報処理中に、
大クラスの圧縮認識コードが確立される方法を理解する
ために有益である連想記憶の如く作用する。

マスキング・フィールドが向けられている圧縮コード
化又は成分化プロセス（chunking process）の１つの例
が、第１図に示されたエス・グロスベルグ（S.Grossber
g）の適応共鳴理論（Adaptive Resonance Theory）のマ
クロ回路内で行なわれる。このマクロ回路は、聴覚媒介
言語プロセス（レベルA_i）、視覚認識プロセス（レベル
Ｖ＊）、及び言語生産のための運動神経（motor）制御
プロセス（レベルM_j）の組み合わせを経て、言語認識及
び再現プロセスの自己組織を制御する。これらの段階
は、内部的に条件可能経路（黒線）を経て、そして外部
的に自己生成音の環境媒介聴取者フィードバック（破
線）を経て相互作用する。

理論内の段階A_iとM_jのすべては、同様の一般的ネット
ワーク法則に従う。これらの法則は、各レベルにおいて
存在するノード間の協同及び競合相互作用を説明してい
る。そのような協同競合相互作用は、ネットワークレベ
ルにセル活動化の特性と短期記憶（STM）を賦与する。
異なるレベルは、２つのタイプの因子によりSTMの特殊
化された特性を示す。即ち、内部連結における差と、各
レベルにおけるセルの他のパラメーターである。事実、
全ネットワーク階層（heiarchy）の異なる位置内で発生
することによって、異なるレベルは、異なるタイプの入
力を受信する。この理論の１つの課題は、どのようにし
て非常に多様なSTM特性が、特殊化セル間配線図を選ぶ
ことによって、少数のSTM法則から生成されるかを示す
ことである。

理論内の学習（learning）及び長期記憶（LTM）プロ
セスのすべては、相互レベル間経路において発生する。
これらの学習プロセスのすべてはまた、同様の動的法則
に従う。それらは、全ネットワーク階層内におけるそれ
らの異なるパラメーター選択と異なる位置により、異な
るタイプの情報をコード化する。

本発明は、このネットワーク階層の設計レベルA₄に焦
点を当てる。マスキング・フィールドと呼ばれるレベル
A₄は、レベルA₃について時間とともに明滅する活動化パ
ターンの文脈依存（context-renritive）コード化を生
成する。A₃についての活動化パターンは、A₃からA₄へ
の、適応フィルター又は条件可能経路を経て、A₄に影響
を与える。A₃からA₄への結合の発達成長規則とA₄内の結
合の成長規則により、A₄が、A₃のアクティビティ・パタ
ーンの文脈依存分析を達成することを可能にする方法を
説明する。最初に、A₄によってコード化されるA₃につい
てのアクティビティ・パターンの意味を明確にするため
に、簡単な再検討が、レベルA₁、A₂、とA₃の特性に与え
られる。

発達の初期段階において、第１図の段階A₁における環
境的活動化聴覚パターンは、A₁からA₂への経路内で、適
応重み（adaptive weights）又は長期記憶（LTM）トレ
ースをチューニング（tune）し始める。これはまた、A₂
についての短期記憶（STM）聴覚「特徴検出器（Feature
Detector）」活動化のパターン化の変更を開始する。L
TMチューニング・プロセスの開始後、それは、「バブリ
ング（babbling）」フェーズによって補なわれる。運動
神経コマンド段階M₁の内生的活動化が、簡単な言葉表現
を引き出させるのはこの「バブリング」フェーズ中であ
る。これらの言葉表現は、A₁→A₂経路をチューニングで
きるM₁からA₁への環境フィードバックを生成する。フィ
ードバック経路M₁→A₁→A₂内の学習（learning）は、調
音必要要件に対して聴覚感度をチューニングするのを助
ける。

A₁についての聴覚パターンが、A₁→A₂のLTMトレース
をチューニングするのとちょうど同じ如く、M₁について
の内発的活動化運動神経コマンド・パターンは、M₁→M₂
のLTMトレースをチューニングする。M₂についての活動
化パターンは、A₂についての活動化パターンが、Ａにつ
いての内発的活動化聴覚パターンを「聴覚特徴（andito
ry featuers）」にコード化するために使用する同じ機
構を使用して、M₁についての内発的活動化運動神経コマ
ンドを「運動神経特徴（motor featuers）」にコード化
する。

適応信号化の流れは、A₁からA₂へ、及びM₁からM₂への
ボトムアップではない。A₂からA₁へ、及びM₂からM₁への
トップダウン条件可能信号も存在する。これらのトップ
ダウン信号パターンは、学習された期待を表わす。これ
らの最も重要な役割は、適応経路A₁→A₂とM₁→M₂内で進
行する学習を安定化することである。それを行う際、こ
れらのトップダウン信号パターンはまた、曖昧又は新し
いボトムアップ信号に応答する最適期待値の読み出しを
構成する。これらの最適期待値は、システムが、過去の
経験に基づいて、A₁又はM₁において見い出すことを期待
されるパターンを予測する。予測及び実パターンは、実
及び期待情報の混合である完了複合パターンを形成する
ために、A₁とM₁において併合される。

聴覚（Auditory）及び運動神経（motor）特徴は、A₂
からM₂への連合マップを経てリンクされる。M₁が内発的
に活動化される時、それは、適応経路M₁→M₂を経てM₂に
おいて運動神経表現を活動化し、そして環境フィードバ
ックM₁→A₁プラス適応経路A₁→A₂を経て、A₂において聴
覚表現を活動化する。従ってA₂とM₂は同時にアクティブ
であるから、関連マップA₁→M₂が学習されることができ
る。このマップはまた、聴覚調音特徴をリンクする。

関連マップA₂→M₂は、新しい音、特に非自己生成音の
模倣を進行させることができる。それは、新しい音をボ
トムアップ聴覚経路A₁→A₂を経て分析し、関連マップA₂
→M₂を経て聴覚特徴検出器の活動化パターンを特徴検出
器にマップし、そしてそれからトップダウン運動神経テ
ンプレートM₂→M₁を経て運動神経特徴パターンをM₁にお
ける純運動神経コマンドにシンセサイズすることによっ
て、それを行う。このようにしてシンセサイズされる運
動神経コマンド又は共同作用（Synergy）は、システム
によって現在コード化されている音のいずれよりも新し
い音により近い音を生成する。また、学習されたマップ
A₁→A₂→M₂→M₁に続いて行われるM₁からA₁への環境フィ
ードバックは、閉フィードバック・ループ又は「循環性
反応（circular reaction）」（ピアジェ、J.著、「子
供における知能の起点」、ニューヨーク：ノートン、19
63年、を参照）を規定する。

段階A₂とM₂は、各々、一度に聴覚又は運動神経特徴の
ただ１つの空間的パターンを処理することができる。こ
うして、A₂は、音声スペクトルの狭い時間スライスから
導出される聴覚「特徴コード（feature code）」を処理
し、そしてM₂は、同期的に同等の筋肉収縮の単純な運動
神経共同作用を制御する。これらの特性は、ネットワー
クノードのフィールドを横切るアクティビティの空間的
パターン即ち分散パターンが実時間ネットワークの計算
単位であるという事実の結果である。これらの計算単位
は、グロスベルグ、S.著、「心と頭の研究：学習、知
覚、発達、認識、と運動神経制御の神経原理」、ボスト
ン：リーデル・プレス、1982年、に詳述された如く、ネ
ットワークを支配する関連学習法則の数学的結論であ
る。第１図における後のレベルA_iとM_jは、すべて、空間
的パターン構成ブロックの時間的分類又はリストに対し
て識別と想起表現を構成するために向けられる。

A₂についてのアクティビティの空間的パターンは、瞬
間的にA₁を活動化している聴覚パターンを表わすA₂の
「特徴検出器」のすべての相対的重要度をコード化す
る。A₂についての各空間的パターンは、A₂からM₂への関
連マップを活動化することに加えて、A₂からA₃への適応
経路を活動化する。理論の適応経路のすべては、同じ法
則に従うが、各経路は、ネットワークにおけるその位置
によって、異なる情報を学習する。A₂からA₃経路は、A₂
についての特徴パターンによって活動化されるので、経
路は、これらの特徴パターンの圧縮識別コード又は成分
（chunks）の形式において学習された表現を構成する。
各そのような表現は、項目表現と呼ばれる。項目表現
は、音素の表現を含む。

項目表現についてのすべての新しい学習は、A₂→A₃の
適応経路のLTMトレース内でコード化される。各項目表
現は、A₃についての活動化のパターンとして表わされる
が、これらの項目表現の学習は、A₃内では行われない。
例えば、一連の音パターンがA₁を活動化する時、A₂につ
いての「聴覚特徴」活動化のパターンは、一種の映像的
（iconic）記憶を経て構成されかつ急速に崩壊する（ス
パーリング、G.著、「簡単な視覚表象において利用可能
な情報」、心理学研究論文、1960年より）。更に、これ
らのA₂活動化パターンは、A₃を横切る項目表現（item r
epresentation）の活動化が行われる。項目表現は、A₃
内のフィードバック相互作用により、一種の「作業記憶
（Working Memory）」（「人間の記憶における処理レベ
ル」、サーマック、L.S.とクレーク、F.（編集）、ヒル
スデール、NJ:エルバウム、1979年）としてSTMに記憶さ
れる。A₃を横切る一連の項目表現はSTMに記憶されるに
従って、A₃を横切るSTMアクティビティの空間的パター
ンは、A₃の項目表現を横切る「時間順序情報（Temporal
Order Information）」を表現する。

多数の項目が提出されるに従って、A₃を横切るアクテ
ィビティの発展空間的パターンは、いくつかの最大長さ
までの項目フィールドの大領域を含む。こうして、項目
の時間的処理は、A₃における一連の拡大する空間的パタ
ーンに変換される。これは、何故視覚処理に適用される
空間的機構がまた、音声処理に対するマスキング・フィ
ールドA₄を設計するのに使用されることができるかの主
な理由である。

A₃を横切る各アクティビティ・パターンは、それ自身
の権利で文脈依存計算単位である。そのような表現にお
いて、任意の１つのアクティビティを変化させると、項
目の全体リストのコード化された意味が変化する。この
ため、アクティビティ・パターンは、コードであり、そ
してそれを規定するために、さらに他のラベル又はアル
ゴリズムは必要とされない。しかし、コードが作用する
法則の３つのセットがある。

１番目は、項目が、A₃を横切る活動化の空間的パター
ン化を経て、時間的順序情報を確実に表現できる法則で
ある。スティーヴン・グロスベルグは、「人間の記憶の
理論：感覚運動神経コード、マップ、とプランの自己組
織と運用」、理論生物学における進歩、アール・ローゼ
ンとエフ・シュネル（編集）、第５巻、ニューヨーク：
アカデミック・プレス、1978年、及び「短期記憶におけ
る行動対照：逐次バイナリー記憶モデル又は並列連続記
憶モデル」、数学的心理学の雑誌、1978年、において、
安定LTMコード化と両立するA₃に対するSTM法則を導出す
るために、「LTM不変性原理（LTM Invariance Principl
e）」を導入した。この原理は、新項目の提示に応答し
て、前の項目のSTMアクティビティを変更する方法を示
し、その結果新項目によって引き起こされるSTMアクテ
ィビティの再パターン化は、古い項目分類に対するLTM
コードをうっかり抹消しない。例えば、ワード「mysel
f」を考える。「my」、「self」、と「elf」に対するLT
Mコードは、ネットワークが、新ワード「myself」を学
習しているからといって抹消されるべきではない。他方
において、分類「my」、「self」、と「elf」の予測の
重要度は、リスト「Myself」内のそれらの一時的埋め込
みによって減少される。従って、A₃は、次に述べるLTM
不変性原理を満足するように設計される。

STMにおける時間順序情報の空間的パターンは、新項
目がA₃を活動化する時、過去の分類によって引き起こさ
れたSTMの活動化がA₄を横切って著しく変化するとして
も、過去事象分類のA₃→A₄のLTMコードを不変にしてお
く如き方法により、逐次的に提出されたリストによって
生成される。

A₃を横切り適切に設計された協同競合相互作用は、機
械的にこの原理を実現する。本目的のために、A₃内の項
目表現の同一セットを横切る、異なるSTMアクティビテ
ィ・パターンは、これらの項目の異なる時間順序をコー
ド化する。LTM不変性原理に基づくA₃設計は、また、種
々の他のデータを分析かつ予測するために使用された。
（グロスベルグ、S.著、「人間の記憶の理論：感覚運動
神経コード、マップ、とプランの自己組織と運用」、理
論生物学における進歩、アール・ローゼンとエフ・シュ
ネル（編集）、第５巻、ニューヨーク：アカデミック・
プレス、1978年；「短期記憶における行動対照：逐次バ
イナリー記憶モデル又は並列連続記憶モデル」、数学的
心理学の雑誌、1978年；及び「行動における逐次順序の
適応自己組織：音声、言語、と運動神経制御」、人間と
機械によるパターン認識、第１巻：音声知覚、イー・シ
ー・シュワッブとエッチ・シー・ナスバウム（編集）、
ニューヨーク：アカデミック・プレス、1986年、及びグ
ロスベルグ、S.とストーン、G.O.著、「短期記憶におけ
る注意切り替えと時間順序情報の神経動学」、記憶と認
知、1986年出版、を参照）。

次に、コードが作用する法則の第２及び第３セットを
記述する。これらの法則は、どのようにそれぞれ、ワー
ドの如く完全リストの圧縮又は単位化表現が学習されか
つ実行されるか、どのような項目が、A₄によって単位化
される前後に、リハーサルされかつ想起されるかを支配
する。これらの法則の背景を通して、新しい音の総合に
よる分析が、複合マップA₁→A₂→M₂→M₁によって達成さ
れたとする。そのようなマップは、A₂を横切る聴覚特徴
の新しいパターンと、M₂についての運動神経特徴の新し
いパターンを生成する。その時、これらの特徴パターン
は、A₃とM₃における単位化項目表現の学習をトリガーで
きる。これらの単位化表現は、ネットワークが、「バブ
リング（bubbling）」フェーズ中にこれらの特徴パター
ンを内発的に活動化しないとしても、学習されることが
できる。このようにして、ネットワークの学習された項
目コードは、模倣、自己生成発声、STM再分類、とLTM単
位化の組み合わせによって、さらに複雑な構成に発展し
続ける。新しい単位化項目表現の間の連合マップ（asso
ciative map）A₃→M₃もまた、学習され続ける。

ネットワークが音声ストリームを処理する時、それ
は、A₃の項目表現を横切る、時間順序情報の発展するST
Mパターンを確立する。リストのすべてのサブリスト
は、また、リストであるので、A₃からA₄への条件付けら
れる経路は、音声ストリームが時間を通して提出される
時、感知するサブリスト分類のすべてを同時に「見る」
又はフィルターする。それから、A₄内のマスキング・フ
ィールドは、これらのサブリスト分類のどれがA₄におけ
るSTMに記憶されることによってリストを表現するかを
決定する。

これらのサブリスト表現は、ワードの認識に寄与する
（グロスベルグ、S.とストーン、G.O.著、「ワード認識
と想起の神経動学：注意プライミング、学習、と共
鳴」、心理学評論、1986年出版）が、それら自身では、
想起を引き出さない。これは、なじみの項目のどのよう
な短い新リストが、単位化の前も想起できるかの問題を
提起する。まず、言葉単位が、項目表現とリスト表現の
両方を有することができること留意。次に、なじみの項
目の短い新リストの想起（recall）が、A₃への非特定リ
ハーサル波によってトリガーされることに留意。（グロ
スベルグ、S.著、「人間の記憶の理論：感覚運動神経コ
ード、マップ、とプランの自己組織と運用」、理論生物
学における進歩、アール・ローゼンとエフ・シュネル
（編集）、第５巻、ニューヨーク：アカデミック・プレ
ス、1978年、及び「逐次バイナリー記憶モデル又は並列
連続記憶モデル」、数学的心理学の雑誌、1978年）。そ
のような波は、アクティブ項目の出力信号をA₃からM₃に
放出可能にする出力ゲートを開にし、最もアクティブな
項目表現は、アクティブさが劣る項目表現の前に読み出
される。各項目が読み出されると、その項目表現を選択
的に抑止する負のフィードバック・ループをそれ自身に
対し活動化し、これにより次の項目表現を読み出し可能
にする。各項目表現は、学習されたA₃→M₃→M₂→M₁の感
覚運動神経マップを経て想起される。

このタイプの想起は、単位化項目表現のリストのSTM
又は作業記憶からの即時想起である。それは、LTMから
の「自動的（antomatic）」単位化想起であるよりもむ
しろ、「制御化（controlled）」プロセスのタイプであ
る。A₄における単位化リスト成分（chunk）が、LTMから
運動神経コマンドのリストを読み出す方法を学習するた
めに、その成分は、全運動神経コマンドへの経路をサン
プリングするために、学習プロセス中、充分に長くアク
ティブでなければならない。どのように項目表現を横切
る時間順序情報が、LTMにコード化されかつそれから読
み出されるかの最も簡単な実現において、A₃からA₄への
条件付けられる経路が、チューニングされている間、A₄
からA₃のトップダウン・テンプレートは、この情報を学
習する。A₄におけるリスト成分（list chaunk）の後の
活動化は、このLTM時間順序情報を、A₃の項目表現を横
切るSTM時間順序情報のパターンに読み込む。この時の
リハーサル波の活動化は、リストをSTMの読み出しを可
能にする。これにより、単位化想起（unitized recal
l）が、学習されたA₄→A₃→M₃→M₂→M₁の感覚運動神経
マップを経て発生する。

この背景により、マスキング・フィールドA₄の設計
を、今、詳細に説明する。マスキング・フィールドのコ
ンピュータ・シミュレーションに使用される数学的関係
を、つづいて概念的に説明する。マスキング・フィール
ドは、適応分類問題を解決するための実時間ネットワー
クモデルである。一連の項目が時間的に処理されると、
マスキング・フィールドは、リスト表現の選択を更新
し、優先パラメーター選択の組み合わせと過去の学習に
基づいて、項目例を連想（content-adressable）圧縮サ
ブリスト選択の予測分類に分析する。A₃の項目表現を横
切るSTMアクティビィの空間的パターンは、A₄によって
分類される入力を提供する。さらに項目が提出される
と、いくつかの最大リスト長さまでのA₃の項目フィール
ドの大領域を含む新空間的パターンが、登録される。こ
うして、項目の時間的処理が、A₃によって、一連の拡大
する空間的パターンに変換される。

これは、絵により第２図に示されている。項目フィー
ルドF₁は、A₃の項目表現を横切るSTMアクティビィの空
間的パターンから、マスキング・フィールドF₂によって
受けとられる。マスキング・フィールドF₂は、項目フィ
ールドF₁内の多重分類（multiple grouping）を同時に
検出し、そして重み（weights）20、22、24をこれらの
分類に対する圧縮表現又はコードに割り当てる。それぞ
れの重みを有する分類は、項目フィールドの文脈とシス
テムの前の学習に関して入力パターンを予測する。

ワード「myself」の例が、ここで示される。この場合
ワード「my」、「self」、と「elf」は、ワード「mysel
f」を含む項目フィールド内の多重分類である。部分「m
y」と「self」は、「elf」よりもワード「myself」のよ
り顕著な部分であることが予測されるために、大きな重
み（weight）が、ワード「elf」よりも部分「my」と「s
elf」に割り当てられる。この予測は、項目フィールド
「myself」の文脈、及び先行の学習又は類似ワードと文
脈との親密性に基づく。さらに、ワード「my」で終了す
る項目フィールドは、分類の１つのセットを生成し、そ
して完全ワード「myself」の包含へと進む項目フィール
ドは、前の分類に取って代わる分類のセットを生成す
る。

同じことは、「myself」の如きワードが、聴覚的より
もむしろ視覚的に提出される時成り立つ。その時、問題
は、視覚対象認識と図地分割（figure-ground regmenta
tion）の１つになる。Ｅの如き文字は、視覚項目フィー
ルドにおける項目として、「Ｌ」と「Ｆ」の如き文字を
含むために、問題はまた、視覚又は聴覚処理の精練レベ
ルに存在する。マスキング・フィールドは、多重空間的
スケールの範囲を定める多重パターン分類を感知するこ
とができ、そしてこれらの分類の各々に、これらの分類
の短期記憶（STM）表現又はコードにおける適切なコー
ド化重みを割り当てる。

この特性が与えられると、マスキング・フィールド設
計の原理は、適応フィルターF₁→F₂を経て、項目フィー
ルドF₁をマスキング・フィールドF₂に関連させて述べる
ことができる。

マスキング・フィールドF₂は、逐次マスキング原理に
従って、適応フィルターF₁→F₂から入力パターンを受け
とる。逐次(sequence)マスキング原理は、次の如く述べ
られる。即ち、項目フィールドF₁の広範囲領域は、広範
囲領域がより強力なマスキング・パラメーターによりF₂
におけるノードを選択的に励起する如き方法で、F₁→F₂
経路によってフィルターされる。

言い換えれば、マスキング・フィールドF₂は、A₃から
受けとる項目フィールドの空間的周波数又はスケールに
敏感である。項目の空間的周波数は、また、空間的スケ
ールと共に、多重スケールを意味することが意図され
る。規定された空間的スケール範囲に選択的に感知する
７、８、９の如くマスキング・フィールド（第２図）に
おけるノードは、それぞれ、マスキング・サブフィール
ド12、14、16を規定する。各マスキング・サブフィール
ドは、論述された単純な神経単位の成長規則によって決
定される数値パラメーターの異なる選択によって特徴付
けられる。サブフィールド14の如く、そのセル個体数が
広範囲の空間的スケール及び／又は多数のコード化位置
を有するサブフィールドは、サブフィールド12と16の如
く、狭範囲の空間的周波数スケールと少数のコード化位
置を有するサブフィールドのSTMアクティビティを競合
的にマスクする。

項目フィールドF₁とそれ自身のノード７、８、と９の
間の結合のために、マスキング・フィールドF₂が従う神
経単位成長の規則は、F₁からF₂への空間的傾斜に沿った
結合のランダム成長と、F₂内の自己類似アクティビティ
依存ノード成長と、保存されたシナプシス位置に対して
競合するF₂の間の細胞間相互作用とを含む。

これらの成長規則は、任意数のネットワークレベルに
よって従われることができるので、マスキング・フィー
ルドは、その連続するレベルが、項目フィールドF₁のさ
らに抽象的な分類を検出しかつ操作することができるコ
ード化された階層F₁→F₂→F₃→・・・F_nにリンクされる
ことができる。

この論述を通して明確さのために、項目フィールドF₁
は、「項目「item）」レベルと呼ばれ、そしてマスキン
グ・フィールドF₂は、「リスト（list）」レベルと呼ば
れる。これらの抽象的用語は、２つのレベルF₁とF₂の動
的特性と一致し、そして知覚及び認知処理中に発生する
コード再組織の文脈依存を適切に取り扱うことのない−
「ワード・レベル（word level）」と「文字レベル（le
tter level）」の如く一代替的術語の落とし穴を避け
る。

成長規則を理解する際に、幾つかの特性が暗に含まれ
ている。即ち、（Ａ）項目列表現(Sequence Representation)：最大列
長までの全実現可能項目列（item sequences）は、初期
的に、マスキング・フィールドにおいて、ある差分反応
を生成するが、しかし弱い。

（Ｂ）項目列長によるマスキング・パラメーター増加：
マスキング・フィールド・ノードの限界マスキング・パ
ラメーターは、それらを活動化する項目列の長さと共に
増加する。この規則は、最適列長に達するまで保持す
る。

（Ｃ）マスキング階層(masking Hierarchy)：与えられ
た項目列によって活動化されるノードは、この列の部分
列（subsequences）によって活動化されるノードをマス
クすることができる。

（Ｄ）項目列選択性(Sequence Selectivity)：ノードの
トリガー列が、長さｎを有するならば、それは、ｎより
もかなり小さな長さの列によって識いき上（supralimin
ally）では活動化されない。

特性（Ａ）と（Ｂ）は、F₁→F₂経路が、マスキング・
フィールドに亙って広く散在する多数の結合を含むこと
を示唆する。特性（Ｃ）は、密接に関連した列が、マス
キング・フィールドにおける近くのセルを活動化するこ
とを示唆する。（Ｄ）は、多数の結合にも拘わらず、長
い列のセルのチューニングが、それらを短い部分列に応
答することから防止するという意味であると仮定する。

主な問題は、多数の結合と列選択性との間の設計上の
緊張問題を解決することである。この緊張（tension）
は、短列ノードと長列ノードの両方に対して解決されな
ければならない。本出願人は、F₁→F₂におけるランダム
成長規則とF₂内のアクティビティ付随自己類似成長規則
の均衡のとれた組み合わせが、この設計の緊張問題を解
決することを発見した。これらの成長規則の相互作用
は、次により最も良く理解される。

F₁における各項目ノードが、非常に多数のランダムに
分布された経路をF₂におけるリスト・ノードの方に送出
するとする。項目ノードは、小さな確率Ｐを有する列ノ
ードにランダムに接触するとする。項目ノードよりもさ
らに多数のリスト・ノードが存在するので、この確率は
小さい。λを、列ノードのすべてに亙るそのような接触
の平均数とする。その時、正確にｋ経路が、与えられた
列ノードに接触する確率は、ポアソン分布によって与え
られる。

Ｋが、Ｋ＜λ＜Ｋ＋１として選ばれるならば、P_kは、
１≦ｋ≦Ｋの時、ｋの増加関数であり、そしてｋ≧Ｋの
時、ｋの減少関数である。λが充分に小さい（約４）な
らば、（１）は、長さｋ≦Ｋの列が、マスキング・フィ
ールド内に再提出され、これにより特性（Ａ）と（Ｂ）
を満足することを意味する。超幾何分布の如き関連ラン
ダム成長規則は、また、類似特性を有する。

経路の広くかつランダムな分布により、リスト・ノー
ドは、それらのサブリストに対応するノードの近くに密
集する傾向があり、これにより特性（Ｃ）を満足する傾
向がある。さらに他の特性は、また、特性（Ｃ）を満足
することを必要とされる。長リスト・ノードは、そのサ
ブリストのすべてをマスクする傾向があるので、そのよ
うなノードは、これらのサブリストをコード化するノー
ドのすべてに抑制信号を送信することができなければな
らない。こうして、F₂ノードにおける相互作用範囲（軸
索）は、第２図に示された如く最大に感知するリストの
長さと共に増加しなければならない。これは、自己類似
成長（Self-Similar Growth）の原理と呼ばれる。

特性（Ｄ）を実現するために、Ｆからｋ経路を受けと
るF₂ノードは、各経路において入力を希釈し、その結果
（ほとんど）すべてのｋ経路は、しきい値上の応答を生
成するためにアクティブでなければならない。ｋが増加
する時、希釈の最もまた増加する。この特性は、大容量
が、単一の信号出力経路により信号をより効果的に希釈
することができるので、長リスト・セルが、大細胞容量
を有することを示唆する。大容量はまた、他のものが等
しい時、より多くの経路がセルの表面に到達することを
可能にする。これにより、長リスト・ノードが、位置と
空間的スケールの数の如く大パラメーターに関連する制
約は、大表面領域を含むように拡張される。この結論
は、マスキング・フィールドを設計する際に自己類似性
原理の重要性を再確認する。ノードは、これらの相互作
用を支持するために大ノード体を有するので、長い相互
作用（軸索）を有する。

その結果、４つの正式な特性（Ａ）−（Ｄ）は、神経
単位成長の単純規則の組み合わせによって、マスキング
・フィールドの設計において実現され、この場合多数の
ランダム成長は、シナプシスの位置に対する競合によっ
て制約されるF₂内のアクティビティ依存自己類似成長を
誘導するF₁からF₂への空間的傾斜に沿って発生する。

まだ実験的に検査されていないこの特性を達成する２
つの主な方法が、コーエン、M.A.とグロスベルグ、S.
著、「音声及び言語コード化の神経動学：発達プログラ
ム、知覚分類、と短期記憶に対する競合」、人間神経生
物学、1986年、によって記載されている。２つの方法の
組み合わせも可能である。１つの方法は、経路が、第３
図に示された如くF₁からF₂にランダムに成長する時、ほ
ぼ同一サイズで起こりかつ成長するF₂ノードによる。F₁
とF₂経路は、可変量のノード成長を引き起こす可変レベ
ルのF₂ノード活動化を生成する。第２の機構は、第４図
に示された如く、容量依存膜受容体を有するF₂に依存す
る。F₂のノードは、種々のサイズを取り、そして膜シナ
プシス位置の数は、ノードの励起を防ぐためにノード位
置と共変する。

マスキング・フィールドF₂は、項目フィールドF₁にお
けるアクティビティ・パターンの多重空間的スケール又
は空間的周波数分析を行うことによって、項目フィール
ドF₂の分類のコード又は単位化表現を選択する。この分
析は、正しい分類を高め、そしてF₁項目の不適当な分類
を競合的に抑制又はマスクする。特に、マスキング・フ
ィールドF₂は、「全体（wholes）」を「部分（part
s）」と混乱せず、適当な入力文脈において、なじみの
「部分」がそれ自身で「全体」として現れるのを可能に
する。例えば、ワード「my」と「self」は、それらが分
離して提出されるか、又は一緒に提出される時「mysel
f」内の「部分」として処理されるならば、「全体（who
les）」として処理される。

F₂を横切る高められたF₁STMアクティビティの空間的
パターンは、入力ストリーム（項目フィールド）を表現
する単位化コード又は仮定を具体化する。以下にさらに
詳細に記載されている如く、このコードは、利用できる
証拠に基づいて、まだ充分に発生していない分類にアク
ティビティを割り当てることによって、後続の事象を予
測又は予想することができる。こうして、マスキング・
フィールドは、実時間予測、又は証拠収集の連想記憶機
械として作用する。逐次プログラム又は認知規則構造
は、これらの特性を達成するために、マスキング・フィ
ールド内に存在しない。代わりに、マスキング・フィー
ルド・ノードは、第17図に示された分路（質量作用）、
中心オン周囲オフ（on-center off-surround）（協同競
合）再発（フィードバック）相互作用を受ける膜方程式
に従う。マスキング・フィールドF₂のSTMコードは、こ
れらの相互作用の創発的特性である。

第17図において、F₂のリスト・コード５は、項目フィ
ールドF₁の項目ノードの分類３のコード又は単位化表現
を受けとる。リスト・ノード５は、正のフィードバック
相互作用６によりそれ自身と、そして負のフィードバッ
ク・ライン21によりマスキング・フィールドF₂の他のリ
スト・ノードとリンクされる。これらの相互作用は、そ
れらのフィードバックと協同競合設計により再発する中
心集中周囲離脱の相互作用である。リスト・ノード５と
項目ノード３の間には、マスキング・フィールドF₂の長
期記憶の適応フィルター17がある。適応フィルター17
は、適切な重み（weight）15を各信号交差経路F₁ F₂に
割り当て可能にする。これらの重み15は、信号を過去の
学習に基づいた信号の予測重要度を示す量だけ掛け算す
る。積は、F₂を横切る空間的アクティビティ・パターン
の一部分であり、そしてこれにより単位化コードの一部
分である。

マスキング・フィールドF₂によって行なわれる多重空
間的スケール分析は、２つの異なるタイプのパターン変
化に感知する。「myself」の如くリスト／ワードが処理
される時、「my」の如くサブワードは、完全リスト／ワ
ード「myself」が経験される前に発生する。第5a図は、
このタイプの情報変化を図式化する。リスト／ワードが
提出される時、高く暗いバー要素として第5a図に示され
たF₁内の前のSTMアクティビティは、より短くより明る
いカラー・バーとして示された後続のSTM活動化によっ
て修正されかつ補われる。F₁についてのSTMパターン
は、リスト・ワードが提出される時、（左から右に）発
展する。ワード「myself」が、F₁内に完全に記憶された
後、「my」、「self」と「elf」の如く部分は、全体の
中になお存在する。それから、マスキング・フィールド
F₂は、「myself」の残りが提出される時、「my」へのそ
の初期応答を自動的に再スケールする。このようにし
て、マスキング・フィールドは、部分よりも全体リスト
／ワードを優遇することができる。

部分よりもむしろ全体リストの表現を優遇するマスキ
ング・フィールドの能力は、検出される全体リスト内の
分類の各々の全体スケールへの感度から導出される。こ
の自動スケール特性は、マスキング・フィールドに部分
よりも全体パターンを優遇することを可能にするが、パ
ターンの一部分のみが提出される時、同じ全体パターン
・コードを優遇し続けない。さらに、フィールド感度
は、部分自身に新全体として応答し、その結果大パター
ンが実際に発生する時、大パターン・コードが優遇さ
れ、そして小パターンが発生する時、小パターン・コー
ドが優遇される。

マスキング・フィールド分析の第２の感度は、内部パ
ターン微細構造への感度である。これは、２つのワード
「レフト（left）」と「フエルト（felt）」によって示
されている。２つのワードは、項目表現の同一セット−
例えば、文字「Ｌ」、「Ｅ」、「Ｆ」と「Ｔ」に対する
コードは、異なる項目順序−例えば、Ｌ−Ｅ−Ｆ−Ｔと
Ｆ−Ｅ−Ｌ−Ｔによって活動化されるという問題を示
す。「left」と「felt」の両方がF₁の同一空間的パター
ンを活動化するために、項目フィールドF₁についての２
つのそのようなアクティビティ・パターンを識別するた
めには、F₁の異なる空間的パターンに対するマスキング
・フィールドF₂内の感度は不充分である。代わりに、項
目コード（即ち、文字「ｆ」、「ｅ」、「ｌ」と
「ｔ」）の同一セットを励起するSTMパターンにおける
異なる項目に対する感度が、第5b図に示された如く、必
要とされる。項目の同一セットは、１つの暗い、１つの
中間の、そして１つの明るいバー成分を有する三つ組み
によって示される。パターン微細構造に対する感度は、
三つ組みの各バーが、示された３つの異なる全体パター
ンにおいて自身の強度又は高さを有することを可能にす
る。そのような感度により、個々の項目強度は、マスキ
ング・フィールドによって承認されかつ考慮される。

自動的再スケール（rescalling）と微細構造検出特性
は、F₂ノードの間の非線形フィードバック相互作用が、
F₂によって受けとられた入力をF₂の圧縮活動化コードに
自動的に変形するような方法から導出される。このタイ
プの非線形フィードバックは、先行技術の多数の代りの
分類アルゴリズムにはない。そのようなアルゴリズムの
開発に対する最近の寄与における中心問題は、「パラメ
ーター空間におけるオフピークの正投票を取り消すため
に「負投票」を使用する方法を発見することである（ブ
ラウン、c.m.、「ハフ変換における固有バイアスと雑
音」、パターン分析と機械知能におけるアメリカ電気電
子学会(IEEE)議事録、1983年）。関連したタイプの問題
は、マスキング・フィールドによって解決される。マス
キング・フィールドは、正及び負の「投票（voting）」
に対するアルゴリズムを正及び負フィードバック相互作
用を受ける実時間網と置き換える。このため、本発明
は、環境的予測特性を有する単位化分類の安定学習を生
成するために、F₂内の非線形フィードバックの設計をF₁
→F₂適応フィルターにおける非線形学習の適切なタイプ
と結合する。

マスキング・フィールドF₁はまた、F₁を活動化する事
象のリスト内の１以上の分類を同時に弁別することがで
きる。例えば、マスキング・フィールドF₂は、全ワード
に感知するF₂ノード個体群を強く活動化し、かつ、ワー
ドの最も顕著な部分に感知するF₂ノード個体群を弱く活
動化することによって、ワード「myself」のF₁表現に応
答する。さらに一般的に、事象を単独に表現することに
よって、そして単位化構成として、事象ＡとＢの対に反
応する。そのような表現において、F₂を横切る全STMパ
ターンは、F₁STMパターンを表現する。F₂のSTMアクティ
ビティの相対サイズは、それぞれのF₂ノード個体群によ
ってコード化された単位化分類の相対的重要度に重み付
けする。

F₂を横切るしきい値上のSTMアクティビティは、その
フィードバック相互作用が、第17図に示された正と負の
フィードバックの間で競合するという事実により、近似
的に標準化又は保存される。こうして、F₂を横切るSTM
アクティビティは、実時間確率的論理、又は仮定検査ア
ルゴリズム、又はマスキング・フィールドF₂がF₁につい
てのパターンについて有する証拠のモデルの如く機能す
る。

さらに、マスキング・フィールドは、予測、予期又は
プライミング能力を所有する。項目フィールドF₁を横切
る単一項目に応答して、最も活発に活動化されるマスキ
ング・フィールドF₂ノード個体群が、その項目をコード
化する。さらに、より活発でない活動化は、項目によっ
て部分が形成された最も顕著な大分類を表現するF₂ノー
ドにおいて発生する。それから、マスキング・フィール
ドは、項目が、次の時間間隔中に部分を形成する発生大
分類を予期又は予測する。

より多くの項目がF₁によって記憶される時、F₁におい
て表現された情報に関するF₂の不確実性は、より予測的
な全体パターンの出現により減少する。F₂の不確実性が
減少するとき、F₂を横切るSTMアクティビティの空間的
分布は、より集中され、又は空間的に局所化され、そし
てより予測されない分類を含む。このタイプの空間的鋭
化（spacial sharpening）は、F₂コード内の情報の不確
実性の程度を測定する。

マスキング・フィールドのコンピュータ・シミュレー
ションの結果が、第６図乃至第16図に示されている。多
重パターン・スケールと内部パターン微細構造に対する
マスキング・フィールド感度が、第６図乃至第13図のコ
ンピュータ・シミュレーションに示されている。これら
の図は、本発明のマスキング・フィールドによる分類の
最も簡単なタイプを描いている。この実施例において、
F₁を横切る明確なSTMアクティビティ・パターンの各々
は、F₂内のSTM記憶に対し、F₂における単一ノード又は
個体群のノードを活動化する。即ち、マスキング・フィ
ールドは、F₁を横切るアクティビティ・パターンをF₂内
のSTM選択に全体的に分類する。明確な選択は、微細構
造におけると同様に、全体スケールにおいて変化するF₁
パターンに応答して行われ、これにより上記で要約され
た特性を示す。同じ数値パラメーターが、これらのシミ
ュレーションのすべてに使用された；入力パターンのみ
が変化している。学習（learning）は、長期記憶（LT
M）トレース又はF₁→F₂経路における信号を掛け算する
適応重み内で行われることが許容された。

第14図乃至第16図において、マスキング・フィールド
の予測多重分類特性が示されている。これらの図に示さ
れたコンピュータ・シミュレーションにおいて、F₁を横
切るアクティビティ・パターンの予測分類を含めて、マ
スキング・フィールドが、多重分類をコード化するSTM
表現を生成する方法を示すために、パラメーターの固定
であるが異なるセットが使用された。これらのSTM表現
において、マスキング・フィールドは、F₁を横切る全体
STMパターンに最大に感知するが、それは、また、この
パターンの顕著なサブパターン（「部分」）とスーパー
パターン（「予測」）への部分的活動化を生成する。再
び、学習は、F₁→F₂経路におけるLTMトレース内で行わ
れることは許容されなかった。

第６図において、F₁における単一項目が、見出し「項
目フィールド（Item Field）」の下でグラフ・ラインに
示された如くアクティブである。この項目は、F₂におけ
る非常に多数のノードに対する正の入力を生成する。入
力サイズは、「入力パターン（Input Pattern）」とラ
ベル付けされた３つの行においてバーの高さによって示
される。各行は、F₁からの同じ数の経路を受けとるすべ
てのF₂ノードをリストする。第１の行は、１つの経路を
受けとるF₂ノードを含み、第２の行は、２つの経路を受
信するF₂ノードを含み、そして第３の行は、３つの経路
を受けとるF₂ノードを含む。行１において、（ｉ）とラ
ベル付けされたセットにおいて各F₂ノードは、ｉ＝０、
１、２、・・・４の時（ｉ）とラベル付けされたF₁項目
ノードからの経路を受けとる。４つのF₂ノードが、
（０）F₁ノードからの入力を受けとることに注意。行２
において、（０、１）とラベル付けされたすべてのF₂ノ
ードは、F₁ノード（０）と（１）からの経路を受けと
る。行３において、（０、１、２）とラベル付けされた
すべてのF₂ノードは、F₁ノード（０）、（１）と（２）
からの経路を受けとる。

F₁ノード（０）からの経路を受けとるF₂ノードのすべ
てに対する入力は、正である。第６図にはそのようなノ
ードが44ある。この事実に拘わらず、STMにおいて持続
的にアクティブになることができるF₂ノードのみが、ア
クティブ項目ノード（０）からのみの経路を受けとるノ
ードである。これらは、（０）とラベル付けされたF₂ノ
ードである。すべての他のF₂ノードのSTMアクティビテ
ィは、これらのF₂ノードの多数がまた、F₁から大きな励
起的入力を受けとるという事実に拘わらず、F₂内の競合
的フィードバック相互作用によって急速に抑制される。
F₂ノードの平衡STMアクティビティが、見出し「STMにお
けるリスト・コード（List Code in STM）」の下で３つ
の行にリストされる。これらは、F₂が、広範囲の入力パ
ターンを集中しかつ適切なSTM活動化コードに変形する
ことができるアクティビティである。各バーの高さは、
そのバーによって表現されたアクティビティの強度を示
す。正のアクティビティは、各行Ｉ、II、とIIIのライ
ンの上にあるバーとして示される。負のアクティビティ
は、行ラインの下のバーとして示される。入力パターン
に応答する正のアクティビティのみが、リスト・コード
の行ＩにあるF₂リスト・コードの０番目ノードであるこ
とに注意。F₂のSTMに記憶されるのは、コードのこの部
分である。

さらに、第７図乃至第13図は、マスキング・フィール
ドのSTMコード形成特性を示す。これらの図の各々は、
異なる入力パターンに対するネットワーク応答を表現す
る。第７図と第８図において、F₁における異なる項目が
活動化される。各項目が、F₂に対する広範囲の入力パタ
ーンを生成する。各入力パターンは、集中STM活動化へ
コントラスト向上されている。このSTM活動化は、アク
ティブ項目ノードのみから経路を受けとるF₂ノードに制
限される。

第６図、第７図と第９図の比較は、マスキング・フィ
ールド動学の自己スケール特性を示す。項目（０）、
（１）の時間的に順序付けされたリストが、F₁によって
受けとられるとする。全体としてリストは、第６図にお
ける第１項目（０）、又は独立に取られた第７図におけ
る第２項目とは異なる第９図におけるF₁を横切る空間的
パターンを生成する。このリストは全体的にまた別々に
とったいづれかの項目よりもより多くのノードを活動化
する。この事実に拘わらず、単一F₂ノードのアクティビ
ティのみが、STM記憶される。さらに、このF₂ノード
は、F₁項目（０）と（１）からのみ経路を受けとる
（０、１）ノードの１つであるから、適切なノードであ
る。こうして、この比較は、F₁ノードの小サブセットに
よって活動化されるF₂ノードのアクティビティをマスク
するために、非常に多数のF₁ノードによって活動化され
るF₂ノードのアクティビティを示す。これは、連想記憶
（content-addressably memory）としてF₂が機能する際
の重要特性である。

第９図と第10図の比較は、異なる微細構造を有する項
目パターンを識別するF₂の能力を示す。両図において、
F₁項目（０）、（１）のセットは、活動化されるが、ア
クティビティの異なる空間的パターンが、項目に亙って
存在する。第９図の空間的パターンは、項目（０、１）
の時間的に順序付けされたリストを表現するが、これに
対して第10図の空間的パターンは、時間的に順序付けさ
れたリスト（１、０）を表現する。これは、項目（０）
の強度が、第９図における項目（１）の強度よりも大き
く、そして第10図においては逆であることを示す。シミ
ュレーションは、項目フィールドにおけるF₁ノードの同
一項目又は順序付けされていないセットを活動化すると
しても、F₂が、これらのパターンに対し異なるSTM応答
を生成することができるから、全体として項目パターン
に感知するのを示している。特に、第９図と第10図にお
いて、異なるF₂ノードは、項目（０）と（１）のみから
経路を受けとるF₂ノードのセット内でアクティブにな
る。

第９図と第10図の間のこの比較は、F₁を横切る空間パ
ターンが、ネットワークの計算単位であり、かつこれら
の計算単位に対するF₂の差分STM応答が、文脈依存リス
ト成分化プロセスを具体化するという主張によって意味
しているものを明確にする。

第６図乃至第11図の比較は、これらのF₂特性のより要
求の厳しい変形を示す。項目（０）、（１）、（２）の
時間的に順序付けされたリストは、F₁によって処理され
るので、項目のすべては、第６図、第９図、と第11図に
おける空間的パターンが時間により発展する時、F₁にお
いて個々にアクティブになる。しかし、第11図における
記憶されたSTMパターンは、項目（０）、（１）と
（２）、又はグラフにおいてラベル付けされた如くセッ
ト（０、１、２）からのみ経路を受けとるノードの１つ
である単一F₂ノードに制限される。こうして、F₂は、構
成項目であるよりもむしろ、F₁における全パターンの圧
縮連想表現を選択する。

第11図乃至第13図の比較は、第９図と第10図の比較と
同じ点であるが、より要求の厳しい変形において行われ
ている。第11図乃至第13図の各々において、項目
（０）、（１）と（２）の同一無順序のセットは、F₁を
横切りアクティブである。F₁を横切る空間的パターン
は、これらの項目の異なる時間的順序付けを表現する：
即ち、それぞれ、（０、１、２）、（１、２、０）と
（２、１、０）である。各図において、異なるF₂ノード
は、リスト・コードの第３行に示された如く、活動化さ
れる。さらに、アクティブF₂ノードは、項目ノード
（０）、（１）、と（２）からのみの経路を受けとるノ
ードの１つであり、こうして（０、１、２）ノードとし
てグラフにおいてラベル付けされる。こうして、連想F₂
コードは、F₁アクティビティ・パターンの微細構造に感
知する。

第14図乃至第16図は、パラメーターが、F₁パターンの
多重分類がF₂におけるSTMにおいてコード化可能である
ように選ばれるマスキング・フィールドの反応を示す。
同じ入力パターンが、第６図、第９図と第11図における
如く使用された。第14図乃至第16図の比較は、F₁アクテ
ィビティ・パターンが拡大する時、自動的スケール特性
により、F₂が、検出される分類のすべてに基づいて、ST
M表現を更新することが可能になる方法を示す。第14図
において、項目（０）は、F₂の（０）ノードを最も強く
活動化するが、また（０）を含む分類を表す他のF₂ノー
ドを弱く活動化する。（０）からのみの項目経路を受け
とるF₂ノードは、リスト・コードの行Ｉに示された約0.
130の最大アクティビティ・レベルを有する。（０）か
らの経路を含む、２つの項目経路を受けとるF₂ノード
は、リスト・コードの行IIに示された約0.07の最大アク
ティビティ・レベルを有する。（０）からの経路を含
む、３つの項目経路を受けとるF₂ノードは、リスト・コ
ードの行IIIに示された約0.007の最大アクティビティ・
レベルを有する。これらのアクティビティ・レベル又は
重みは、マスキング・フィールドＦが所有する「証拠
（evidence）」の程度を特徴付け、その結果各分類は、
入力パターンに反映される。

第15図において、F₁を横切る（０、１）空間的パター
ンは、F₂の（０、１）サブフィールド内のＦノードを最
も強く活動化するが、また、（０）からの入力を受けと
るF₂の他のノードを弱く活動化する。アクティビティ・
レベルは、リスト・コードの行IIにおける（０、１）ノ
ードに対して約0.19であり、そしてリスト・コードの行
Ｉの（０）ノードに対して約0.072である。

第16図において、F₁を横切る（０、１、２）空間的パ
ターンは、約0.184のアクティビティを有するF₂の
（０、１、２）サブフィールド内でＦノードを最も強く
活動化する。それはまた、約0.004のアクティビティ・
レベルを有するF₂の（０）サブフィールドを弱く活動化
する。F₂を横切るSTMアクティビティ・パターンは、文
脈情報が増加すると予測の不確実性を減らすために、第
14図から第15図、第16図へとより集中する。

前記では、マスキング・フィールドのSTM特性を示し
た。マスキング・フィールドはまた、長期記憶（LTM）
において適応鋭化特性を所有する。

F₁に対する任意のなじみのない入力パターンが、F₂を
横切るSTM表現を生成する時、F₁に対する同一パターン
の後続の入力が、F₂を横切る空間的に鋭化された又はコ
ントラスト向上されたSTMパターンを生成するような方
法で、LTMは、このF₁→F₂対から学習する。特に、F
₂が、第６図乃至第13図における如く、STMにおいて選択
する時、適応鋭化特性を満足する学習は、この選択を確
認するように作用する。さらに一般的に、適応鋭化は、
F₁とF₂との間の信号を適応的にフィルターする経路にお
ける学習が、マスキング・フィールドの良好な前配線特
性を破壊するのを防ぐ。学習は、マスキング・フィール
ドを有する適応フィルターの相互作用により、初期決定
を強調するが、単に同一F₁パターンの繰り返された提出
により、この平衡を崩すことはない。

適応鋭化特性は、当技術のすべての連合学習法則によ
って明らかに満足されるわけではない。これは、F₂が、
そのノードのすべてによって受信された入力の全体的パ
ターン化に基づいて、STM反応を自動的に再組織するた
めである。LTMは、適応フィルターのF₁→F₂経路のすべ
てにおいて使用される単一LTM法則に従う。LTM法則は、
適応鋭化を有するF₁とF₂を横切るアクティビティ・パタ
ーンのすべての可能な組み合わせに反応するが、F₁→F₂
入力とF₂→F₂相互作用の間の全体的平衡の破壊には反応
しない。

LTM法則は、適応鋭化特性を保証し、そしてF₁パター
ンの多重分類が学習によって影響を受けることを可能に
する。このため、F₁を横切る規定パターンが繰り返して
提出されるならば、このパターンは、F₂におけるSTMの
最も顕著な分類を優先的にコード化するために、適応フ
ィルターをチューニングすることによって「なじみ（fa
miliar）」になる。F₁における新しいスーパーセット・
パターン、即ち、サブパターンとしてなじみパターンを
含むパターンが、提出されるならば、なじみパターンの
サブセット・パターン分類は、相補的スーパーセット分
類から密集して「離脱」する。その結果、スーパーセッ
ト・パターンは、共鳴する「部分」のSTMパターン、又
はF₂についての「構造的分類」によって表現される。言
い換えれば、先行の適応チューニングは、新しいF₁パタ
ーンが、F₁パターンをなじみの分類の分布コードに分割
するF₂についての直接アクセスSTM反応を生成すること
を可能にする。

サブセット・パターンがしばしばF₁に対し独自に提出
されなければ、適応鋭化特性はまた、スーパーセット分
類の繰り返された提出が、そうでなければ可能なサブセ
ット分類をしだいにマスクすることを可能にする。直観
的用語において、入力時間列の統計に依存して、なじみ
の部分の可干渉性セットが、全体を表現するようになる
か、又はより全体的な分割が、全体を表現するようにな
る。その時、適応フィルターとマスキング・フィールド
との間の相互作用は、殆どの環境においては通常失敗す
る前配線の分割規則を使用して環境を先読みしようとす
るのではなく、入り入力パターンをユニークな入力環境
の統計から学習される構造的関係に動的に組織化する。

本発明のコンピュータ・シミュレーションにおいて、
本出願人は、適応鋭化特性の完全バージョン（versio
n）を要求した。第６図乃至第16図におけるSTM分類のす
べてが与えられると、適応鋭化は、学習の開始前にSTM
において最大に優遇されたF₂個体群を選ぶ。これを満足
するLTM法則は、次の形式を有する。

この場合Z_jiは、項目フィールドF₁におけるｊ番目のノ
ードV_jからマスキング・フィールドF₂におけるｉ番目の
ノードV_iへの適応フィルターF₁→F₂における適応重み又
はLTMトレースである。I_jは、V_jからの入力である。x_i
は、V_iのSTMアクティビティ・レベルである。ｆ（x_i）
は、x_iの充分に大きな値によって活動化される非線形サ
ンプリング信号である。そしてεとＬは、定数である。

（１）に述べられた如き法則は、多数の現在の学習モ
デルに対する基礎であるヘビアン（Hebbian）連合前提
条件を侵害する。ヘブ、D.O.著、「行動の組織化」、ニ
ューヨーク：ワイリー、1949年から、ヘブ前提条件は、
次の如く述べられる：「セルＡの軸索が、セルＢを刺激
するに充分に近く、かつ、繰り返して又は持続的に、そ
れを発火する（firing）ことに加わる時、Ｂを発火する
セルの１つとしてのＡの有効性が増加する如く、ある成
長プロセスが、１つ又は両方のセルにおいて起こる。」さらに、（１）における学習規則は、「連合規則（as
sociative rule）」と呼ばれ、これによってLTM有効性
は、相関したシナプシス前及びシナプシス後のセル・ア
クティビティの時間平均の関数として変化する。連合規
則は、しばしば、ヘブ（Hebb）を祝して「ヘビアン（He
bbian）」規則と呼ばれる。しかし、異なる連合規則
は、学習特性の異なるタイプを質的に支持することがで
きるので、この慣習は、連合学習の文献において混乱を
引き起こしたと信じられる。

連合学習（associative learning）の単位が、別のノ
ードのアクティビティとのその相関が、ノード間の経路
のLTM強度を増加できる単一ノードのアクティビティで
あると仮定すれば、ヘブの公理は、もっともであるよう
に見える。しかし、第６図乃至第16図によって必要とさ
れる如く、連合学習の単位が、ノードのネットワークを
横切るアクティビティの空間的パターンであることに同
意するならば、異なる連合規則が、必要とされる。それ
から、F₁を横切る空間的パターンとF₂におけるノードの
アクティビティとの間の相関関係は、F₁からアクティブ
F₂ノードへの経路のセットにおけるLTMトレースが、LTM
へのアクティビティの全空間的パターンをコード化する
ことを可能にする。この状況において、F₁における非ア
クティブ・ノードV_jは、F₂におけるアクティブ・ノード
V_iと相関する時、z_jiをゼロに接近させなければならな
いので、連合規則は、ノード・アクティビティ対の関数
として、LTM強度の増加と減少の両方をコード化できる
連合規則（associative rule）が必要とされる。こうし
て、単一ノードからノードのネットワークを横切る空間
的パターンへの学習の機能的単位における変化は、ヘブ
の公理を侵害する連合規則を必要とする。

学習規則（learning law）（１）の別の非クラシック
な特性は、サンプリング信号ｆ（X_i）が、第18（ａ）図
に示された如く、限定ではないが二次的に、線形より高
速に、又は第18（ｂ）図に示された如く、X_iがゼロの上
に増加する時、しきい値一線形の様式で成長する非負関
数である。式（１）のサンプリング信号ｆ（X_i）におい
て、X_iの値は、X_iの大きな値よりもZ_jiにおいてずっと
遅い学習速度を決定する。その結果、初期のSTM利点を
得るF₂ノードは、隣接するLTMトレースの学習を速める
ことによって利点を非常に増大する。対照的に、アクテ
ィビティがゼロの下にあるF₂ノードは、X_i＝０であれ
ば、ｆ（X_i）＝０であるから、それらの隣接するLTMト
レースにおいて任意の学習をトリガーできない。この特
性は、ｆ（X_i）をサンプリング信号と呼ぶことを正当化
する。

（１）における状態依存学習速度ｆ（X_i）は、目標ア
クティビティX_iが、F₂の協同競合意志決定機構によって
選ばれるLTMトレースZ_jiのみにおいて、学習が行われ得
るという意味である。そのF₁項目が正の入力I_jを受けと
るすべてのLTMトレースZ_jiは、F₂へのそれらの経路にお
いてそれらの入力を掛け算することによって、F₂の意志
決定に影響を及ぼすことができる。対照的に、ずっと少
数のLTMトレースは、F₂が受けとる入力パターンよりも
ずっと分散しない圧縮認識コードを選ぶという特性によ
り、意志決定プロセスから学習される。この意味におい
て、適応F₁→F₂フィルターにより読み出されるLTMと連
合法則（１）によって読み込まれるLTMは、F₂内の協同
競合相互作用の干渉により、少なくとも部分的に分離さ
れる。

出願人は、学習法則（１）が、第６図乃至第13図にお
いて記載されたSTM選択のすべてを確認することを発見
した。また、適応鋭化特性は、学習法則（１）がF₁→F₂
適応フィルターにおいて使用される時、STM選択に適応
的に変換される第14図乃至第16図の多重分類によって示
される。

第19図乃至第23図は、学習プロセスが、各入力パター
ンに応答して限界に接近する時、生成される平衡STM選
択を示す。システムが常に平衡STM及びLTM値に接近する
という事実は、STM（高速）とLTM（低速）プロセスとの
間のフィードバック相互作用が、設計の悪いシステムに
おいては、容易に持続した振動となることがあるので、
基本的特性である。

完全動的システムにおいて、STMは、低速のLTM学習プ
ロセスよりもより迅速に入力パターンに反応する。完全
動的システムに対する特異近似（Singular approximati
on）において、STMアクティビティが平衡値にほとんど
達するまで、LTMが全く変化しないと仮定されている。
それから、LTM学習プロセスは、切り替えられ、そしてS
TMとLTMの両方は、共同して平衡に接近するまで、相互
作用する。そのような特異近似を使用して、ずっと高速
のLTM学習速度（式（１）における大きなε）が、完全
システムを使用して検出される平衡STM及びLTMパターン
をあまり変化させることなしに使用される。こうして、
特異システムのコンピュータ・シミュレーションは、完
全システムが、平衡に達するまで、小さなεで統合され
るシミュレーションよりもずっと急速に行なわれる。特
異近似を使用して適応鋭化特性を確認後、完全システム
によるシミュレーションは、式（１）における学習速度
パラメーターεの幾つかの異なる選択を使用して行われ
た。

第19図と第20図は、そのパラメーターのすべてが、学
習速度εを除いて、第14図乃至第16図のシミュレーショ
ンにおけると同じである特異システムにおける平衡パタ
ーンを示す。第14図乃至第16図に対して、学習速度ε＝
０である。第19図と第20図において、εは、F₂を横切る
STMトレースが平衡に接近するまで、ゼロに等しくセッ
トされ、それから、完全システムが平衡に接近すること
が可能であるように１に等しく切り替えられた。

第19a図、第19b図、及び第20図と、それぞれ第14図乃
至第16図との比較は、適応鋭化特性が得られることを示
す。第14図乃至第16図における学習なしと、第19a図、
第19d図及び第20図における学習後のF₂ノードに対する
入力パターンの比較は、F₁→F₂経路におけるLTM変化
が、どのようにF₂ノードに対する全体入力を変更させる
かを示す。さらに特定的には、学習後、第19a図におけ
るリスト・コードの行II及びIIIには正のアクティビテ
ィはなく、この場合、学習前、第14図におけるそれらの
行にはアクティビティはあった。F₁への入力は、行II及
びIIIに正のアクティビティを残さないリスト・コード
の行Ｉにおける（０）ノードにのみ対応すべきである単
なる単一（０）項目であったので、これは、F₂に記憶さ
れるべきアクティビティ・コードの正確な鋭化（Sharpe
ning）である。マスキング・フィールド入力パターンの
同じ鋭化と結果のリスト・コードが、学習を有する第19
d図において示され、学習なしの第15図に比較される。
第19d図において、マスキング・フィールド入力パター
ンの１つの（０、１）ノードは、他の２項目ノードより
も誇張されている。これは、リスト・コードにおけるノ
ード（０、１）の活動化の増加と、第15図におけるリス
ト・コードにおいて得られたアクティビティに関して、
他のリスト・コード・ノードのアクティビティの減少に
反映される。さらに、第19図の誇張された（０、１）F₂
入力ノードを有する行IIは、適応鋭化が、第15図におけ
るF₂に対する入力パターンの行IIについて得られること
を示す。他方、第15図におけるF₂に対する入力パターン
は、他のF₂入力ノードに関する任意の１つの（０、１）
ノードを強調せず、そして（０、１）のF₁入力に対して
より曖昧なリスト・コードを生成する。同様に、第20図
におけるF₂入力パターンの行IIIは、第16図におけるF₂
入力パターンの行IIIの鋭化である。その結果、第20図
のリスト・コードは、（０）ノードと比較的高く活動化
された（０、１、２）ノードを有する第16図におけるリ
スト・コードの鋭化である単一（０、１、２）ノードで
ある。

特異システムにおいて適応鋭化特性を達成したなら
ば、特性は、次に、第21図に示された如く、完全システ
ムのε以外のパラメーターの変化なしに示されている。
これらの完全システムにおいては、シミュレーションε
は、0.1にセットされており、そして内部フィードバッ
ク信号のないF₂を横切るSTMアクティビティの崩壊速度
は、１に等しく選ばれた。適応鋭化特性は、STMとLTM変
化のもっともな相対速度を使用して、完全システムにお
いて確認された。第21図は、F₁→F₂経路のサブセットに
おけるLTM値が、学習により時間を通していかに変化し
たかのコンピュータ・シミュレーションを示す。シミュ
レーションは、本マスキング・フィールドと連合学習法
則が、特性（Ａ）−（Ｄ）を生成するために充分である
ことを示す。

第21図において、項目フィールドは、（０）項目と比
較的小さな（１）項目の入力を有する。第１の図は、1.
025の時点で取られている。マスキング・フィールド・
ノード（０）乃至ノード（４）の各々は、半円グラフの
パイ形状区分として示されている。マスキング・フィー
ルド・ノード（０）と（１）は、入力セット（０、１）
からの完全に活動化された信号を有する。即ち、項目フ
ィールドの項目（０）と（１）の両方からの経路は、マ
スキング・フィールドの（０）及び（１）ノードのすべ
ての完全活動化を示す。完全活動化は、グラフにおいて
完全半径によって示され、そして部分的活動化は、部分
的半径によって示される。1.057と1.123の後の時点にお
いて、幾つかの経路の活動化レベルは、マスキング・フ
ィールドの（０）と（１）における完全半径拡張から部
分的半径拡張から僅かに減少した。これは、マスキング
・フィールドの学習による。経路におけるさらに多数の
LTM変更は、3.038と5.427の時点において現れる。最後
に、7.814と8.524の時点において、マスキング・フィー
ルドのただ１つの（０）ノードが完全に活動化され、１
つの（１）ノードは、75パーセントだけアクティブであ
り、そして他の（０）及び（１）ノードは、最小にアク
ティブである。

F₁における入力パターンに対するF₂の反応において、
３つの主要フェーズがある。フェーズ１において、入力
パターンは、F₁→F₂経路を横切る、信号をF₂ノードに伝
え始め、そしてこれにより多数のF₂ノードが、活動化さ
れ始める。これらのノードが活動化されると、それら
は、第17図に以前に示された如く、他のF₂ノードに対す
るフィードバック信号、特に競合信号、を生成し始め
る。各ノードに対する励起及び抑制信号の間の平衡は、
F₁からの入力パターンを急速にコントラスト向上させ、
そして第６図乃至第16図に示されたF₂におけるより集中
したSTM反応を生成する。追加の学習、リセット、又は
常習性機構のない時には、これらの集中したSTM反応
は、F₂内の入力とフィードバック信号の平衡によって記
憶される。

フェーズ２は、コントラスト向上と、STMパターンの
記憶を含む。ハフ（Hough）変換の言語において、マス
キング・フィールドによって投ぜられた正と負の「投票
（Votes）」は、適応フィルターによって引き起こされ
た「オフピーク（off-peaks）」と「フォールス・ピー
ク（false peaks）」の両方を取り消す。フェーズ１か
らフェーズ２への遷移のコンピュータ・シミュレーショ
ンが、第22図に要約される。パラメーターは、第９図に
おけるものと同じである。連続図（ａ）乃至（ｅ）の各
々は、F₁への入力パターンの開始後の時点におけるF₂ノ
ードのSTMアクティビティを示す。行Ｉの最初のSTMアク
ティビティは、正の（０）ノードと、比較的小さな正の
（１）ノードを示す。後に、第22e図において、（０）
ノードは、負であり、そして（１）ノードは、F₂のフィ
ードバック相互作用によりさらに一層負にアクティブで
ある。行IIにおいて、原始ノードのすべては、第22a図
における（２、３）、（２、４）、と（３、４）ノード
を除いて、正のアクティビティを有する。後の時点ま
で、行IIのノードは、１つが他よりもずっとアクティブ
である２つの（０、１）ノードを除いて、すべて負であ
る。行IIIにおいて、（２、３、４）ノードを除いて、
ノードのすべては、正から負のアクティビティに変化す
る。こうして、第22図は、入力パターン・アクティビテ
ィF₁の後、F₂のフィードバック相互作用によって急速に
浸食されるF₂についての大規模であるが瞬間的なアクテ
ィビティのバーストがある。

式（１）におけるεは、非常に大きく選ばれているの
で、重要な学習は、フェーズ１中に行われ（即ち、学習
速度は、非常に高速である）、多数のF₂ノードV_jは、そ
れらの学習速度εｆ（X_i）が、フェーズ１中、大である
ために、F₁アクティビティ・パターンをサンプリングす
ることができる。対照的に、εが小ならば、フェーズ１
の持続時間は、速度εｆ（X_i）において大きなLTM変化
を統合するために充分に長くないので、重要でない学習
は、フェーズ１中、行われない。フェーズ２中、F₂内の
内部フィードバック相互作用によって選択されるF₂ノー
ドのみが、入力パターンをサンプリングし、そしてこの
ため、他のF₂ノードのすべてにおいて、ｆ（X_i）＝０で
あるために、LTMトレースをチューニングする。こうし
て、学習速度が、フェーズ１の持続時間に関して高速な
らば、学習は、マスキング・フィールドの分類プロセス
によって制御されない。さらに、そのような擬似学習
は、フェーズ２中に、予測分類を選択するためのマスキ
ング・フィールドの能力と干渉する。

第23図は、どのように学習パラメーターにおける変化
が、最後に学習される平衡分類を変更するかを示すコン
ピュータ・シミュレーションを示している。εを非常に
大きく選ぶと、また、適応鋭化特性の侵害を引き起こ
す。第23a図は、幾つかの学習された分類を有する非学
習の場合の比較を助けるために、第９図を繰り返してい
る。第23b-d図において、εは、それぞれ、１、0.1及び
0.01に等しく選ばれる。ε＝１の時、F₂は、第23c図に
示された如く、（０）及び（０、１）ノードの両方を選
択した。ε＝0.01の時、F₂は、第23d図において示され
た正しい（０、１）ノードを選ぶ。すべての場合におい
て、学習されたF₂分類は、適応鋭化の形式を示した。し
かし、第23b図において、選ばれたF₂ノードは、項目
（１）についての情報を全くコード化しない。高速の学
習速度における（０）ノードに向かうこのバイアスに対
する理由は、フェーズ１サージの特性にトレースされ
る。第21図において、（０、１）ノードに対する（０）
ノードの初期の利点が、F₂内の自己スケール・フィード
バック相互作用のこの利点の逆転前に、見られる。

これらの結果は、前述のマスキング・フィールドにお
いて、F₂による協同競合意志決定の速度と、F₁→F₂適応
フィルターによる学習の速度との間にトレードオフが存
在することを示す。学習は、瞬間的決定の擬似学習を避
けるために、意志決定プロセスに関して充分に遅い。し
かし、結果はまた、LTMがSTMよりも約100倍遅い速度の
適切なスケール化が、このサンプリング問題を避けるこ
とができることを示す。

フェーズ１サージと、第22図と第23図におけるシミュ
レーションによって提起された高速学習の問題は、マス
キング・フィールドの内部結合の変更による本発明の１
つの実施態様において解決される。変更は、実質的に、
フェーズ１サージを減少させ、そしてマスキング・フィ
ールドに、なお発生する残余のサージに非感知であるよ
うにして学習することを可能にする。

フェーズ１サージは、すべてのF₁→F₂入力が、刺激的
であるという事実による。出願人は、これらの入力が、
F₂における目標ノードに影響を与える前に、抑制信号で
刺激信号を平衡させるF₂内の内部フィードバック経路を
活動化させるということを提案している。これは、第24
図に示されており、この場合、刺激信号45が、46におけ
る内部フィードバック経路によりF₂に登録されると同じ
瞬間に、抑制信号42が登録される。刺激入力45が、抑制
信号42によって制御されないフェーズ１バーストを活動
化するような時間間隔は存在しない。

好ましい実施態様において、出願人は、第25図に示さ
れた如く、マスキング・フィールドを規定するために使
用されるのと同じ内部フィードバック・ノードを使用す
るために、適応フィルターからフィードフォワード入力
を選ぶ。それから、非制御のフェーズ１バーストは、入
力バーストを受けとる時、即時に分類プロセスを開始す
る構造的機構によって防止される。

第25図が示す如く、マスキング・フィールドは、今、
３つの内部段階に分割される。段階１は、F₁から刺激入
力52を受けとる。段階２は、マスキング・フィールドF₂
についての刺激及び抑制信号を分布する内部経路54を含
む。段階３は、これらの内部経路の目標ノードを含む。
これらの目標ノードは、常に刺激57及び抑制58信号の混
合を受けとる。それらは、決して非制御フェーズ１バー
ストにさらされない。段階３ノードは、それらの段階１
ソース・ノード２に対して、トポグラフ的の正のフィー
ドバック経路25を生ずる。これらの正のフィードバック
経路25は、マスキング・フィールドF₂内でフィードバッ
ク・ループを閉じる。これらの段階を使用して、マスキ
ング・フィールドの内部フィードバック相互作用は、不
変のままであるが、F₁入力は、段階３ノードに影響を与
える前に、これらの相互作用に係合する。

第25図における体系は、完全非制御フェーズ１バース
トが発生するのを防ぐ。他方、マスキング・フィールド
内の内部フィードバックは、即時には平衡分類を選択し
ない。F₁→F₂経路内のLTMトレースが、平衡から遠い学
習アクティビティ・パターンに対してバッファーに入れ
られる方法を以下に言及する。

克服されるべき主要な問題が、明確に第25図に示され
ている。段階３セルは、刺激57及び抑制58信号の混合を
受けとるが、段階１セルは、刺激信号52のみを受けと
る。さらに、段階１セルについてのF₁→F₂経路を受けと
る。これらの経路の終了内のLTMトレースが、段階１セ
ルからの信号をサンプリングすることによって活動化さ
れるのを防ぐものは、LTMトレースを活動化するサンプ
リング信号であり、そして段階１ノードから導出されな
いと、出願人は仮定している。むしろサンプリング信号
は、経路25による段階３ノードからのフィードバックに
よって活動化される。多数の段階３ノードは、入力パタ
ーンがオンになる時、段階２介在神経単位によって即時
に抑制される。F₁入力によって初期的に活動化される多
数の段階１ノードは、続く分類プロセス中決して活動化
されない段階３ノードに対応するために、サンプリング
信号のソースとしての段階３ノードの使用は、マスキン
グ・フィールド相互作用が、相互作用の最も最初の瞬間
から学習を制限することを可能にする。この制約を事例
により示すために、出願人は、単に式（１）を次の式に
よって置き換える。

この場合X_i ⁽³⁾は、マスキング・フィールドの段階３に
おけるｉ番目のノード個体群のアクティビティである。
内部フィードバック信号がLTMサンプリング信号を生成
するという概念は、グロスベルグ、S.著、「注意、強
化、と弁別学習の神経モデル」、神経生物学の国際評論
雑誌、1975年、において導入された。出願人は、今、フ
ィードバック信号が、第25図における如く、細胞間で生
成されるか、又は生化学のフィードバック相互作用のネ
ットワークによって細胞内で生成されるかは、脳におい
て広く使用される設計原理であることを信じている。こ
の設計に対して実験的に検査するために使用される特性
の幾つかが、今、要約される。

LTM読み込みと読み出しの分離：神経モジュレーターと
してのフィードバック LTMの読み出しは、LTMトレースが、F₁からF₂への経路
において信号を掛け算によりゲートで制御する時、行な
われる。上記のマスキング・フィールドにおいて、LTM
は、LTMトレースが、新しいLTM値をサンプリングする又
は読み込むことを可能にする同じF₂ノードに読み出され
る（第17図）。第25図における設計は、学習速度がいか
に高速に選ばれても、学習を何もトリガーすることなし
に、幾つかの段階１ノードが活動化されることを可能に
することによって、LTM読み出しとLTM読み込みのプロセ
スを分離する。

しかし、段階３から段階１へのフィードバック信号
は、サンプリング信号としてのみ作用する。それらは、
また、マスキング・フィールドがSTMにおけるリスト・
コードを選択することを可能にする内部フィードバック
・ループを閉じるために、それらの目標段階１ノード２
を活動化しなければならない。段階１に隣接するLTMト
レースは、F₁からの入力による段階１セルの活動化と、
段階３からのフィードバック信号による段階１セルの活
動化との間を区別する。そのような区別が、行なわれな
かったならば、LTM読み出しとLTM読み込みの機能的分離
は達成されない。

２つのタイプの分離機構が存在する。即ち、化学的か
又は電気的のどちらかで示される動的機構と構造的機構
である。動的機構において、LTMトレースは、段階１セ
ルをサンプリング信号として使用し続けるが、サンプリ
ング信号ｆ（X_j）を活動化するためのしきい値は、高く
選ばれる。段階１セルは、F₁からの入力によるそれらの
直接的活動化が、段階３セルからの大きな正のフィード
バック信号によって補なわれる時、サンプリングしきい
値を超えるために充分に活動化されると仮定される。そ
のような機構は、簡単な学習問題を解決するために適切
であるが、それは、複雑な学習システムにおいては不適
切である。例えば、マスキング・フィールドにおいて、
サンプリングしきい値が非常に小さく選ばれるならば、
フェーズ１サージが学習される。サンプリングしきい値
が非常に大きく選ばれるならば、適応チューニングを誘
導すべき多数の分類は、それを行うことに失敗する。そ
のような設計は、ロバストではない。

対照的に、問題に対する構造的機構は、はっきりロバ
ストである。１つのそのような構造的機構において、フ
ィードバック信号は、異なる化学的伝達物質により引き
渡され、化学的伝達物質は、F₁からF₂への信号をゲート
で制御し、かつF₁→F₂経路における学習されたLTM変化
を調節する。それから、式（２）における項ｆ
（X_j ⁽³⁾）は、フィードフォワード伝達物質において、
フィードフォワード伝達物質のモジュレーター作用によ
り実現される。

２つの伝達物質の使用は、両伝達物質システムが、段
階１セルを電気的に活動化することを可能にするが、ま
た、段階１セルに隣接するLTMトレースが、段階３から
のフィードバック信号と、段階１における総効果の間を
区別することを可能にする。そのような二重の伝達物質
システムの１つの微細な実現において、どちらかの伝達
物質は、電気的活動化を発生可能にする段階１セルのセ
ル膜における高分子変化を引き起こすが、それらの共同
作用のみが、学習プロセスを展開可能にする高分子変化
を引き起こす。無脊椎動物における連合学習に関する先
行技術データは、臨界事象の対が一緒に発生する時のみ
活動化されるCa⁺⁺依存膜電流を含意する。さらに、カテ
コールアミンの関与する伝達物質は、このCa⁺⁺電流の活
動化に関係することが公知である。段階３から段階１へ
のフィードバック信号は、第25図に示された回路におい
て類似した正式の役割をする。連合学習が、Ca⁺⁺電流に
依存するという提議は、（１）の如き学習式が物理的に
実現される方法を説明するために、利用できる断片的な
生化学的証拠に基づいて、グロスベルグ、S.著、「心理
学的前提条件の生理学的及び生化学的結果」、科学国立
アカデミーの議事録、1968年、及び「化学的伝達物質の
生産と放出、及び細胞制御における関連論題」、理論生
物学の雑誌、1969年、において行われた。

分離問題を解決するための別の構造的機構もまた、も
くろまれる。この機構において、各F₁→F₂経路は、第26
図に示された如く段階１において目標ノード膜４におい
て局所的変化を起こす。これらの局所的膜導管４は、段
階１ノード60が、段階２ノードを活動化する前に、それ
らによって合計される局所的変化を潜在的に起こす。段
階３ノードからのフィードバック信号は、段階１ノード
60を通して、全体的な作用ポテンシャルを引き起こす。
これらの全体的な作用ポテンシャルは、F₁からの局所的
信号のみによって活動化されない膜導管62を活動化させ
る。これらの膜導管62は、当接するLTMトレース内で、
学習が行われることを可能にする。この可能性は、海馬
内のクラシック条件を議論するために、グロスベルグ、
S.著、「注意、強化、と弁別学習の神経モデル」、神経
生物学の国際評論雑誌、1975年、及びグロスベルグ、S.
著、「人間の記憶の理論：感覚運動神経コード、マッ
プ、とプランの自己組織と運用」、理論生物学の進歩、
アール・ローゼンとエフ・シュネル（編集）、第５巻、
ニューヨーク：アカデミック・プレス、1978年、及び新
皮質条件を議論するために、「心と頭の研究：学習、知
覚、発達、認知、と運動神経制御の神経原理」、ボスト
ン：リーデル・プレス、1982年、において使用された。
フィードフォワード信号内で充分に合計されるのはフィ
ードバック信号だけではないが、フィードバック信号の
すべては、学習が行われることを可能にする全体的変化
をトリガーすることが仮定されるために、動的であるよ
りも構造的機構である。そのような構造的機構はまた、
ノードが全体的に活動化される時、C_a ⁺⁺依存電流をトリ
ガーするために使用される。

マスキング・フィールドの数学的説明は、次の如くで
ある。マスキング・フィールドのノードV_iは、神経生理
学の膜方程式に従うSTMアクティビティ又はポテンシャ
ルX_i（ｔ）を有する。

Ｖ（ｔ）は、可変電圧である。Ｃは、一定静電容量で
ある。定数V⁺、V^-、とV^pは、それぞれ、刺激、抑制、及
び受動飽和点である。項g⁺、g^-、とg^pは、入力信号の関
数として時間と共に変化するコンダクタンスである。こ
のため、項(V⁺-V)g⁺は、刺激導管を示し、項(V^--V)g
^-は、抑制導管を示す。そして(V^p-V)g^pは、受動導管を
示す。式（３）におけるコンダクタンスと電圧の間の掛
け算関係により、膜方程式は、また、分路相互作用を示
すと言われる。

マスキング・フィールドにおいて、ノードは、回帰的
又はフィードバック、中心集中周囲離脱相互作用により
一緒にリンクされる（第17図）。こうして、マスキング
・フィールドの特性は、分路回帰的中心集中周囲離脱ネ
ットワークの一般理論の一部分となる。このクラスのネ
ットワークの一般特性の再論評（review）が、グロスベ
ルグ、S.（編集）、「発達、知覚、と認知における適応
共鳴」、数学的心理学と精神生理学、プロヴィデンス、
RI:米国数学学会、1981年、及びグロスベルグ、S.、
「視覚空間の量子化幾何学：深さ、形式、と明度の可干
渉性計算」、行動と脳の科学、1983年、に見られる。

式（３）は、ポテンシャルX_i（ｔ）に対して次の如く
書き換えられる。

この場合添字ｉは、ｉ番目のノードを意味し、X_iは、ｉ
番目のノードのアクティビティ・レベルである。０は、
受動平衡点であり、Ｂ（＞０）は、刺激飽和点であり、
そして−Ｃ（≦０）は、抑制飽和点である。項P_iは、全
体刺激入力であり、そして項Q_iは、V_iへの全体抑制入力
である。入力P_iとQ_iは、時間と共に変動するので、−Ｃ
≦X_i≦Ｂである。

刺激入力P_iは、項目フィールドからの全体入力と、V_i
からそれ自身への正のフィードバック信号の和である。
こうして、P_iは、次の形式において書かれる。

この場合I_jは、項目ノード（ｊ）からの出力である。P
_jiは、F₁におけるV_jからF₂におけるV_iへの経路の強度で
ある。そしてZ_jiは、この経路内のLTMトレースの適応重
みである。項Df（X_i）は、V_iからそれ自身への正のフィ
ードバック信号である。このフィードバック信号はI_jの
終了後、V_iが、STMにアクティビティを記憶することを
可能にする。

式（４）における抑制入力Q_iは、マスキング・フィー
ルドにおける他のノードV_mからのフィールド信号ｇ
（X_m）の和である。こうして、Q_iは、次の如く書かれ
る。

この場合E_miは、ノードV_mからノードV_iへの抑制係数で
あり、そしてｍ∈Ｉは、項目ノードから入力Ｉを受けと
るマスキング・フィールドのノードV_mのセットである。

しかし、マスキング・フィールドの異なるサブフィー
ルドにおけるノードは、異なるパラメーターを所有す
る。それから、上の添字（Ｊ）は、経路をF₂におけるノ
ードに選択的に送信するF₁項目ノードのすべての非順序
セットＪを表記するために、式（４）において使用され
る。式（４）は、次の如く書き換えられる。

この場合X_j ^(J)は、F₁項目ノードのセットＪからのみ入
力経路を受けとるF₂個体群V_i ^(J)のSTMアクティビティを
表わす。F₂におけるノードV_i ^(J)の任意の数の異なる個
体数が、F₁項目の各固定セットＪに対応する。

式（５）は、次の如く書き換えられる。

この場合ｊ∈Ｊは、F₂ノードの個体群に言及する項目の
セットＪに属するF₁項目ノードの非順序セットである。
そして/J/は、セットＪのサイズを表記し、こうしてD
_/j/は、セットＪのサイズに依存し、セットＪにおける
項目には依存しない。こうして、刺激フィードバック係
数D_/J/は、個体数V_i（Ｊ）の空間的スケールに感知し、
セットＪの微細構造又は順序項目には感知しない。

同様に、式（６）は、上添字（Ｊ）によって精練され
る。関数Q_i ^(J)は、次の関係式に従う。

この場合E_KJは、V_m ^(K)からV_i ^(J)への抑制フィードバッ
ク経路の強度を決定し、ｍは、セット内のすべての活動
化を表記し、そしてＫは、すべての非順序セットを表記
する。

この経路強度はV_m ^(K)とV_i ^(J)が応答する項目の非順序
セットＫとＪにのみ依存する。E_KJは、次の如く、F₂に
おける個体数の間の自己類似成長プロセスのランダムさ
を表わす。

質量作用相互作用Ｅ_KJ＝Ｆ_/J/Ｇ_/K/Ｈ_/K∩J/ （10） ∩F_/J/、G_/K/とH_/K∩_J/は、項目の非順序セットのサイ
ズにのみに依存する。この場合Ｊ、Ｋとそれらの相互作
用Ｋ∩Ｊは、非順序セットである。式（10）は、V^(K)か
らV_i ^Jへの抑制相互作用強度が、３つの独立ランダム因
子の相互作用の結果であるという仮定を表わす。こうし
て、純強度E_KJは、Ｋ、Ｊ、とそれらの重なりのサイズ
に依存する成長因子の間の統計的独立な相互作用から起
こる。

式（８）、（９）、と（10）を式（７）に代入する
と、次式が与えられる。

マスキング・フィールド方程式 D_(J)は、ノードからそれ自身への正のフィードバック
が、ノードの自己類似スケールによりどのように変化す
るかを決定する。D_/J/は、スケールと共に増加し、これ
により長いサブリストに対応するノードが、他の事項が
等しい時、STMにおける競合的利点を獲得することを可
能にする。最も簡単な選択は、出願人のシミュレーショ
ン、即ち、次式において行われる。

D_/J/＝D/J/, （12）この場合Ｄは、正の定数である。この規則は、F₂ノード
（個体群）が、F₁入力の高レベルに応答して成長する
時、それはまた、それ自身の軸索側枝（axon collatera
ls）に対してより刺激的シナプシス位置を生成するとい
う可能性と一致する。

F₁におけるすべてのノードからの各個体数V_i ^(J)に対
する全体結合強度と、F₂におけるすべてのノードからの
各個体数V_i ^(J)に対する全体抑制結合強度は、両方共、
ＫとＪとは独立に選ばれる。この特性は、各ノードのサ
イズ（個体群）が、（第３図に示された如く）入力経路
の全体強度にスケールされるという説明と両立する。よ
り多くの経路が、そのようなノードに入力されるなら
ば、各入力の効果は、第４図に示されたノードの大サイ
ズによりさらに広げられる。入力経路の全体数に対する
一致ノード（個体群）容積の特性は、「シナプシス位置
の保存（conservation of synaptic sites）」と呼ばれ
る。

シナプシス位置の保存は、ネットワークが次の問題を
克服することを可能にする。成長規則のランダム性によ
り、F₂のマスキング・サブフィールドの各々において異
なる数のノードが存在する。これらのF₂ノードは、STM
アクティビティを競合するので、競合平衡は、ランダム
成長の偶発によってバイアスされる。機構は、ランダム
結合の増殖を制御するために必要とされる。シナプシス
位置の保存は、１つの効果的機構である。そのような成
長規則を具体化するマスキング・フィールドは、次の関
係式を使用する。

シナプシス保存規則この場合F₁におけるV_iからF₂におけるV_iへの経路が多い
程、各経路はより少なく重みを保持する。そしてその結果F₂におけるノードのすべての抑制ノードの和
は、一定である。式（14）から、この式は、F₂と連絡するノードのすべての容量に関する
F₂のノード容量を表わす。

あるいはまた、係数P_ji ^(J)は、ウェーバーの法則に従
うP_ji ^(J)[1+α_ｋP_jk ^(J)]^-1によって置換された。同様な
結果は、共鳴パラメーター範囲内で見いだされた。

F₁からF₂への結合P_ji ^(J)は、ランダム成長規則と共
に、式（13）のシナプシス保存法則を満足するように選
ばれる。

ランダム標準化成長規則この場合変動係数P_/J/は、F₁からF₂における成長のラン
ダム程度を決定する。P_/J/＝０ならば、P_ji ^(J)＝1//J/
であるから、成長は、決定論的である（しかし部分的に
分散している）。

この制限された場合において、F₁における項目ノード
からF₂における固定リスト・ノードへのすべての結合強
度は、等しく、そしてリスト・ノードに接触する項目ノ
ードの数/J/と逆比例する。P_/J/≠０ならば、式（16）
における係数r_ji ^(J)は、結合強度P_ji ^(J)に影響を与え
る。数値［r_ji ^(J):jJ］は、擬似ランダムに選ばれる。
即ち、それらは、次式の如く、０と１の間を一様に分散
される。

こうして、F₁からF₂への成長のランダム性は、F₁の項目
ノードから出る経路数によって制御され、F₂ノードに収
束する経路数によって制御されない。

式16と17は、両方で、式13の保存規則を可能にする。

変動係数P_/J/は、セット・サイズ/J/に依存するよう
にされており、その結果［P_ji ^(J):J∈Ｊ］の標準偏差を
［P_ji ^(J):J∈Ｊ］の平均値によって割った値は、/J/に
独立である。これは、次の如く達成される。

次式の単体上に一様に分布された数値［r_ji ^(J):j∈
Ｊ］の擬似ランダム列を生成するために、これは、次の如く行われる。標準アルゴリズム（クヌ
ス、D.E.、「半数値的アルゴリズム：コンピュータ・プ
ログラミングの技法」、第２巻、記事：アディソン・ウ
ェスレイ、1981年）により、ｎ−立法体I_n=X_j=1 ⁿ［０、
１］上に一様に分布された数値ｗ＝（w₁、w₂、・・・、
w_n）のベクトルが得られる。ｗ′_１、ｗ′_２、・・・
ｗ′_ｎの如く新ベクトルｗ′＝（ｗ′_１、ｗ′_２、・・
・ｗ′_ｎ）を生成するために、サイズの昇順に数値を再
配列せよ。I_nからそれ自身へのマップww′は、ｗ′_ｉ＝
ｗσ_(i)の如くインデックス（１、２、・・・、ｎ）の
置換により決定される。各置換σは、I_nの異なるサブセ
ットを増大するエントリを有するベクトルに変換する。
こうして、I_nは、単一置換σが、すべてのＷ∈ＤをＷ′
∈I_nにマップする如く、セットＤσに分解される。この
ため、マップｗ→ｗ′は、I_nにおける一様に分布したベ
クトルを、増大する順序に要素を有するI_nにおける一様
に分布したベクトルに変換する。

次に、増大する順序で要素を有するI_nにおけるベクト
ルｗ′を、１対１の線形変換y₁＝ｗ′_１、y₂＝ｗ′_２−
ｗ′_１・・・y_n＝ｗ′−ｗ′_n-1、とy_n+1=1-w_nにより、
S_n+1におけるベクトルｙにマップする。この線形変換
は、等しい容積を等しい表面領域にマップするので、ベ
クトルｙは、単体S_n+1において一様に分布する。

変動［P_ji ^(J):jJ］の係数は、次の如く/J/（＞）と独
立に作成される。上記の構成により、式16における限界
分布r_ji ^(J)は、濃度関数(/J/-1)(1-x)^/J/-2により分布
される。この分布の平均値は、1//J/であり、そして標
準偏差は、1//J/√（/J/−１）／（/J/＋１）である。
こうして、P_ji ^(J)の平均値は、また、1//J/であり、そ
して標準偏差は、次式である。

P_ji ^(J)の変動の係数は、標準偏差を平均値で除算した値
であり、出願人は、これを/J/とは独立な定数ｐに等し
くセットした。こうして、出願人は、次の如く選んだ。

好ましいシミュレーションにおいて、である。

式11における係数F_/J/は、個体数v_i ^(J)内の抑制シナ
プシス位置の全体数を示す。式15により、この量は、シ
ナプシス位置数をすべてのノードに亙って一定に保つた
めに選ばれる。小さなランダム変動がまた許容される
が、ランダム性の効果のすべては、簡単化のため式16に
おける係数P_ji ^(J)に吸収された。

式11における係数G_/K/は、各個体群v_m ^(K)によって他
のF₂個体群のすべてに放出された抑制結合又は軸索の全
体数を評価する。自己類似成長により、G_/K/は、/K/と
共に増加する。出願人のシミュレーションにおいては、
最も簡単な選択が行われた。

自己類似軸索生成 G_/K/＝/K/ （21）この場合/K/＝０ならば、G_/K/＝０であり、そして自
己類似性により、より多数の項目（/K/）によって接触
されたノードは、より強い自己刺激的フィードバック経
路（G_/K/）を生成する。

式11における係数H_/K∩_J/は、個体群v_m ^(K)からの成長
する軸索が、個体群v_i ^(J)におけるシナプシス位置に対
する競合程度を示す。特に、係数G_/K/は、放出された軸
索の数を示すが、係数H_/K∩_J/は、v_i ^(J)に達する軸索の
部分を測り、かつシナプシス空間を競合する。自己類似
成長により、H_/K∩_j/は、/K∩J/と共に増加する。その
結果、Ｋ又はＪのどちらかのセットが増加するならば、
他の事項が同じである時、H_/K∩_J/はまた増加する。Ｋ
とＪの固定サイズが与えられると、H_/K∩_J/は、セット
の重なり又は交差が増加する時、増加する。言い換えれ
ば、F₂リスト・ノードは、F₁項目ノードからの結合のラ
ンダム成長によりリスト・ノードになる。このため、２
つのリスト・ノードは、F₁における同じ項目ノードから
より多数の入力経路を受けとるならば、F₂においてより
密になる傾向がある。F₂において一対のリスト・ノード
がより密になるならば、他の事項が同じである時、それ
らの軸索は、互いにより容易に接触する。シミュレーシ
ョンにおいて、出願人は、次の如くH_/K∩_J/を選ぶ。

Ｈ_/K∩J/＝１＋/K∩J/ （22）この場合H_/K∩_J/は、/K∩J/と共に線形に増加する。H
_/K∩_J/は、常に正であるために、式11において、H_/K∩
_J/がG_/K/を掛け算する時、すべての個体群v_m ^(K)は、F₂
の全体に亙って弱い長範囲抑制経路を送信するが、これ
らの経路は、同じF₁ノードから入力を受けとる個体群v_i
^(J)においてより大きな濃度を有し、樹枝状分岐を呈す
る傾向がある。式（A13）、（A19）と（A20）は、F₂に
おけるノードによって拒否される経路の全体数が、次の
如くであることを意味する。

式11における正と負のフィードバック信号ｆ
（x_i ^(J)）とｇ（x_m ^(K)）は、それぞれ、ネットワーク
が、入力パターンをSTMに記憶する前にコントラスト向
上させることを可能にする。この特性を達成するため
に、グロスベルグ、S.（編集）、「発達、知覚、と認知
における適応共鳴」、数学的心理学と精神生理学、プロ
ヴィデンス、RI:米国数学学会、1981年と、「視覚空間
の量子化幾何学：深さ、形式、と明度の可干渉性計
算」、行動と脳の科学、1983年、において議論された如
く、アクティビティ・レベルｗのＳ字状又はＳ形状関数
であるように、ｆ（ｗ）とｇ（ｗ）の両方を選ぶ。特
に、そして表記(w)⁺は、max（ｗ、０）を表す。こうして、ｗが、
信号しきい値ゼロよりも小さいならば、ｆ（ｗ）とｇ
（ｗ）は、フィードバック信号を生成しない。ｗがゼロ
の上に増加する時、ｆ（ｗ）とｇ（ｗ）の両方は、最大
値１において飽和することを始めるまで、ｗに関して二
次的に成長する。

使用される連合法則は、式（１）において記載された
ものである。

連合学習法則この場合ｆ（x_i ^(J)）は、非順序セットＪにおけるF₂
のx_i番目のノードのアクティビティ依存学習速度であ
り、そしてZ_ji ^(J)は、ノードx_iに対する入力経路であ
る。式26において、サンプリング信号ｆ（x_i ^(J)）は、
式１において正のフィードバック信号に等しいと仮定さ
れ、そしてこのためアクティビティx_i ^(J)のＳ字状関数
である。パラメーターεは、学習速度を決定し、そして
パラメーターＬは、F₁におけるノードv_jからの入力I_jを
掛け算する定数である。

連合学習法則は、次の説明により、式11における如
く、項I_jP_ji ^(J)ではなく、項I_jを含む。式11における項
z_ji ^(J)は、F₁におけるv_jからF₂におけるv_iへの経路にお
ける、単位断面積当たりのLTM濃度又はLTM強度である。
項P_ji ^(J)は、これらの経路の全断面領域を示す。入力項
I_jは、これらの経路のすべてに沿って散布され、この場
合それは、式26における如くLTM濃度に影響を与える。
これらの経路からv_iに読み出される全体信号は、I_jが経
路のすべてに沿って合計される時、LTM濃度z_ji ^(J)の読
み出しに等しい。この和は、式11における如く、I_jP_ji
^(J)z_ji ^(J)に等しい。

式11は、今、式12から式23によって次の如く修正され
る。

適応フィルター化マスキング・フィールドそしてこの場合ｆとｇは、Ｓ字状信号関数である。マスキン
グ・フィールドの「情報（intelligence）」のすべて
が、これらの式によって規定された並列相互作用から起
こる創発的特性において具体化される。

パラメーター次のパラメーター選択が、行われた。Ａ＝１、Ｂ＝
１、Ｄ＝４、Ｌ＝10、f₀＝１、g₀＝16。すべての実行に
おいて、CF＝1088である。追加のパラメーターは、図に
よりリストされる。特に注意しないならば、システム
は、平衡値に近づくように実行された。

第６図：ε＝０、Ｃ＝１、Ｆ＝1088m、I₀＝1.5 第７図：I₁＝1.5を除いて第６図と同じ。

第８図：I₂＝1.5 第９図：I₀＝１、I₁＝.5 第10図：I₀＝.5、I₁＝1. 第11図：I₀＝.68、I₁＝.48、I₂＝.34 第12図：I₀＝.34、I₁＝.68、I₂＝.48 第13図：I₀＝.34、I₁＝.48、I₂＝.68 第14図と第15図：ε＝０、Ｃ＝.125、Ｆ＝8704 第14図：I₀＝1.5 第15図：I₀＝1.0、I₁＝.5 第19図：単一段階も、導関数の任意の成分のサイズも、
1.0x10^-4を超えることがなくなるまで、シミュレーショ
ンは、ε＝０において実行される。その時、εは、１に
セットされ、そしてシミュレーションは、平衡パラメー
ター、Ｃ＝.125、Ｆ＝8704、に進む。

第19a図：I₀＝1.5 第19b図：I₁＝1.5 第19c図：I₂＝1.5 第19d図：I₀＝1.0、I₁＝.5 第20図：注意した場合以外は第19図と同じパラメーター
と条件。

第20a図：I₀＝.5、I₁＝1.0 第20b図：I₀＝.68、I₁＝.48、I₂＝.34 第20c図：I₀＝.34、I₁＝.68、I₂＝.48 第20d図：I₀＝.34、I₁＝.48、I₂＝.68 第21図：ε＝0.1、Ｃ＝0.125、Ｆ＝8704。図は１、２、
４、８、16、32、64、96の時点において、（０、１）長
期記憶トレースの出力である。

第22図：ε＝０、Ｃ＝１、Ｆ＝1088、ｔ＝0.1、ｔ＝0.
2、ｔ＝0.4 t＝0.8、ｔ＝1.6。

第23a図：ε＝０、Ｃ＝0.125、Ｆ＝8704 I₀＝１、I₁＝
0.5。

第23b図：ε＝１第23c図：ε＝１第23d図：ε＝0.1 本発明が、好ましい実施態様を参照して具体的に示さ
れかつ記載されたが、添付の請求の範囲に記載された如
く本発明の精神と範囲を逸脱することなく、形式と詳細
において種々の変更が行われることは当業者には理解さ
れるであろう。

Claims

(57)【特許請求の範囲】

【請求項１】ソースパターンを具体化する複数のソース
ノードと、各々においてパターンコードを貯蔵する複数のノードを
有するマスキング・フィールドネットワークと、該ソースノードから該ネットワークのノードに延びて、
該ネットワークに入力パターンを提供する複数の適応フ
イルタ経路と、該適応フイルタ経路を収容する該ネットワークのノード
の各々において、該入力パターンを該ノードにおいて貯
蔵された該パターンコードと比較する手段と、該適応フイルタ経路の少なくとも１つが該ソースノード
の各々から該ネットワークの該ノードの少なくとも１つ
に延びる、該比較結果が所定の閾値より小さいノードを
抑制し、上記比較が、所定の閾値より大きい結果を生ぜ
しめる該ネットワークの該ノードを可能化する手段とを具備することを特徴とするコンピュータ化された認識
及び学習システム。
【請求項２】該マスキング・フィールドネットワーク
が、該入力パターンの多数のグループのサブパターンを
同時に検出し、これらのグループのためのパターンコー
ドを活動化重みを割り当て、該重みが、システムの先の
ソースパターンを予測するように使用された入力パター
ン及びパターンコード内に埋め込まれた文脈情報を基礎
とし、該サブパターンが、該ネットワークの幾つかのノ
ードを介して活動化せしめられるパターンコードを有す
る請求の範囲第１項記載のコンピュータ化された認識及
び学習システム。
【請求項３】該マスキング・フィールドネットワーク
が、内容アドレス可能なメモリによって作動可能であ
り、該メモリが該入力パターンのサイレントサブパター
ンのためのコードを生成する該ネットワークのノード以
外の総ての入力パターンのためのコードを生成する該ネ
ットワークのノードを異なるように活動化し、部分が新
たな文脈におけるパターン全体であるとき該ソースパタ
ーン部分のためのコードを生成する該ネットワークの該
ノードを異なるように活動化する請求の範囲第１項記載
のコンピュータ化された認識及び学習システム。