JPH01223559A - Ｎ次元クーロン神経ネットワーク - Google Patents

Ｎ次元クーロン神経ネットワーク

Info

Publication number
JPH01223559A
JPH01223559A JP1010983A JP1098389A JPH01223559A JP H01223559 A JPH01223559 A JP H01223559A JP 1010983 A JP1010983 A JP 1010983A JP 1098389 A JP1098389 A JP 1098389A JP H01223559 A JPH01223559 A JP H01223559A
Authority
JP
Japan
Prior art keywords
network
layer
cell
connection
cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1010983A
Other languages
English (en)
Inventor
Christopher L Scofield
クリストファー・エル・スコフィールド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nestor Inc
Original Assignee
Nestor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nestor Inc filed Critical Nestor Inc
Publication of JPH01223559A publication Critical patent/JPH01223559A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、Ｎ次元クーロンネットワークを用いた累積学
習方法及び装置に関する。
〔従来の技術〕
多層神経ネットワークの一般的学習アルゴリズムが詳細
に研究され始めたのはごく最近である。この分野におけ
る最近の研究は多層ボルツマン機械で始まった。コンピ
ュータ視覚パターン認識に関するＩＥＥＥ会、報４４８
−４５３　（１９８３）のヒントン・ジー・イーおよび
セジノウスキー著「最適知覚推測」（Ｈｉｎｔｏｎ、　
Ｇ、Ｅ、、　ａｎｄ　Ｓｅｊｎｏｗ−ｓｋｉ　：Ｏｐｔ
ｉｍａｌ　Ｐｅｒｃｅｐｔｕａｌ　Ｉｎｆｅｒｅｎｃｅ
、”　Ｐｒｏｃｅ−ｅｄｉｎｇｓ　ｏｆ　　ｔｈｅ　Ｉ
ＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅ
ｒＶｉｓｉｏｎ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉ
ｏｎ、　４４８−４５３　（１９８３））　　１、カー
ネギ−メロン大学技術レポートＣＭ［ｌ−Ｃ５−８４−
１１９（１９８４年５月）のヒントン・ジー・イー、セ
ジノウスキー・ティー・ジエイ、アラクレー・デイ−・
エイチ著「ボルツマン機械：学習する制約サチフアクシ
ョンネットワークＪ　　（）ｌｉｎｔｏｎ、　Ｇ。
Ｅ、、　Ｓｅｊｎｏｗｓｋｉ、　Ｔ、Ｊ、＋　Ａｃｋｌ
ｅｙ、　Ｄ、Ｈ，：”Ｂｏｌｔｚ−ｍａｎｎ　Ｍａｃｈ
ｉｎｅｓ：　Ｃｏｎ５ｔｒａｉｎｔ　５ａｔｉｆａｃｔ
ｉｏｎ　Ｎｅｔｗ−ｏｒｋｓ　ｔｈａｔ　Ｌｅａｒｎ”
、　Ｔｅｃｈ、　Ｒｅｐｏｒｔ　ＣＭ［ｌ−Ｃ５−８４
−１１９、Ｃａｒｎｅｇｉｅ−Ｍｅｌｌｏｎ　Ｕｎｉｖ
ｅｒｓｉｔｙ　（Ｍａｙ　１９８４））等がある。ヒン
トンとセジノウスキーは彼らのシステム用に多層ネット
ワークの学習アルゴリズムが記述できることを見いだし
た。しかし、このシステムはシナプス状態の集束が遅い
ことがら、彼らおよび他の研究者は代替の多層学習シス
テムを求めた。ルメルハート、ヒントンおよびウィリア
ムス（Ｒｕｍｅｌｈａｒｔ、　Ｈｉｎｔｏｎ　ａｎｄ　
　Ｗｉｌｌｉａｍｓ）はデルタルールの概括が多層フィ
ードフォーワードネットワークにおける学習を記述でき
ることを見いだした。ネイチャー誌、　３２３、５３３
−５３６　（１９８６）のルメルハート・デイ−・イー
、ヒントン・ジー・イーおよびウィリアムス・アール・
ジエイ著「逆転ばん誤りによる表示の学習Ｊ　　（Ｒｕ
ｍｅｌｈａｒｔ、　Ｄ、Ｅ、＋　Ｈｉｎｔｏｎ、　Ｇ、
Ｅ、、　ａｎｄ　Ｗｉｌｌｉａｍｓ、　Ｒ＋Ｊ、：　”
Ｌｅａｒｎｉｎｇ　Ｒｅｐｒｅｓｅｎｔａｔ−ｉ。
ｎｓ　ｂｙ　Ｂａｃｋ　Ｐｒｏｐａｇａｔｉｎｇ　Ｅｒ
ｒｏｒｓ”、　Ｎａｔｕｒｅ、　３２３、５３３−５３
６　（１９８６））。このデルタルールはパーカーによ
って独立的に開発された。マサチューセッツ工科大学経
済経営科学計算研究所（１９８５）のパーカー・デイ−
・ビー著「学習−ロシック（ＴＲ−４７）　Ｊ　　（Ｐ
ａｒｋｅｒ、　Ｄ、Ｂ、：Ｌｅａｒｎ　ｉ　−ｎｇ−１
ｏｇｉｃ　（ＴＲ−４７）＋”Ｍａｓｓａｃｈｕｓｅｔ
ｔｓ　Ｉｎ５ｔｉｔｕｔｅｏｆ　Ｔｅｃｈｎｏｌｏｇｙ
、　Ｃｅｎｔｅｒ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａ
ｌＲｅｓｅａｒｃｈ　ｉｎ　Ｅｃｏｎｏｍｉｃｓ　ａｎ
ｄ　Ｍａｎａｇｅｍｅｎｔ　５ｃｉｅｎ−ｃｅ、　（１
９８５）　）。昨今では「逆転ばん」としばしば呼ばれ
るこのシステムはボルツマン機械よりずっと速く、ミン
スキーおよびペイパート（Ｍｉｎｓｋｙ　ａｎｄ　Ｐａ
ｐｅｒｔ　）によって最初に取り上げられた従来問題の
多くを解決するように思ゎれる内部シナプス状態を自動
的に得ることができる。ＭＩＴプレス（１９６９）のミ
ンスキー・エムおよびペイパート・ニス著「パーセプト
ロン」（Ｍｉｎｓｋｙ、　Ｍ、　ａｎｄ　Ｐａｐｅｒｔ
、　Ｓ、：　Ｐｅｒｃｅｐｔｒｏｎｓ。
ＭＩＴ　Ｐｒｅｓｓ　（１９６９））　、これら複雑な
内部状態はパターン環境の「内部表示」と呼ばれている
。
ＭＩＴプレス、３１Ｂ−３６４（１９８６）のデイ−・
イー・ルメルハートおよびジエイ・エル・マクジーラン
ド（編集者）の「並列分散処理」におけるルメルハート
・デイ−・イー、ヒントン・ジー・イーおよびウィリア
ムス・アール・ジエイ著「誤り伝ばんによる内部表示の
学習」（Ｒｕｍｅｌｈａｒｔ＋　Ｄ、Ｅ、、　Ｈｉｎｔ
ｏｎ、　Ｇ、Ｅ、＋　ａｎｄ　Ｗｉｌｌｉａｍｓ、　Ｒ
，Ｊ。
：”Ｌｅａｒｎｉｎｇ　Ｉｎｔｅｒｎａｌ　Ｒｅｐｒｅ
ｓｅｎｔａｔｉｏｎｓ　ｂｙ　Ｅｒｒ−ｏｒ　Ｐｒｏｐ
ａｇａｔｉｏｎ、”　ｉｎ　Ｄ、Ｅ、　Ｒｕｍｅｌｈａ
ｒｔ　ａｎｄ　Ｊ、Ｌ。
ＭｃＣｌｅｌｌａｎｄ　（Ｅｄｓ、）　Ｐａｒａｌｌｅ
ｌ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒｏ−ｃｅｓｓｉｎｇ
、　ＭＩＴ　Ｐｒｅｓｓ、　３１８−３６４　（１９８
６）　）　、しかし、このシステムはシナプス状態の集
束速度がネットワークの層の数に線形的な場合よりずっ
と遅いことが判明した。第６回人工知能全国会議会報、
１．２７９−２８４　（１９８７）のバラード・デイ−
・エイチ著「神経ネットワークにおけるモジューラ学習
」（Ｂａｌｌａｒｄ、　Ｄ、Ｈ，：”Ｍｏｄｕｌａｒ　
Ｌｅ、ａ−ｒｎｉｎｇ　ｉｎ　Ｎｅｕｒａｌ　Ｎｅｔｗ
ｏｒｋｓ’”　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆｔｈｅ　
５ｉｘｔｈ　Ｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ
　ｏｎ　ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃ
ｅ、　１．２７９−２８４　（１９８７）　）　、この
特性は、大規模な実在の問題にそのようなネットワーク
をスケーリングすることに対してかなりの制約になると
考えられるので「スケーリング問題」と呼ばれている。
第６回人工知能全国会議、チュートリアルプログラムＭ
Ｐ−２（１９８７）のヒントン・ジー・イーおよびセジ
ノウスキー著「人工知能用神経ネットワーク構造」（Ｈ
ｉｎｔｏｎ。
Ｇ、Ｅ−＋　ａｎｄ　Ｓｅｊｎｏｗｓｋｉ：　”Ｎｅｕ
’ｒａｌ　Ｎｅｔｗｏｒｋ　Ａｒｃｈｉ−ｔｅｃｔｕｒ
ｅｓ　ｆｏｒ　ＡＩＤ”　５ｉｘｔｈ　Ｎａｔｉｏｎａ
ｌ　Ｃｏｎｆｅｒｅｎｃ−ｅ　ｏｎ　Ａｒｔｉｆｉｃｉ
ａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ、　Ｔｕｔｏｒｉａｌ
　Ｐｒｏ−ｇｒａｍ　ＭＰ−２（１９８７））　、上述
の「モジューラ学習」の記事の中でバラードは、自動結
合ユニットを積み重ねることによってスケーリング問題
に対処する方法を提案している。この方法はフィードフ
ォーワード構造に反するが、システムは実際に多層の学
習時間を短縮するようである。
ボルツマン機械は単層反復ネットワークに関するホップ
フィールドの研究の延長であった。
米国科学アカデミ−会報７９．２５５４−２５５８　（
１９８２年４月）のホップフィールド・ジエイ・ジエイ
著「エマージェント集合計算能力をもった神経ネットワ
ークと物理システム」、および米国科学アカデミ−会報
８１．２０８８−３０９２　（１９８４年５月）のホッ
プフィールド・ジエイ・ジエイ著「グレーディッドレス
ポンスをもったニューロンは二状態ニューロンのような
集合計算能力を有する」（Ｈｏｐｆｉｅｌｄ、　Ｊ、Ｊ
、：”Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ　ａｎｄ　Ｐｈ
ｙ−ｓｉｃａｌ　Ｓｙｓｔｅｍｓ　ｗｉｔｈ　Ｅｍｅｒ
ｇｅｎｔ　Ｃｏ１１ｅｃｔｉｖｅ　Ｃｏｍ−ｐｕｔａｔ
ｉｏｎａｌ　Ａｂｉｌｉｔｉｅｓ、”　Ｐｒｏｃ、　Ｎ
ａｔｌ、　Ａｃａｄ。
Ｓｃｉ、　ＵＳＡ　７９．２５５４−２５５８　（Ａｐ
ｒｉｌ　１９Ｂ２）、　ａｎｄＨｏｐｆｉｅｌｄ、　Ｊ
、Ｊ、：”Ｎｅｕｒｏｎｓ　ｗｉｔｈ　Ｇｒａｄｅｄ　
Ｒｅ５ｐｏ−ｎｓｅ　Ｈａｖｅ　Ｃｏ１１ｅｃｔｉｖｅ
　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｐｒｏｐｅｒｔｉ−ｅ
ｓ　Ｌｉｋｅ　Ｔｈｏｓｅ　ｏｆ　Ｔｗｏ−Ｓｔａｔｅ
　Ｎｅｕｒｏｎｓ、”Ｐｒｏｃ。
Ｎａｔｌ、　Ａｃａｄ、　Ｓｃｉ、　ＵＳＡ　８１，２
０８８−３０９２　（Ｍａｙ１９８４）　）　、ホップ
フィールドは反復ネットワークの活性度を安定させる分
析の方法を導入した。
この方法はネットワークを「エネルギー」と呼ばれるグ
ローバル関数（実際はネットワークの状態を記述する自
律システムのリアプノフ関数）が定義できる動的システ
ムとして定義した。このエネルギーはシステムの状態空
間に於ける固定ポイントを含んでいた。ホップフィール
ドは、反復結合のマトリックスが一定の条件を満たせば
状態空間の流れが常に動的システムの固定ポイントに向
かうことを示した。ホップフィールドはこの特性で固定
ポイントをネットワーク活性度に関する複数のメモリー
サイトとして定義、することができた。
ホップフィールドのネットワークは、それより古いネッ
トワークと同様、記憶容量に限界があった。記憶密度の
増加によるメモリーリコールの劣化は流れの溜りとして
作用する不用な局部的極小が状態空間に存在することに
直接関係する。
〔発明が解決しようとする課題〕
バックマン、クーパー、デンボおよびザイトウニ（Ｂａ
ｃｈｍａｎｎ、　Ｃｏｏｐｅｒ＋　Ｄｅｍｂｏ　ａｎｄ
　Ｚｅｉｔｏｕｎｉ）はホップフィールドのネットワー
クとあまり違わないシステムを研究したが、極小の位置
が明確で、不用な局部的極小のないことが証明できる動
的システムの定義に焦点を当てた。米国科学アカデミ−
会報Ｖｏ１．８４、Ｎｏ、　２１．　ｐＩ）、　７５２
９−７５３１　（１９８７）　、バックマン・シー・エ
ム、クーパー・エル・エヌ、デンボ・エイおよびザイト
ウニ・オー著「高密度記憶メモリーの緩和モデル」（Ｂ
ａｃｈｍａｎｎ＋　Ｃ，Ｍ、＋　Ｃｏｏｐｅｒ、　Ｌ、
Ｎ、＋　Ｄｅｍｂｏ。
Ａ、、　ａｎｄ　Ｚｅｉｔｏｕｎｉ、　０．：Ａ　Ｒｅ
１ａｘａｔｉｏｎ　Ｍｏｄｅｌｆｏｒ　Ｍｅｍｏｒｙ　
ｗｉｔｈ　Ｈｉｇｈ　Ｄｅｎｓｉｔｙ　Ｓｔｏｒａｇｅ
、”　Ｐｒ−ｏｃ、　Ｎａｔｌ、　Ａｃａｄ、　Ｓｃｉ
、　ＵＳＡ、　Ｖｏｌ、　８４＋　Ｎｏ、　２１ｐｐ、
　７５２９−７５３１　（１９８７））。特に、彼らは
以下の式で与えられるリアプノフ関数をもったシステム
を選んだ。
ξ−−１／ＬΣＱｊｌμ　ｘｊｌ−Ｌ　　　　（１）こ
のＮ次元クーロンエネルギー関数はチャージ（メモリー
）サイトＸｊに位置する固定ポイントに対して引力を持
つｍ個の溜りを正確に定義する。ＮとＬの適正な選択の
ため、最も近い判明メモリーへの集束は記憶されるメモ
リーの数ｍにかかわらず保証される。ブラウン大学神経
科学センター、プロピデンス、アール・アイのデンボ・
エイ、サイトウニ・オー著ｒＡＲ０技術レポート」（Ｄ
ｅｍｂｏ、　Ａ、、　Ｚｅｉｔｏｕｎｉ、　０．：”Ａ
ＲＯＴｅｃｈｎｉｃａｌ　Ｒｅｐｏｒｔ、’　Ｂｒｏｗ
ｎ　Ｕｎｉｖｅｒｓｉｔｙ。
Ｃｅｎｔｅｒ　ｆｏｒ　Ｎｅｕｒａｌ　５ｃｉｅｎｃｅ
、　Ｐｒｏｖｉｄｅｎｃｅ、Ｒ，１，）。
バックマン他（Ｂａｃｋｍａｎｎ　ｅｔ　ａｔ、）はこ
のシステムのネットワーク実施を行ったが、それは厳密
には局部的で、分配されたホップフィールド表示のいく
つかの望ましい特性を備えていない。
本発明の目的は、上述した従来欠点を解消する点にある
。
〔課題を達成するための手段及び作用〕本発明は、単層
および多層ネットワークに適用できて、分配された表示
を生成するＮ次元、クーロンネットワーク用の学習アル
ゴリズムを提供する。その中心となる考え方はメモリー
サイトの集合のポテンシャルエネルギーを定義すること
にある。各メモリーサイトはテストパターンだけでなく
他のメモリーサイトの吸引子である。メモリーサイト間
の吸引および反発ポテンシャルを適正に定義することに
よって、メモリーの集合のエネルギーを最小化できる。
この方法により、多層ネットワークのトレーニング時間
は層の数の線形関数となる。
セルの層に既に記録されたイベントのメモリーの表示の
統合方法を先ず考慮する。入力および出力（ないし分類
）パターンの対が順次ネットワークに与えられる管理さ
れた学習パラディムにこの方法が適用できる。そして、
その結果生じる学習手順が、入力部に最も近い層から出
力層へインクレメンタルに内部表示を展開する。
〔効　果］ このようにして、本発明は全ての目的を達成し、所期の
効果をもたらすＮ次元クーロンネットワークの新規な学
習アルゴリズムを提供する。
〔実施例〕
Ｎ次元クーロンネットワークにおける学習：ネットワー
ク応答空間ＲＮにおけるｍメモリーサイトＸ１１１０８
、肌のシステムを例にとる。
特定のクラスＣと結びつけたメモリーサイトをＸ＝　（
Ｃ）とする。テストチャージμにバックマン他（Ｂａｃ
ｈｍａｎｎ　ｅｔ　ａｌ）のエネルギーξ−−１／ＬΣ
ＱＪ１μｍＸｊｌ−Ｌ　　　（２）を使用する。テスト
チャージがない場合、メモリーサイトの配列の静電位エ
ネルギーは、先ず、同クラスのメモリーサイト間の吸引
ポテンシャルエネルギーと、異クラスのメモリーサイト
間の反発ポテンシャルエネルギーを定義する。そして、
Ｑ、を次のように定義する。
ｓ　ｉｇｎ　（Ｑ　＋　（ｃ）　）≠ｓｉｇｎ（Ｑ＋（
ｃ’））　ｆｏｒ　ｃ　＝　ｃ’　。
ｓｉｇｎ（Ｑ＋（ｃ））＝ｓｉｇｎ（Ｑ＋（ｃ’））　
ｆｏｒ　ｃ　ｆ−ｃ’　　（４）この場合、ψはＲＮの
サイトχ１１０００、ＸＭに位置する同じまたは異なっ
た符号のチャージの集合の静電位エネルギーを示す。そ
して、チャージを電気力学の法則に従って展開させるこ
とによって、ｍメモリーサイトがＲＮに固定されるとい
う制約を緩めることができる。直感的に言って、同クラ
スのメモリーサイト（ペア的には符号の異なるチャージ
だが）互いに吸引され、異クラスのメモリーサイト（同
じ符号のチャージ）は互いに反発しあう。次のように定
義づける。
ｘ、＝Σｅ、％Σω、、　ｆ　ｓｉ　　　　　　　　（
５）　　　　ｍ 式中、ｅ７はｎ番セルを示す単位ベクトル、ωア、は活
性度μをもつセル層に対する導入シナプスのマトリック
ス、ｆ　、、ｉはメモリーＸｉとしてコピーされた導入
シナプスである。簡単にするため表記法を変えると、 Ｒ＋ｊ＝　ｘ　、−ｘ　Ｊ（６） そして、 Ｒｉ　ｊ　”ΣΣｅ、、（Ｌ）、（ｆｍｉ−ｆｍｊ）　
　（７）　ｍ または、 ψ＝ ここで、セル層に対するシナプスの導入マトリックスω
における変化の結果、セル層の活性化空間のメモリーサ
イトの動きが発生する。チャージの集合（メモリーサイ
トに相当する）の静電エネルギーψを最小にするにはマ
トリックスωをどう調整するかを知りたい、従って、重
みω、に対するポテンシャルエネルギーの勾配を通常の
方法で計算すると、 δωｎｍ＝ａψ／ａωｎｍ ＝−１／（２Ｌ）　ΣΣＱｉｔｌｌｊ　ｌΣΣｅ、ｌω
、１訊ｆｍｔ−ｆｍ、）ｌ−（Ｌ・１）ｉｊ　　　　　
　ｎｍ そこで、 ＝　ＣＲ＋ｔ／　ｌ　Ｒｌｊ　＋　３　６１．δｍ、ｅ
　ｅ　Ｊｆｐｔ−ｆｔＪ）または、 δω、＝ ＝１／２ΣΣＱ、Ｑｊｌ　Ｒ＝、　ｌ　−（Ｌ”ゝＲ４
Ｊｅ、、（ｆｍ＝−ｆｍＪ）　　（１０）ｉｊ 従って、ネットワークのｎ番のセルについて導入した重
みベクトルω７＝［ω１．．、・・・ωｌｋ］は以下に
従って展開する。
δω＝−１／２ΣΣＱ、ＱＪｌ　Ｒ，、しくし”’　（
ｘｉ−ｘＪ）ｘ（ｆｍ−ｆＪ）　（１１）ｉｊ 式（１１）にもとづくメモリーサイトの緩和は、ψの最
小化で同クラスのメモリーサイトの結合と異クラスのメ
モリーサイトの分離を可能にする。
つまり、マツピングωはクラス差異を増長させながらＲ
ＮＯクラスの表示を崩壊させるよう展開する。
しかし、各セルの活性度がセルの重みベクトルの内積に
線形依存するため、多層ネットワークは単層以上の結合
を達成できない。ネイチャー誌、３２３．５３３−５３
６　（１９８６）のルメルハート・デイ−・イー、ヒン
トン・ジー・イーおよびウィリアムス・アール・ジェイ
著「逆転ばん誤りによる表示の学習Ｊ　（Ｒｕｍｅｌｈ
ａｒｔ、　Ｄ、Ｅ、、　Ｈｉｎｔｏｎ＋Ｇ、Ｅ、、　ａ
ｎｄ　Ｗｉｌｌｉａｍｓ、　Ｒ，Ｊ、：Ｌｅａｒｎｉｎ
ｇ　Ｒｅｐｒｅｓｅ−ｎｔａｔｉｏｎｓ　ｂｙ　Ｂａｃ
ｋ　Ｐｒｏｐａｇａｔｉｎｇ　Ｅｒｒｏｒｓ’、　Ｎａ
ｔｕ−ｒｅ、　３２３．５３３−５３６　（１９８６）
　）に開示されたルメルハート他（Ｒｕｍｅｌｈａｒｔ
　ｅｔ　ａｌ）の方法に従って、セルの活性度をシグモ
イド関数Ｆを使って表すと、 Ｆ（Σ（Ｌ）　＋＋ｓｆ＋ａｉ）　”　（ｌ＋ｅ−””
’　（Σ（Ｌ）３＠ｆ＋ｓｉ＋θ））−１（１２）ｍ　
　　　　　　　　　　　　　　　　　　　　ｍそして、 ｘ、＝ΣｅａＦ＊（Σωｇ＋ｓｆａ、）ｎ　　　　　　
　ｍ そして次の通り容易に証明できる。
明θω５．χｒ＝ｅ　ｎＦ　ｎ　（１−Ｆ　Ｊ　ｆ　ｘ
ｉ従って、　　　　　７ Ｒ１、ａ／ａω１％ＩＩＲｉｊ ＝　（Ｆ、　（ｆ　ｔ）−（Ｆ−（ｆ　Ｊ））　（Ｆ−
（ｆ　ｔ）　（１−Ｆ−（ｆ　ｔ）　ｆ−ｔ−Ｆ、（ｆ
　ｊ）　（１−Ｆ−（ｆ　ｔ）　ｆ−ｊ）整理すると、 ＲＬ＝　ａ／　ａ（＋）　ｎ＋ｅＲ８Ｊ：ＥΔｎ＊　（
ｆ　ｔ＋　ｆ　ｔ）そして、最終的に、ｎ番のセルのｍ
番シナプスの展開は以下の通りになる。
δ　ω＋ｔａ−４／２壬　ΣＱ五Ｑ、　Ｉ　Ｒ五、　　
ｌ　　−ＩＬＩ２）　　Δ、（ｆ直歯）　　　　（１３
）ｉｊ 式（１３）によるマトリックスωの展開は、反対の符号
（同クラス）のチャージが互いに吸引しあい、同じ符号
（反対のクラス）のチャージが反発しあうことを許すこ
とにより、ｍチャージの集合の静電位エネルギーを最小
にする。言い方を代えれば、これがＭクラスのｍ判明メ
モリーを有する入力空間ＲＮからＭクラスの ｎ　（ｎ　＜ｍ）判明メモリーを有する空間ＲＮまでの
非線形マツピング発生のアルゴリズムである。つまり、
マツピングはパターン環境のクラス構造を保存するが、
環境の表示を固定させる。
式（１３）のネットワーク実現の可能性は興味深い。記
載されたアルゴリズムはメモリーのペア同士の相互作用
に依存する。従って、ネットワークの各ノードは、差異
Ｒ１ｊが計算できるように、その活性度空間におけるメ
モリーの位置を「記憶」しなければならない。この実現
の形は不可能ではないが、神経ネットワークで通常考え
られる以上に複雑なノードの使用を必要とする。このア
ルゴリズムの別のネットワーク実現として、前回与えら
れたパターンの活性度合いだけ記憶すればよいノードを
必要とするものが考えられる。この方法は管理された（
あるいは管理されない）学習を介して実現し得る。
管理された学習： 式（１３）に記載のアルゴリズムはメモリーがまだ存在
しないシステムに容易に援用できる。つまり、これはパ
ターン環境りから表示を学習するアルゴリズムと見なす
ことができる。ここではＤからのパターンをネットワー
クに与え、ネットワークがそのインプットの出力ベクト
ルまたは分類を生成するといった標準管理学習手順を採
用する。トレーニングとして、正確な出力分類を達成す
るためシナプスの状態ωを調節する。
式（１３）はメモリーの対同士の相互作用を記載し、こ
の式のひとつの項はパターンからの因子ｉとｊを含んで
いる。Ｎ２項の経時累積で式（１３）を概算したいと考
える。最後に見たパターンに対する層の応答を記憶し、
それを次のパターンに対する応答と比較できるシステム
を定義しなければならない、つまり、パターンｆ　（ｔ
）およびｆ　（ｔ＋１）がセル層の入力ラインに現れる
と仮定する。パターンｆ　（ｔ）に応答した活性度パタ
ーンは次のように定義される。
ｘ（ｔ）＝Σｅ、ｌＦｍ（Σ（Ｌ）　＋ｔａＬ（ｔ））
　＝Σｅ、Ｆ　、　（ｆ　（ｔ）　）ｎ　　　　　　ｍ
　　　　　　　　　　　ｎそして、前述のようにωの緩
和手順を定義できるが、ここでは環境におけるパターン
を原因とする活性度の関数として定義する。後続のパタ
ーンは、 δω−＝　（＋／−）　ｌ　ｘ（ｔ）−ｘ（ｔ＋１）　
ｌ　−ＬＬ”’Δ、、（ｆ（ｔ）、ｒ（ｔ＋１））　（
１４）ここで、同クラスの後続パターンはプラスの符号
に、異クラスのパターンはマイナスの符号にする。
式（１４）は表示ωを得るための非常に簡単なきまりで
ある。２つのパターンが同クラスの場合、応答空間（Ｒ
’）内でのそれらの位置は互いに近づき、２つのパター
ンが異クラスの場合、２つのパターン応答が互いから離
れるようωを調節する。
式（１４）と環境りの構造との関係をよく理解するだめ
には、Ｄをより詳細に定義しなければならない。仮に、
パターン環境がｍ判明パターン：Ｄ＝［ｆｍ１．、、　
ｆ　、］からなるとする、しかし、経時的に見てパター
ン間に現れる頻度の差があり、例えばパターン［１が確
率Ｐｚで現れるとする。そこで、式（１４）をパターン
環境全体にわたって平均すると、 くδω−＞　ｌ　ｏ＝−（１／２）Ｐ４Σｐ＝　ｌ　Ｒ
ｔ、１−（Ｌ″１Δ、、ａ（ｆｌ、ｆ４）　（１５）つ
まり、パターンｆ＋に応答したシステムの展開はＮパタ
ーンのセット全体の平均で計算しなければならない。こ
れは各パターンについてＮ項の計算を必要とする。従っ
て、環境全体についてのシステムの展開は環境に対する
式（１５）の平均を必要とする。
δω、、＞　ｌ　Ｄ＝−（１／２）ΣΣｐｔｐ、ＩＲ，
ｌ　−ＣＬ−４）Δ、、、（ｆｍ、ｆｍ）　（１６）ｊ 式（１３）と（１６）を比較することによって、チャー
ジＱ、を位置Ｘｉにおける応答を生じさセるパターンの
確率ｐｉとして識別できる。この識別は直感的に明確で
ある０式（１）で定義されたエネルギーにおけるメモリ
ーの周囲の吸引溜りの大きさはメモリーサイトのチャー
ジの量の関数である。Ｄにおいて非常に頻繁なイベント
のメモリーはＲ’でより大きな吸引溜りを形成し、従っ
て新しいイベントμの識別子となり得る。
多層ネットワークの各層についてのエネルギーを式（３
）に従って定義できる。そして、各層のエネルギーを、
システムの他の層に独立的に式（１３）に従って（また
は式（１６）によって同様に）最小化できる。δωは複
数の層を介して伝ばんされる誤りに依存しない。内部表
示への集束はインプットに最も近い層からアウトプット
に最も近い層へと進行する。このシステムは層ごとの内
部表示を構成する。
式（１６）のネットワークの実現は、ネットワークの各
セルが現在の活性度Ｆ、（ｆｊ）を前回与えられたパタ
ーンの活性度Ｆ、（ｒｔ）（量Δ、、１（ｆ＋、ｆｊ）
に暗黙にある）と比較することを必要とする。これはペ
ア間の相互作用のためにＮ２項の計算を必要とする。従
ってくインブットに最も近い層のトレーニング時間は環
境内のパターンの数の平方に比例する。しかし、判明活
性度合いの数は出力層に近づくに従って環境内のイベン
トの判明クラスの数に減少するから多層ネットワークの
深部の層程はそのトレーニング時間がずっと短くなる。
更に、式（１６）は各セルが量ＩＲｔｊｌにアクセスで
きることを必要とする。この因子は異なったパターンに
ついてのネットワーク状態間の距離の大きさである。こ
の大きさは全てのセルに共通で、これはあたかも−個の
実質セルが後続のネットワーク状態間の活性度空間にお
ける距離を計算して、ネットワーク全体にその量を伝え
ているかのようである。
面白いことに、このメカニズムは、１９８７年コロラド
州デンバーでの「神経情報処理システム−自然および合
成」に関するＩ　ＥＥＥ会議に提出されたスコツイール
ド・シー・エル著「視覚皮層の層ＩＶのミーンフィール
ド理論とその人工神経ネットワークに対する適用」（Ｓ
ｃｏｆｉｅｌｄ。
Ｃ，Ｌ、：”Ａ　Ｍｅａｎ　Ｆｉｅｌｄ　Ｔｈｅｏｒｙ
　ｏｆ　Ｌａｙｅｒ　ＩＶ　ｏｆＶｉｓｕａｌ　　Ｃｏ
ｒｔｅｘ　ａｎｄ　　ｉｔｓ　　Ａｐｐｌｉｃａｔｉｏ
ｎ　　ｔｏ　Ａｒｔｉｆ−ｉｃｉａｌ　　Ｎｅｕｒａｌ
　　Ｎｅｔｗｏｒｋｓ、：　　Ｐｒｅｓｅｎｔｅｄ　　
ａｔ　　ｔｈｅＩＥＥＥ　　Ｃｏｎｆｅｒｅｎｃｅ　　
ｏｎ　　”Ｎｅｕｒａｌ　　Ｉｎｆｏｒｍａｔｉｏｎ　
　Ｐｒｏ−ｃｅｓｓｉｎｇ　５ｙｓｔｅ＋ｗｓ　　−Ｎ
ａｔｕｒａｌ　　ａｎｄ　５ｙｎｔｈｅｔｉ’ｃ”。
Ｄｅｎｖｅｒ＋　Ｃｏ１ｏｒａｄｏ　（１９８７））で
報告された視覚皮層のミーンフィールド理論に関連があ
る。哺乳動物の皮相に対する視覚入力の目標層について
のクーパーおよびスコツイールド（Ｃｏｏｐｅｒａｎｄ
　５ｃｏｆｉｅｌｄ　）の最近の研究で、詳細な皮相活
性度パターンのミーンフィールド概算が視覚学習に対す
る実験的に観察された喪失の効果を再生するに十分であ
ることが判明した。周期的な皮相結合性は、平均皮相活
性度を計算してネットワークの全てのセルに信号を送る
一個の「実効」セルで置換できる。同様に、因子１Ｒｉ
ｊｌは一個の実効セルによって計算され、ネットワーク
の各セルに帰されることができる。
この状態が第１図に示されている。
シミュレーション結果： このシステムがひとつの層から次に層へひとつの内部表
示をインクレメンタルに展開させることを調べるために
は展開する表示を詳細に検討する必要がある。先ず、必
要な取り決めから始める。セルのｉ番の層に対する活性
度パターンの環境をＤ８とする。セルω、のｉ番のシナ
プスのマトリックスが環境Ｄｉを活性度パターンＤ′＋
１に変換する。
Ｄ　ｉ　＋　１　＝ω、（Ｄ　＋　）　　　　　　　　
　（１７）ＸＯＲ問題が一般化されたデルタルールで詳
細に研究されているので、これを考察する。先ず、第２
図に示された簡単な二層ネットワークから始める。この
ネットワークにおいて、入力層はパターン環境り、源で
マトリックスω１を介して２個のセルの第２層へ延びて
いる。（簡明化のために１Ｒｉｄの計算のミーンフィー
ルド結合性は第２〜６図に示されていない。）環境はセ
ット”＝　［ｆｌ（ａ）、ｆｚ　（ａ）。
ｆｍ（ｂ）、ｆｍ（ｂ）］からなり、ｔｌ（ａ）とｆｚ
（ａ）がクラス゛ａ゛に属し、ｒｉ（ｂ）とｆ４　（ｂ
）がクラス”ｂ“に属する。
ｆ＋　（ａ）＝　［１，Ｏ］” ｆｚ　（ａ）＝　［０，１］” ｆｚ　（ａ）＝　［０，０１’ ｆ４（ａ）＝［１，１］”　　　− Ｒ２の入力空間（層１）のメモリーサイトからのこれら
４つのパターンは単位スクエアの角に位置し、第３図に
示されている。
層２のセルの活性度空間におけるこれらメモリーの位置
はマトリックスω１の初期値によって決まる。式（１３
）または（１４）にもとづくω１の展開によって層２の
活性度空間におけるメモリーサイトはメモリーの形状の
ポテンシャルエネルギーが最小になるまで移動する。第
４ａ図はパターンセットＤ１についてのＮ２の活性度の
最終形状を示す。
入力空間における２つのシナプス状態ω１′およびω２
１の位置も示されている。層２のニセル構造の制約のた
め同クラスの全てのメモリーが活性度の単一位置に収ま
ることが不可能であった。その代わり、２つのメモリー
サイトがひとつの位置に崩壊し、他のクラスのメモリー
サイトがこの位置から分離することによってψが最小に
なった。
次に、層２の活性度空間における位置に対応する３つの
判明メモリーの活性度パターンは考え得る第３層のセル
のパターンセットＤ２を形成する（第４ｂ図）。
第４ａおよび４ｂ図は変換ω’　（Ｄ’）の結果生じる
メモリー形状が直線的に分離可能であることを示してい
る。簡単な線形二値しきい値ユニントでクラス”ａ”の
メモリーサイトがクラス１１　ｂｌｌのメモリーサイト
から分離できる。マトリックスω２を（第５．６図に示
すようなネットワークにおける）層３の単一セルに加え
ることによって変換Ｄ：ｌ＝ωＺ　ＣＤ”）＝　［’　
　ａ’　。
゛　ｂ“、］＝［１，０］が行われる。
この結果生じる三層ネットワークを調べると、２つの変
換ω１およびω２が一般化デルタデータによって生じた
ものと同一の単一内部表示である ω（Ｄ’）　＝ω２（Ｄｚ）　＝（Ｌ）”　（ω’　（
Ｄ’）　）　　（１９）を形成することが判る。しかし
、ここでは最終変換がωｌからω２ヘインクルメンタル
につくられたのである。これは、トレーニング時間がネ
ットワークの層の数の単純な線形関数であるので逆転ば
ん法と比較してかなり有利である。
ひとつの層の集束の平均時間をｔｃとすれば、Ｌ個の層
のネットワークの集束の時間は単にＬｔｃである。つま
り、多層ネットワークの集束時間はネットワーク中の層
の故によって線形に決定される。
結果の考察：単一および多層ネットワークに適用でき、
分配された表示を生成するＮ次元クーロンネットワーク
の学習アルゴリズムについて述べた。この方法は種々の
メモリー間の吸引および反発ポテンシャルと、メモリー
サイトの集合の静電位エネルギーの定義づけに依存する
。
ネットワークのシナプス状態の調節でこのエネルギーを
最小にすることによって、層の数の線形関数である多層
ネットワークのトレーニング時間が生成される。従って
、−膜化デルタルールと異なり、この方法は問題のサイ
ズに十分対応できると思われる。
この本発明の方法はネットワークの管理されたトレーニ
ングに適用できる。この方法の場合、パターン環境の土
台となる統計は吸引の溜りと明白な関連がある。管理さ
れないトレーニングは、全てのパターンが同じ符号のチ
ャージとして扱われ、互いに反発するメモリーサイトを
生成するといったわずかな延長である。クラスタリング
はパターン環境の統計によって定義された相対チャージ
規模の当然な結果である。
実施： 式（１４）による本発明の学習アルゴリズムはＮ次元ク
ーロン神経ネットワークに直接実施できる。次に、簡単
な単層反復ネットワークを示す第７図を参照して説明す
る。
第７図のネットワークはいくつかの異なる種類の部材か
らなり、それらは異なる種類の記号で示されている。ネ
ットワークの作用の要旨を先ず説明し、次にその詳細を
説明する。
パターンは第７図の上部左側のラインからネットワーク
に入る。これらの活性度パターンｆ＋　（ｔ）　、’、
、、ｆ＊（ｔ）１００．ｆｋ（ｔ）（０から１までの範
囲の実数）がネットワークに入り、同図上部の小さ（て
黒く丸い交点に修正可能な結合ω１１を形成する。大き
い円１０．。
ｎｏ、、Ｎはネットワークのセルで、それらの入力ライ
ン（同図中、セル「体」から上方に延びている）上の活
性度を合計する。これらセルは活性度合いＸ＋　（ｔ）
　１．、、Ｘｒｔ　（ｔ）　１．−。
ｘＮ（ｔ）（これらも０から１までの範囲の実数）をそ
れぞれ生成する。これらの活性度合いが大きな陰をつけ
た円で示された「実効」セルにインプットされ、同図の
下部右側のラインを通って回路から出て行く。実効セル
は状態空間正規距離ｌ　ｘ（ｔ）−ｘ（ｔ＋１）　ｌを
計算し、それをこの層の全てのセルに伝える。
次に、回路の種々の作用を詳細に考察するが、先ず、本
発明の学習アルゴリズムに従って修正される結合強さω
、７を表す小さな黒いディスク状の結合に焦点をあてる
。回路外からの信号ｆｍ（ｔ）は左側のラインから入力
される。これらの信号はラインｍとセルｎの間の結合強
さω、７によって重みを付けられる。重みを付けられた
信号はセル体に送られ、そこで合計されて、以下の式に
もとづいてセル活性度に変換される。
式中、ｘ　（ｔ）は実数活性度ＸＩ　　（ｔ）１．、。
Ｘｎ（ｔ）２．、、ｘＮ（ｔ）からなるベクトル、ｅ、
、は単位ベクトルである。
更に、結合強さω、７をもつ各結合は前記式（１４）の
計算に使用するため前回の信号ｆｍ、（ｔ）を保持しな
ければならない。
第７図下部に示す小さな四角は信号ｘ＋（ｔ）、。
、、ｘＲ（ｔ）　１．、、ｘＮ（ｔ）を受け取る結合で
ある。これらの信号は結合に記憶され、時間（ｔ＋１）
における後続信号と比較される。そして、例えばｎ番の
四角の結合が差異 （Ｘ　ｆｉ　（ｔ　）−Ｘ　ｆｉ（ｔ　＋１）　）　”
　　を計算する。
実効セルがＮ２差異項を累積し、正規Ｎ次元ベクトル差
異である状態空間路１ｉｉｉ　１　ｘ（ｔ）−ｘ（ｔ＋
１）　ｌを計算し、その後、逆累乗 ｌ　　ｘ　　＋ｌ　（ｔＬｘ　　Ｒ（ｔ＋１ン　ｌ　　
−ＬＬ”（式中、ＬはＮ−２以上の整数）である状態空
間差異の関数を計算する。具体的には、（（ｘ＋　（ｔ
）−ＸＩ　（ｔ＋１））２＋８．。
＋　（ＸＮ　（ｔ）　　ＸＮ　（ｔ　＋１）　）　ｚ）
　−””実効セルは状態空間差異の関数をネットワーク
のこの層の全てのＮセルに伝える。これら各セルは修正
可能な結合に対する最新項を計算しく式（１４））　、
ｍ節のためこの項を結合にフィードバックする。最新項
は量 ｌ　Ｘ　、、（ｔ）−ｘｎ　（ｔ＋１）　１−ＬＬ″ｌ
とΔ□（ｆ（ｔ）、　ｆ（ｔ＋１））の積であり、後者
の量は以下の式で定義される。
Δ、、、（ｒ　　（ｔ）、　　ｆ　　（ｔ＋１））＝（
Ｆ、、（ｆ　　（ｔ））−Ｆ、ｌ（ｒ　　（ｔ＋１））
）ｘ　　（Ｆ、（ｆ　　（ｔ））　　（１−Ｆ、（ｆ　
　（ｔ）））ｆｍ（ｔ）−Ｆｆｉ（ｆ　　（ｔ＋１））
　　（１−Ｆ、（ｆ　　（ｔ＋１）））ｆｍ（ｆ＋１）
） 式中、Ｆ、（ｆ（ｔ））はχ７（ｔ）と定義されている
。
この量の計算にあたって、 Ｆ、　（ｆ（ｔ））−Ｆｆｉ（ｆ（ｔ＋１））と以下の
個々の因子を計算するために次回の活性度合いと比較す
るため各セルは前回の活性度合いのコピーを保持しなけ
ればならない。
ｌ　ｘ　（ｔ）−ｘ　（ｔ＋１）ｌ−””Ｆｌ　（ｔ）
、Ｆｌ　（ｔ＋ｉ） 更に、各結合ω□は前回具た信号ｆｍ（ｔ）のコピーを
保持しなければならない。これらの量は組み合わされて
Δ□（ｆ（ｔ）、　ｆ（ｔ＋１））または以下を形成す
るために結合ω□に用意されている必要がある。
１　　ｘ　　（ｔ）　　−ｘ　　（ｔ＋１）　　１−（
Ｌ、Ｚ）Ｆ、（ｔ）、Ｆ、（ｔ＋１） ｆｍ（ｔ）、　　ｆｍ、（ｔ＋１） 第７図の回路はアナログ回路でもデジタル回路でも実施
できる。各部材（結合ω□のネットワークセル、実効セ
ルへの出力結合、および実効セル自体）が専用のデジタ
ルハードウェアで構成されることが最適であるかも知れ
ない。Ｎ次元ネットワークはパラレル処理コンピュータ
のソフトウェアで実施、シミュレートできる。
以上、単層Ｎ次元ネットワークについて説明したが、ひ
とつの層が表示できるように集束されれば他の層を追加
できる。実際、多層Ｎ次元クーロン神経ネットワークに
おいて、このような多Ｎ構造は層ごとに独立して同時的
に構築できる。
これまで述べた実施例が発明の範囲内で種々の改変が可
能で、その用途も多岐にわたることは当業者に理解され
よう。
【図面の簡単な説明】
第１図はＮ次元クーロンエネルギーのネットワーク実現
を示す神経ネットワークの略図である。メモリー距離の
計算は「実効」セルによって行われ、図中白の円で示す
修正不可能なシナプスを介して伝えられる。 第２図は第１マツピングＤｚ−ω’　（Ｄ’）の展開用
の二層神経ネットワークの略図である。 反復結合性は示されていない。 第３図はＸＯＲ問題のパターン環境Ｄ１を示す略図であ
る。２つのパターンクラスが層１の活性度（ないし応答
）空間内の単位スクエアの角に位置する。 第４ａ図は層１の応答空間にプロットされた、パターン
セットＤ２を生成する初期マツピングω’　（Ｄ’）を
示す略図である。 第４ｂ図は層２の応答空間内の判明パターンクラスタ３
個のみからなるパターンセットＤｚを示す略図である。 第５図は全マツピングＤ３　＝ω”　（Ｄり　＝ω２（
ω’　（Ｄ’））用の三層神経ネットワークを示す略図
である。 第６ａ、６ｂ、６０図は第５図の神経ネットワークの層
１からＮ３の各マツピング及び応答空間を示す略図であ
る。この場合、２つの非線形マツピングω’　（Ｄ’）
およびω”ＣＤ”）は別別に学習されている。 第７図は本発明の学習アルゴリズムの典型的な実施例を
示す単層Ｎ次元クーロン神経ネットワークの略図である
。 第８図は眉間の結合性を示す、第７図に示す種類の多層
神経ネットワークの略図である。 ＦＩＧ、　　１ ＦＩＧ、６Ｇ

Claims (1)

  1. 【特許請求の範囲】 （ａ）複数個Ｋの入力ターミナルで、各ターミナル（ｍ
    ）がＫ入力信号ｆ＿ｍ（ｔ）のひとつを受け取る手段と
    、 （ｂ）複数個Ｎの神経セルで、各神経セル（ｎ）がＫ入
    力部と１個の出力部を有し、入力部に与えられたＫ信号
    表示の合計を表す第１出力信号Ｘ＿ｎ（ｔ）を出力部で
    生成する手段と、 （ｃ）複数個Ｎ＿ｘＫの入力結合子で、各入力結合子（
    ｍｎ）が前記入力ターミナル（ｍ）のひとつを前記神経
    セル（ｎ）のひとつに連結し、入力ターミナルに現れる
    信号ｆ＿ｍ（ｔ）と素子結合強さω＿ｍ＿ｎに従って各
    入力ターミナル（ｍ）から各神経セル（ｎ）へ情報の伝
    達を行う手段と、 （ｄ）複数個Ｎの出力結合子で、各出力結合子（ｎ）が
    各神経セル（ｎ）の出力部に連結され、（１）対応する
    神経セル（ｎ）の第１出力信号Ｘ＿ｎ（ｔ）を記憶する
    手段と（２）前回記憶された第１出力信号Ｘ＿ｎ（ｔ）
    から次回に記憶された第１出力信号Ｘ＿ｎ（ｔ＋１）を
    減算して、その差の２乗を表す第２出力信号（Ｘ＿ｎ（
    ｔ）−Ｘ＿ｎ（ｔ＋１））２を生成する手段とを含み、 （ｅ）前記出力結合子に連結して第２出力信号を受け、
    状態空間距離の関数 ［（Ｘ＿１（ｔ）−Ｘ＿１（ｔ＋１））＾２＋…（Ｘ＿
    ｎ（ｔ）−Ｘ＿Ｎ（ｔ＋１））＾２＋…（Ｘ＿Ｎ（ｔ）
    −Ｘ＿Ｎ（ｔ＋１））＾２］＾−＾（＾Ｌ＾＋＾２＾）
    式中ＬはＮ−２以上の整数、を計算して、 これを示す第３出力信号を生成する手段を有し、 各神経セルが、 δω＿ｎ＿ｍ＝ （＋／−）｜Ｘ（ｔ）−Ｘ（ｔ＋１）｜＾−＾（＾Ｌ＾
    ＋＾２＾）Δ＿ｎ＿ｍ（ｆ（ｔ），ｆ（ｔ＋１））式中
    Δ＿ｎ＿ｍ（ｆ（ｔ）、ｆ（ｔ＋１））はΔ＿ｎ＿ｍ（
    ｆ（ｔ），ｆ（ｔ＋１））＝ （Ｆ＿ｎ（ｆ（ｔ））−Ｆ＿ｎ（ｆ（ｔ＋１）））Ｘ（
    Ｆ＿ｎ（ｆ（ｔ））（１−Ｆ＿ｎ（ｆ（ｔ）））ｆ＿ｍ
    （ｔ）−Ｆ＿ｎ（ｆ（ｔ＋１））（１−Ｆ＿ｎ（ｆ（ｔ
    ＋１）））ｆ＿ｍ（ｔ＋１））によって与えられる式に
    従って結合強さ （ω＿ｍ＿ｎ）を調節することを特徴とするＮ次元クー
    ロン神経ネットワーク。
JP1010983A 1988-01-19 1989-01-19 Ｎ次元クーロン神経ネットワーク Pending JPH01223559A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US145,630 1988-01-19
US07/145,630 US4897811A (en) 1988-01-19 1988-01-19 N-dimensional coulomb neural network which provides for cumulative learning of internal representations

Publications (1)

Publication Number Publication Date
JPH01223559A true JPH01223559A (ja) 1989-09-06

Family

ID=22513922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1010983A Pending JPH01223559A (ja) 1988-01-19 1989-01-19 Ｎ次元クーロン神経ネットワーク

Country Status (4)

Country Link
US (1) US4897811A (ja)
EP (1) EP0325119B1 (ja)
JP (1) JPH01223559A (ja)
DE (1) DE68924078D1 (ja)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293459A (en) * 1988-12-23 1994-03-08 U.S. Philips Corporation Neural integrated circuit comprising learning means
JP2676397B2 (ja) * 1989-01-05 1997-11-12 株式会社エイ・ティ・アール視聴覚機構研究所 動的システムの運動軌道生成方法
US5140530A (en) * 1989-03-28 1992-08-18 Honeywell Inc. Genetic algorithm synthesis of neural networks
US5553196A (en) * 1989-04-05 1996-09-03 Yozan, Inc. Method for processing data using a neural network having a number of layers equal to an abstraction degree of the pattern to be processed
US5195171A (en) * 1989-04-05 1993-03-16 Yozan, Inc. Data processing system
US5253328A (en) * 1989-11-17 1993-10-12 Microelectronics & Computer Technology Corp. Neural-network content-addressable memory
US5067164A (en) * 1989-11-30 1991-11-19 At&T Bell Laboratories Hierarchical constrained automatic learning neural network for character recognition
US5130563A (en) * 1989-11-30 1992-07-14 Washington Research Foundation Optoelectronic sensory neural network
US5167006A (en) * 1989-12-29 1992-11-24 Ricoh Company, Ltd. Neuron unit, neural network and signal processing method
EP0441176B1 (en) * 1990-01-25 1994-03-30 Mitsubishi Jidosha Kogyo Kabushiki Kaisha System for controlling the output power of motor vehicle
US5371835A (en) * 1990-02-02 1994-12-06 Kabushikikaisha Wacom Inductively coupled neural network
US5134685A (en) * 1990-02-06 1992-07-28 Westinghouse Electric Corp. Neural node, a netowrk and a chaotic annealing optimization method for the network
KR950001601B1 (ko) * 1990-07-09 1995-02-27 니폰 덴신 덴와 가부시끼가시야 뉴-럴 네트워크 회로
NO302481B1 (no) 1990-10-16 1998-03-09 Takeda Chemical Industries Ltd Polymer for et preparat med forlenget frigjöring, samt preparat med forlenget frigjöring
FR2671207B1 (fr) * 1991-01-02 1993-04-16 Abin Claude Reseau neuronal a operateurs binaires et procedes pour sa realisation.
EP0567557A1 (en) * 1991-01-15 1993-11-03 Trustees Of Boston University Vector associative map system
US5440742A (en) * 1991-05-10 1995-08-08 Siemens Corporate Research, Inc. Two-neighborhood method for computing similarity between two groups of objects
US5485621A (en) * 1991-05-10 1996-01-16 Siemens Corporate Research, Inc. Interactive method of using a group similarity measure for providing a decision on which groups to combine
US5317741A (en) * 1991-05-10 1994-05-31 Siemens Corporate Research, Inc. Computer method for identifying a misclassified software object in a cluster of internally similar software objects
US5428788A (en) * 1991-05-10 1995-06-27 Siemens Corporate Research, Inc. Feature ratio method for computing software similarity
US5438676A (en) * 1991-05-10 1995-08-01 Siemens Corporate Research, Inc. Method for adapting a similarity function for identifying misclassified software objects
EP0513652A2 (en) * 1991-05-10 1992-11-19 Siemens Aktiengesellschaft Method for modelling similarity function using neural network
WO1993010500A1 (en) * 1991-11-13 1993-05-27 Iowa State University Research Foundation, Inc. Improved memory capacity neural network
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
KR950012359B1 (ko) * 1992-08-28 1995-10-17 엘지전자주식회사 신경회로망 구조와 학습방법
US5371834A (en) * 1992-08-28 1994-12-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Adaptive neuron model--an architecture for the rapid learning of nonlinear topological transformations
US5412670A (en) * 1992-11-30 1995-05-02 Ricoh Corporation N-bit parity neural network encoder
JP3058774B2 (ja) * 1993-01-29 2000-07-04 株式会社河合楽器製作所 映像合成装置及び映像合成方法
US5479574A (en) * 1993-04-01 1995-12-26 Nestor, Inc. Method and apparatus for adaptive classification
US6167390A (en) * 1993-12-08 2000-12-26 3M Innovative Properties Company Facet classification neural network
US5837281A (en) 1995-03-17 1998-11-17 Takeda Chemical Industries, Ltd. Stabilized interface for iontophoresis
US5822741A (en) * 1996-02-05 1998-10-13 Lockheed Martin Corporation Neural network/conceptual clustering fraud detection architecture
DE19706576A1 (de) * 1997-02-20 1998-08-27 Alsthom Cge Alcatel Vorrichtung und Verfahren zur umgebungsadaptiven Klassifikation von Objekten
US6249775B1 (en) * 1997-07-11 2001-06-19 The Chase Manhattan Bank Method for mortgage and closed end loan portfolio management
US7096192B1 (en) * 1997-07-28 2006-08-22 Cybersource Corporation Method and system for detecting fraud in a credit card transaction over a computer network
US7403922B1 (en) 1997-07-28 2008-07-22 Cybersource Corporation Method and apparatus for evaluating fraud risk in an electronic commerce transaction
US6032136A (en) 1998-11-17 2000-02-29 First Usa Bank, N.A. Customer activated multi-value (CAM) card
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US7062462B1 (en) 1999-07-26 2006-06-13 The Chase Manhattan Bank On-line higher education financing system
US6366897B1 (en) 1999-07-26 2002-04-02 Hnc Software, Inc. Cortronic neural networks with distributed processing
US6505168B1 (en) * 1999-08-16 2003-01-07 First Usa Bank, Na System and method for gathering and standardizing customer purchase information for target marketing
US7542921B1 (en) 1999-09-30 2009-06-02 Jpmorgan Chase Bank, N.A. Network-based financial planning system and method
US7599879B2 (en) * 2000-03-24 2009-10-06 Jpmorgan Chase Bank, National Association Syndication loan administration and processing system
US7212996B1 (en) 2000-04-20 2007-05-01 Jpmorgan Chase Bank, N.A. System and method for dynamic, multivariable comparison of financial products
US7031935B1 (en) * 2000-07-31 2006-04-18 J.P. Morgan Advisory Services Inc. Method and system for computing path dependent probabilities of attaining financial goals
US7831467B1 (en) 2000-10-17 2010-11-09 Jpmorgan Chase Bank, N.A. Method and system for retaining customer loyalty
US6904408B1 (en) * 2000-10-19 2005-06-07 Mccarthy John Bionet method, system and personalized web content manager responsive to browser viewers' psychological preferences, behavioral responses and physiological stress indicators
US7295999B1 (en) 2000-12-20 2007-11-13 Jpmorgan Chase Bank, N.A. System and method for determining eligibility and enrolling members in various programs
US7472088B2 (en) * 2001-01-19 2008-12-30 Jpmorgan Chase Bank N.A. System and method for offering a financial product
US7895098B2 (en) 2001-03-01 2011-02-22 Jpmorgan Chase Bank, N.A. System and method for measuring and utilizing pooling analytics
US7865427B2 (en) 2001-05-30 2011-01-04 Cybersource Corporation Method and apparatus for evaluating fraud risk in an electronic commerce transaction
US7756896B1 (en) 2002-03-11 2010-07-13 Jp Morgan Chase Bank System and method for multi-dimensional risk analysis
US20030172017A1 (en) * 2002-03-11 2003-09-11 Vincent Feingold High performance multi-dimensional risk engines for enterprise wide market risk management
AU2003230751A1 (en) * 2002-03-29 2003-10-13 Bank One, Delaware, N.A. System and process for performing purchase transaction using tokens
US7606756B2 (en) * 2002-08-02 2009-10-20 Jpmorgan Chase Bank, N.A. Synthetic funds having structured notes
US20040148241A1 (en) * 2003-01-24 2004-07-29 Qi Thomas J. Method of evaluating a portfolio of leased items
US20040148566A1 (en) * 2003-01-24 2004-07-29 Jp Morgan Chase Bank Method to evaluate project viability
US20040236647A1 (en) * 2003-05-23 2004-11-25 Ravi Acharya Electronic checkbook register
US7668777B2 (en) 2003-07-25 2010-02-23 Jp Morgan Chase Bank System and method for providing instant-decision, financial network-based payment cards
US7624068B1 (en) * 2003-08-18 2009-11-24 Jpmorgan Chase Bank, N.A. Method and system for dynamically adjusting discount rates for a card transaction
US7953663B1 (en) 2003-09-04 2011-05-31 Jpmorgan Chase Bank, N.A. System and method for financial instrument pre-qualification and offering
US8175908B1 (en) 2003-09-04 2012-05-08 Jpmorgan Chase Bank, N.A. Systems and methods for constructing and utilizing a merchant database derived from customer purchase transactions data
US20050060252A1 (en) * 2003-09-11 2005-03-17 Andrew Doddington Graphical software tool for modeling financial products
US20050182713A1 (en) * 2003-10-01 2005-08-18 Giancarlo Marchesi Methods and systems for the auto reconsideration of credit card applications
US20090313163A1 (en) * 2004-02-13 2009-12-17 Wang ming-huan Credit line optimization
US7702767B2 (en) * 2004-03-09 2010-04-20 Jp Morgan Chase Bank User connectivity process management system
US8429006B1 (en) 2004-06-18 2013-04-23 Jpmorgan Chase Bank, N.A. System and method for offer targeting
US7974895B1 (en) 2004-07-16 2011-07-05 Jp Morgan Chase Bank System and method for developing finance rate information
US8533030B1 (en) 2004-08-30 2013-09-10 Jpmorgan Chase Bank, N.A. In-bound telemarketing system for processing customer offers
US7844518B1 (en) 2004-11-30 2010-11-30 Jp Morgan Chase Bank Method and apparatus for managing credit limits
US7480631B1 (en) 2004-12-15 2009-01-20 Jpmorgan Chase Bank, N.A. System and method for detecting and processing fraud and credit abuse
US20110161958A1 (en) * 2005-01-03 2011-06-30 Jp Morgan Chase Bank Method and system for managing business calculations using multi-dimensional data
US7890343B1 (en) 2005-01-11 2011-02-15 Jp Morgan Chase Bank System and method for generating risk management curves
US7925578B1 (en) 2005-08-26 2011-04-12 Jpmorgan Chase Bank, N.A. Systems and methods for performing scoring optimization
US8489497B1 (en) 2006-01-27 2013-07-16 Jpmorgan Chase Bank, N.A. Online interactive and partner-enhanced credit card
US7962396B1 (en) 2006-02-03 2011-06-14 Jpmorgan Chase Bank, N.A. System and method for managing risk
US7707192B1 (en) 2006-05-23 2010-04-27 Jp Morgan Chase Bank, N.A. Confidence index for assets
US8478637B1 (en) 2008-04-08 2013-07-02 Jpmorgan Chase Bank, N.A. Index for assessing discount potential
US10235686B2 (en) 2014-10-30 2019-03-19 Microsoft Technology Licensing, Llc System forecasting and improvement using mean field

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4719591A (en) * 1985-11-07 1988-01-12 American Telephone And Telegraph Company, At&T Bell Labs. Optimization network for the decomposition of signals
US4752906A (en) * 1986-12-16 1988-06-21 American Telephone & Telegraph Company, At&T Bell Laboratories Temporal sequences with neural networks
US4796199A (en) * 1987-02-24 1989-01-03 Oregon Graduate Center Neural-model, information-handling architecture and method

Also Published As

Publication number Publication date
US4897811A (en) 1990-01-30
EP0325119A2 (en) 1989-07-26
EP0325119B1 (en) 1995-09-06
EP0325119A3 (en) 1990-12-05
DE68924078D1 (de) 1995-10-12

Similar Documents

Publication Publication Date Title
JPH01223559A (ja) Ｎ次元クーロン神経ネットワーク
KR102571104B1 (ko) 신경망 하드웨어 가속기 아키텍처 및 그 동작 방법
Hecht-Nielsen Theory of the backpropagation neural network
Kung et al. A unified systolic architecture for artificial neural networks
Neocleous et al. Artificial neural network learning: A comparative review
Mühlenbein Limitations of multi-layer perceptron networks-steps towards genetic neural networks
JP2021518008A (ja) 重み更新回路および推論回路を別個に有する抵抗型処理ユニット・アーキテクチャ
Pfeifer et al. Beyond rationalism: Symbols, patterns and behavior
Hung et al. Training neural networks with the GRG2 nonlinear optimizer
Valle-Lisboa et al. Multiplicative processing in the modeling of cognitive activities in large neural networks
Licata Are neural networks imitations of mind
Fornarelli et al. Adaptive particle swarm optimization for CNN associative memories design
Dadios et al. Application of neural networks to the flexible pole-cart balancing problem
Lara Artificial neural networks: An introduction
JP3171897B2 (ja) 知識情報処理装置
Lukes et al. Expectation driven learning with an associative memory
Kasabov et al. Spatial-temporal adaptation in evolving fuzzy neural networks for on-line adaptive phoneme recognition
Marks et al. The performance of convex set projection based neural networks
Van der Spiegel et al. Artificial neural networks: principles and VLSI implementation
Ren et al. Toward robust visual cognition through brain-inspired computing
Deepthi et al. A new hierarchical pattern recognition method using mirroring neural networks
Yadav Neural Network based Analog-To-Digital Converter-Design, Simulation and Implementation
Olafsson Some dynamical properties of neural networks
Mayoraz Benchmark of some learning algorithms for single layer and Hopfield networks
Christianson Hessian-Free Optimization and its applications to Neural Networks