JP3520048B2 - 等化直交マッピングによる多次元データの視覚化および自己組織化 - Google Patents

等化直交マッピングによる多次元データの視覚化および自己組織化

Info

Publication number
JP3520048B2
JP3520048B2 JP2000539447A JP2000539447A JP3520048B2 JP 3520048 B2 JP3520048 B2 JP 3520048B2 JP 2000539447 A JP2000539447 A JP 2000539447A JP 2000539447 A JP2000539447 A JP 2000539447A JP 3520048 B2 JP3520048 B2 JP 3520048B2
Authority
JP
Japan
Prior art keywords
output
layer
node
output signal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000539447A
Other languages
English (en)
Other versions
JP2002509303A (ja
Inventor
パオ，ヨー−ハン
モン，ズゥオ
Original Assignee
コンピュータ アソシエイツ シンク，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コンピュータ アソシエイツ シンク，インコーポレイテッド filed Critical コンピュータ アソシエイツ シンク，インコーポレイテッド
Publication of JP2002509303A publication Critical patent/JP2002509303A/ja
Application granted granted Critical
Publication of JP3520048B2 publication Critical patent/JP3520048B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G06F18/21355—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis nonlinear criteria, e.g. embedding a manifold in a Euclidean space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Complex Calculations (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Feedback Control In General (AREA)
  • Image Generation (AREA)

Description

【発明の詳細な説明】
【０００１】＜関連出願＞ 本出願は、１９９５年９月２９日に出願された同時係属
中の米国特許出願第０８／５３６，０５９号の一部継続
出願（ＣＩＰ）である。
【０００２】＜発明の背景＞ 本出願は、人工知能の技術に関し、より詳細には、パタ
ーン・データの大きな集合体を組織化してその特徴の理
解を容易にするための組織化システムに関する。
【０００３】本システムは、特に化学特性情報などの獲
得した実験的データの分析に適用され、特にそのような
実験的データの分析に関して説明する。しかしながら、
本システムは、構成要素の視覚化および理解を可能にす
るために、任意の関連データの集合の分析にも適切に適
応できることを理解されたい。
【０００４】多くの特徴を持つパターン・データの大き
な集合体の意味を理解することは困難である。実際は、
大きなデータの集合体でなく、各々が６つの特徴を含む
４００パターンの集合体でも「理解」はまったく困難で
ある。自己組織化の概念は、そのような状況で行わなけ
ればならず、その作業を行う主に２つのアプローチによ
って理解することができる。１つのケースでは、パター
ン空間内にデータがどのように分布しているかを発見
し、パターンの大きな集合体を多次元クラスターやその
他の分布でより簡潔に記述しようとするものである。こ
れは、適応共鳴理論 (ART：Adaptive Resonance Theor
y)やその他のクラスター分析手法の基礎となる重要なこ
とである。
【０００５】もう１つのケースでは、次元を縮小するこ
とに努力が払われる。これに対応する概念は、元の表現
が多数の特徴を有し、冗長であり、いくつかの特徴が互
いに似た繰り返しであるというものである。そのような
状況では、主要な特徴を抽出し、次元縮小(dimension r
eduction)を行うことにより、各パターンと全てのパタ
ーンの記述を単純化することができる。次に、その縮小
次元空間で内クラスター化が適切に行われる。カルフー
ネンレーブ（Ｋ−Ｌ）変換、Ｋ−Ｌ変換のニューラルネ
ット・インプリメンテーション、および自動連想マッピ
ング法（auto-associative mapping approach）はすべ
て、主成分分析（ＰＣＡ）、特徴抽出および次元縮小に
関するものである。
【０００６】実際には、２つの作業の流れは、完全に独
立しているわけではない。たとえば、ＡＲＴ法は、クラ
スターの形成において強力な「勝者独り占め」機構を有
する。これは、主要なプロトタイプを「抽出」し、その
少数の主要なプロトタイプによって縮小した描写を形成
するものとして見るのが適切である。特徴マップ法は、
横方向の刺激（excitation）−抑制（inhibition）によ
って、類似の特徴を持つパターンが縮小次元特徴マップ
内の連続領域にマップされるように類似パターンを集め
ることを目的としている。この方法は、次元をクラスタ
ー化し縮小する。共通の目的は、データをより単純な表
現に自己組織化することである。
【０００７】本明細書では、これと同じ自己組織化を行
うための新しい手法について説明する。その概念は、デ
ータを元の表現から縮小次元の１つに非線形マッピング
することである。そのようなマッピングは、多層フィー
ドフォワード・ニューラルネットよって実施するのが適
切である。パターンの記述における全変動（total vari
ance）の保存の原理に基づいて、ネット・パラメータが
教師なしに学習される。
【０００８】次元縮小の概念は、それ自体、多少奇妙な
ものである。パターン・データの集合体の次元を縮小し
た記述で、元のデータの集合体を表すことを可能にす
る。これに対応する答えは、線形のケースでは分かって
いるが、一般的な非線形のケースでは詳しく説明するの
はより困難である。
【０００９】本発明に至る発展の始まりは、カルフーネ
ンレーブ（Ｋ−Ｌ）変換に基づく主成分分析（ＰＣＡ）
の概念である。データ共分散行列の固有ベクトルは、関
連データの非相関表現の基準を提供する。主成分は、大
きい固有値、すなわちパターンによって大きく変化する
特徴（変換された表現において）を有するものである。
大きい固有値が少数しかない場合は、縮小次元表現は、
その少数の対応する固有ベクトルによって適切に作成さ
れ、データ内のほぼ全ての情報が保存されたままにな
る。ＰＣＡにカルフーネンレーブ変換を利用すること
は、多くの非自明な問題を扱うのに有効であることが分
かっている。しかし、パターン認識では、保存されるも
のが必ずしもクラス間の区別に役立つものではない限
り、欠陥がある。
【００１０】次のある程度関連した進歩は、ＰＣＡとＫ
−Ｌ変換と線形ニューラル・ネットワークの概念を結合
しようとしたことである。その取り組みでは、重みを学
習するバックプロバゲーション・アルゴリズムまたは一
般化へブ学習アルゴリズムを使用して完全に接続された
多層フィードフォワード・ネットによるニューラルネッ
ト計算によって線形Ｋ−Ｌ変換を達成しようとした。こ
のシステムでは、正確な目標関数が与えられた場合、隠
れ層の何れかのノードへの線形リンクの重みは、共分散
行列の固有ベクトルの成分であることが分かる。また、
初期の研究は、主成分を順番にどのように見つけること
ができ、またその手法により、きわめて大きい共分散行
列の全ての要素を評価する退屈な作業をどのように回避
できるかについて述べている。
【００１１】初期の研究は、ネットワーク内のニューロ
ンが非線形でもよい場合に何が達成できるかという疑問
を巧みに避けていた。この疑問は、他の取り組みにおい
て検討された。ひとつのケースでは、元のデータ・パタ
ーン・ベクトルは、非線形内部層ノードを有する多層フ
ィードフォワード・ネット内の多くの変換層によって処
理される。そのようなネットの出力層には入力層と同じ
数のノードがあり、目的は、全ての入力に対して、出力
層が入力を再生できるようにネットを訓練することであ
る。これにより、いわゆる自動連想学習構成が実現され
る。さらに、内部層のうちの１つは、おそらくノードの
数を大幅に減少させたボトルネック層としてはたらく。
その減少した数のノードからの出力が、全ての場合にお
いて入力を厳密に再生することができるので、ボトルネ
ック層のノードは、主成分の集合体と見なすことができ
る。これは、そのような学習で得られる解は唯一のもの
でなく、初期状態と学習段階でデータ・パターンが提示
される順序によって極端に異なる点を除き、許容できる
見方であることが分かる。結果は興味深いが、主成分の
唯一の集合はない。
【００１２】もう１つの初期の特徴マップの手法では、
次元縮小がさらに別の方法で達成される。縮小次元空間
は、2次元として定義されるのが適切である。その場
合、縮小次元空間には、点の格子が広がっており、パタ
ーン・ベクトルは、そのような格子点の各々に結合す
る。そのようなパターン・ベクトルは、問題のものと同
じパターン領域からランダムに選択される。次に、問題
のパターン・ベクトルは、格子に結合した基準ベクトル
との類似度に基づいて縮小次元空間の格子点に割り当て
られる。これは、その手続きの生物学の影響を受けた面
すなわち横方向の刺激−抑制をもたらす。パターン・ベ
クトルが格子点に割り当てられるとき、最初は本質的に
ランダムになる。これは、その格子点が偶然パターン・
ベクトルと最も類似した基準ベクトルを有することがあ
るためである。しかし、割り当てられた後、基準ベクト
ルは、入力パターン・ベクトルのものとさらに似るよう
に修正され、横方向に接近した格子点の全ての基準ベク
トルも、その入力パターンともっと似るように修正され
る。このようにして、偶然に生じものはすぐになくな
り、実際上、元のパターン空間内において類似したパタ
ーンが縮小次元空間内に集められる。偶然により、もし
事態が少し違うように進行した場合には、連続した領域
に帰属されるパターンについて、２以上の全く異なるゾ
ーンが作られることがある。一方、そのような性質によ
る結果は、計算作業の目的を損なわないであろう。
【００１３】データの自己組織化を行うＡＲＴ手法をこ
の文脈で説明することができる。何故なら、ＭＡＸ−Ｎ
ＥＴがクラスターを作成する際に勝者ひとり占め手法を
実施し、クラスター空間におけるクラスター中心間の距
離と関連しないが、実際の横方向の抑制があるためであ
る。データの圧縮はあるが次元縮小はない。
【００１４】本発明の第１の態様によれば、上記その他
の問題は、きわめて効率の高いシステムを使用して、パ
ターン次元データを十分に明白な２次元表現に自律的に
縮小するシステムを提供することで解決できる。
【００１５】エンジニアリングにおける多くの作業が、
組織化されていない生データから有益な情報を抽出する
プロセスを含むことが分かる。しかしながら、前述のよ
うに、大きな組の多次元データの意味を理解することは
困難な作業である。その難しさは、主に、パターン間の
関係を容易に把握できない点によるものである。視覚的
表示は、この種の分析を導くのに最も便利なツールの１
つであった。残念ながら、３次元よりも高い次元に関し
ては、意味のある形で実現することは直接的には不可能
である。
【００１６】前述のように、生データの意味を理解する
ためには、生データの複雑さを減少させなければならな
い。この問題に取り組むために、一般に、２つの大きな
カテゴリーの手法が使用される。第１のカテゴリーで
は、クラスター化やコホネンの自己組織化マップ（ＳＯ
Ｍ）などの方法を利用し、データ・パターン間のユーク
リッド距離などの情報を使用して多次元空間内にデータ
・パターンがどのように分布しているかを推論する。そ
のような方法の重要な点は、クラスター属性や他の分布
によって大量のデータ・パターンをより簡潔に説明する
ことである。
【００１７】第２のカテゴリーの手法は、次元の縮小に
重点を置いたものである。すなわちデータ・パターンの
各々と全てを説明するのに必要な特徴の数を少なくする
ことに重点を置いたものである。この概念は、おそらく
元のデータ空間の次元が互いに独立でない、すなわちそ
れらの次元が、必ずしも既知の次元のものである必要は
ないが、ほんの少数の独立した固有次元(inherent dime
nsion)の少し複雑な関数であることがあるというもので
ある。したがって、目的は、この縮小次元空間を使用し
てパターンを示すことである。このカテゴリーに属する
いくつかの方法は、カルフーネンレーブ（Ｋ−Ｌ）変換
による線形主成分分析（ＰＣＡ）、ＰＣＡのニューラル
・ネットワーク・インプリメンテーション、自動連想マ
ッピング法、および非線形分散保存（ＮＬＶＣ）マッピ
ングである。これらの方法は、一般に、高次元の空間を
低次元の空間にマッピングしようとするものである。ま
た、その逆を行う方法もある。その一例は、C.M.Bisho
p、M.SvensenおよびC.K.I.Williamsによる「GTM: The g
enerative topographic mapping」と題する論文に記載
された生成トポグラフィック・マッピング（ＧＴＭ）で
ある。
【００１８】しかしながら、前述の２つのカテゴリーが
完全に別々のものではないことを理解されたい。データ
をさらに理解しやすくするために、引き続き縮小次元空
間内でクラスター化を使用することができる。ＳＯＭ法
は、縮小次元特徴マップにおける横方向の刺激−抑制に
より類似パターンを収集する。したがって、ＳＯＭは、
次元を縮小しクラスター化する。
【００１９】線形的な性質によって既に制限されている
線形ＰＣＡ法を除く前述の他の方法は、高次元データを
低次元空間内の個別の格子点にマッピングする。即ち、
低次元マップの外観は、マッピング・パラメータの最初
の（通常はランダムな）選択にきわめて依存する。
【００２０】格子点マップは、通常、元のデータ空間内
の近くにある点がマップ内でも近くにある限り、データ
点の厳密な相対位置があまり重要でないような分類や符
号化などの用途に有効である。たとえば、ＧＴＭ法は、
低次元空間内に均一に分布した放射方向に（radially）
対称なガウス分布であると仮定した１組の非線形基本関
数と低次元の点の格子とで始まる。低次元から高次元へ
の格子点のマッピングは、線形に重みつけしたそのよう
な基本関数の合計であると仮定される。その場合、高い
次元の確率密度は、高い次元にマッピングされた格子点
に中心を有する放射対称のガウス分布によって作ること
が提案される。ＧＴＭに関するビショップの研究では、
ベイズの法則を使用して、マッピングを反転させ、高い
次元の空間内の分布に対する各格子点のレスポンシビリ
ティを評価することができると仮定している。次に、レ
スポンシビリティ情報によって、高次元でのデータ点の
類似度を再評価することができる。この結果を最適化し
て高い次元での既知のデータ点の分布を与えることによ
って、マッピングの重みパラメータおよび密度分布をな
すガウス分布の幅パラメータを対話式に学習する方法が
得られる。学習が集束すると、表示のためのデータ点の
低次元マップをレスポンシビリティ情報によって生成す
ることができる。マッピング関数が滑らかで連続してい
る場合は、低い次元において隣り合った点は、高い次元
において隣り合った点に対応する。しかし、その逆は正
しいとは限らない。何故なら、高い次元におけるあるデ
ータ点では、マッピング関数によって生成されるマニホ
ールドの形によって格子点上のガウス分布のレスポンシ
ビリティが多重モード（multi-modal）になることがあ
るためである。データ点は、１つの格子点または隣り合
った少数の格子点のレスポンシビリティではなく、低い
次元のマップ上の離間したいくつかの格子点のレスポン
シビリティである場合がある。そのようなマップは、分
類などの目的には有効であるが、そのようなマップ上の
格子点間の補間の解釈が難しいため、この種のマップを
最適化に使用するのは不適切である。また、ＳＯＭによ
って得られるような他の格子点マップには、格子点間の
補間の解釈において同様の難しさがある。
【００２１】自動連想マッピングやＮＬＶＣマッピング
などの非線形ＰＣＡ形マッピングには補間の難しさはな
いが、低次元マップの外観は、通常、初期パラメータの
選択によって決まる。この依存について、例としてＮＬ
ＶＣマッピングを使用して以下に説明する。データ点分
布が適切なマップを得るためには、満足なものが見つか
るまで多くの回数のトライアルが必要であろう。
【００２２】本発明の第２の態様により、前述の複雑さ
を減少させる問題とその他の問題に取り組む。これに関
して、本明細書では、等化直交マッピング（ＥＯＭ:Equ
alized Orthogonal Mapping）と呼ばれる手法を説明す
る。この手法は、第２のカテゴリーに分類され、補間機
能を考慮し初期パラメータへの依存性の減少を念頭に置
いて開発される。
【００２３】ＢＯＭ法は、バックプロバゲーション学習
法によって実現することができる。この方法の詳しい方
程式を後で導出し説明する。また。縮小次元マップを得
る際のＥＯＭの使用例と、ＳＯＭ法、ＮＬＶＣ法との比
較について説明する。さらに、２つの状態についての結
果を示す。あるケースでは、入力データは、表面上は５
次元であるが、実際の性質は２次元である。別のケース
では、マッピングをガソリン混合データの集合体に適用
し、得られたマップを最適化のために使用できることを
示す。
【００２４】本発明の以下の説明は、縮小次元表現が、
表現が視覚化しやすい２次元の場合のマッピングを対象
とするが、本発明は、他の次元にも適していることを理
解されたい。
【００２５】＜発明の要約＞ 本発明により、ニューラル・ネットワークを含む、多次
元パターン・データを次元表現に組織化するシステムが
提供される。ニューラル・ネットワークは、ニューラル
・ノードの層からなる。これらの層は、入力層と出力
層、およびその間に配置された１つまたは複数の隠れ層
を含む。出力層は、共通の内部ネットワーク表現を共有
する第１と第２の非線形ノードからなる。多次元パター
ン・データは、ニューラル・ネットワークの入力層に受
け取られる。このシステムは、ニューラル・ネットワー
クの出力層において、受け取った多次元パターンに対応
する出力信号を生成する。
【００２６】本発明のもう１つの態様によれば、ニュー
ラル・ネットワークの重みの教師あり学習を完成させる
システムをさらに含むように、多次元パターン・データ
の２次元表現への組織化が提供される。
【００２７】本発明のさらに他の態様によれば、ニュー
ラル・ネットワーク内に多次元パターン・データを受け
取る段階と、バックプロパゲーションによって訓練され
たニューラル・ネットワークを介して出力信号を出力す
る段階とを含む、多次元パターン・データを２次元表現
に組織化する方法が提供される。出力信号は、共通の内
部ネットワーク表現を共有する第１と第２の非線形ノー
ドからなる出力層によって生成される。
【００２８】本発明の方法のさらに限定された態様によ
れば、前述の方法を達成するためにニューラル・ネット
ワークの訓練を完成させる段階が提供される。
【００２９】本発明のさらにもう１つの態様によれば、
多次元パターン・データの次元縮小マッピングを行う新
しい手法が提供される。この手法は、非線形ニューロン
を有する従来の単一隠れ層フィードフォワード・ニュー
ラル・ネットワークによるマッピングに適用されるが、
機能評価に使用される従来のネットのように出力を指定
するのではなく、出力の共分散行列を対角行列すなわち
定数×単位行列の形に縮小することによって低次元出力
を等化し直交させるという異なった目標機能をネットワ
ークは有する。このマッピングには属性情報が使用され
ないので、本質的に教師なしの学習手順である。本明細
書で、そのようなマッピングの詳細なバックプロバゲー
ション学習手順を説明する。
【００３０】本発明のもう１つの態様によれば、複雑な
多次元データの大きな集合体を、比較的「位相的に正し
い」な低次元近似で視覚化して、類似の目的を果たす他
の方法と関連する不規則性を減少させ、同時にマッピン
グの計算効率を高く維持する方法が提供される。本明細
書では、意味のある２次元マップを得る際のこの手法の
使用法の例と、自己組織化マッピング（ＳＯＭ）、非線
形分散保存（ＮＬＶＣ）マッピングの手法との比較につ
いて説明する。
【００３１】本発明の利点は、パターン・データの２次
元表現の自動作成を可能にするニューラル・ネットワー
クを提供できることである。
【００３２】本発明のさらにもう１つの利点は、特徴を
人間が見て分類できるようにパターン・データ内にある
関連した特徴を明白な形で分離するパターン・データの
２次元表現を作成できることである。
【００３３】さらに、本発明のもう１つ利点は、従来の
処理ハードウェアを用いて実時間計算を可能にするため
にパターン・データを効率よく組織化するニューラル・
ネットワークを提供できることである。
【００３４】本発明のさらにもう１つの利点は、分散
（variance）を制御することによってパターン・データ
の次元を縮小するシステムを提供できることである。
【００３５】本発明のさらにもう１つの利点は、出力の
分散行列を対角行列すなわち定数×単位行列の形に縮小
することによってパターン・データの次元を縮小するシ
ステムを作成できることである。
【００３６】本発明のさらに他の長所および利点は、以
下の詳細な説明を読み理解することにより当業者には明
らかになる。
【００３７】＜好ましい実施形態の詳細な説明＞ 以下図面を参照するが、図面は本発明の好ましい実施形
態を示す目的であって本発明を制限するものではない。
図１は、部分（ａ）において、自動連想法を示し、一
方、部分（ｂ）は、好ましい実施形態によって提供され
るような次元縮小による非線形分散保存マッピングを示
す。これらの２を別々に説明する。並べて図示したの
は、従前の手法（ａ）とこの好ましい実施形態のアーキ
テクチャとの間のアーキテクチャ上の長所と違いを示す
ためである。
【００３８】部分（ａ）において、ニューラル・ネット
ワーク１０は、入力層１２と出力層１４を有する。部分
（ａ）の図において、入力層１２は、５つのノード２
０、２２、２４、２６、および２８を含み、各ノード
は、関連した入力を有する。また、出力層１４は、５つ
のノード３０、３２、３４、３６および３８からなるよ
うに示されている。入力層１２と出力層１４の各々に示
されたノードの数は、５つに制限されない。これらの層
のノード数は任意（複数）に選択することができ、その
値は同じでなくてもよい。ノードの具体的な数は、用途
に大きく依存する。ニューラル・ネットワーク内に配置
された任意の内部層４０は、２つの内部ノード４２と４
４に狭ばめられている。したがって、提供される全ての
パターン・データが図示の層４０によって集中、即ちネ
ッキングされることが図から理解されよう。
【００３９】次に、好ましい実施形態の部分（ｂ）を参
照すると、ニューラル・ネットワーク１００は、入力層
１０２を含む。入力層１０２は、例示に過ぎないが、５
つの入力ニューロン１１０、１１２、１１４、１１６お
よび１１８として構成された複数の入力を含む。開示し
たニューラル・ネットワーク１００のアーキテクチャ
は、部分（ａ）によって提供された内部層４０と類似の
ものを内部に含まないことを理解されよう。
【００４０】（ｂ）のアーキテクチャは、第１とニュー
ロン１３２と第２のニューロン１３４からなる出力層１
３０を提供する。好ましい実施形態の例として、２つの
ニューロンが、出力層１３０において選択される。この
選択により、パターン・データを２次元的に実現し視覚
化することができる。以下の説明から、好ましい実施形
態の出力層全体が、共通の内部ネットワーク表現を共有
する非線形ノードからなることを理解されよう。（ａ）
の説明と同じように、入力層１０２を構成するノードの
数は、特定の用途とハードウェアの選択によって選択さ
れることを理解されたい。
【００４１】次に、例示として、５次元から２次元への
次元縮小を考える。自動連想法では、図１（ａ）に示し
たようなネットが使用され、このネットは、恒等オペレ
ータ(identity operator)としてはたらくように訓練さ
れる。ネットの出力ベクトルは、常に、入力パターン・
ベクトルとほとんど同じになる。データの固有次元数が
２次元よりも高い場合、ネットは恒等オペレータとは多
少異なったものになることが理解されよう。ネットは、
時として自己教師法（self-supervised manner）と呼ば
れる方法で訓練される。
【００４２】この新しい手法に使用されるネットは、あ
まり複雑ではない。目的は、５次元ではなく２次元の表
現によってできるだけ多くのデータ情報を保存すること
である。２次元表現を計算するためのネットは、図１
（ｂ）に示したものだけであり、２次元表現における分
散が５次元表現の分散とほぼ同じであるという基準で訓
練される。この手法において、出力ノードは非線形であ
り、共通の内部ネットワーク表現を共有することが不可
欠である。
【００４３】｛ｘp｝，ｐ＝１，２，．．．Ｐを、デー
タ・パターン・ベクトルの集合とする。なお、Ｐは、正
の整数として定義され、データ・パターン・ベクトルの
集合は、次の式で与えられる全変動を有する。
【００４４】
【数２９】 ここで、最初、次元Ｓ＝５である。
【００４５】表記＜＞は、示した各成分についての入力
データ・パターン・ベクトルの集合全体の平均を示し
（すなわち、＜ｘi＞は、データ・パターン・ベクトル
の集合全体のｘipの平均値を表す）、ｘipは、入力デー
タ・パターン・ベクトルの集合のｐ番目の構成要素であ
るｘpのｉ番目の成分である。
【００４６】全変動の「大きさ（measure）」が、全変
動の線形関数または非線形関数であることを理解された
い 。
【００４７】図１（ｂ）に示したネットは、同じ組のデ
ータ・パターン・ベクトルの縮小次元表現で計算された
分散ができるだけＶに近くなるように訓練される。訓練
にバックプロパゲーション・アルゴリズムを使用して、
出力ノードの重みを漸進的に変化させる次の式は、通常
と同じである。
【００４８】
【数３０】 ここで、記号はすべて、その通常の意味を有する。
【００４９】Ｏpjは、ｐ番目のデータ・パターンによる
出力層の直前の層のｊ番目のノードからの出力信号であ
り、ηは、効率的に集束させるが発振の発生を防ぐよう
に選択された適切な値の定数であり、δpkは、ｐ番目の
入力データ・パターンについての出力層のｋ番目のノー
ドの出力による誤差Ｅへの奇与に比例する値（すなわ
ち、分散の感度の大きさ）である。
【００５０】このケースと、ニューラル・ネット計算の
通常の教師あり学習タスクとの差は、このケース（すな
わち、シグモイド）では次の式によって与えられるδpk
の式に現れる。
【００５１】
【数３１】
【００５２】式（３）において、Ｖは、訓練用入力デー
タ・パターンの集合について計算した分散であり、鉤括
弧内の二重和により、同じデータの縮小次元の出力表現
についての分散が得られる。学習手順の効果は、元の分
散と縮小次元分散との差をできるだけ最小にしながらデ
ルタ値を小さくすることである。
【００５３】図１の説明から、隠れノードがネットワー
ク１００の領域１５０に表示されることを想起されよ
う。前と同じように、隠れ層ノードについては、そのよ
うなノードの重みを漸進的に改善する式は、次の通りで
ある。
【００５４】
【数３２】 又は
【数３３】 ここで、Ｏpjは、ｐ番目の入力データ・パターンのｊ番
目の層の直前の層のｉ番目のノードについての出力信号
である。
【００５５】「隠れ層」は、 放射式関数アーキテクチ
ャや機能リンクにおいて実施されるような非線形機能変
換層でもよいことを理解されたい。
【００５６】データ・パターンは、パターン空間におけ
るベクトルと見なすことができ、その成分は、それらを
記述するために使用される座標系、すなわちその空間を
張るために使用される基底ベクトルによって値が変化す
る。
【００５７】データ共分散行列のトレースは、事実、パ
ターン空間を張る基底ベクトルの一次変換に関して変化
しない。この手法は、変換が非線形であることを可能に
するが、全変動を保存しようとする。
【００５８】式（３）と式（４Ａ，４Ｂ）で規定された
学習手順においていくつかの簡略化を行うことができ
る。様々なパターンの相対位置に関心があるので、元の
完全次元表現における各特徴の平均値は重要でない。そ
れらの値は、式（３）においてゼロに設定することがで
きる。
【００５９】これにより、結果的に、パターン・ベクト
ルの分布全体が１つの剛体としてそのままずれることに
なり、相対位置の情報は失われない。
【００６０】同様に式（３）において、パターン・ベク
トルの縮小次元分布がゼロ平均となることが前もって適
切に決定される。これにより、学習が進むにつれて常に
変化する平均を計算する多少面倒な段階がなくなる。学
習の条件として平均を設定することにより、相対的分布
全体がずれることになる。
【００６１】式（３）はそのように維持されるが、分散
の制約は、実際に信号強度の制約になる。学習は、全て
のパターン・ベクトルを同じ方法でマッピングする重み
の単一集合を学習し、縮小次元空間内の各特徴値をでき
るだけゼロに近くづけ、さらに全体の信号強度すなわち
（ゼロ平均）分散を保存するように努力することを含
む。
【００６２】更なる理論的研究が進められているが、理
論によってではなく結果によって本発明の実施が動機づ
けされ、正当化されると考えるべきである。いくつかの
典型的な結果を、この考察のこの節と次の節に提示す
る。
【００６３】この節では、３次元データを２次元に縮小
する縮小次元自己組織化の３つの異なる手法の結果を示
す。当然ながら、データが本質的に３次元の場合にはこ
れらの手法を用いることは奇妙である。一方、ほとんど
の場合、本質的な次元は一般に未知であり、したがって
この簡単で十分に制御された練習（exercise）は、新し
い表現の次元数が本質的な次元数よりも少ないときに何
が起きるかに関する洞察を提供する。
【００６４】３次元螺旋に沿った点を「自己組織化され
た」２次元表現で示されると、その表現はどのように見
えるだろうか。すなわち、どの情報が廃棄されどの情報
が保存されるだろうか。
【００６５】図２に、螺旋に沿ったデータ点を示す。図
３に、そのデータの２次元自己組織化したＫ−Ｌ描画を
示し、図４に、自動連想マッピングで得られたものを示
し、図５に、この手法で得られた２次元表現を示す。
【００６６】少なくともこの特定のケースでは、この非
線形分散保存（ＮＬＶＣ）法で得られた縮小次元表現
は、自動連想方法で得られたものに比べて曖昧さが少な
い。
【００６７】この作業は、パターン相互の差に関する情
報をできるだけ多く維持しながら次元縮小を実現する。
Ｋ−Ｌ法、自動連想法、および非線形分散保存法の長所
と短所は、次の通りである。
【００６８】Ｋ−Ｌ変換法 長所−理論的根拠が十分に分かっている。短所−共分散
行列の計算に時間がかかる。次元縮小が大きいときに線
形制約によって情報が失われる。
【００６９】自動連想法 長所−理論的根拠が妥当である。必要は場合は非線形と
することができる。短所−訓練時間が長く、誤解を生じ
るマッピングを行うように過度に訓練されやすい。
【００７０】非線形分散制限法 長所−概念的に妥当で、計算効率が高く、大きな歪を伴
うことなく次元縮小が可能。 短所−手法を一般化し、マッピングが「位相的」に正し
いことを明らかにするために追加の理論的研究が必要
で、計算結果はすべて、順序がある程度非自明的に保存
されるが、現時点よりも正確にすることは難しいことを
示している。
【００７１】文献には、クラスター化または分類の手順
の効率を評価するために様々な調査者が使用したガソリ
ン混合データがある。そのようなデータの例を、表１
（図１１）に示し、この表で、各々のガソリン混合物
は、その５つの成分の量と調査オクタン価によって説明
される。この５次元データの集合体は、このＮＬＶＣ法
を使用して２次元空間上にマッピングされた。得られた
データの集合体は、図６に示したように容易に２次元で
表示して見ることができ、データが意味することを理解
するのに非常に有益である。
【００７２】そのようなグラフは、図６に描かれた線で
示されるように、メモリならびに分類規則表現装置とし
て適切に機能する。図６の線は、高オクタンの混合物を
低オクタンの混合物から分離している。さらに、そのグ
ラフにおいて、混合物のうちの３つが、示した「規則」
に従わないことが容易に分かる。同様の規則違反は、Ｋ
−Ｌ法と自動連想法により得られたマッピングでも観察
されたことは興味深い。
【００７３】元の５次元空間での変化に対する２次元空
間での点の位置の感度は、容易に探索することができ、
そのいくつかの表れを図７に示す。そのような情報は、
様々な異なる組成領域において改良された他の混合物を
考え出す方法を導くことができる。
【００７４】本ＮＬＶＣ次元縮小システムは、また、複
雑な時間依存センサ出力プロファイルを２次元空間内の
点にマッピングするために適切に使用される。さらに、
プロファイルの性質の変化を縮小次元空間内の点の動き
として検出することができる。
【００７５】ある工業設備では、プロセスの状態がセン
サによって監視されており、時間依存センサ出力プロフ
ァイルを使用して、動作が「故障」状態かまたはそれに
近いかどうかに関する情報を提供することができる。こ
の研究では、１つのセンサからのプロファイルがそれぞ
れ、表２（図１２）に示したような５つの特徴のパター
ンに縮小された。そのようなデータの集合体は２つ作成
された。その１つの集合体は、解釈モードを「訓練」
し、もう１つは解釈機構の有用性を試験するものであ
る。
【００７６】各プロファイル・パターンは、ＮＬＶＣマ
ッピングを使用して２次元の点に縮小されており、訓練
セット・プロファイルの集合全体を、図８に示したよう
な単一の２次元グラフで示すことができる。
【００７７】いわゆる「訓練」の動作は、結果として、
２次元空間内の各点について分かっていること、センサ
出力プロファイルを表すその点が、「故障」または「無
故障」状態と関連付けられているかどうかを示すことに
なる。
【００７８】処理したデータについて、プロファイルが
確かに「故障」または「無故障」状態を表していること
が分かる。図８のグラフでは、２種類のプロファイルを
表す点が、確かに、線形ではないがはっきりと分かれ
る。そのような環境では、新しいプロファイルを「故
障」または「無故障」として分類する規則を容易に決め
ることができる。図９に示したように、そのような規則
は、プロファイルの試験セットからの点によって十分に
正しいことが確認された。
【００７９】表３（図１３）に、いくつかの半導体材料
の代表的な４つの結晶構造パラメータの値をリストす
る。また、そのような材料の電子帯における「バンドギ
ャップ」の値をリストする。
【００８０】４特徴結晶構造パターンのＮＬＶＣマッピ
ングにより、図９に示したマップが得られた。低バンド
ギャップ材料は、マップの左上部分の方にあるように見
え、その分布を調べることによって、結晶構造のどの組
合せが低バンドギャップに関係している可能性があるか
に関するヒントが得られる。
【００８１】本システムは、特に理解が容易な２次元表
示に重点をおいて開示されている。３次元表示も人間に
適している。しかし、それよりも高い次元での表示はす
べて、視覚化し「理解」することが困難である。
【００８２】この新しい方法は、特に、計算効率が高
い。実験結果は、強力で魅力的な方式において「位相的
に正しい」ことを示す。
【００８３】本システムは、縮小次元空間に非線形マッ
ピングを行いながら元の分散をすべて保存しようとす
る。前述の方法で得られたマップは、様々な作業に適切
に使用され、対象および対象の進化の時間的履歴の類似
した記述を関連した形で記憶するのに適した視覚的連想
記憶としても使用することができ、その結果、新しい対
象をメモリの領域にマッピングすることにより、気付く
べき他の事柄に関するヒントが提供される。
【００８４】分散に基づく手法では、目的は、データの
分散の多くを保存し、新しい表現でのデータ・パターン
・ベクトルの成分ができるだけ多く相関がないようにす
るデータの縮小次元マッピングを見つけることである。
【００８５】この手法により、興味深い形で特徴マップ
法と類似の結果が得られることが分かる。２次元縮小次
元マッピングにおいて、類似のリサーチ・オクタン価を
有するパターンが連続領域に自動的にマッピングされる
ことが偶然に起こる。クラスターは考慮しない。その代
わりに、かなり一般的なカテゴリー識別規則を容易に作
ることができる。しかしながら、縮小次元マップは、改
良した混合物を考えだす手引きとなる。
【００８６】この方法を複雑なセンサ・データに適用す
ると、この場合も、故障状態を表すパターンが、「無故
障」状態を表すパターンと異なる２次元マップの明らか
に自己組織化された領域内にあることが分かる。
【００８７】前述のケースでは、カテゴリーまたは特性
値がパターン記述と強く関連付けられていなければなら
なかった。縮小次元マッピングは、その環境をより明ら
かにし容易に視覚化されるようにするだけである。さら
に別のケースでは、この同じ手法は、多数の標本を含ま
ないという意味でまばらで、また多くの特徴値が欠けて
いるという意味でまばらなデータの集合体に適用され、
その結果実際にこの訓練に小さい特徴のサブセットしか
利用できない。データは、半導体の結晶構造パラメータ
の集合体であり、結晶構造「空間」のある領域が低バン
ドギャップと関連しているかどうかを確認することに関
心があった。縮小した２次元マップは、さらに詳しい探
索にどの領域が役立つかのヒントを提供した。
【００８８】次に、図１４〜図２２を参照して、本発明
の第２の態様すなわち等化直交マッピング（ＥＯＭ））
について説明する。ＥＯＭの意図は、データの位相をで
きるだけ多く保存するマッピングにより、データ・パタ
ーン間のパターン間の関係を見つけて示すことである。
これは、学習プロセスにおいて出力の分散行列の要素の
値を制限することによって達成される。訓練の終わり
に、出力の分散行列は、定数×単位行列の形に縮小され
る。これにより、縮小次元が等しく重要で互いに直交す
ることが保証される。
【００８９】図１４に示したように、ＥＯＭ法は、１つ
の隠れ層を含む従来の３層フィードフォワード・ネット
Ｎによって達成することができる。ネットＮは、入力
層、隠れ層、および出力層を含む等化直交マッピングの
ためのネットワーク構造を示す。ノード間の線は、隣接
した層のノード間の「リンク」を表す。前述のように、
「隠れ層」は、機能的リンクや放射式アーキテクチャで
実施されるような非線形機能的変換層でもよい。
【００９０】ネットＮは、バックプロバゲーション・ア
ルゴリズムを使用して訓練される。最初に、ネットの重
みが、区間［−Ｗ、Ｗ］内でランダムに生成される。こ
れらの重みは、学習プロセスによって繰り返し調整され
る。
【００９１】｛ｘp｝、ｐ＝１，２，．．．，Ｐを、Ｓ
次元の入力データ・パターン・ベクトルの集合とする。
これらのデータ・パターン・ベクトルの全ての次元の平
均分散は、次の式で与えられる。
【００９２】
【数３４】
【００９３】ここで、「＜＞」は、示した各成分につい
ての入力データ・パターン・ベクトルの全ての平均を示
し（すなわち、＜ｘi＞は、データ・パターン・ベクト
ルの集合から求めたｘipの平均値を示す）、ｘipは、デ
ータ・パターン・ベクトルの集合のｐ番目の構成要素で
あるｘpのｉ番目の成分である。
【００９４】考察の一般性を維持するために、縮小次元
表現においてＫの次元があると仮定する。したがって、
出力の共分散行列は、ＫｘＫ行列である。出力（すなわ
ち、出力信号）の分散行列の各要素は、次のように表す
ことができる。
【００９５】
【数３５】
【００９６】ここで、 ｐ＝１，２，．．．，Ｐ Ｏkipは、ｐ番目の入力データ・パターン・ベクトルの
出力層のｋ1番目のノードの出力信号である。◎ Ｏk2pは、ｐ番目の入力データ・パターン・ベクトルの
出力層のｋ2番目のノードの出力信号である。◎ ＜Ｏk1＞は、入力データ・パターン・ベクトルの集合か
ら求めたＯk1pの平均である。 ＜Ｏk2＞は、入力データ・パターン・ベクトルの集合か
ら求めたＯk2pの平均である。 ｋ1＝１〜Ｋ ｋ2＝１〜Ｋ Ｋは、縮小次元表現の次元数である。 ＜＞は、示された各成分ごとの入力データ・パターン・
ベクトルの集合から求めた平均を示す。
【００９７】分散行列の対称性のため、行列の上側三角
形内の項を検討するだけでよい。目的は、次の式で示さ
れる誤差Ｅを最小にすることである。
【００９８】
【数３６】 ここで、Ｅk1k2は、要素が主対角線上にあるかどうかに
よって、次の式で与えられる。
【００９９】
【数３７】
【０１００】ｒkkが、訓練速度を高める効果を有する正
の定数であり、ｒk1k2が、訓練速度を高める効果を有す
る正の定数であることを理解されたい。さらに、上記の
誤差関数を最小にすることによって、出力の分散行列
が、定数×対角行列の望ましい形になり、定数×単位行
列が実施する上でのオプションであることを理解された
い。
【０１０１】定数Ｖout,kkは、平均入力分散Ｖinに比例
することが目標とされる。式（８）の定数ｒは、通常１
よりも小さい緩和因子（relaxation factor）である。
これは、各次元の出力分散を減少させることによって訓
練をさらに高速化するために導入される。主として二次
式項からの情報からなる分散が、システムのエネルギー
に類似しているため、したがって分散の減少は、各次元
のエネルギー要件の緩和に対応する。これにより、ネッ
トが要求される許容誤差を達成するのに必要な繰返し数
が減少する。また、分散がデータのパターン間の関係を
捉えるため、この方法は、各出力次元の分散を入力分散
に比例させることによって、できるだけ多くの相対位置
情報を保存しようとする。指定された誤差目標が入力分
散の値に依存しなくなるように、正規化のために分母
（denominator）が導入される。
【０１０２】重みを対話式に更新する式は、その重みに
関する誤差Ｅの導関数をとることによって得ることがで
きる。ｋ番目とｊ番目の層の間の重みは、隠れ（ｊ番
目）層と出力（ｋ番目）層の両方にシグモイドニューロ
ンを使用することによって、次の式で与えられる。
【０１０３】
【数３８】
【０１０４】ここで、Δｗkj,1は、対角線上の項からの
奇与率であり、Δｗkj,2は、ｋ番目の行の対角線上にな
い項からの奇与であり、Δｗkj,3は、ｋ番目の列の対角
線上にないの項からの寄与率である。これらの３つの項
の式は、次の通りである。
【０１０５】
【数３９】
【０１０６】ここで、δkpは、ｐ番目の入力データ・パ
ターン・ベクトルについての出力層のｋ番目ノードの出
力による誤差Ｅへの寄与率に比例した値であり、
δkp,1、δkp,2、δkp,3は、δkpの構成要素である。
（シグモイド関数についての）δkp,1、δkp,2、δkp,3
は、次の式でて与えられる。
【０１０７】
【数４０】
【０１０８】ここで、Ｏkpは、ｐ番目の入力データ・パ
ターン・ベクトルについての出力層におけるｋ番目のノ
ードからの出力信号であり、＜Ｏkp＞は、入力データ・
パターン・ベクトルの集合から求めたＯkpの平均であ
り、Ｏjpは、ｐ番目の入力データ・パターン・ベクトル
についての出力層の直前の層におけるｉ番目のノードか
らの出力信号である。
【０１０９】表記を簡略化するために、式（１３）、
（１４）および（１５）を組み合わせて、次のように表
す。
【０１１０】
【数４１】 この場合、式（７）を、よく知られた一般化されたデル
タ規則の形で書き直すことができる。
【０１１１】
【数４２】 ｊ番目とｉ番目の層の間の重みへの誤差のさらなるバッ
クプロバゲーションは、従来のネットと同じであり、式
は、次の通りである。
【０１１２】
【数４３】
【０１１３】ここで、δjpは、次の式で与えられる。
【数４４】
【０１１４】ＥＯＭ法は、ＮＬＶＣマッピング法から発
展させたものである。ＮＬＶＣマッピングでは、学習の
目的は、データ・パターンの記述内の全変動を保存する
ことであり、すなわちネットの重みを学習し、その結
果、出力の全変動と入力の全変動との差が一定の規定さ
れた制限の範囲内になり、ＮＬＶＣの誤差関数は、単に
次のような式になる。
【０１１５】
【数４５】
【０１１６】ここで、Ｖoutは、次の式で与えられる。
【数４６】
【０１１７】また、Ｖinは、式（５）と同じである。全
く同じネット構造とバックプロバゲーション学習アルゴ
リズムを使用して、パラメータδkpは、次の式で与えら
れる。
【０１１８】
【数４７】
【０１１９】ネットワークの重みを繰り返し更新する式
は、式（１７）〜（１９）と同じ形である。
【０１２０】ＮＬＶＣ法は、きわめて計算効率が高く、
得られる縮小次元マップは、分類、類別、監視、最適化
などの用途に有用なことが分かった。
【０１２１】ＮＬＶＣ法の効率が高い１つの理由は、分
散保存の制約がやや緩いことである。実際に、式（２
２）で与えられる制約は、式（１３）だけのものよりも
弱い。しかし、これには副次的作用もある。異なる乱数
シードによってランダムに生成された異なる初期重みの
集合がネットに与えられた場合、同じ入力に得られるマ
ップは、まったく異なっているように見え、マップ上の
点の分布が、縮小次元間の強い相関を有する不均一なも
のとなることがある。点の分布が不均一なマップからで
も定性的情報を得ることはできるが、通常、点が適切に
分布したマップを得るためにいくつかの試みを行う必要
がある。
【０１２２】縮小次元間の相関を減少させる適切な方法
は、マッピングの学習中にネットの出力を直交させるこ
とである。この目的を達成するためには、開始する固有
の点（natural point）が、ネットの出力の分散行列の
要素の値に制約を加えることである。対角線上にないの
全てのエントリが消えた場合、出力は互いに直角であ
る。対角線上にないの全ての項がゼロに減少した場合、
分散行列の主対角線上の全ての要素を等しい値に設定す
ることによって、簡単に全ての縮小次元を同じように優
勢にすることができる。これは、分散行列を等しい固有
値にし、各縮小次元の分散を同じにする。マッピング中
にできるだけ多くの位相情報を保存するために、緩和因
子により全ての入力次元についての入力分散の平均に関
連付けられた値に主対角線上の各要素を割り当てること
ができる。これは、まさにＥＯＭ法が行うことである。
【０１２３】この手法は、ＮＬＶＣ法に比べて、学習手
順にかなり強い制約をかける。しかし、効率の低下はか
なり小さい。たとえば、縮小次元が、視覚的表示に最も
有効な２次元（Ｋ＝２）のとき、出力の分散行列は２ｘ
２行列であり、両方の手法によって計算しなければなら
ない対角線上の項が２つあるのに対して、計算しなけれ
ばならない対角線上にない項は１つしかない。訓練の各
繰返しごとに、これにより、ＥＯＭを使用するΔｗkjの
計算に、ＮＬＶＣを使用する場合の約５０％のオーバヘ
ッドが導入される。Δｗjiの計算は、両方の手法で同じ
である。
【０１２４】次に、図１５〜図２２を参照して、ＳＯＭ
およびＮＬＶＣと比較したＥＯＭの使用法の例を説明す
る。ＥＯＭとＮＬＶＣでは、隠れ層と出力層の両方にシ
グモイドニューロンが使用される。得られたマップを視
覚化するために、出力ニューロンの数を２に選択した。
実際の多次元データの場合は、固有次元が任意の単純な
物理量に対応しないことがあり、データ点の相対位置に
のみ関心があるため、２つの縮小次元の絶対目盛は重要
ではない。したがって、出力は、５１２ｘ５１２ピクセ
ルの像に線形にマッピングされ、２つの軸にラベルは付
けられていない。
【０１２５】理論的解は知られているため、最初の試験
として、２つの固有次元を有する以下の単純な５次元関
数を使用する。
【０１２６】
【数４８】 式（２３）において、５つの変数はすべて独立している
わけではなく、次のように関連している。
【０１２７】ｘ１＝ｔ１，ｘ２＝2ｔ１−1，ｘ３＝1−
ｔ１，ｘ４＝ｔ２，ｘ５＝1−2ｔ２ ここで、ｔ1とｔ2は、関数の２つの固有次元を表し、区
間［０，１］の範囲内にある。１００のデータ・パター
ンを所定の範囲内でランダムに生成し、生データセット
として使用した。
【０１２８】図１５に、２つの軸としてｔ1とｔ2を使用
して、分析的に生成した２次元マップを示す。各ラベル
の四角形内に示したグレー・レベルは、（ｔ1，ｔ2）の
対応する対のｚ値を表す。これらのデータ点のｚ値の範
囲は２５６のグレー・レベルに線形にマッピングされ、
白は最小を表し、黒は最大を表す。
【０１２９】図１６〜図１８は、ＳＯＭ、ＮＬＶＣ法、
およびＥＯＭ法のマッピング結果を示す。同じ４つの乱
数シードによって４つのマップが得られる。ＳＯＭの場
合は、２０ｘ２０の格子が使用され、近傍（横方向の刺
激）関数としてガウス関数を使用した。マッピングの学
習中に、学習速度因子α（ｔ）は、０．９から０に直線
的に減少し、近傍カーネルσ（ｔ）の幅は、マップの辺
の長さの半分から格子点間の１単位長に直線的に減少す
る。
【０１３０】ＮＬＶＣとＥＯＭの場合は、隠れニューロ
ンの数が１５であった。初期ネットワーク重みパラメー
タは、これらの２つの方法で同じである。ＥＯＭマップ
では、緩和因子γが０．１になるように選択された。
【０１３１】図１６Ａ、１６Ｂ、１６Ｃおよび１６Ｄ
は、ＳＯＭによって得られた式（２３）に示された関数
の縮小次元マップを示し、ここで、それぞれシード＝
７、シード＝８、シード＝４、シード＝３の場合であ
る。「シード」は、初期基準ベクトルを生成するために
使用されるパラメータである。
【０１３２】図１７Ａ、１７Ｂ、１７Ｃおよび１７Ｄ
は、ＮＬＶＣ法によって得られた式（２３）に示された
関数の縮小次元マップを示し、ここで、それぞれシード
＝７、シード＝８、シード＝４、シード＝３の場合であ
る。「シード」は、初期ネットワーク重みを生成するた
めに使用されるパラメータである。
【０１３３】図１８Ａ、１８Ｂ、１８Ｃおよび１８Ｄ
は、ＥＯＭ法によって得られた式（２３）に示した関数
の縮小次元マップを示し、ここで、それぞれシード＝
７、シード＝８、シード＝４、シード＝３の場合であ
る。「シード」は、初期ネットワーク重みを生成するた
めに使用されるパラメータである。
【０１３４】ＳＯＭによって得られたマップでは黒い点
と白い点が分離する傾向があるが、これらのマップは、
ほとんど理論マップ(theoretical map)のようには見え
ず、互いに似ているようにも見えないことを理解された
い。データ点がマップ上の格子点上に制限されるため、
分析的に生成されたマップ上に示されたようなデータ点
の細かい相対位置に関する情報は失われる。乱数シード
によって、得られるマップが異なって見える。しかしな
がら、ＳＯＭマップは、通常、マップ領域の適切な有効
範囲（coverage）を与えるが、これは、格子点に制限さ
れる。
【０１３５】ＮＬＶＣ法によって得られた４つのマップ
の見かけ上の違いから、初期重みの選択とマッピングの
結果との間に強い依存性があることが分かる。しかしな
がら、４つの各々のマップと分析的に生成したマップを
厳密に比較すると、４つのマップが見かけ上異なるにも
かかわらず、それらのマップを、回転と反射と圧縮の組
合せによって分析的に生成されたマップから変換できる
ことが分かる。すなわち、これらのマップにおいて、分
析的に生成されたマップに比べてデータ点の分布は全体
として様々な程度に変形されるが、これらのマップにデ
ータ点の相対位置は保存されているようである。換言す
ると、データ点の位相は、これらのマップになんらかの
局所的な形で保存されるようである。しかしながら、図
１７Ｂ、図１７Ｃ、図１７Ｄのマップに示され、図１７
Ａにはこれらの図よりも低い程度で示された対角線ベル
ト状分布は、２つの縮小次元間の強い相関を暗黙的に示
す。その結果、これらのマップは、縮小次元の全能力を
利用することができない。これらのマップは、データ点
の相対位置に関して位相的に正確であるが、図１７Ｄの
マップは事実上役に立たず、図１７Ｂと図１７Ｃのマッ
プは、データ点の一部の定性的記述にしか使用できな
い。図１７Ａのマップだけが、最適化のような定量的作
業に使用できるデータ点の比較的良好な分布を示す。こ
れらの４つのマップは、マップを位相的に正確に維持す
るだけでなく、マッピングの不規則性を減少させ、縮小
次元を十分に利用できるより良いマッピング手法の必要
性を示すよい例となる。
【０１３６】一方、ＥＯＭ法によって得られた４つのマ
ップは、それら相互の間、及び分析的に生成されたマッ
プ対して著しい類似性を示す。像を適合させるために自
動的に行われた倍率の違い、回転、及び反射は別とし
て、４つのマップはすべて、分析的に生成されたマップ
と本質的に等しい。これは、様々な初期条件を扱う際の
ＥＯＭ法の強固さを示す。注意すべき１つの小さいこと
は、これらのマップの回転角度が約４５°か０°である
ことである。理論的にはデータ点の分布は方形領域を形
成し、そのような２つの角度の方形が２つの次元を等し
く優勢にするため、この観測によって、ＥＯＭ法が縮小
次元を最大限に利用するという目標を達成できることが
あらためて保証される。
【０１３７】計算効率に関しては、乱数シードとして７
を使用するケースが、実験的比較の例として使用され
る。ＥＯＭ法は、１７８回の繰り返しで集束するために
最大６秒かかる。ＮＬＶＣ法は、１２回の繰り返しで集
束するため最大２秒かかり、ＳＯＭ法は、１００回の繰
り返しに１１７秒かかる。ＳＯＭに対しての効率改善は
非常に大きい。ＥＯＭは、個別のＮＬＶＣの実行よりも
長くかかるが、ＮＬＶＣの最初の数回の試みで満足でき
るマップが得られない場合は勝利者となることがある。
【０１３８】文献にガソリン混合データの集合体があ
り、属性が全て分かっているもののサブセットを図１１
の表に示す。このデータの集合体は、自動連想法とＮＬ
ＶＣ法の両方を使用した２次元への次元縮小を行った場
合、１００よりも大きいオクタン価のパターンと１００
よりも小さいオクタン価のパターンの２つのほとんど別
個の領域に「自己組織化」することを示していた。
【０１３９】図１９Ａ〜図１９Ｄは、それぞれシード＝
７、シード＝８、シード＝４、シード＝３の場合におけ
る、ＳＯＭによって得られた図１１の表に示したガソリ
ン混合データの縮小次元マップを示す。図２０Ａ〜図２
０Ｄは、それぞれシード＝７、シード＝８、シード＝
４、シード＝３の場合における、ＮＬＶＣ法によって得
られた図１１の表に示したガソリン混合データの縮小次
元マップを示す。 図２１Ａ〜図２１Ｄは、それぞれシ
ード＝７、シード＝８、シード＝４、シード＝３の場合
における、ＥＯＭ法によって得られた図１１の表に示し
たガソリン混合データの縮小次元マップを示す。図２２
Ａと図２２Ｂは、高オクタン価の６つのガソリン混合デ
ータ・パターンに基づいた縮小次元マップを示す。図２
２Ａは、ＥＯＭ法によって得られた６つのパターンのマ
ップを示し、図２２Ｂは、その領域のモデル値を示す。
【０１４０】ＳＯＭの場合、１０ｘ１０格子が使用さ
れ、選択肢α（ｔ）およびσ（ｔ）は前述のものと同じ
であった。ＮＬＶＣとＥＯＭでは、縮小次元マップを得
るためにまったく同じネット・アーキテクチャを使用し
た。乱数シードも同じものを使用した。図１９〜図２１
は、ＳＯＭ、ＮＬＶＣ法、およびＥＯＭ法のマッピング
の結果を示す。各ラベルの四角形内のグレー・レベル
は、そのパターンのオクタン価を示し、オクタン価が高
いほど明るくなる。パターンが２６しかないため、パタ
ーン番号も示す。
【０１４１】この場合も、ＳＯＭマップは、オクタン価
に基づいてデータ点が多少分離していることを示し、図
１９Ａのマップが最良の結果を提供している。この場合
も、マップがまったく異なるため、初期パラメータへの
依存は明らかである。
【０１４２】ＮＬＶＣマップの場合も、相関関係がある
ことを示すデータ点のベルト状分布を示す。しかしそれ
にもかかわらず、４つの全てのマップは、マップ領域の
妥当な有効範囲を示しており、これらは少なくとも定性
的な考察のために利用できる。ラベルの四角形のグレー
・レベルを調べることにより、４つの全てのマップが、
明るい点と暗い点が多少分離していることが分かる。な
お、図２０Ｂのマップが最良の結果を提供している。こ
れは、様々なマップを使用する前のＮＬＶＣの結果と一
致する。
【０１４３】ＥＯＭマップは、予想通り、マップ領域の
より良い有効範囲を示す。高オクタン・データ点と低オ
クタン・データ点が分離していることは、これらのマッ
プ上でも明らかである。しかしながら、ＮＬＶＣ法とＥ
ＯＭ法の両方を使用して得られたマップでは、これらの
４つのマップ内のデータ点の相対位置が、特にマップに
示されたように互いに近い点の場合には、数学的な例の
場合と同じに維持されず、ＥＯＭマップはＮＬＶＣマッ
プよりも少ない変動を示すことは明らかである。これは
しかし、これらのマップが、データセットの位相を保存
できなかったことを意味するのではなく、データセット
の固有次元が実際に２よりも高いことを示す。１つの２
次元マップでは、それよりも高い固有次元のデータセッ
トの全ての位相情報を示すことができないため、各々の
マップはそれぞれ異なる「角度」からの投影だけを表
す。これは、一部分の位相を示すために３方からの投影
を必要とする部分の青写真と似ている。しかし、これら
の次元縮小マップでは投影プロセスは非線形のものであ
る。
【０１４４】ＥＯＭ法は、２つの固有次元を有するデー
タについてはマップ不変性を本質的に維持することが数
学的な例によって実証されているため、様々な初期重み
から得られたマップ内の回転と反射以外の変化は、デー
タセットの固有次元がマップの次元よりも高いことを示
している。しかしながら、いくつかの変化が明らかな場
合でも、そのような変化が完全に支配的でない場合は、
得られたマップが必ずしも無駄にならない。データセッ
トの様々な固有次元が同じように重要ではないことがあ
るため、多くの情報を集めることができる。これは、ま
さに、ガソリン混合データのケースである。ＥＯＭ法に
よって得られた４つのマップを比較すると、高オクタン
価のパターン２、３、１３、１４、１６および２２が、
４つ全てのマップにおいて別のグループを作ることが分
かる。さらに、パターン１３以外の上記の全てのパター
ンは、マップの縁に少なくとも一回現われる。これは、
それまでの最も高いオクタン価を示すパターン１３が、
５つの高いオクタン価パターンによって取り囲まれ、こ
の領域にさらに高いオクタン価を持つ混合物が発見され
るであろうことを示す。これは、最初のネットワーク・
パラメータによるひずみによりＮＬＶＣマップではあま
り明らかではない。
【０１４５】これらの６つのパターンは集合の残りの部
分と分離され、ＥＯＭマップがそのパターンのために生
成された。これを図２２Ａに示す。オクタンの範囲に対
する濃さの独立したマッピングにより、６つのパターン
の正確な明暗の度合いは図２１のものと異なる。マップ
は、実際に、パターン１３が他の５つのパターンによっ
て囲まれていることを示す。
【０１４６】機能的リンク・ネットのランダム・ベクト
ル・バージョンを使用して、２次元関数のモデルを学習
した。このモデルは、図２２Ａに示した領域におけるオ
クタン価を予測するために使用された。この結果を図２
２Ｂに示す。この図は、さらに高いオクタン価の点が、
次の場所にあることを示す。 ｄ1＝８５．５１，ｄ2＝１７３．５． これに対応する予想オクタン価は、次の通りである。 ｚ＝１０２．４ 別のランダム・ベクトル機能的リンク・ネットによっ
て、値（ｄ1、ｄ2）を元の５次元空間に逆にマッピング
することができる。結果は、次の通りである。 ｘ1＝0.226、ｘ2＝0.096、ｘ3＝0.058、ｘ4＝0.022、ｘ
5＝0.599 ネットワーク・モデルの構成に使用可能なパターンの数
が制限されているため、上記の結果は正確な予測を提供
するものではなく、将来の組成決定に役立つものであ
る。
【０１４７】本発明は、多次元データ・パターンを視覚
化するのに役立つ位相的に正確な縮小次元マップを得る
新しくかつ独特な手法を提供する。この手法は、類似の
目的を有する他の手法で問題となる、初期ネットワーク
重みの選択の違いから生じる得られるマップ内の不規則
性を減少できることが実証された。さらに、この手法
は、異なる初期重みを選択することによって縮小次元マ
ップを使用して元のデータセットを十分に示すことがで
きるかどうかを容易に示すことができる。この手法によ
って得られたマップは、マップ領域を十分に利用し、様
々な用途において、類似の目的を果たす他の手法を使用
することによって得られるマップに置き換えることがで
きる。
【０１４８】本発明を好ましい実施形態に関して説明し
た。本明細書を読みまた理解することによって修正およ
び変更を行い得ることは明らかである。添付の請求の範
囲またはその均等の範囲内に含まれる限り、そのような
修正および変更は全て本発明に包含される。 ［図面の簡単な説明］ 本発明は、いくつかの部分および部分の配列において物
理的形態を取ることができ、その好ましい実施形態およ
び方法は、本明細書に詳細に記載され明細書の一部を構
成する添付図面に示される。
【図１】 本発明の好ましい実施形態によって使用され
る次元縮小による本非線形分散保存（ＮＬＶＣ）マッピ
ングと対比させて従前の自動連想ネットワークを示す。
【図２】 ８１の点でプロットした螺旋の２つの区間の
３次元グラフを示す。
【図３】 螺旋のカルフーネンレーブ（Ｋ−Ｌ）変換の
２次元表現を示す。
【図４】 自動連想マッピングによる螺旋の２次元表現
を示す。
【図５】 非線形分散保存マッピングによる螺旋の２次
元表現を示す。
【図６】 非線形分散保存マッピングによるガソリン混
合データの２次元表現を示す。
【図７】 イソペンタン、接触分解ガソリン、および改
質油の成分レベルに対する混合物の位置の感度を示す。
【図８】 非線形分散保存マッピングによるセンサ・デ
ータの２次元表現を示す。
【図９】 「無故障」から「故障」までを監視する連続
センサ・プロファイルのトレースを示す。
【図１０】 非線形分散保存マッピングによるバンドギ
ャップ・データの２次元表現を提供する。
【図１１】 ベンチマーク・ガソリン混合データの表を
示す。
【図１２】 時間依存センサ・データ・プロファイルの
表を示す。
【図１３】 半導体結晶構造パラメータとバンドギャッ
プの表を提供す。
【図１４】 等化直交マッピング（ＥＯＭ）のためのネ
ットワーク構造を示す。
【図１５】 ２つの固有次元を有する５次元関数の解を
提供する式の理論的２次元マップを示す。
【図１６Ａ〜図１６Ｄ】 自己組織化マッピング（ＳＯ
Ｍ）によって得られた５次元関数の縮小次元マップを２
つの固有次元で示す。
【図１７Ａ〜図１７Ｄ】 非線形分散保存（ＮＬＶＣ）
マッピングによって得られた、同じ５次元関数の縮小次
元マップを示す。
【図１８Ａ〜図１８Ｄ】 等化直交マッピング（ＥＯ
Ｍ）によって得られた同じ５次元関数の縮小次元マップ
を示す。
【図１９Ａ〜図１９Ｄ】 ＳＯＭによって得られた、図
１１に示したガソリン混合データの縮小次元マップを示
す。
【図２０Ａ〜図２０Ｄ】 ＮＬＶＣによって得られた、
図１１に示したガソリン混合データの縮小次元マップを
示す。
【図２１Ａ〜図２１Ｄ】 ＥＯＭによって得られた、図
１１に示したガソリン混合データの縮小次元マップを示
す。
【図２２Ａ】 ＥＯＭによって得られた６つのパターン
の縮小次元マップを示す。
【図２２Ｂ】 図２２Ａに示した領域のモデル値を示
す。
フロントページの続き (72)発明者 モン，ズゥオ アメリカ合衆国・オハイオ州 44106・ クリーブランド・ヘスラー ロード 11415 (56)参考文献 ＹＯＨ−ＨＡＮ ＰＡＯ， ｅｔ．ａ ｌ．，”ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＰＡＴＴＥＲＮ ＤＡＴＡ ＴＨ ＲＯＵＧＨ ＬＥＡＲＮＩＮＧ ＯＦ ＮＯＮ−ＬＩＮＥＡＲ ＶＡＲＩＡＮＣ Ｅ−ＣＯＮＳＥＲＶＩＮＧ ＤＩＭＥＮ ＳＩＯＮ・・・”，ＰＡＴＴＥＲＮ Ｒ ＥＣＯＧＮＩＴＩＯＮ，1997年10月，Ｖ ｏｌ．30，Ｎｏ．10，ｐｐ．1705− 1717，ＩＳＳＮ：0031−3203，ＪＳＴ資 料番号：Ｄ0611Ａ 中川聖一・他，「固定長セグメントの 統計量を用いたＨＭＭによる音節認 識」，電子情報通信学会論文誌，日本, 社団法人電子情報通信学会，1992年 ５ 月25日，Ｖｏｌ．Ｊ75−Ｄ−ＩＩ， Ｎ ｏ．５，ｐｐ．843−851 宮本泰夫・他，「色彩恒常現象におけ るＤｅｃｏｒｒｅｌａｔｉｏｎの機能的 意義」，電子情報通信学会技術研究報 告，日本，社団法人電子情報通信学会, 1992年 ３月18日，Ｖｏｌ．91， Ｎ ｏ．529（ＮＣ91−98〜131），ｐｐ．51 −58 増田一・他，「ＫＬ変換用３層構造ニ ューラルネットワーク」，電子情報通信 学会論文誌，日本，社団法人電子情報通 信学会，1994年 ２月25日，Ｖｏｌ．Ｊ 77−Ｄ−ＩＩ， Ｎｏ，２，ｐｐ．397 −404 渡辺一央・他，「ＫＬ変換用単位パー セプトロンの収束性に関する理論的考 察」，電子情報通信学会論文誌，日本, 社団法人電子情報通信学会，1992年11月 25日，Ｖｏｌ．Ｊ75−Ｄ−ＩＩ， Ｎ ｏ．11，ｐｐ．1933−1939 加藤和範・他，「選択的記憶強化を備 えたパターン情報の圧縮・再生」，電子 情報通信学会技術研究報告，日本，社団 法人電子情報通信学会，1991年 ３月19 日，Ｖｏｌ．90， Ｎｏ．484（ＮＣ90 −112〜141），ｐｐ．１−６ Ａｂｂａｓ， Ｈ．Ｍ．， ｅｔ．ａ ｌ．，”Ａ ｎｅｕｒａｌ ｍｏｄｅｌ ｆｏｒ ａｄａｐｔｉｖｅ Ｋａｒｈ ｕｎｅｎ Ｌｏｅｖｅ ｔｒａｎｓｆｏ ｒｍａｔｉｏｎ（ＫＬＴ）”，Ｐｒｏ ｃ． ｏｆ Ｉｎｔ． Ｊｏｉｎｔ Ｃ ｏｎｆ． ｏｎ Ｎｅｕｒａｌ Ｎｅｔ ｗｏｒｋｓ 1992（ＩＪＣＮＮ’92）, 1992年 ６月，Ｖｏｌ．２，ｐｐ．975 −980，ＩＳＢＮ：０−7803−0559−０ Ｋｕｎｇ， Ｓ．Ｙ．， ｅｔ．ａ ｌ．，”Ａ ｎｅｕｒａｌ ｎｅｔｗｏ ｒｋ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉ ｔｈｍ ｆｏｒ ａｄａｐｔｉｖｅ ｐ ｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ｅｘｔｒａｃｔｉｏｎ（ＡＰＥ Ｘ）”，Ｐｒｏｃ． ｏｆ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃ ｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｓｉｇｎａ ｌ Ｐｒｏｃｅｓｓｉｎｇ 1990（ＩＣ ＡＳＳＰ−90），1990年 ４月，Ｖｏ ｌ．２，ｐｐ．861−864 小嶋徹也・他，「ボルツマンマシンの 学習と連想記憶」，電子情報通信学会論 文誌，日本，社団法人電子情報通信学 会，1993年 ９月25日，Ｖｏｌ．Ｊ76− Ｄ−ＩＩ， Ｎｏ．９，ｐｐ．2102− 2108 孫方・他，「特徴ベクトルの分割によ る文字認識の高速化」，電子情報通信学 会技術研究報告，日本，社団法人電子情 報通信学会，1997年 ７月25日，Ｖｏ ｌ．97， Ｎｏ．203（ＩＥ97−41〜 63），ｐｐ．87−94 (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 1/00 - 7/08 ＪＩＣＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁) ＩＮＳＰＥＣ（ＤＩＡＬＯＧ)

Claims (16)

    (57)【特許請求の範囲】
  1. 【請求項１】 多次元パターン・データを縮小次元表現
    に組織化するシステムであって、 複数の入力ノードからなる入力層と、隠れ層と、入力ノ
    ードの数よりも数が少ない複数の非線形出力ノードから
    なる出力層とを含むノードの複数の層からなるニューラ
    ル・ネットワークと、 ニューラル・ネットワークの入力層に多次元パターン・
    データを受け取る受取り手段と、 ニューラル・ネットワークの出力層の各出力ノードごと
    に出力信号を生成するのであって、前記出力信号は、受
    け取った多次元パターン・データの縮小次元表現を提供
    する出力ノードのそれぞれに対して生成される出力手段
    と、 ニューラル・ネットワークの訓練を完成させる訓練手段
    とを含み、訓練手段が、出力信号の分散行列を対角行列
    の形に減少させることによって出力ノードの縮小次元を
    表現した出力信号を等化し直交させる手段を含むシステ
    ム。
  2. 【請求項２】 前記訓練手段が、バックプロバゲーショ
    ンを使用して隣り合った層のノード間のリンクの重みを
    繰り返し更新する請求項１に記載のシステム。
  3. 【請求項３】 前記重みが、初期値として、区間（Ｗ，
    −Ｗ）でランダムに生成される請求項２に記載のシステ
    ム。
  4. 【請求項４】 多次元パターン・データの全ての次元の
    平均化された分散が、次の式で表され、 【数１】 出力ノードの出力信号の共分散行列の要素が、次の式に
    よって定義され、 【数２】 ここで、ｐ＝１，２，．．．Ｐであり、 Ｏk1pは、ｐ番目の入力データ・パターン・ベクトルの
    出力層のｋ1番目のノードの出力信号であり、 Ｏk2pは、ｐ番目の入力データ・パターン・ベクトルの
    出力層のｋ2番目のノードの出力信号であり、 ＜Ｏk1＞は、入力データ・パターン・ベクトルの集合か
    ら求めたＯk1pの平均であり、 ＜Ｏk2＞は、入力データ・パターン・ベクトルの集合か
    ら求めたＯk2pの平均であり、 ｋ1＝１〜Ｋであり、 ｋ2＝１〜Ｋであり、 Ｋは、縮小次元表現での次元数であり、 ＜＞は、示された各成分に関して入力データ・パターン
    ・ベクトルの集合から求めた平均を示す請求項３に記載
    のシステム。
  5. 【請求項５】 隠れ層と出力層の間の重みΔｗkjが、次
    の式に従って繰り返し更新され、 【数３】 ここで、ηは、効率の高い集束を実現するが発振を回避
    するように選択された適切な値の定数であり、 Ｏpは、ｐ番目の入力データ・パターン・ベクトルによ
    り出力層の直前の層内のｊ番目のノードからの出力信号
    であり、 Ｅは、次の式で表される誤差であり、 【数４】 ここで、ｋ1＝ｋ2＝ｋ、ｋ＝１，．．．，Ｋであり、ｒ
    kkは、訓練速度を高める効果を有する正の定数であり、 【数５】 ここで、ｋ2＞ｋ1、ｋ1＝１，．．．，Ｋ−１、ｋ2＝ｋ
    1＋１，．．．，Ｋであり、ｒk1k2は、訓練速度を高め
    る効果を有する正の定数であり、 δkp＝δkp,1＋δkp,2＋δkp,3であり、ここで、δ
    kpは、ｐ番目の入力データ・パターン・ベクトルに関し
    て、出力層のｋ番目ノードの出力による誤差Ｅへの寄与
    率に比例する値であり、δkp,1，δkp,2，およびδkp,3
    は、δkpの成分である請求項４に記載のシステム。
  6. 【請求項６】 【数６】 ここで、Δｗkj,1は、出力の共分散行列の対角線上の項
    からの寄与率であり、 Δｗkj,2は、ｋ番目の行内の対角線上にないの項からの
    寄与率であり、 Δｗkj,3は、ｋ番目の列内の対角線上にないの項からの
    寄与率であり、 Ｏjpは、ｐ番目の入力データ・パターン・ベクトルの出
    力層の直前の層におけるｊ番目のノードからの出力信号
    である請求項５に記載のシステム。
  7. 【請求項７】 【数７】 ここで、Ｏkpは、ｐ番目の入力データ・パターン・ベク
    トルについての出力層におけるｋ番目のノードからの出
    力信号であり、 ＜Ｏkp＞は、入力データ・パターン・ベクトルの集合か
    ら求めたＯkpの平均である請求項６に記載のシステム。
  8. 【請求項８】 ノードの層におけるｊ番目のノードとそ
    の直前の層におけるｉ番目のノードとの間の重みΔｗji
    への誤差のバックプロパゲーションが、次の式で表さ
    れ、 【数８】 ここで、δjpは、次の式によって与えられる請求項５に
    記載のシステム。 【数９】
  9. 【請求項９】 複数の入力ノードからなる入力層と、隠
    れ層と、複数の非線形の出力ノードからなる出力層とを
    有するニューラル・ネットワークを使用して多次元パタ
    ーン・データの縮小次元表現への組織化を達成する方法
    であって、非線形の出力ノードの数が、入力ノードの数
    よりも少なく、 ニューラル・ネットワークの入力層に多次元パターン・
    データを受け取る段階と、 ニューラル・ネットワークの各出力ノードごとに出力信
    号を生成するのであって、前記出力信号は、受け取った
    多次元パターン・データの縮小次元表現を提供する出力
    ノードのそれぞれに対して生成される段階と、 出力信号の共分散行列を対角行列の形に縮小し、出力ノ
    ードの縮小次元を表現した出力信号を等化し直交させる
    ことによってニューラル・ネットワークを訓練する段階
    と、 を含む方法。
  10. 【請求項１０】 訓練の前記段階が、隣り合った層のノ
    ードの間のリンクの重みを繰り返し更新するためにバッ
    クプロバゲーションを含む請求項９に記載の方法。
  11. 【請求項１１】 前記重みが、初期値として、区間
    （Ｗ、−Ｗ）でランダムに生成される請求項１０に記載
    の方法。
  12. 【請求項１２】 多次元パターン・データの全ての次元
    の平均分散が、次の式で示され、 【数１０】 出力ノードの出力信号の共分散行列の要素が、次の式で
    示され、 【数１１】 ここで、ｐ＝１，２，．．．，Ｐであり、 Ｏkjpは、ｐ番目の入力データ・パターン・ベクトルの
    出力層のｋ1番目のノードの出力信号であり、 Ｏk2pは、ｐ番目の入力データ・パターン・ベクトルの
    出力層のｋ2番目のノードの出力信号であり、 ＜Ｏkip＞は、入力データ・パターン・ベクトルの集合
    から求めたＯk1pの平均であり、 ＜Ｏk2p＞は、入力データ・パターン・ベクトルの集合
    から求めたＯk2pの平均であり、 ｋ1＝１〜Ｋであり、 ｋ2＝１〜Ｋであり、 Ｋは、縮小次元表現の次元数であり、 ＜＞は、示された各要素の入力データ・パターン・ベク
    トルの集合から求めた平均を表す請求項１１に記載の方
    法。
  13. 【請求項１３】 隠れ層と出力層の間の重みΔｗkjが、
    次の式に従って繰り返し更新され、 【数１２】 ここで、ηは、効率の高い集束を実現するが発振を回避
    するように選択された適切な値の定数であり、 Ｏjpは、ｐ番目の入力データ・パターン・ベクトルによ
    る出力層の直前の層におけるｊ番目のノードからの出力
    信号であり、 Ｅは、次の式で表される誤差であり、 【数１３】 ここで、ｋ1＝ｋ2＝ｋ、ｋ＝１，．．．，Ｋであり、ｒ
    kkは、訓練速度を高める効果を有する正の定数であり、 【数１４】 ここで、ｋ2＞ｋ1、ｋ1＝１，．．．，Ｋ−１、ｋ2＝ｋ
    1＋１，．．．，Ｋであり、ｒk1k2は、訓練速度を高め
    る効果を有する正の定数であり、 δkp＝δkp,1＋δkp,2＋δkp,3であり、ここで、δ
    kpは、ｐ番目の入力データ・パターン・ベクトルに関す
    る出力層のｋ番目のノードの出力による誤差Ｅへの寄与
    率に比例する値であり、δkp,1，δkp,2，およびδkp,3
    は、δkpの成分である請求項１２に記載の方法。
  14. 【請求項１４】 【数１５】 ここで、Δｗkj,1は、対角線上の項からの寄与率であ
    り、 Δｗkj,2は、ｋ番目の行の対角線上にないの項からの寄
    与率であり、Δｗkj,3は、ｋ番目の列の対角線上にない
    の項からの寄与率である請求項１３に記載の方法。
  15. 【請求項１５】 δkp,1、δkp,2、およびδkp,3が、次
    の式で与えられ、 【数１６】 ここで、 Ｏkpは、ｐ番目の入力データ・パターン・ベクトルの出
    力層の直前の層におけりｋ番目のノードからの出力信号
    であり、 ＜Ｏkp＞は、入力データ・パターン・ベクトルの集合か
    ら求めたＯkpの平均である請求項１４に記載の方法。
  16. 【請求項１６】 ノードの層におけるｊ番目のノードと
    その直前の層におけるｉ番目のノードとの間の重みΔji
    への誤差のバックプロパゲーションが、次の式で表さ
    れ、 【数１７】 ここで、δjpが、次の式で与えられる請求項１３に記載
    の方法。 【数１８】
JP2000539447A 1997-12-15 1998-12-14 等化直交マッピングによる多次元データの視覚化および自己組織化 Expired - Fee Related JP3520048B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/991,031 US6134537A (en) 1995-09-29 1997-12-15 Visualization and self organization of multidimensional data through equalized orthogonal mapping
US08/991,031 1997-12-15
PCT/US1998/026477 WO1999031624A1 (en) 1997-12-15 1998-12-14 Visualization and self-organization of multidimensional data through equalized orthogonal mapping

Publications (2)

Publication Number Publication Date
JP2002509303A JP2002509303A (ja) 2002-03-26
JP3520048B2 true JP3520048B2 (ja) 2004-04-19

Family

ID=25536780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000539447A Expired - Fee Related JP3520048B2 (ja) 1997-12-15 1998-12-14 等化直交マッピングによる多次元データの視覚化および自己組織化

Country Status (12)

Country Link
US (3) US6134537A (ja)
EP (1) EP1038261B1 (ja)
JP (1) JP3520048B2 (ja)
KR (1) KR100343533B1 (ja)
CN (1) CN1165869C (ja)
AT (1) ATE368904T1 (ja)
AU (1) AU737276B2 (ja)
BR (1) BR9813585A (ja)
CA (1) CA2312902C (ja)
DE (1) DE69838181T2 (ja)
IL (1) IL136524A (ja)
WO (1) WO1999031624A1 (ja)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134537A (en) * 1995-09-29 2000-10-17 Ai Ware, Inc. Visualization and self organization of multidimensional data through equalized orthogonal mapping
US6993186B1 (en) * 1997-12-29 2006-01-31 Glickman Jeff B Energy minimization for classification, pattern recognition, sensor fusion, data compression, network reconstruction and signal processing
US6526168B1 (en) * 1998-03-19 2003-02-25 The Regents Of The University Of California Visual neural classifier
US6717589B1 (en) * 1999-03-17 2004-04-06 Palm Source, Inc. Computerized help system with modal and non-modal modes
US6671661B1 (en) * 1999-05-19 2003-12-30 Microsoft Corporation Bayesian principal component analysis
US6606624B1 (en) * 1999-08-13 2003-08-12 The Regents Of The University Of California Apparatus and method for recommending to an individual selective information contained within a computer network
US6556960B1 (en) * 1999-09-01 2003-04-29 Microsoft Corporation Variational inference engine for probabilistic graphical models
WO2001071624A1 (en) * 2000-03-22 2001-09-27 3-Dimensional Pharmaceuticals, Inc. System, method, and computer program product for representing object relationships in a multidimensional space
US6694301B1 (en) * 2000-03-31 2004-02-17 Microsoft Corporation Goal-oriented clustering
US6989843B2 (en) * 2000-06-29 2006-01-24 Sun Microsystems, Inc. Graphics system with an improved filtering adder tree
SE519507C2 (sv) * 2000-10-31 2003-03-04 Goesta Granlund Metod och apparat för träning av associativa nät för artificiellt seende
US20020099702A1 (en) * 2001-01-19 2002-07-25 Oddo Anthony Scott Method and apparatus for data clustering
US7308417B1 (en) 2001-03-12 2007-12-11 Novell, Inc. Method for creating and displaying a multi-dimensional business model comparative static
AU2002302950A1 (en) * 2001-05-14 2002-11-25 Ramot University Authority For Applied Research And Industrial Development Ltd. Method of and apparatus for quantum clustering
GB0113212D0 (en) * 2001-05-31 2001-07-25 Oxford Biosignals Ltd Patient condition display
US20030093162A1 (en) * 2001-11-13 2003-05-15 Koninklijke Philips Electronics N.V. Classifiers using eigen networks for recognition and classification of objects
FI20020414A (fi) * 2002-03-04 2003-09-05 Nokia Oyj Mekanismi valvomatonta klusterointia varten
GB0205336D0 (en) * 2002-03-07 2002-04-24 Univ Manchester Data dimension reduction
KR100442434B1 (ko) * 2002-03-07 2004-07-30 엘지전자 주식회사 학습된 신경망 설계를 위한 어레이 구조 연산 방법
US7777743B2 (en) * 2002-04-19 2010-08-17 Computer Associates Think, Inc. Viewing multi-dimensional data through hierarchical visualization
JP2006511850A (ja) * 2002-04-19 2006-04-06 コンピュータ アソシエイツ シンク，インコーポレイテッド データマイニングのためのニューラルネットワークの使用
US7483868B2 (en) * 2002-04-19 2009-01-27 Computer Associates Think, Inc. Automatic neural-net model generation and maintenance
US7444310B2 (en) * 2002-04-19 2008-10-28 Computer Associates Think, Inc. Automatic model maintenance through local nets
US20040052412A1 (en) * 2002-05-10 2004-03-18 Large Scale Biology Corporation Satellite image enhancement and feature identification using information theory radial-basis bio-marker filter
US7046247B2 (en) * 2002-05-15 2006-05-16 Hewlett-Packard Development Company, L.P. Method for visualizing graphical data sets having a non-uniform graphical density for display
US20040119712A1 (en) * 2002-12-19 2004-06-24 Kenknight Bruce H. System and method for representing multi-dimensional patient health
US7496546B2 (en) * 2003-03-24 2009-02-24 Riken Interconnecting neural network system, interconnecting neural network structure construction method, self-organizing neural network structure construction method, and construction programs therefor
US7313279B2 (en) 2003-07-08 2007-12-25 Computer Associates Think, Inc. Hierarchical determination of feature relevancy
EP1636738A2 (en) * 2003-05-23 2006-03-22 Computer Associates Think, Inc. Adaptive learning enhancement to auotmated model maintenance
EP1494127A1 (en) * 2003-07-01 2005-01-05 Semeion Method, computer program and computer readable means for projecting data from a multidimensional space into a space having less dimensions and to carry out a cognitive analysis on said data.
GB2403636A (en) * 2003-07-02 2005-01-05 Sony Uk Ltd Information retrieval using an array of nodes
EP1649627A4 (en) * 2003-07-11 2010-07-07 Computer Ass Think Inc PROCESS AND DEVICE FOR PLAN PRODUCTION
JP4074564B2 (ja) * 2003-07-30 2008-04-09 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータ実行可能な次元削減方法、該次元削減方法を実行させるためのプログラム、次元削減装置および該次元削減装置を使用した検索エンジン装置
US20060003204A1 (en) * 2004-07-01 2006-01-05 Callahan Christopher W Controlling fuel cell fuel purge in response to recycle fuel blower operating conditions
US8956292B2 (en) * 2005-03-02 2015-02-17 Spacelabs Healthcare Llc Trending display of patient wellness
AU2006218595A1 (en) * 2005-03-02 2006-09-08 Spacelabs Medical Trending display of patient wellness
CN101167103B (zh) * 2005-03-11 2010-08-04 法国电信公司 在服务器与至少一个客户终端间传输内容可视化数据的方法及其对应的终端
US7421348B2 (en) * 2005-03-18 2008-09-02 Swanson Brian G Predictive emissions monitoring method
US8768664B2 (en) * 2005-03-18 2014-07-01 CMC Solutions, LLC. Predictive emissions monitoring using a statistical hybrid model
JP4646681B2 (ja) * 2005-04-13 2011-03-09 キヤノン株式会社 色処理装置及びその方法
US20060247798A1 (en) * 2005-04-28 2006-11-02 Subbu Rajesh V Method and system for performing multi-objective predictive modeling, monitoring, and update for an asset
US7536364B2 (en) * 2005-04-28 2009-05-19 General Electric Company Method and system for performing model-based multi-objective asset optimization and decision-making
US20070030287A1 (en) * 2005-08-04 2007-02-08 Honeywell International Inc. Visual comparison of data set with data subset
US8301576B2 (en) * 2005-10-27 2012-10-30 Ca, Inc. Weighted pattern learning for neural networks
KR100908121B1 (ko) * 2006-12-15 2009-07-16 삼성전자주식회사 음성 특징 벡터 변환 방법 및 장치
DE102007001026B4 (de) * 2007-01-02 2008-09-04 Siemens Ag Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
US20080221930A1 (en) 2007-03-09 2008-09-11 Spacelabs Medical, Inc. Health data collection tool
US8117183B2 (en) * 2008-05-28 2012-02-14 Xerox Corporation Accurate content-based indexing and retrieval system
US20100067800A1 (en) * 2008-09-17 2010-03-18 Microsoft Corporation Multi-class transform for discriminant subspace analysis
US9604020B2 (en) 2009-10-16 2017-03-28 Spacelabs Healthcare Llc Integrated, extendable anesthesia system
IN2012DN03108A (ja) 2009-10-16 2015-09-18 Spacelabs Healthcare Llc
US20110175905A1 (en) * 2010-01-15 2011-07-21 American Propertunity, LLC. Infoshape: displaying multidimensional information
EP2549919B1 (en) 2010-03-21 2019-02-27 Spacelabs Healthcare LLC Multi-display bedside monitoring system
WO2012068567A1 (en) 2010-11-19 2012-05-24 Spacelabs Healthcare, Llc Dual serial bus interface
US9629566B2 (en) 2011-03-11 2017-04-25 Spacelabs Healthcare Llc Methods and systems to determine multi-parameter managed alarm hierarchy during patient monitoring
US8874498B2 (en) 2011-09-16 2014-10-28 International Business Machines Corporation Unsupervised, supervised, and reinforced learning via spiking computation
US8738554B2 (en) 2011-09-16 2014-05-27 International Business Machines Corporation Event-driven universal neural network circuit
US8626684B2 (en) 2011-12-14 2014-01-07 International Business Machines Corporation Multi-modal neural network for universal, online learning
US10037121B2 (en) 2012-10-09 2018-07-31 Paypal, Inc. Visual mining of user behavior patterns
CN103793713B (zh) * 2012-10-31 2017-09-15 中国科学院沈阳自动化研究所 低秩约束的在线自监督学习的场景分类方法
US9710695B2 (en) 2013-03-15 2017-07-18 Sony Corporation Characterizing pathology images with statistical analysis of local neural network responses
US10987026B2 (en) 2013-05-30 2021-04-27 Spacelabs Healthcare Llc Capnography module with automatic switching between mainstream and sidestream monitoring
WO2015127117A1 (en) 2014-02-19 2015-08-27 Nant Holdings Ip, Llc Invariant-based dimensional reduction of object recognition features, systems and methods
PL3251059T3 (pl) 2015-01-28 2019-05-31 Google Llc Warstwy normalizacji danych wejściowych
CN107924484A (zh) 2015-07-23 2018-04-17 丰田汽车欧洲股份有限公司 用于在环境背景下模拟类人控制行为的系统和基于计算机的方法
US11062226B2 (en) 2017-06-15 2021-07-13 Microsoft Technology Licensing, Llc Determining a likelihood of a user interaction with a content element
US10503580B2 (en) 2017-06-15 2019-12-10 Microsoft Technology Licensing, Llc Determining a likelihood of a resource experiencing a problem based on telemetry data
US10922627B2 (en) 2017-06-15 2021-02-16 Microsoft Technology Licensing, Llc Determining a course of action based on aggregated data
US10805317B2 (en) * 2017-06-15 2020-10-13 Microsoft Technology Licensing, Llc Implementing network security measures in response to a detected cyber attack
US20190272466A1 (en) * 2018-03-02 2019-09-05 University Of Southern California Expert-driven, technology-facilitated intervention system for improving interpersonal relationships
JP6778708B2 (ja) * 2018-03-14 2020-11-04 日本電信電話株式会社 解析装置、方法、及びプログラム
CN112613536B (zh) * 2020-12-08 2024-07-05 燕山大学 一种基于smote和深度学习的近红外光谱柴油牌号识别方法
CN114897154A (zh) * 2022-03-23 2022-08-12 阿里巴巴（中国）有限公司 数据预测方法及装置
CN114994547B (zh) * 2022-08-05 2022-11-18 中汽研新能源汽车检验中心(天津)有限公司 基于深度学习和一致性检测的电池包安全状态评估方法
CN117574244B (zh) * 2024-01-15 2024-04-02 成都秦川物联网科技股份有限公司 基于物联网的超声波水表故障预测方法、装置及设备

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003490A (en) 1988-10-07 1991-03-26 Hughes Aircraft Company Neural network signal processor
US5255342A (en) * 1988-12-20 1993-10-19 Kabushiki Kaisha Toshiba Pattern recognition system and method using neural network
EP0448890B1 (en) * 1990-03-30 1997-12-29 Koninklijke Philips Electronics N.V. Method of processing signal data on the basis of prinicipal component transform, apparatus for performing the method
US5113483A (en) 1990-06-15 1992-05-12 Microelectronics And Computer Technology Corporation Neural network with semi-localized non-linear mapping of the input space
US5218529A (en) 1990-07-30 1993-06-08 University Of Georgia Research Foundation, Inc. Neural network system and methods for analysis of organic materials and structures using spectral data
JP3329806B2 (ja) 1990-11-09 2002-09-30 株式会社日立製作所 ニューラルネット構築装置
US5634087A (en) * 1991-02-28 1997-05-27 Rutgers University Rapidly trainable neural tree network
JP2979711B2 (ja) * 1991-04-24 1999-11-15 日本電気株式会社 パターン認識方式および標準パターン学習方式
US5263120A (en) * 1991-04-29 1993-11-16 Bickel Michael A Adaptive fast fuzzy clustering system
IL98622A (en) 1991-06-25 1996-10-31 Scitex Corp Ltd Method and device for using neural networks in figure work
US5293456A (en) 1991-06-28 1994-03-08 E. I. Du Pont De Nemours And Company Object recognition system employing a sparse comparison neural network
US5335291A (en) 1991-09-20 1994-08-02 Massachusetts Institute Of Technology Method and apparatus for pattern mapping system with self-reliability check
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
WO1993020530A1 (de) 1992-04-06 1993-10-14 Siemens Aktiengesellschaft Strukturierung von neuronalen netzen durch regelbasiertes wissen
US5311600A (en) * 1992-09-29 1994-05-10 The Board Of Trustees Of The Leland Stanford Junior University Method of edge detection in optical images using neural network classifier
US5432864A (en) * 1992-10-05 1995-07-11 Daozheng Lu Identification card verification system
US5337372A (en) * 1992-10-13 1994-08-09 At&T Bell Laboratories Method and apparatus for symbol recognition using multidimensional preprocessing at multiple resolutions
DE4243882C1 (de) * 1992-12-23 1994-01-05 Baleanu Michael Alin Verfahren und Einrichtung zur Überwachung eines technischen Prozesses
US5963929A (en) * 1993-05-28 1999-10-05 Maryland Technology Corporation Recursive neural filters
US5649065A (en) * 1993-05-28 1997-07-15 Maryland Technology Corporation Optimal filtering by neural networks with range extenders and/or reducers
DE9320530U1 (de) * 1993-09-16 1994-10-13 Rottefella As, Klokkarstua Langlauf- oder Tourenskibindung für Langlaufskischuhe
US5619709A (en) * 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
JP2690027B2 (ja) * 1994-10-05 1997-12-10 株式会社エイ・ティ・アール音声翻訳通信研究所 パターン認識方法及び装置
US5812992A (en) * 1995-05-24 1998-09-22 David Sarnoff Research Center Inc. Method and system for training a neural network with adaptive weight updating and adaptive pruning in principal component space
US5642431A (en) * 1995-06-07 1997-06-24 Massachusetts Institute Of Technology Network-based system and method for detection of faces and the like
US5687082A (en) * 1995-08-22 1997-11-11 The Ohio State University Methods and apparatus for performing combustion analysis in an internal combustion engine utilizing ignition voltage analysis
US6134537A (en) * 1995-09-29 2000-10-17 Ai Ware, Inc. Visualization and self organization of multidimensional data through equalized orthogonal mapping
US5734796A (en) * 1995-09-29 1998-03-31 Ai Ware, Inc. Self-organization of pattern data with dimension reduction through learning of non-linear variance-constrained mapping
CA2216224A1 (en) * 1997-09-19 1999-03-19 Peter R. Stubley Block algorithm for pattern recognition
US5967995A (en) * 1998-04-28 1999-10-19 University Of Pittsburgh Of The Commonwealth System Of Higher Education System for prediction of life-threatening cardiac arrhythmias

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
Ａｂｂａｓ， Ｈ．Ｍ．， ｅｔ．ａｌ．，"Ａ ｎｅｕｒａｌ ｍｏｄｅｌ ｆｏｒ ａｄａｐｔｉｖｅ Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ（ＫＬＴ）"，Ｐｒｏｃ． ｏｆ Ｉｎｔ． Ｊｏｉｎｔ Ｃｏｎｆ． ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ １９９２（ＩＪＣＮＮ’９２），１９９２年 ６月，Ｖｏｌ．２，ｐｐ．９７５−９８０，ＩＳＢＮ：０−７８０３−０５５９−０
Ｋｕｎｇ， Ｓ．Ｙ．， ｅｔ．ａｌ．，"Ａ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ａｄａｐｔｉｖｅ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ｅｘｔｒａｃｔｉｏｎ（ＡＰＥＸ）"，Ｐｒｏｃ． ｏｆ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ １９９０（ＩＣＡＳＳＰ−９０），１９９０年 ４月，Ｖｏｌ．２，ｐｐ．８６１−８６４
ＹＯＨ−ＨＡＮ ＰＡＯ， ｅｔ．ａｌ．，"ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＰＡＴＴＥＲＮ ＤＡＴＡ ＴＨＲＯＵＧＨ ＬＥＡＲＮＩＮＧ ＯＦ ＮＯＮ−ＬＩＮＥＡＲ ＶＡＲＩＡＮＣＥ−ＣＯＮＳＥＲＶＩＮＧ ＤＩＭＥＮＳＩＯＮ・・・"，ＰＡＴＴＥＲＮ ＲＥＣＯＧＮＩＴＩＯＮ，１９９７年１０月，Ｖｏｌ．３０，Ｎｏ．１０，ｐｐ．１７０５−１７１７，ＩＳＳＮ：００３１−３２０３，ＪＳＴ資料番号：Ｄ０６１１Ａ
中川聖一・他，「固定長セグメントの統計量を用いたＨＭＭによる音節認識」，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，１９９２年 ５月２５日，Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ， Ｎｏ．５，ｐｐ．８４３−８５１
加藤和範・他，「選択的記憶強化を備えたパターン情報の圧縮・再生」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，１９９１年 ３月１９日，Ｖｏｌ．９０， Ｎｏ．４８４（ＮＣ９０−１１２〜１４１），ｐｐ．１−６
増田一・他，「ＫＬ変換用３層構造ニューラルネットワーク」，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，１９９４年 ２月２５日，Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ， Ｎｏ，２，ｐｐ．３９７−４０４
孫方・他，「特徴ベクトルの分割による文字認識の高速化」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，１９９７年 ７月２５日，Ｖｏｌ．９７， Ｎｏ．２０３（ＩＥ９７−４１〜６３），ｐｐ．８７−９４
宮本泰夫・他，「色彩恒常現象におけるＤｅｃｏｒｒｅｌａｔｉｏｎの機能的意義」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，１９９２年 ３月１８日，Ｖｏｌ．９１， Ｎｏ．５２９（ＮＣ９１−９８〜１３１），ｐｐ．５１−５８
小嶋徹也・他，「ボルツマンマシンの学習と連想記憶」，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，１９９３年 ９月２５日，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ， Ｎｏ．９，ｐｐ．２１０２−２１０８
渡辺一央・他，「ＫＬ変換用単位パーセプトロンの収束性に関する理論的考察」，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，１９９２年１１月２５日，Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ， Ｎｏ．１１，ｐｐ．１９３３−１９３９

Also Published As

Publication number Publication date
DE69838181D1 (de) 2007-09-13
US20010032198A1 (en) 2001-10-18
US6212509B1 (en) 2001-04-03
CA2312902A1 (en) 1999-06-24
BR9813585A (pt) 2001-12-26
IL136524A (en) 2004-06-01
EP1038261B1 (en) 2007-08-01
EP1038261A1 (en) 2000-09-27
ATE368904T1 (de) 2007-08-15
AU1912699A (en) 1999-07-05
AU737276B2 (en) 2001-08-16
IL136524A0 (en) 2001-06-14
CA2312902C (en) 2005-02-08
KR20010033181A (ko) 2001-04-25
KR100343533B1 (ko) 2002-07-20
DE69838181T2 (de) 2008-04-30
JP2002509303A (ja) 2002-03-26
US6907412B2 (en) 2005-06-14
CN1282435A (zh) 2001-01-31
US6134537A (en) 2000-10-17
CN1165869C (zh) 2004-09-08
WO1999031624A1 (en) 1999-06-24

Similar Documents

Publication Publication Date Title
JP3520048B2 (ja) 等化直交マッピングによる多次元データの視覚化および自己組織化
Miljković Brief review of self-organizing maps
Mao et al. Artificial neural networks for feature extraction and multivariate data projection
US5734796A (en) Self-organization of pattern data with dimension reduction through learning of non-linear variance-constrained mapping
Yin The self-organizing maps: background, theories, extensions and applications
Nowlan Maximum likelihood competitive learning
Bruske et al. Dynamic cell structure learns perfectly topology preserving map
WO2019102005A1 (en) Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
Ajjimarangsee et al. Neural network model for fusion of visible and infrared sensor outputs
CN109344898A (zh) 基于稀疏编码预训练的卷积神经网络图像分类方法
Padole et al. Graph wavelet-based multilevel graph coarsening and its application in graph-CNN for alzheimer’s disease detection
CN108280485A (zh) 一种基于谱图小波描述子的非刚性三维模型检索方法
Pal et al. A new shape representation scheme and its application to shape discrimination using a neural network
Midenet et al. Learning associations by self-organization: the LASSO model
Polzlbauer et al. A visualization technique for self-organizing maps with vector fields to obtain the cluster structure at desired levels of detail
Guimarães et al. A taxonomy of Self-organizing Maps for temporal sequence processing
FAKHOURI et al. Towards a new approach to improve the classification accuracy of the kohonen’s self-organizing map during learning process
Becanovic et al. Feature extraction from photographic images using a hybrid neural network
US20030093162A1 (en) Classifiers using eigen networks for recognition and classification of objects
Khrulkov et al. On disentangled representations extracted from pretrained gans
US20210326712A1 (en) Obtaining Custom Artificial Neural Network Architectures
Gadzhiev et al. Research and application of the convolutional hierarchical neural network classifier
Bougrain et al. Unsupervised connectionist clustering algorithms for a better supervised prediction: application to a radio communication problem
Rahmani et al. A self-organising eigenspace map for time series clustering
Aly et al. Visual feature extraction using variable map-dimension hypercolumn model

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040130

LAPS Cancellation because of no payment of annual fees