JPH04330556A - 信号データ処理方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ベクトル空間中に表現
される信号データに係わる共分散行列の統計的シグニフ
ィカンス最大の固有ベクトルの近似値を決定することを
含むところの、主コンポネント解析に基づく信号データ
を処理する方法、及び同方法を実行する装置に関する。

【０００２】主コンポネント解析（Ｐｒｉｎｃｉｐａｌ
　ＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ　−略してＰＣ
Ａ）というのは、信号の統計的性質に基礎を置く戦術、
すなわち例えば画像パターンや音声パターンのようなコ
ヒレント（ｃｏｈｅｒｅｎｔ）なデータ表現のことであ
る。一般的には、いわゆる共分散行列（ｃｏｖａｒｉａ
ｎｃｅ　ｍａｔｒｉｘ）　を用いて表されるそのような
データは、相互に強く相関がある。定義により、この共
分散行列は正対称である。従って当然一組の相互に直交
する固有ベクトル（主コンポネント）が存在する。その
固有ベクトル（ｅｉｇｅｎｖｅｃｔｏｒ）　により基礎
的に定まる共分散行列の表現は対角行列であって、対角
線上のコンポネントが該固有ベクトルのそれぞれの固有
値であり、対角線上にないコンポネントは０である。そ
の固有ベクトルの基礎上への共分散行列の写像は通常、
主コンポネント変換（Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏ
ｎｅｎｔ　Ｔｒａｎｓｆｏｒｍ）　とか固有ベクトル変
換（Ｅｉｇｅｎｖｅｃｔｏｒ　Ｔｒａｎｓｆｏｒｍ）　
とか　Ｈｏｔｅｌｌｉｎｇ変換（Ｈｏｔｅｌｌｉｎｇ　
Ｔｒａｎｓｆｏｒｍ）　とか　Ｋａｒｈｕｎｅｎ−Ｌｏ
ｅｖｅ　変換（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ　Ｔｒａ
ｎｓｆｏｒｍ）等と呼ばれる（Ｒ．Ｃ．Ｇｏｎｚａｌｅ
ｚ　及びＰ．Ｗｉｎｔｚ　著　Ｄｉｇｉｔａｌ　Ｉｍａ
ｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　第２版１９８７年　Ａｄ
ｄｉｓｏｎ−Ｗｅｓｌｅｙ　Ｐｕｂｌｉｓｈｉｎｇ　Ｃ
ｏｍｐａｎｙ発行、の第　１２２−１３０　頁参照）。

【０００３】対角線形式は、対角線上以外のコンポネン
トが０に等しいのだから、それで変換されたデータには
相関がないという事実を表す。この変換は特にデータ圧
縮、特性抽出、符号化に応用される。統計的シグニフィ
カンス（ｓｉｇｎｉｆｉｃａｎｃｅ）の減少する一組の
相関のないコンポネントにデータを分解することにより
、データ圧縮は統計的シグニフィカンスが最大のコンポ
ネントを選択してそれ以外を棄てれば完遂される。この
変換のまた別の応用は、例えば画像処理中の像の回転の
実行である（前掲書第　１２５−１３０　頁参照）。

【０００４】

【従来の技術】主コンポネント解析は、例えば、国際学
会”ＩＥＥＥ　ａｎｄＩＮＮＳ　Ｉｎｔｅｒｎａｔｉｏ
ｎａｌ　Ｊｏｉｎｔ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｎ
ｅｕｒａｌ　Ｎｅｔｓ，１９８９”の予稿集第Ｉ３７３
−Ｉ４０５頁所載、Ｙ．Ｃｈａｕｖｉｎによる”Ｐｒｉ
ｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ
　ｂｙ　Ｇｒａｄｉｅｎｔ　Ｄｅｓｃｅｎｔ　ｏｎ　ａ
　ｃｏｎｓｔｒａｉｎｅｄｌｉｎｅａｒ　Ｈｅｂｂｉａ
ｎ　Ｃｅｌｌ”という文献で取り扱われている。この先
行技術では、線形計算ユニットの行動が、分散最大化項
（ｖａｒｉａｎｃｅ　ｍａｘｉｍｉｚａｔｉｏｎ　ｔｅ
ｒｍ）と加重正規化項（ｗｅｉｇｈｔ　ｎｏｒｍａｌｉ
ｚａｔｉｏｎ　ｔｅｒｍ）　との和に等しい原価関数（
ｃｏｓｔ　ｆｕｎｃｔｉｏｎ）の勾配下降（ｇｒａｄｉ
ｅｎｔ　ｄｅｓｃｅｎｔ）による学習中に試験される。 この原価関数は、線形計算ユニットに入力されたパター
ンの主コンポネントと同一線上のグローバル最小値（ｇ
ｌｏｂａｌ　ｍｉｎｉｍｕｍ）を持つ。学習軌道（ｌｅ
ａｒｎｉｎｇ　ｔｒａｊｅｃｔｏｒｙ）　は、いくつか
の特定の条件が満たされればこのグローバル最小値に向
かって収束する。更にまた、有効性（ｖａｌｉｄｉｔｙ
）を保証するために設けられた仮定の１つは、共分散行
列が明確な固有値を持つことである。

【０００５】

【発明が解決しようとする課題】この勾配下降中に実行
される繰り返しは多大な計算を必要とする。従って本発
明の目的は、より僅かな且つより簡単な計算しか繰り返
し毎に必要としない、そして一方では固有値の退化（ｄ
ｅｇｅｎｅｒａｔｅ　ｅｉｇｅｎｖａｌｕｅ）　を許容
する主コンポネント解析を実行することである。

【０００６】

【課題を解決するための手段】この目的のために、本発
明は、上記近似値を決定することが次の各ステップ、す
なわち、上記ベクトル空間中の初期ベクトルを１番目の
推定値として採るステップと、各その次の推定値として
、先行の推定値と上記ベクトル空間中の次のベクトルと
の線形結合を決定し、該次のベクトルは、次の推定値の
コンポネントを先行の推定値の方向に高めるために、こ
の先行の推定値と該次のベクトルとの内積に依存する因
数で加重されるものとするステップと、次の推定値を決
定することを終了するに当たって、上記近似値を最後に
得られた推定値に平行に採るステップとを有することを
特徴とする。

【０００７】その次の推定値を先行の推定値の方向に高
めることにより、推定値は最もシグニフィカントな（ｍ
ｏｓｔ　ｓｉｇｎｉｆｉｃａｎｔ）固有ベクトルすなわ
ち最大の固有値を伴う固有ベクトルの方向に展開する。 更に次の固有ベクトルの近似値を定めるために、原理的
には上述と同じステップを、但し茲では以前に計算され
たそれぞれの固有ベクトルの近似値に直交する部分空間
（ｓｕｂｓｐａｃｅ）内のベクトルを用いて、繰り返す
ことができる。反復の度に内積計算（ｉｎｐｒｏｄｕｃ
ｔ　ｃａｌｃｕｌａｔｉｏｎ），スカラー・ベクトル乗
算（ｓｃａｌａｒ　ｖｅｃｔｏｒ　ｍｕｌｔｉｐｌｉｃ
ａｔｉｏｎ）及びベクトル加算（ｖｅｃｔｏｒ　ａｄｄ
ｉｔｉｏｎ）が必要とされる。固有値退化（ｅｉｇｅｎ
ｖａｌｕｅ−ｄｅｇｅｎｅｒａｃｙ）　が生じた場合、
直交部分空間構造が付随する固有ベクトルの近似の見出
されることを保証する。 一般的には、固有ベクトルは本発明により統計的シグニ
フィカンスが減少する順序すなわち固有値の減少する順
序で近似される。

【０００８】好適には、共分散行列のまた別の固有ベク
トルの更に近似を定めるために、本発明の方法は、次の
各ステップすなわち、予め定められたそれぞれの値より
も小さい各以前に定められたそれぞれの近似値を伴う内
積絶対値を持つところのベクトルにより決定されるベク
トル空間の領域中に在る更にもう１つの初期ベクトルを
、最初の更にもう１つの推定値として採るステップと、
各その次の更にもう１つの推定値として、先行の更にも
う１つの推定値と次の更にもう１つの領域ベクトルとの
線形結合を決定し、該次の更にもう１つの領域ベクトル
は、次の更にもう１つの推定値を先行の更にもう１つの
推定値の方向に高めるために、因数推定値と次の更にも
う１つのベクトルとで加重されるものとするステップと
、次の更にもう１つの推定値を決定することを終了する
に当たって、最後に得られた更にもう１つの推定値を各
以前に定められた近似値に関して直交化するステップと
、更にもう１つの近似値を、上記直交化されたところの
最後に得られた更にもう１つの推定値に平行に採るステ
ップとを含むことを特徴とする。

【０００９】その次の各ベクトルを既に得られた近似に
関して直交化する代わりに、茲では最後に得られた推定
値に対してのみ直交化を実行し、それにより計算時間を
大幅に節減する。それ以外の利点として、ベクトルの内
積値及び以前に定められ正規化された近似値の各々は、
付随する固有値を生成するためにいずれにしても必要と
されるので、従って効率的な戦術がもたらされるのであ
る。

【００１０】その次のベクトル又は更にその次のベクト
ルに加重するための因数は、符号関数（ｓｉｇｎ−ｆｕ
ｎｃｔｉｏｎ）　が負（マイナス）を示す場合に反転を
起こすだけの内積に作用する符号関数であるのを好適と
する。その次の推定値又は更にその次の推定値を定める
のに実際に貢献するベクトルのみを考慮するためには、
該因数は、０の周りの予め定められた区間の外にある値
を内積が持つときには内積に作用する符号関数とし、該
区間の内部の値を内積が持つときには０に等しいとする
のが好適である。 このこともまた、不十分な内積値の故に前段の近似決定
に際して棄てられたベクトルの選択により達成されたの
である。

【００１１】付随する固有値は、特定の固有ベクトルに
関連して最後に得られた推定値を単位量の上に正規化す
ることと、各それぞれの内積が正規化された推定値とそ
れぞれのベクトルとに関わりがあるものであり、それぞ
れの推定値を生成するために用いられる内積の自乗の総
和を定め且つ総和の結果を平均することとにより、見出
される。

【００１２】

【作用】この方法を（ディジタル）ニューラル・ネット
状の構造上に実行することは、所要の演算（内積、スカ
ラー・ベクトル乗算及びベクトル加算）がシナプス係数
（ｓｙｎａｐｔｉｃ　ｃｏｅｆｆｉｃｉｅｎｔ）を更新
する（ｕｐｄａｔｉｎｇ）ための計算の大多数の構成要
素となるものだから、特に大きな利点がある。

【００１３】これらの規約を概括すれば、次の２つの式
：

【数１】 　　Ｃｉｊ（新）　＝Ｃｉｊ（現在）＋Δｉ　Ｖｊ　　
　　　　　　　　　　　　　　　　　　　　　　　　（
ｂ）とすることが出来る。式（ａ）　は、シナプス係数
行列Ｃの第ｉ行（ｉ−ｔｈ　ｒｏｗ）とベクトルＶとの
ベクトル内積上のニューロンｉの出力Ｓｉ　の非線形従
属性を表し、そのコンポネントはシナプス係数Ｃｉｊと
交わるニューロンｉの入力と結合するニューロンｊの出
力から成っている。式（ｂ）　は、ニューロン出力Ｖｊ
　と相関因数Δｉ　とを含む各シナプス係数の、ある一
般的な型式の学習規約に従う更新を示している。例えば
、最も勾配の急な下降戦術は式（ｂ）　による一般的な
更新規約に従う。指数ｉか指数ｊ又はその双方に関して
並列に実行される時には、式（ｂ）　はベクトル加算を
示す。

【００１４】〔特異値分解への応用〕上に述べた本発明
の方法は、特異値分解に係わる信号データを具体化して
好結果を得ることができる。「特異値分解」（Ｓｉｎｇ
ｕｌａｒ　Ｖａｌｕｅ　Ｄｅｃｏｍｐｏｓｉｔｉｏｎ　
−略してＳＶＤ）という用語は、上述の正方データ行列
に対する固有ベクトル・固有値表現の一般化を指すもの
である。行列の理論によれば、各矩形ｍ×ｎ行列に対し
て、一般化された（ｇｅｎｅｒａｌｉｚｅｄ）　対角線
上ではいわゆる特異値を表すコンポネントを持ち一般化
された対角線以外では０に等しいコンポネントを持つ一
般化された対角行列を生成するところの変換行列が存在
する。信号処理の分野内でも、特異値分解は、適応濾波
（ａｄａｐｔｉｖｅ　ｆｉｌｔｅｒｉｎｇ），　線形予
想推定（ｌｉｎｅａｒ　ｐｒｅｄｉｃｔｉｏｎ　ｅｓｔ
ｉｍａｔｉｏｎ），　多重シヌソイド信号（ｍｕｌｔｉ
ｐｌｅ−ｓｉｎｕｓｏｉｄ　ｓｉｇｎａｌ）を取り扱う
様式解析（ｍｏｄａｌ　ａｎａｌｙｓｉｓ），　適応モ
デル化（ａｄａｐｔｉｖｅ　ｍｏｄｅｌｌｉｎｇ）等々
に応用される。これら多数の技術的応用が　Ｎｏｒｔｈ
−Ｈｏｌｌａｎｄ社１９８８年発行　Ｅｄ．Ｆ．Ｄｅｐ
ｒｅｔｔｅｒｅ編”ＳＶＤ　ａｎｄＳｉｇｎａｌ　Ｐｒ
ｏｃｅｓｓｉｎｇ：　Ａｌｇｏｒｉｔｈｍｓ，Ａｐｐｌ
ｉｃａｔｉｏｎｓ　ａｎｄ　Ａｒｃｈｉｔｅｃｔｕｒｅ
ｓ”なる文献に広汎に検討されている。

【００１５】今考えている信号データ処理システムから
　ＳＶＤに従って情報を抽出するためには、それは線形
モデルによって良く記述されているものと仮定する。す
なわち該システムは入出力関係として線形変換を含んで
いる。この線形変換を具体化する行列はしばしば未知で
ある。茲ではさらに、この行列に係わる情報はシステム
の特定の入力ベクトルとそれに関連する出力ベクトルと
の測定から得られるものと仮定する。

【００１６】本発明による手順は次のように進められる
。入力ベクトルの集合は入力空間内で無作為且つ均一の
分布を持つとして確立される、すなわちその入力共分散
行列は単位行列である。このことは、出力空間内の出力
ベクトルの出力共分散行列が、求めようとする行列に係
わるコンポネントのみを有することを意味する。主コン
ポネント解析を用いて上述の方法で出力共分散行列を対
角線化すれば、最初の変換行列を定義する出力空間内の
一組の基礎ベクトルが導かれる。入力空間での基礎ベク
トルをもつ関連の２番目の変換行列もそれと並列に定め
られる。これらの変換行列は、基礎ベクトルと以下に述
べる測定との双方から推論できる一般化された固有値の
集合とともに特異値分解を定義する。

【００１７】

【実施例】次に、図面を引用し、実施例を用いて本発明
を説明する。

【００１８】〔ガウスの確率密度（Ｇａｕｓｓｉａｎ　
Ｐｒｏｂａｂｉｌｉｔｙ　Ｄｅｎｓｉｔｙ）〕図１は確
率変数（ｓｔｏｃｈａｓｔｉｃ　ｖａｒｉａｂｌｅｓ）
ｘ及びｙのガウスの確率密度関数の一例を示し、その期
待値又は平均値は　Ｅ（ｘ）　及び　Ｅ（ｙ）　とする
。閉じた輪郭線は一定の確率密度を表す曲線である。変
数ｘ及びｙが　ｘ−ｙ平面の特定の領域に属する値をと
る確率はその領域でのｆの積分に等しい。これらの確率
変数の期待値　Ｅ（ｘ）　及び　Ｅ（ｙ）　に関する偏
差すなわち　ｘ−Ｅ（ｘ）及び　ｙ−Ｅ（ｙ）　は相互
に、図１から理解されるような相関がある。この実例で
は　ｘ−Ｅ（ｘ）　の値の増加は統計的に　ｙ−Ｅ（ｙ
）　の値の増加の傾向をもたらす。この従属性すなわち
相関を表す量が、該確率密度に亙って平均した積　（ｘ
−Ｅ（ｘ））（ｙ−Ｅ（ｙ））　の値で定義されるとこ
ろのｘ，ｙの共分散　ｃｏｖ（ｘ，ｙ）　である。　ｃ
ｏｖ（ｘ，ｘ）　及び　ｃｏｖ（ｙ，ｙ）　はそれぞれ
ｘ，　ｙのいわゆる分散又は標準偏差であって、それぞ
れが各々の平均値　Ｅ（ｘ），　Ｅ（ｙ）　からの２次
偏差に対する期待値の測度（ｍｅａｓｕｒｅｓ）である
。分散が小さければ小さいほど、平均値の近傍の確率密
度ははっきりしている。

【００１９】以下の記述中、ベクトルを表す記号として
「→」を用いることにする。（ベクトルを表す記号とし
て通常は、文字等の上にバー“￣”を付けて表示するこ
とが多いが、本明細書の本文中では、極く一部の例外を
除いて、文字等の左に“→”を付ける。但し図面中では
ベクトルを表示するのに“￣”を用いているが、同じも
のを指すと理解されたい。）順序のある対（ｘ，ｙ）　
が、単位ベクトルを→ｅｘ　及び→ｅｙ　とするベクト
ル→ｖと見做されるときは、共分散行列は Ｅ（（→ｖ−Ｅ（→ｖ））（→ｖ）　−Ｅ（→ｖ））で
定義され、その対角線上のコンポネントは　ｃｏｖ（ｘ
，ｘ）　及び　ｃｏｖ（ｙ，ｙ）　であり、対角線外の
コンポネントは　ｃｏｖ（ｘ，ｙ）及び　ｃｏｖ（ｙ，
ｘ）　である。

【００２０】この共分散行列は正対称だから、これは、
→ｅｘ　及び→ｅｙ　に基づいて表現することのできる
各ベクトル又は行列をそれで表現するための、もう１つ
別の単位ベクトル→ｅｐ　及び→ｅｑ　を定義する一組
の直交固有ベクトルを持つ。固有ベクトルに基づいて写
像されたときには、共分散行列は対角行列の形を採る、
すなわちそのとき対角線外のコンポネントは０である。

【００２１】共分散行列のこの対角線表現は、こうして
変換されたベクトル→ｖの表現が新しい確率変数ｐ及び
ｑに係わるものであって、この新しい確率変数ｐ及びｑ
は変数ｘ及びｙの線形の組合せであり且つ今や相関はな
いという事実を、目に見える形で示している。そればか
りでなく、該共分散行列は正対称だから、共分散行列の
固有値である対角線上のコンポネントは今や、それぞれ
の分散　ｃｏｖ（ｐ，ｐ）　及びｃｏｖ（ｑ，ｑ）　で
あって、それは一般にはそれぞれσｐ　２　及びσｑ　
２　とされるものである。

【００２２】前にも述べたように共分散行列を対角線化
する変換は、主コンポネント変換とか　Ｈｏｔｅｌｌｉ
ｎｇ変換とか固有値変換とかＫａｒｈｕｎｅｎ−Ｌｏｅ
ｖｅ変換という名称で既知である。信号処理の過程では
この変換は、例えば、符号化の目的で信号中の従属性に
係わる冗長性を除去するためや、データ圧縮に有利に用
いることができるように信号エネルギーを小さい数の係
数に圧縮するために使用される。更に、変換というのは
実際には回転であるから、画像処理で回転を実行するの
にも使用できる。

【００２３】〔ガウスの公式（Ｇａｕｓｓｉａｎ　Ｆｏ
ｒｍｕｌａｅ）　〕実行上は、しばしば未知の確率関数
が、級数展開中の１次の項と見做すことのできるガウス
関数によって良く近似されるものと仮定される。ガウス
密度は、共分散行列と確率変数の平均値とによって完全
に定義される。のみならず、確率密度のガウス特性は線
形変換によって影響されない。Ｎ次元ガウス確率密度の
一般的表現は、図２の式（ｉ）　で与えられる。但し茲
で、Ｎは確率ベクトル空間（ｓｔｏｃｈａｓｔｉｃ−ｖ
ｅｃｔｏｒ　ｓｐａｃｅ）　の次元数を示し、Ｃは該当
する共分散行列を表し、｜Ｃ｜と表記されるＣの行列式
が０にはならないと仮定してＣ−１はＣの逆行列を表す
ものとする（ＣとＣ−１は共に対称である）。ベクトル
→ｘ及びベクトル→μはそれぞれ、確率ベクトル（ｓｔ
ｏｃｈａｓｔｉｃ　ｖｅｃｔｏｒ）　及びその期待値を
表す。

【００２４】図２の式（ｉ）　では、指数関数の偏角は
２次関数 （→ｘ−→μ）．Ｃ−１．（→ｘ−→μ）を含む。Ｃ−
１が（そして結果的にはＣが）対角線形となる単位ベク
トル系上へのベクトル　　→ｘ−→μ　　の写像は、該
偏角を同次２次項の和に変換する。指数関数の特性によ
り、合同確率密度（ｊｏｉｎｔ　ｐｒｏｂａｂｉｌｉｔ
ｙ　ｄｅｎｓｉｔｙ）　は今や因数に分離され、その各
々が図２の式（ｉｉ）で与えられる形の１次元ガウス確
率密度を表し、またその各々が分散σｉ　２　及び平均
値μｉ　を持つ。

【００２５】主コンポネント変換は、幾何学的には（→
ｘ−→μ）．Ｃ−１．（→ｘ−→μ）　が一定値をとる
面の、対称軸が（新しい）座標軸に一致する方向への回
転を表す。これもまた、それが上記２次式そのものの関
数だから、ガウス密度関数に関し妥当性を保ち続ける。

【００２６】〔幾何学的な構造（Ｇｅｏｍｅｔｒｉｃ　
Ｃｏｎｓｔｒｕｃｔｉｏｎ）〕次に本発明は、共分散行
列の固有ベクトル及び固有値の近似を、統計的シグニフ
ィカンス（統計的有効性−　ｓｔａｔｉｓｔｉｃａｌ　
ｓｉｇｎｉｆｉｃａｎｃｅ）が小さくなる順序で求める
方法を提案する。これは図３を用いて説明する。図３中
の輪郭線（ｃｏｎｔｏｕｒｓ）もまた、共分散行列に係
わる２次式と従ってガウス確率密度とが一定値である面
を指す。座標軸ｘ及びｙの原点は、図１の平均値Ｅ（ｘ
）、Ｅ（ｙ）の位置に既に移動している。それ故、以下
に説明するベクトル加算による構築は、原点として平均
値の位置を採る間に実行されるものである。茲での目的
は、座標系ｘ及びｙに関係するものとして２次関数の、
従ってガウス密度関数の、ｐ及びｑで示される対称軸の
方向の近似を見出すことである。これは次のようにして
達成される。

【００２７】固有ベクトルに対する最初の推定値→ｃ１
　として、ある判断基準に基づいて或いは無作為に、初
期ベクトル→θ１　が選定される。二番目の推定値→ｃ
２　は、先ず２番目のベクトル→θ２　を選定してから
、最初の推定値→ｃ１　と、この２番目のベクトル→θ
２　に内積：（→ｃ１．→θ２）上で作用する符号関数
（ｓｉｇｎ−ｆｕｎｃｔｉｏｎ）に等しい因数で加重さ
れたものとを、線形に組合せることにより構築される。 所与の実例では、このことは→ｃ２　を生成するために
最初の推定値→ｃ１　にマイナス→θ２　というベクト
ルをを加算することを意味する。三番目の推定値→ｃ３
　及び四番目の推定値→ｃ４　も同様にして、それぞれ
３番目のベクトル→θ３　及び４番目のベクトル→θ４
　を選定して構築される。上述の構築を要約した公式が
図４に示されている。

【００２８】次の推定値→ｃｋ＋１　の各々が、ｐ軸す
なわち最大固有値に付随する固有ベクトルに平行な方向
を持つ軸となす角が前のに比べて段々小さくなる傾向が
あることは、図３の概略図から推定できる。この固有ベ
クトルは、統計的有効性が最大の固有ベクトル（ｓｔａ
ｔｉｓｔｉｃａｌｌｙ　ｍｏｓｔ　ｓｉｇｎｉｆｉｃａ
ｎｔ　ｅｉｇｅｎｖｅｃｔｏｒ）と名付けられる。 （それぞれの固有値間の比は描かれた輪郭線のそれぞれ
の主軸の長さの比に対応することに留意すべきである。 ）こうして、上記内積上で作用する符号関数による加重
因数を用いて次の推定値→ｃｋ＋１　の各々を先行の推
定値→ｃｋ　の方向に寄せることによって、次の推定値
→ｃｋ＋１　はさらに主軸の方向に展開する。この繰り
返し過程の終了に当たり最後に得られた推定値が有効性
最大の固有ベクトルの近似値として採用される。以上は
数学的に厳密な証明を与えてはいないが、考え方として
は正しい。

【００２９】その他の固有ベクトルの近似に対しては、
考慮の対象になるベクトル→θｋ　が既に得られた近似
と直交する部分空間内になければならない、すなわちオ
ーソプリメント（ｏｒｔｈｏｐｌｅｍｅｎｔ）でなけれ
ばならない。従って選定されたベクトル→θｋ　は、既
に得られた近似が跨いでいる他の部分空間にあるコンポ
ネントを取り除かれる。

【００３０】提案された方法のもう１つの変形では、繰
り返し過程中で用いられるベクトル→θｋ　は、予め定
められた上限より小さい既に得られ且つ正規化された近
似値を持つ内積絶対値を有するのを好適とする。従って
直交化は最後の推定値が得られるまで遅らせられる。こ
うして、上述のコンポネントの除去は、最終ステップ以
外の各繰り返しステップでは避けられる。内積の計算を
考慮に入れなければならないかどうかを決定するために
、各ベクトル→θｋ　に対してそこで内積の計算が実行
されなければならない。のみならず、これらの内積の計
算結果は各近似に付帯する分散の計算に好適に用いられ
、こうして既に決定された結果が別の目的にも有効に利
用されることになり、それについては図８を用いて説明
される。

【００３１】このやり方で上記の戦術は、固有ベクトル
の近似値を、順次にすなわち統計的有効性（ｓｔａｔｉ
ｓｔｉｃａｌ　ｓｉｇｎｉｆｉｃａｎｃｅ）が小さくな
る順序で生成する。

【００３２】ある特定の固有ベクトルに属する固有値の
近似値は、よく知られている統計学の規約に従って決定
される。すなわち、平均値原点に係わるある特定の固有
ベクトルに付帯する分散σ２　の近似値としての標本分
散ｓ２　は図５の公式によって、但し→θｋ　は、その
特定の固有ベクトルを決定するために上述のように導入
された図４の公式中のｋ番目のベクトルを毎回指すもの
として、与えられる。

【００３３】〔内積因数　（Ｉｎｐｒｏｄｕｃｔ　Ｆａ
ｃｔｏｒｓ）〕内積ｉｎｐ　上に作用して加重因数　ｗ
ｆ　を生成するために（２値の）符号関数（図６（ａ）
）を用いる代わりに図６（ｂ）の（３値の）変形符号関
数が、当面の推定値の本質的改善をもたらすようなベク
トルのみを考慮するために用いられることは好適であり
、こうして動作の数が少なくなる。換言すれば、予め定
められた下限Ｂより大きい絶対値を持つ内積をもたらす
それらのベクトルのみが当面の近似に関係すると考えら
れるのである。ある特定の固有ベクトルの近似値を決定
する当面の過程中で、いくつかのベクトル→θが、この
過程ではその内積が小さ過ぎてこれを用いることは展開
を遅くするという理由で、棄てられる。しかしこれらの
棄てられたベクトル→θは、更に別の固有ベクトルの近
似を展開する過程で用いられる時には、重要な内積値を
もたらすベクトル→θを与えるようなベクトル空間の領
域内に在るのである。

【００３４】図７は、特定の主コンポネントすなわち固
有ベクトルに対する推定値を順次決定するための信号デ
ータ処理装置　（７０）　の一番目の実施例の概略図を
表す。

【００３５】該装置７０はベクトル→θｋ　を順次生成
するためのベクトル生成器７２を有する。ｋ＝１　に対
して生成されたベクトル→θ１　は経路指定器７４を経
由してメモリ７６に送られて、そこで有効性最大の（ｍ
ｏｓｔ　ｓｉｇｎｉｆｉｃａｎｔ）固有ベクトルの近似
の１番目の推定値として記憶される。次々に生成される
ベクトル→θｋ＋１　の各々は、経路指定器７４を経由
してレジスタ７８に送られて、そこで記憶される。レジ
スタ７８に記憶されたベクトル及びメモリ７６に記憶さ
れた先行の推定値→ｃｋ　が、内積の値を計算するため
に内積手段８０に与えられる。計算された内積の値が、
例えば図６（ａ）による符号関数又は図６（ｂ）による
変形符号関数を用いて、関数手段８２により操作される
。関数手段８２の出力が、レジスタ７８に記憶された当
面のベクトル→θｋ＋１　に加重するための因数を与え
る。そのために、乗算手段８４は該因数と当面のベクト
ル→θｋ＋１　との両方を受け取って加重ベクトルを生
成し、これを加算器８６内で、メモリ７６に記憶されて
いた先行の推定値→ｃｋ　に加算する。加算結果→ｃｋ
＋１　はメモリ７２に記憶され、前の推定値→ｃｋと置
き換える。内積手段８０の中での内積操作、乗算手段８
４の中での乗算操作及び加算器８６の中での加算操作の
各々は、当該ベクトル・コンポネントに関し並列に実行
されるのが好適である。メモリ７６は該ベクトル・コン
ポネントを並列に書き込み及び並列に読み出しを許すタ
イプであることを好適とする。

【００３６】関数手段８２が符号関数操作を実行する場
合に、ベクトル→θｋ＋１　は乗算手段８４で単に反転
するだけであるか又は直接そのまま加算器８６に与えら
れるかのいずれかであることに留意すべきである。この
場合、乗算手段はレジスタ７８の内容を反転する単一反
転器である。 ある特定の固有ベクトルの近似値を計算するために各繰
り返し過程で生成されたベクトル→θは、既に定められ
た近似値と直交するものでなければならない。

【００３７】〔２番目の典型的装置例（Ｓｅｃｏｎｄ　
Ｅｘｅｍｐｌａｒｙ　Ａｐｐａｒａｔｕｓ）〕図８には
、本発明による装置の２番目の実施例の概略図が示され
る。図７の装置のものと同一の部分又は対応する部分に
は同じ番号が付けてある。この図に示す装置９０は、図
７の装置７０に判断手段１００　を付け加えて拡張した
もので、この判断手段１００　は、ベクトル生成器７２
により生成された当面のベクトル→θｋ＋１　が図３に
よるベクトル構築中に、関連の固有ベクトルの近似に向
けて誘導する役割を果たすべきかどうかを判断するため
のものである。最高ランクの固有ベクトル（有効性最大
の固有ベクトル）の近似値を定めるためには、判断手段
１００　は考慮の対象外に置き、装置９０は前の図７の
装置７０と同様な動作をする。１番目の固有ベクトルの
最後に得られた推定値が決定されたら、それは単位の大
きさに正規化されて、１番目のベース・ベクトルとして
ベース・メモリ１０２　に記憶される。

【００３８】その次の近似値を定めるために、装置９０
は次のように動作する。生成された１番目のベクトル→
θ１　が、ベクトル構築のために考慮にいれるのに十分
なほどに小さいところの以前に定められたベース・ベク
トルをもつ内積の値に向かっているかどうかを決定する
ために判断手段１００　で試験される。

【００３９】内積の値が十分小さい場合には、ベクトル
→θ１　は経路指定器７４を経由してメモリ７６に直接
に与えられる。ベクトル→θ１　が試験に通らなければ
ベクトル構築用としては棄てられて、次のベクトルが生
成される。次に生成され試験に通ったベクトル→θｋ＋
１　の各々がレジスタ７８に搭載され、それ以後の過程
は図７の処で説明したように進行する。当面の固有ベク
トルの最終推定値が得られたら、それはメモリ１０２　
に記憶されたベース・ベクトルに関して直交化され、メ
モリ１０２　に記憶するために単位の大きさに正規化さ
れる。

【００４０】ベクトル生成器７２により生成された一組
のベクトル→θが関連の近似へ向けての各繰り返し過程
で異なる場合には、図５の公式による分散が、該特定の
一組をたった今決定された関連ベース・ベクトルと共に
内積手段１０４　に再導入される。自乗部１０６　の入
力点は、各内積値を自乗するために、内積手段１０４　
の出力点に結合している。そこで、これらの自乗値は合
計され、繰り返し過程で生成されたベクトル→θｋ　の
数すなわちベクトル構築用に考慮にいれたものも過小な
内積値の故に除外されたものも共に数えた数を除数とし
て割り算される。

【００４１】各繰り返し過程に対して同じ一組のベクト
ルが使われる場合には、内積値の試験及び分散の計算に
関係するいくつかの操作が次のように交互に行われる。

【００４２】内積値の試験は、内積手段１０４　と自乗
部１０６　と比較器１０８　とによって進められる。自
乗された内積値は分散の計算で使うために補助メモリ（
図示してない）に記憶される。各繰り返し過程では新し
い内積値のみが計算される筈である、換言すれば最後に
得られたベース・ベクトルに係わる内積値のみが決定さ
れる。これらの結果が補助メモリ（図示してない）に記
憶されている値と一緒に、当面のベクトル→θがベクト
ル構築段階に進んで宜しいかどうかを決定するための判
定基準（ｃｒｉｔｅｒｉａ）を確立する。しかし、これ
ら新しい内積値は正に、以前に（最後に）得られたベー
ス・ベクトルに付随する分散の計算に必要とされるもの
そのものである。従って、ベース・ベクトル→ｃｋ　に
付随する分散は、ベース・ベクトル→ｃｋ＋１のための
ベクトル構築段階で決定される。その次のベース・ベク
トルの探究の終了に当たってのみ、得られた最後のもの
が付随する分散を生成するために内積手段１０４　に再
導入されなければならない。

【００４３】〔特異値分解（Ｓｉｎｇｕｌａｒ　Ｖａｌ
ｕｅ　Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）〕今までに取り扱
った主コンポネント解析（ＰＣＡ）　を具体化する本発
明の方法によるｍ×ｎデータ行列の特異値分解（ＳＶＤ
）　をこれから説明する。既にこれまでに述べたように
、信号処理の分野の内部では多数の応用が　ＳＶＤを利
用していることを心に留めて置かなければならない。

【００４４】最初に取り上げる関係式は、図９の　（ｉ
）式であって、茲で→ｘはｎ次元入力空間の入力ベクト
ルとし、それはｍ次元出力空間の出力ベクトル→ｙを生
じさせるものとし、該出力ベクトル→ｙは行列Ａによる
線形変換により→ｘに関係付けられるものである。

【００４５】行列Ａは一般的には未知であるから、入力
ベクトル

【数２】 とこれに付随する出力ベクトル

【数３】 とを組合せた典型的なベクトル対

【数４】 を生成するための測定が行われる。ここで、典型的な入
力ベクトル

【数５】 は、ランクの異なる入力ベクトル・コンポネントには相
関が無く、付随する分散は単位量（ｕｎｉｔｙ）　に等
しい入力空間内の領域に、無作為に且つ一様に分布して
いるものと仮定する。この性質は図９の（ｉｉ）式に表
現されている。此処で入力共分散行列＜→（ｘｘ）＞は
単位対角行列の形を採る。従って、出力共分散行列＜→
（ｙｙ）＞は図９の　（ｉｉｉ）式の形を採る。すなわ
ち＜→（ｙｙ）＞は、行列Ａとその転置行列ＡＴ　との
行列積である対称行列ＡＡＴ　に等しい。

【００４６】この対称行列は、その列（ｃｏｌｕｍｎｓ
）　が対称行列の固有ベクトル→ｖの表現を構成すると
ころの変換行列Ｖ１　を用いて対角線化される（図９の
（ｉｖ）式）。ここで、行列ＡＡＴ　の固有ベクトル→
ｖは出力空間内にある。行列ＡＡＴ　はランクｒである
、すなわちそれは０より大きいｒ個の固有値を多数持つ
。同じ事が入力空間内で対角線化される対称行列ＡＴ　
Ａについても云える、但し今度は入力空間内のＡＴ　Ａ
の固有ベクトル→ｕから成るｎ×ｒ変換行列Ｕ１を経由
して対角線形式が得られると理解するのである（図９の
　（ｖ）式）。行列Ａは図９の（ｖｉ）式の右辺のよう
に書くことが出来るものと推定し得る。行列Σ１　は、
Σ１２に編入された固有値に関連するいわゆる特異値を
有する。図９の　（ｖ）式は通常、特異値分解と呼ばれ
る。

【００４７】こうして、測定に基づいて、対称であり且
つ今考えているシステムの想定された直線性に関する情
報を含む出力共分散行列が構築される。図３を用いての
既述の方法によれば、この対称行列の固有ベクトルは順
次近似され、その正規化された形は変換行列Ｖ１　の列
を構成する。しかし、図９の　（ｖｉｉ）式で視覚でき
るように、出力空間のある特定の固有ベクトル→ｖの次
の推定値を生成するための各繰り返しステップでは、関
連の入力ベクトルは入力空間内の付随する固有ベクトル
→ｕを結局は生成するように変換されなければならない
。典型的入力ベクトルの分布の一様性によって入力共分
散行列は既に対角線形式上にある（図９の（ｉｉ）式）
ことに留意すべきである。結果として入力空間内のいか
なる追加ベースも入力共分散行列を単位対角線形式に保
持するであろう。しかし、図９の　（ｖｉｉ）式は入力
空間ベースを選択するための制限を表す。

【００４８】ある特定の出力固有ベクトル→ｖ及び付随
する入力固有ベクトル→ｕを順次評価するための上記の
構造は、図１０に掲げる式で示される。但し茲で、記号
→ｃｋ　は出力固有ベクトル→ｖのｋ番目の推定値を、
また記号→ｂｋ　は関連の入力固有ベクトル→ｕの付随
するｋ番目の推定値を表すものとする。

【００４９】すべての典型的な入力、出力の対に対して
、入力ベクトル→ｘｋ　と関連の出力ベクトル→ｙｋ　
との間の線形関係を反映して（ｉ）式の関係は有効であ
る。 →ｖに対する最初の推定値→ｃ１　として、ある特定の
出力ベクトル→ｙｋ　が選ばれ、また→ｕに対する最初
の推定値として関連の入力ベクトル→ｘ１　が選ばれる
。次の推定値→ｃｋ＋１　の各々の偏差は図１０の　（
ｉｉｉ）式で表され、図４で説明した偏差と類似である
。図１０の（ｉｖ）式の関係すなわち図９の　（ｖｉｉ
）式で正当化した対応する推定値間の関係を維持するた
めに、その次の推定値→ｂｋ＋１　が図１０の　（ｖ）
式により決定される。内積上に作用する符号関数も図６
で説明した変形符号関数に置き換えることができる。

【００５０】繰り返し過程の終了に当たり、各推定値→
ｃｋ＋１　及び→ｂｋ＋１　は、それぞれの単位長ベー
ス・ベクトルを表すために単位量（ｕｎｉｔｙ）　上に
正規化される。特異値それ自体は図１１の公式を用いて
これから説明するようにして決定される。図１１の（ｉ
）式では、入力ベクトル→ｘと出力ベクトル→ｙとの間
の線形関係はインデクス記法で書いてある。インデクス
記法というのはある特定の項中に２回現れるインデクス
はすべてこのインデクスについての総和を表すものとす
るである。

【００５１】図１１の（ｉｉ）式は図９の（ｖｉ）式を
このインデクス記法で書き直したものであって、

【数６】 はそれぞれ行列Ｖ１　と行列Ｕ１　のそれぞれのコンポ
ネントである。図１１の（ｉｉ）式を図１１の　（ｉ）
式に代入すると、図１１の　（ｉｉｉ）式が得られて、
この右辺は今やベクトル→ｘ及びランクｌの単位長入力
ベース・ベクトル→ｕｌ　を含む内積を有している。こ
の両辺に単位長出力ベース・ベクトル→ｖｌ　を乗算す
ると、付随する特異値σ１　が内積（（→ｙ）．（→ｖ
ｌ　））と内積（（→ｙ）．（→ｕｌ　））の商により
決定される。すべての典型的な対に亙って平均すれば、
究極的に固有値σ１　の近似が図１１の（ｉｖ）式に示
すように与えられる。

【００５２】〔３番目の典型的装置例　（Ｔｈｉｒｄ　
Ｅｘｅｍｐｌａｒｙ　Ａｐｐａｒａｔｕｓ）〕実際に　
ＳＶＤの出力ベース・ベクトルは　ＰＣＡの固有ベクト
ルと同じやり方で計算される。従って　ＰＣＡを実行す
るために提案された装置は　ＳＶＤを実行する装置と合
体する。これに従って入力ベース・ベクトルを計算し、
特異値を計算する更に別の計算手段がそれから付加され
る。これが図１２に示す装置である。茲に示す典型的な
装置１２０　が上述の　ＳＶＤを実行する。この目的の
ためにそれは、各出力ベクトル→ｙとそれぞれの入力ベ
クトル→ｘとが線形関係にあるところの出力ベクトル→
ｙ及び入力ベクトル→ｘを生成するベクトル生成器１２
２　を含む。それぞれの出力ベクトル→ｙは、例えば図
７又は図８中に示され既に説明されているような出力ベ
ース計算器１２４　に与えられる。出力ベース計算器１
２４　は、それぞれの出力ベース・ベクトルすなわち図
９の（ｖｉ）式中の行列Ｖ１　の各列を計算する。入力
ベクトル→ｘは、入力ベース・ベクトルすなわち図９の
（ｖｉ）式中の行列Ｕ１　の各列を計算するために、入
力計算器１２６　に与えられる。

【００５３】入力計算器１２６　のそれぞれの部分には
図７及び図８中で用いたのと同じ引用番号が与えられ、
前に述べたのと同じ役割を務める。こうして、ある特定
の入力ベース・ベクトルを計算するために、最初の推定
値→ｘ１が経路指定器７４を経由してメモリ７６に搭載
される。 各その次の推定値に対し、次の入力ベクトル→ｘｋ＋１
　が、出力ベース計算器１２４　から受け取った関連の
因数を乗算するために経路指定器７４を経由して乗算手
段８４に入力される。そこで乗算結果はメモリ７６に記
憶されている先行の推定値に加算するために加算器８６
に搭載される。該特定の入力ベース・ベクトルに係わる
繰り返し過程の終了に当たり、最後に得られた推定値が
、それぞれのベース・ベクトルとして用いられるために
単位量（ｕｎｉｔｙ）　上に正規化される。

【００５４】〔４番目の典型的装置例（Ｆｏｕｒｔｈ　
Ｅｘｅｍｐｌａｒｙ　Ａｐｐａｒａｔｕｓ）〕本発明に
よる装置中では、次の部分すなわち経路指定器７４、乗
算手段８４、加算器８６は、出力評価の計算と入力評価
の計算との両方に使うために、特に設けられていること
もある、ということに留意すべきである。このことは図
１３にその概略が示されている。

【００５５】図１３は本発明による４番目の典型的装置
例１３０　を示す。引用番号は図７、図８、図１２と同
じものが使われる。例えば図８の７２と１００　とを組
合わせたものを含むベクトル生成器１２２　はベクトル
を経路指定器７４に与え、該経路指定器７４は、それぞ
れの出力ベクトル→ｙを図７及び図８で説明したように
メモリ７６又はレジスタ７８のいずれかに直接送り、ま
たそれぞれの入力ベクトル→ｘを図１２で説明したよう
にメモリ７６又は乗算手段８４のいずれかに直接送るの
である。

【図面の簡単な説明】

【図１】図１は、２つの相関のある確率変数の、ガウス
の確率密度関数の一例を視覚化した図である。

【図２】図２は図１の図形に係わる数式的表現である。

【図３】図３は、固有ベクトルを生成するための順次推
定値の構造を視覚化した図である。

【図４】図４は図３で視覚化した構造に係わる数式的表
現である。

【図５】図５は固有ベクトルを決定するための数式を示
す図である。

【図６】図６は、内積に従属する因数を決定するための
加重関数の例を示す図である。

【図７】図７は、本発明による装置の１番目の実施例を
示す図である。

【図８】図８は、本発明による装置の２番目の実施例を
示す図である。

【図９】図９は、特異値分解（ＳＶＤ）　に係わる数式
的表現である。

【図１０】図１０は、ＳＶＤ　での一部の役割を務める
固有ベクトルに対する順次推定値を決定するための数式
を示す図である。

【図１１】図１１は、近似された特異値を決定するため
の数式を示す図である。

【図１２】図１２は、本発明による３番目の典型的装置
例の概略を示す図である。

【図１３】図１３は、本発明による４番目の典型的装置
例の概略を示す図である。

【符号の説明】

７０　　信号データ処理装置の１番目の実施例７２，１
２２　　ベクトル生成器 ７４　　経路指定器 ７６　　メモリ ７８　　レジスタ ８０，１０４　　内積手段 ８２　　関数手段 ８４　　乗算手段 ８６　　加算器 ９０　　信号データ処理装置７０を拡張した２番目の実
施例１００　　　判断手段 １０２　　　ベース・メモリ １０６　　　自乗部 １０８　　　比較器 １２０　　　特異値分解を実行する典型的な装置例（３
番目の実施例） １２４　　　出力ベース計算器 １２６　　　入力計算器 １３０　　　本発明の４番目の実施例

Claims (18)

【特許請求の範囲】
1. 【請求項１】　　ベクトル空間中に表現される信号デー
   タに係わる共分散行列の統計的シグニフィカンス最大の
   固有ベクトルの近似値を決定することを含むところの、
   主コンポネント解析に基づく信号データを処理する方法
   において、該近似値を決定することは次の各ステップ、
   すなわち上記ベクトル空間中の初期ベクトルを１番目の
   推定値として採るステップと、各その次の推定値として
   、先行の推定値と上記ベクトル空間中の次のベクトルと
   の線形結合を決定し、該次のベクトルは、次の推定値を
   先行の推定値の方向に高めるために、この先行の推定値
   と該次のベクトルとの内積に依存する因数で加重される
   ものとするステップと、次の推定値を決定することを終
   了するに当たって、上記近似値を最後に得られた推定値
   に平行に採るステップとを有することを特徴とする信号
   データ処理方法。
2. 【請求項２】　　共分散行列の更にもう１つの固有ベク
   トルの更にもう１つの近似値を決定することは、次の各
   ステップ、すなわち上記ベクトル空間の、以前に決定さ
   れたそれぞれの固有ベクトルに直交するところの部分空
   間中に在る更にもう１つの初期ベクトルを、最初の更に
   もう１つの推定値として採るステップと、各その次の更
   にもう１つの推定値として、先行の更にもう１つの推定
   値と上記部分空間中の次の更にもう１つのベクトルとの
   線形結合を決定し、該次の更にもう１つのベクトルは、
   次の更にもう１つの推定値のコンポネントを先行の更に
   もう１つの推定値の方向に高めるために、この先行の更
   にもう１つの推定値と該次の更にもう１つのベクトルと
   の内積に依存する因数で加重されるものとするステップ
   と、次の更にもう１つの推定値を決定することを終了す
   るに当たって、更にもう１つの近似値を最後に得られた
   更にもう１つの推定値に平行に採るステップとを含むこ
   とを特徴とする請求項１に記載の方法。
3. 【請求項３】　　共分散行列の更にもう１つの固有ベク
   トルの更にもう１つの近似値を決定することは、次の各
   ステップ、すなわち予め定められたそれぞれの値よりも
   小さい各以前に定められたそれぞれの近似値を伴う内積
   絶対値を持つところのベクトルにより決定されるベクト
   ル空間の領域中に在る更にもう１つの初期ベクトルを、
   最初の更にもう１つの推定値として採るステップと、各
   その次の更にもう１つの推定値として、先行の更にもう
   １つの推定値と次の更にもう１つの領域ベクトルとの線
   形結合を決定し、該次の更にもう１つの領域ベクトルは
   、次の更にもう１つの推定値を先行の更にもう１つの推
   定値の方向に高めるために、因数推定値と次の更にもう
   １つのベクトルとで加重されるものとするステップと、
   次の更にもう１つの推定値を決定することを終了するに
   当たって、最後に得られた更にもう１つの推定値を各以
   前に定められた近似値に関して直交化するステップと、
   更にもう１つの近似値を、上記直交化されたところの最
   後に得られた更にもう１つの推定値に平行に採るステッ
   プとを含むことを特徴とする請求項１に記載の方法。
4. 【請求項４】　　特異値分解を用いて信号データを処理
   する方法であって、該信号データは、入力ベクトル空間
   内の入力ベクトルと出力ベクトル空間内の出力ベクトル
   とにより表され、各出力ベクトルはそれぞれの入力ベク
   トルとほぼ線形に関係付けられている信号データ処理方
   法において、該方法は次の各ステップ、すなわち初期出
   力ベクトルを、最初の出力ベース・ベクトルに対する最
   初の出力推定値として採るステップと、上記出力ベクト
   ルに関係する初期入力ベクトルを、最初の入力ベース・
   ベクトルに対する最初の入力推定値として採るステップ
   と、各その次の出力推定値として、先行の出力推定値と
   次の出力ベクトルとの線形結合を決定し、該次の出力ベ
   クトルは、次の出力推定値を先行の出力推定値の方向に
   高めるために、この先行の出力推定値と該次の出力ベク
   トルとの内積に依存する因数で加重されるものとするス
   テップと、各その次の入力推定値として、先行の入力推
   定値と次の入力ベクトルとの線形結合を決定し、該次の
   入力ベクトルは、次の出力ベクトルを次の入力ベクトル
   とほぼ線形に関係付けることを維持するために、上記因
   数で加重されるものとするステップと、次の出力推定値
   と次の入力推定値とを決定することを終了するに当たっ
   て、最後に得られた出力推定値と最後に得られた入力推
   定値とを、最初の出力ベース・ベクトルと最初の入力ベ
   ース・ベクトルとをそれぞれ生成するために、単位長の
   上に正規化するステップとを含むことを特徴とする信号
   データ処理方法。
5. 【請求項５】　　更にもう１つの出力ベース・ベクトル
   と、これに関係する更にもう１つの入力ベース・ベクト
   ルとを決定することは、次の各ステップ、すなわち以前
   に定められた出力ベース・ベクトルに直交する上記出力
   空間内の部分空間中に在る更にもう１つの初期出力ベク
   トルを、最初の更にもう１つの出力推定値として採るス
   テップと、上記更にもう１つの初期出力ベクトルに関係
   する更にもう１つの初期入力ベクトルを、最初の更にも
   う１つの入力推定値として採るステップと、各その次の
   更にもう１つの出力推定値として、先行の更にもう１つ
   の出力推定値と次の更にもう１つの上記部分空間の出力
   ベクトルとの線形結合を決定し、該次の更にもう１つの
   出力ベクトルは、次の更にもう１つの推定値を先行の更
   にもう１つの出力推定値の方向に高めるために、この先
   行の更にもう１つの出力推定値と該次の更にもう１つの
   出力ベクトルとの内積に依存する次の因数で加重される
   ものとするステップと、各その次の更にもう１つの入力
   推定値として、先行の更にもう１つの入力推定値と、次
   の更にもう１つの出力ベクトルに関係する次の更にもう
   １つの入力ベクトルとの線形結合を決定し、該次の更に
   もう１つの入力ベクトルは、次の更にもう１つの出力ベ
   クトルを次の更にもう１つの入力ベクトルとほぼ線形に
   関係付けることを維持するために、上記次の因数で加重
   されるものとするステップと、次の更にもう１つの出力
   推定値と次の更にもう１つの入力推定値とを決定するこ
   とを終了するに当たって、最後に得られた出力推定値と
   最後に得られた入力推定値とを、更にもう１つの出力ベ
   ース・ベクトルと更にもう１つの入力ベース・ベクトル
   とをそれぞれ生成するために、単位長の上に正規化する
   ステップとを含むことを特徴とする請求項４に記載の方
   法。
6. 【請求項６】　　更にもう１つの出力ベース・ベクトル
   と、これに関係する更にもう１つの入力ベース・ベクト
   ルとを決定することは、次の各ステップ、すなわち予め
   定められたそれぞれの値よりも小さい各以前に定められ
   たそれぞれの出力ベース・ベクトルを伴う内積絶対値を
   持つところの出力ベクトルにより決定される出力ベクト
   ル空間の領域中に在る更にもう１つの初期出力ベクトル
   を、最初の更にもう１つの出力推定値として採るステッ
   プと、上記更にもう１つの初期出力ベクトルに関係する
   更にもう１つの初期入力ベクトルを、最初の更にもう１
   つの入力推定値として採るステップと、各その次の更に
   もう１つの出力推定値として、先行の更にもう１つの出
   力推定値と次の更にもう１つの上記領域の出力ベクトル
   との線形結合を決定し、該次の更にもう１つの出力ベク
   トルは、次の更にもう１つの出力推定値を先行の更にも
   う１つの出力推定値の方向に高めるために、この先行の
   更にもう１つの出力推定値と該次の更にもう１つの出力
   ベクトルとの内積に依存する次の因数で加重されるもの
   とするステップと、各その次の更にもう１つの入力推定
   値として、先行の更にもう１つの入力推定値と、次の更
   にもう１つの出力ベクトルに関係する次の更にもう１つ
   の入力ベクトルとの線形結合を決定し、該次の更にもう
   １つの入力ベクトルは、次の更にもう１つの出力ベクト
   ルを次の更にもう１つの入力ベクトルとほぼ線形に関係
   付けることを維持するために、上記次の因数で加重され
   るものとするステップと、次の更にもう１つの出力推定
   値と次の更にもう１つの入力推定値とを決定することを
   終了するに当たって、最後に得られた更にもう１つの出
   力推定値と最後に得られた更にもう１つの入力推定値と
   を、更にもう１つの出力ベース・ベクトルと更にもう１
   つの入力ベース・ベクトルとをそれぞれ生成するために
   、単位長の上に正規化するステップとを含むことを特徴
   とする請求項４に記載の方法。
7. 【請求項７】　　上記因数は、当該内積に対し作用する
   符号関数であることを特徴とする請求項１ないし６のう
   ちのいずれか１項に記載の方法。
8. 【請求項８】　　上記因数は、内積が０の周りの予め定
   められた間隔より外側の値を持つ時は、当該内積に対し
   作用する符号関数であり、また内積が該間隔の内部にあ
   る値を持つ時は０に等しいことを特徴とする請求項１な
   いし６のうちのいずれか１項に記載の方法。
9. 【請求項９】　　各その次のベクトル又は各その次の更
   にもう１つのベクトルに関わりのある内積は、予め定め
   られた０ではない下限よりも大きい絶対値を持つことを
   特徴とする請求項７に記載の方法。
10. 【請求項１０】　　共分散行列のある特定の固有ベクト
    ルに関連する固有値を近似することを含む請求項１ない
    し３のうちのいずれか１項に記載の方法において、該近
    似することは、次の各ステップ、すなわち特定の固有ベ
    クトルに関連して最後に得られた推定値を単位量の上に
    正規化するステップと、各それぞれの内積は正規化され
    た推定値とそれぞれのベクトルとに関わりがあるもので
    あり、それぞれの推定値を生成するために用いられる内
    積の自乗の総和を定め且つ総和の結果を平均するステッ
    プとを含むことを特徴とする方法。
11. 【請求項１１】　　特定の出力ベース・ベクトルとこれ
    に関係する特定の入力ベース・ベクトルとに係わる特異
    値を決定することを含む請求項４ないし６のうちのいず
    れか１項に記載の方法において、該方法は、次の各ステ
    ップ、すなわち特定の出力ベース・ベクトルを生成する
    特定の繰り返し中に考慮されるところの、各それぞれの
    出力ベクトルを伴う該特定の出力ベース・ベクトルのそ
    れぞれの最初の内積値を決定するステップと、考慮され
    ているそれぞれの出力ベクトルに関係する各それぞれの
    入力ベクトルを伴う該特定の入力ベース・ベクトルのそ
    れぞれの２番目の内積値を決定するステップと、最初の
    内積値を関連する２番目の内積値で割り算した商に対し
    平均値を計算するステップとを含むことを特徴とする方
    法。
12. 【請求項１２】　　ベクトル空間中に表現される信号デ
    ータに係わる共分散行列の統計的シグニフィカンス最大
    の固有ベクトルの近似値を少なくとも決定するための、
    主コンポネント解析に基づく信号データ処理装置におい
    て、該ベクトル空間の初期ベクトルを、当面の推定値と
    して記憶するためのメモリと、当面の推定値と上記その
    次のベクトルとの内積を計算するための内積手段と、上
    記その次のベクトルに、該内積により定められる加重を
    乗算する乗算手段と、加算結果を当面の推定値の方向に
    高めるために、上記加重を乗じられたその次のベクトル
    を当面の推定値に加算し、またその加算結果を当面の推
    定値として上記メモリ中に記憶するための加算手段とを
    含むことを特徴とする信号データ処理装置。
13. 【請求項１３】　　上記メモリ及び上記レジスタに接続
    しているところの、生成された固有ベクトルの近似値に
    直交するベクトルを生成するためのベクトル生成器を持
    つことを特徴とする請求項１２に記載の装置。
14. 【請求項１４】　　メモリ又はレジスタにベクトルを、
    以前に得られている正規化され、相互に直交する近似値
    を伴うそれらに関連するそれぞれの内積値に基づいて、
    選択的に導入する判断手段を持つことを特徴とする請求
    項１２に記載の装置。
15. 【請求項１５】　　信号データはその各々がそれぞれの
    入力ベクトルに関係付けられる出力ベクトルにより表現
    されているところの、特異値分解に基づく信号データ処
    理装置において、初期出力ベクトルを、当面の出力推定
    値として記憶するための１番目のメモリと、当面の出力
    推定値と上記その次の出力ベクトルとの内積を計算する
    ための内積手段と、上記その次のベクトルに、該内積に
    より定められる加重を乗算する１番目の乗算手段と、上
    記加重を乗じられたその次の出力ベクトルを当面の出力
    推定値に加算し、またこの加算結果を当面の出力推定値
    として上記１番目のメモリ中に記憶するための１番目の
    加算手段と、初期出力ベクトルに関係付けられた初期入
    力ベクトルを、当面の入力推定値として記憶するための
    ２番目のメモリと、上記その次の出力ベクトルに関係付
    けられたその次の入力ベクトルに、上記加重を乗算する
    ２番目の乗算手段と、上記加重を乗じられたその次の入
    力ベクトルを当面の入力推定値に加算し、またこの加算
    結果を当面の入力推定値として上記２番目のメモリ中に
    記憶するための２番目の加算手段とを含むことを特徴と
    する信号データ処理装置。
16. 【請求項１６】　　信号データはその各々がそれぞれの
    入力ベクトルに関係付けられる出力ベクトルにより表現
    されているところの、特異値分解に基づく信号データ処
    理装置において、当面の入力推定値と当面の出力推定値
    とを記憶するためのメモリと、出力ベクトルを記憶する
    ためのレジスタと、レジスタに接続するベクトル入力点
    と、その次の出力ベクトル及び当面の出力推定値に関わ
    りのある内積を計算するためのメモリに結合する更にも
    う１つの入力点とを持つ内積手段と、該内積手段の出力
    点に結合し、上記レジスタに結合するベクトル入力点を
    持つ乗算手段と、それぞれの出力ベクトルとそれぞれの
    入力ベクトルとを受け取り、それぞれの出力ベクトルを
    直接上記メモリへか又はレジスタへかのいずれかに経路
    指定し、また、それぞれの入力ベクトルを直接上記メモ
    リへか又は乗算手段のベクトル入力点へかのいずれかに
    経路指定するための経路指定器と、上記乗算手段に結合
    する１番目の入力点とメモリに結合する２番目の入力点
    とを持ち、またメモリに結合する出力点を持つ加算器と
    を含むことを特徴とする信号データ処理装置。
17. 【請求項１７】　　次の諸デバイス、すなわち関連する
    推定値コンポネントをその中に平行して書き込むための
    メモリ、その次のベクトル・コンポネントを平行して書
    き込むためのレジスタ、コンポネントの乗算を平行して
    実行するための内積手段、その次のベクトル・コンポネ
    ントに上記加重を平行して乗算するための乗算手段、及
    び加重されたその次のベクトル・コンポネントを相互に
    等しいランクの当面の推定値コンポネントに平行して加
    算するための加算手段、のうちの少なくとも１つのデバ
    イスは、ベクトル・コンポネントに関してそれらの関連
    する動作を平行して実行することを特徴とする請求項１
    ２、１５又は１６に記載の装置。
18. 【請求項１８】　　符号関数と、内積結果の絶対値が予
    め定められた下限より大きい場合には符号関数であり、
    そうでなければゼロ関数である関数とのうちの一方を内
    積結果に適用するために、関数手段が、内積手段の出力
    点と上記乗算手段の加重入力点との間に結合しているこ
    とを特徴とする請求項１２、１５又は１６に記載の装置
    。