JPH07296169A - パターン認識用特徴ベクトルの次元圧縮のための特徴変換行列の演算方式 - Google Patents

Abstract

(57)【要約】 【目的】 判別分析法を用いてパターン認識用特徴ベク
トルの次元圧縮に必要な特徴変換行列（判別行列）を演
算する方式において、いかなる場合でも判別分析が実行
でき、且つ判別行列の整数化が容易にできるようにする
ための改良を提供することにある。 【構成】 特徴ベクトル集合から級間分散行列を計算す
る（１０、１１、１２、１３）。また、全共分散行列の
固有値及び固有ベクトルを計算し（１３、１４）、次い
で、所定の固有値寄与率に基づいて、全共分散行列の固
有値の有効次元数を決定し（１５）、全共分散固有値の
うち有効次元数以上の高次元の固有値を、有効次元数の
固有値で置換又は削除する（１６）。次に、高次元固有
値を置換又は削除した後の全共分散固有値及び固有ベク
トルを用いて、級間分散行列を線形変換し（１７）、そ
して、線形変換した級間分散行列の固有ベクトルと全共
分散行列の固有値及び固有ベクトルとを用いて特徴変換
行列を演算する（１８、１９）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パターン認識の分野に
おいて、オリジナルの特徴ベクトルを次元圧縮して認識
に有効な特徴ベクトルを生成するための特徴変換行列の
演算方式に関する。

【０００２】

【従来の技術】従来より、パターン認識装置では、入力
された未知パターンを前処理し特徴ベクトルを生成した
後、このオリジナルな特徴ベクトルからパターン認識に
有効な特徴ベクトルを生成する次元圧縮処理を行ない、
それからその特徴ベクトルについて認識辞書の各カテゴ
リの特徴ベクトル（＝参照ベクトル）との一致度を照合
することにより認識する方法が用いられている。

【０００３】入力されたパターンをコンピュータにより
認識する際には、そのパターンの多数の特徴要素につい
て比較することにより、一致度を照合するが、その特徴
要素数は、通常膨大な数（１０００以上）であるため、
特徴要素の全部を用いて照合するのでは、非常に多くの
時間を要する。また、膨大な数の特徴要素群の中には、
認識に不要な特徴要素が含まれている場合が多く、特徴
要素の全部を用いて照合すると認識精度に悪影響を与え
る可能性もある。

【０００４】そのため、従来より、パターンを認識する
ための特徴要素群の中から認識に有効な特徴要素のみを
生成する次元圧縮法が用いられており、この方法には、
判別分析法を用いた次元圧縮法がよく知られている。

【０００５】この方法は、図７に示すように、まず、カ
テゴリごとの特徴ベクトルの平均ベクトルをカテゴリ平
均ベクトル計算部７０で求める。それと並行して全カテ
ゴリの平均ベクトルを全平均ベクトル計算部７１で求め
る。次に、カテゴリごとの平均ベクトルと全平均ベクト
ルとを用いて級間分散行列を級間分散行列計算部７２で
求める。

【０００６】これらの処理と並行して全カテゴリの共分
散行列を全共分散行列計算部７３で計算する。次に、全
共分散行列の固有値及び固有ベクトルを全共分散固有値
・固有ベクトル計算部７４で計算する。

【０００７】次に、全共分散行列の固有値及び固有ベク
トルを用いて、級間分散行列に対する線形変換を級間分
散行列変換部７５で行なう。そして、変換された級間行
列の固有値及び固有ベクトルを変換級間分散行列固有値
・固有ベクトル計算部７６で求める。最後に、次元数の
多いオリジナルの特徴ベクトルを次元数の少ない特徴ベ
クトルに変換する（＝次元圧縮する）ために必要な特徴
変換行列（＝判別分析で一般にいう「判別行列」）を特
徴変換行列生成部７７で求める。

【０００８】なお、従来の判別分析法については、例え
ば、Fukunaga「Introduvtion to Statisrical Pattwern
Rwcognition Second Edition」 Academic Press.pp.4
45-479に記載されている。

【０００９】

【発明が解決しようとする課題】前述のように、パター
ン認識の分野においては、特徴ベクトルの次元圧縮に用
いる特徴変換行列を求めるために判別分析方法が用いら
れている。しかしながら、判別分析法を用いた従来の方
法には、いくつかの問題点がある。

【００１０】第一に、共分散行列の固有値の高次軸成分
は、パラメータ推定誤差が大きいことが知られており、
これが認識精度に悪い影響を与える。第二に、高次元な
共分散行列は、通常、零の固有値を持つ可能性があり、
判別分析では固有値の逆数を用いるため判別分析が実行
できないことがある。第三に、判別行列の要素の値は、
パラメータ推定誤差などにより、非常に広い値レンジに
わたり広がるため、コンピュータ利用のために要素値を
整数化しようとすると多くのビット数が必要となり、実
用上適当なビット数内で整数化することが困難である。

【００１１】従って、本発明の目的は、判別分析法を用
いてパターン認識用特徴ベクトルの次元圧縮に必要な特
徴変換行列（判別行列）を演算する方式において、いか
なる場合でも判別分析が実行でき、且つ判別行列の整数
化が容易にできるようにするための改良を提供すること
にある。

【００１２】

【課題を解決するための手段】本発明に従う特徴ベクト
ル次元圧縮のための特徴変換行列の演算方式は、基本的
には判別分析法に従い、与えられた特徴ベクトル集合か
ら級間分散行列と全共分散行列とを計算し、全共分散の
固有値及び固有ベクトルを用いて級間分散行列を線形変
換し、そして、線形変換した級間分散行列の固有ベクト
ルと全共分散行列の固有値及び固有ベクトルとから特徴
変換行列を演算するように構成されている。

【００１３】本発明方式の特徴とするところは、(1)
所定の固有値寄与率に基づいて、全共分散行列の固有値
の有効次元数を決定する有効次元数決定手段、及び(2)
全共分散行列の固有値に関し、全次元の固有値の値レ
ンジが有効次元数以下の次元の固有値の値レンジにまで
狭まるように、有効次元数を越える高次の固有値に対し
て所定の値変換処理を施す全共分散固有値変換手段を備
え、上記値変換処理を経た後の全共分散行列の固有値
を、級間分散行列の線形変換及び特徴変換行列の演算に
おいて使用する点にある。

【００１４】ここで、上記値変換処理としては、例え
ば、(1) 有効次元数を越える高次の固有値を有効次元
数に対応する次元の固有値と同一値に置き換える処理、
又は(2) 有効次元数を越える高次の固有値及びこれに
対応する固有ベクトルを削除する処理、等を採用するこ
とができる。

【００１５】

【作用】本発明の方式によれば、全共分散行列の固有値
の全次元での値レンジが、有効次元数以内の次元での値
レンジにまで狭められ、この狭い値レンジをもつ全共分
散固有値を用いて、級間分散行列の線形変換を始めとす
る一連の計算が行われ、最終的に特徴変換行列が算出さ
れる。従って、特徴変換行列（＝判別行列）の要素の値
レンジは、全共分散固有値の狭い値レンジに対応して狭
められたものとなる。その結果、判別行列の整数化が、
実用上適当な限定されたビット数（例えば、各要素につ
き１６ビット）を用いても可能になる。

【００１６】また、全共分散行列の固有値のレンジを有
効次元以下のレンジに狭めるということは、換言すれ
ば、有効次元数を越える高次の固有値の値を適当な大き
い値に変更するか、又はそれら高次の固有値を計算上無
視することと実質的に等価である。従って、零の固有値
が存在する場合でも、その零固有値（最も高次の固有
値）は零でない値に変更されるか、計算上無視されるこ
とになるので、必ず判別分析を実行することが可能であ
る。

【００１７】固有値の値変換方法として、高次の固有値
を有効次元数に対応する次元の固有値で置き換える方法
を採用した場合には、推定誤差の少ない変換級間分散行
列を得ることができ、その結果、高精度な判別行列が得
られる。このことは実験的に確認されている。

【００１８】また、固有値の値変換方法として、高次の
固有値及び対応する固有ベクトルを削除する方法を採用
した場合には、計算に用いる固有値及び固有ベクトルの
次元数が減るため、計算が高速化できる。その反面、判
別行列の精度は多少低下するが、判別行列の高精度性よ
りも短時間で判別行列が得られることの方が重要である
用途（例えば、パターン認識辞書の作成過程における準
備したサンプルの評価や判別関数の確定などの作業）で
は、計算の高速性は大変有利である。

【００１９】

【実施例】以下、本発明の実施例を図面により詳細に説
明する。

【００２０】図１は、本発明の一実施例に係る次元圧縮
システムの全体構成を示す。

【００２１】まず、構成を説明する。このシステムは、
カテゴリ平均ベクトル計算部１０と、全平均ベクトル計
算部１１と、級間分散行列計算部１２と、全共分散行列
計算部１３と、全共分散固有値・固有ベクトル計算部１
４と、共分散有効次元数決定部１５と、全共分散固有値
変換部１６と、級間分散行列変換部１７と、変換級間分
散行列固有値・固有ベクトル計算部１８と、特徴変換行
列生成部１９とを有する。これらは実際にはプログラム
されたコンピュータにより実現される。

【００２２】このシステムには、種々のカテゴリの大量
のサンプルから予め抽出された特徴ベクトル集合と、オ
ペレータが経験的に予め決定した固有値寄与率とが入力
される。

【００２３】カテゴリ平均ベクトル計算部１０は、入力
された特徴ベクトル集合から、カテゴリ毎の特徴ベクト
ルの平均（以下「平均ベクトル」という）を求める。全
平均ベクトル計算部１１は、入力された特徴ベクトル集
合から、全カテゴリの特徴ベクトルの平均（以下「全平
均ベクトル」という）を計算する。級間分散行列計算部
１２は、平均ベクトルと全平均ベクトルとから級間分散
行列を計算する。

【００２４】全共分散行列計算部１３は、入力された特
徴ベクトルから全カテゴリの共分散行列（以下「全共分
散行列」という）を計算する。全共分散固有値・固有ベ
クトル計算部１４は、全共分散行列からその固有値及び
固有ベクトル（以下「全共分散固有値」及び「全共分散
固有ベクトル」という）を計算する。

【００２５】共分散有効次元数決定部１５は、入力され
た固有値寄与率から、全共分散固有値の有効次元数を決
定する。全共分散固有値変換部１６は、全共分散固有値
に対して、有効次元数を越える高次元の固有値を有効次
元数に対応する次元の固有値で置き換える変換処理を行
う。変換後の全共分散固有値を以下「変換全共分散固有
値」という。

【００２６】級間分散行列変換部１７は、変換全共分散
固有値及び全共分散固有ベクトルを用いて、級間分散行
列の線形変換を行う。変換後の級間行列を以下「変換級
間行列」という。変換級間分散固有値・固有ベクトル計
算部１８は、変換級間分散行列の固有値及び固有ベクト
ル（以下「変換級間分散固有値」及び「変換級間分散固
有ベクトル」という）を求める。

【００２７】特徴変換行列生成部１９は、変換全共分散
固有値と全共分散固有ベクトルと変換級間分散固有ベク
トルとから、特徴ベクトルを次元圧縮するために必要な
特徴変換行列を計算する。

【００２８】以上の構成において、図７に比較して明ら
かなように、本実施例で新規に設けられた処理部は、全
共分散有効次元数決定部１５と全共分散固有値変換部１
６である。

【００２９】次に、この実施例の全体的動作を図２のフ
ローチャートを参照して説明する。

【００３０】まず、ステップ２１において、特徴ベクト
ルの集合を入力し、カテゴリ毎の平均ベクトルと全カテ
ゴリの全平均ベクトルを求める。次に、ステップ２２に
おいて、平均ベクトルと全平均ベクトルを用いて級間分
散行列を求める。

【００３１】これと並行して、ステップ２３において、
特徴ベクトル集合を用いて全共分散行列を計算し、ステ
ップ２４において全共分散行列の固有値及び固有ベクト
ルを求め、そしてこれらを固有値の大きい順に並び換え
る。次に、ステップ２５において、予め設定さている固
有値寄与率acrateから全共分散固有値の有効次元数acdi
mを決定する。次に、ステップ２６において、全共分散
固有値のうち有効次元数acdimを越える高次元の固有値
を有効次元数acdimと同次元の固有値で置き換える（＝
変換全共分散固有値を生成する）。

【００３２】以上の処理の後、ステップ２７において、
ステップ２６とステップ２４で求めた変換全共分散固有
値と全共分散固有ベクトルとを用いて、ステップ２２で
求めた級間分散行列を線形変換する。次に、ステップ２
８において、変換級間分散行列の固有値及び固有ベクト
ルを計算する。

【００３３】最後に、ステップ２９において、ステップ
２４で求めた全共分散固有ベクトルと、ステップ２６で
求めた変換全共分散固有値と、ステップ２８で求めた変
換級間分散固有ベクトルとを用いて特徴変換行列を計算
する。

【００３４】以下、各ステップを詳細に説明する。

【００３５】〔１〕ステップ２１ ここでは、カテゴリごとの平均ベクトル（μi）と全カ
テゴリの平均ベクトル（μ0）を（１）、（２）式より
求める。

【００３６】

【数１】 ここに、Ｎiはカテゴリiのパタン数、Ｌはカテゴリ数、
nは特徴の次元数、Ｘijはカテゴリiのj番目のパタンベ
クトル［Ｘij1，Ｘij2，…Ｘijn］である。

【００３７】〔２〕ステップ２２ ここでは、カテゴリごとの平均ベクトルと全カテゴリの
全平均ベクトルを用いて級間分散行列（Ｂ）を（３）式
より求める。

【００３８】

【数２】 ここに、ｐ(i)はカテゴリiの事前確率である。

【００３９】〔３〕ステップ２３ ここでは、特徴ベクトル集合を用いて全共分散行列
（Ｔ）を（４）式より計算する。

【００４０】

【数３】 〔４〕ステップ２４ ここでは、全共分散行列Ｔの固有値Θ及び固有ベクトル
Φを（５）式より計算する。

【００４１】

【数４】 ここに、Φは固有ベクトル行列（nxn n:特徴次元
数）、Θは固有値行列（nxn）、である。つまり、
（６）（７）式の通りである。

【００４２】

【数５】 ここに、Φiは固有値λiの固有ベクトル（n×1）であ
る。

【００４３】〔５〕ステップ２５ ここでは、予め設定した固有値寄与率に最も近い次元数
つまり有効次元数acdimを決定する。後のステップで
は、有効次元数acdim以降の固有値は使用しない。有効
次元数acdimを決定する処理の詳細を図３に示す。

【００４４】ステップ３１で全共分散固有値の総和sum
を求め、ステップ３２で固有値寄与率acratに対応する
固有値量acvalを求める。次に、ステップ３３で第一軸
から第i軸までの固有値evlの和val（=Σevl(i)）を求め
る。そして、ステップ３４で第i軸までの固有値の和val
が固有値量acvalより大きいかをチェックする。軸番号
（=次元数）iを増加させつつステップ３３、３４を繰り
返し、和valが固有値量acvalを初めて上回った時、ステ
ップ３５で、そのときの次元数iを有効次元数acdim（=
i）とする。

【００４５】〔６〕ステップ２６ ここでは、有効次元数acdim以上の高次の固有値を有効
次元数acdimの固有値で置き換える。その処理内容を図
４に示す。

【００４６】次元数iを１から順次増加させつつ、ステ
ップ４１で有効次元数acdimと現在の次元数iを比較し、
i＞acdimならば、ステップ４２でその次元数の固有値ev
l(i)を有効次元数acdimの固有値evl（acdim）に置き換
える。それを最高次元数nまで繰り返す。

【００４７】〔７〕ステップ２７ ここでは、全共分散行列の固有値行列（n×n）（ステッ
プ２６の処理済み）と固有ベクトル行列（n×n）を用い
て級間分散行列Ｂを（８）式により線形変換する。変換
された級間分散行列をＫとする。

【００４８】

【数６】 〔８〕ステップ２８ ここでは、変換級間分散行列Ｋの固有値行列Λ（n×n）
及び固有ベクトル行列Ψ（n×n）を（９）式により求め
る。

【００４９】

【数７】

〔９〕ステップ２９ 次に、特徴変換行列Ξ（n×n）を（１０）式より求め
る。

【００５０】

【数８】 以上のような処理により、以下の３つの効果がある。

【００５１】一つは、共分散行列の固有値の高次軸成分
は、パラメータ推定誤差が大きいことが知られている
が、その誤差を減少できる。これはステップ２６の置換
処理による効果であって、実験的に確認される。

【００５２】もう一つは、高次元な共分散行列は、通常
零固有値をもつ可能性があり、判別分析が実行できない
ことがあるが、零固有値を持つ場合でも判別分析を実行
できる。ステップ２６の置換により、零固有値がなくな
るからである。

【００５３】最後に、本発明により求められた特徴変換
行列の要素の値レンジは、通常の判別分析より狭いの
で、コンピュータシステム化のために特徴変換行列を整
数化する際に、これが容易である。ステップ２６の置換
により、全共分散固有値の値レンジが小さくなるからで
ある。

【００５４】なお、ステップ２６における図４のステッ
プ４２は、図５のステップ５２ように変更してもよい。
つまり、有効次元数acdimより高い次元の固有値を削除
して全体の次元数を有効次元数acdimまで削減する。こ
の際、ステップ２７で用いる固有値行列Θのサイズは、
acdim×acdimとなる。さらに、ステップ２７において、
acdimより高次元の固有値ベクトルを削除する処理を追
加する。それにより、固有ベクトル行列Φのサイズは、
n×acdimとなる。その結果、（８）式における変換級間
分散行列Ｋのサイズは、acdim×acdimとなる。また、こ
れにより変換級数分散行列の固有値行列Λと固有ベクト
ル行列Ψのサイズは、acdim×acdimとなり、特徴変換行
列Ξのサイズは、n×acdimとなる。これにより、
（８）、（９）、（１０）式の計算速度向上（約n／cad
im倍）が可能となる。

【００５５】図６は、本発明を組込んだパターン認識過
程を示す図である。

【００５６】まず、未知パターン（例えば、「亜」）が
入力されると、前処理部６１では、規定されたパターン
の大きさに従って正規化し、かつ雑音が除去される。

【００５７】その後、特徴抽出部６２で非常に多次元の
特徴ベクトルが抽出される。次に、このオリジナルの特
徴ベクトルが次元圧縮部６３で特徴変換行列により圧縮
されて識別能力の高い特徴ベクトルに変換され、それ
が、次の認識部６４に送られる。

【００５８】認識部６４では、この特徴ベクトルと認識
辞書とを対照することにより、最も確からしいカテゴリ
「亜」を認識結果として出力する。

【００５９】

【発明の効果】以上説明したように、本発明によれば、
全共分散行列が零固有値をもつ場合でも必ず判別分析が
実行でき特徴変換行列を求めることができると共に、求
まった特徴変換行列は要素のレンジが小さいのでコンピ
ュータシステム化する場合の整数化が容易である。

【００６０】また、全共分散固有値の値変換方法とし
て、高次の固有値を有効次元数の次元の固有値で置き換
える方法を採用した場合は、共分散行列のパラメータ推
定誤差を軽減できるため、高精度な特徴変換行列が作成
でき、また、高次の固有値を削除する方法を採用した場
合は、高速度に特徴変換行列が計算できるという効果が
得られる。

【図面の簡単な説明】

【図１】本発明の一実施例の全体構成を示すブロック
図。

【図２】同実施例の処理の流れを示すフローチャート。

【図３】全共分散固有値の有効次元数を決定する処理の
詳細を示すフローチャート。

【図４】全共分散固有値の高次の値を変換する処理の詳
細を示すフローチャート。

【図５】全共分散固有値の高次の値を削除する処理の詳
細を示すフローチャート。

【図６】本発明を適用したパターン認識例を示すブロッ
ク図。

【図７】従来方式の全体構成を示すブロック図。

【符号の説明】

１０ カテゴリ平均ベクトル計算部 １１ 全平均ベクトル計算部 １２ 級間分散行列計算部 １３ 全共分散行列計算部 １４ 全共分散固有値・固有ベクトル計算部 １５ 共分散有効次元数決定部 １６ 全共分散固有値変換部 １７ 級間分散行列変換部 １８ 変換級間分散行列固有値・固有ベクトル計算部 １９ 特徴変換行列生成部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 与えられた特徴ベクトル集合から級間分
   散行列と全共分散行列とを計算し、前記全共分散の固有
   値及び固有ベクトルを用いて前記級間分散行列を線形変
   換し、そして、線形変換した前記級間分散行列の固有ベ
   クトルと前記全共分散行列の固有値及び固有ベクトルと
   から、パターン認識用特徴ベクトルの次元圧縮のための
   特徴変換行列を演算するように構成された、判別分析法
   を用いた特徴変換行列の演算方式において、 所定の固有値寄与率に基づいて、前記全共分散行列の固
   有値の有効次元数を決定する有効次元数決定手段と、 前記全共分散行列の固有値に関し、全次元の固有値の値
   レンジが前記有効次元数以下の次元の固有値の値レンジ
   にまで狭まるよう、前記有効次元数を越える高次の固有
   値に対し所定の値変換処理を施す全共分散固有値変換手
   段と、を備え、 前記級間分散行列の線形変換及び前記特徴変換行列の演
   算において、前記全共分散行列の固有値として、前記値
   変換処理を経た後の固有値を用いることを特徴とする、
   パターン認識用特徴ベクトルの次元圧縮のための特徴変
   換行列の演算方式。
2. 【請求項２】 請求項１記載の演算方式において、 前記値変換処理が、前記有効次元数を越える高次の固有
   値を前記有効次元数に対応する次元の固有値と同一値に
   置き換える処理であることを特徴とするでパターン認識
   用特徴ベクトルの次元圧縮のための特徴変換行列の演算
   方式。
3. 【請求項３】 請求項１記載の演算方式において、 前記値変換処理が、前記有効次元数を越える高次の固有
   値を削除する処理であることを特徴とするパターン認識
   用特徴ベクトルの次元圧縮のための特徴変換行列の演算
   方式。
4. 【請求項４】 与えられた特徴ベクトル集合から級間分
   散行列と全共分散行列とを計算し、前記全共分散の固有
   値及び固有ベクトルを用いて前記級間分散行列を線形変
   換し、そして、線形変換した前記級間分散行列の固有ベ
   クトルと前記全共分散行列の固有値及び固有ベクトルと
   から、パターン認識用特徴ベクトルの次元圧縮のための
   特徴変換行列を演算するように構成された、判別分析法
   を用いた特徴変換行列の演算方法において、 所定の固有値寄与率に基づいて、前記全共分散行列の固
   有値の有効次元数を決定する有効次元数決定過程と、 前記全共分散行列の固有値に関し、全次元の固有値の値
   レンジが前記有効次元数以下の次元の固有値の値レンジ
   にまで狭まるよう、前記有効次元数を越える高次の固有
   値に対し所定の値変換処理を施す全共分散固有値変換過
   程と、 前記級間分散行列の線形変換及び前記特徴変換行列の演
   算において、前記全共分散行列の固有値として、前記値
   変換処理を経た後の固有値を用いる過程と、を備えるこ
   とを特徴とする、パターン認識用特徴ベクトルの次元圧
   縮のための特徴変換行列の演算方法。