JP3841481B2 - 特徴抽出装置及びそれを用いたパターン識別装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、特徴抽出装置及びそれを用いたパターン識別装置に関し、特に特徴ベクトルの標本集合を統計的に解析することにより、パターン識別の際の指標となる特徴を算出する特徴抽出装置及びそれを用いたパターン識別装置に関するものであり、本装置の出力結果に基づき識別を行なうことにより、従来より、より高精度な識別が可能となる。
【０００２】
パターン識別は、例えばセキュリティシステムなどへの応用から最近重要視されている顔識別システム等、様々な応用分野があり、本発明によりそれらのシステムの識別能力を飛躍的に向上させることができる。
【０００３】
【従来の技術】
特徴ベクトルの標本集合から、パターン識別のための特徴を抽出する方法としては、ＫＬ（Karhunen−Loeve）展開を用いる方法が有名である。
【０００４】
この方法によれば、パターン認識の指標となる特徴として、特徴ベクトルの標本集合の分散に基づき決定される正規直交基底（固有ベクトル）と、各基底方向の特徴ベクトルの分散を表す値（固有値）を得ることができる。以下にＫＬ展開の基本的な性質を述べる。
【０００５】
ＫＬ展開は、最小平均２乗誤差基準の下で最適な直交展開である。すなわち、Ｎ次元の特徴ベクトルのサンプル集合からＫＬ展開によって得られる正規直交基底を、固有値の大きい順にＭ（≦Ｎ）個とって生成される部分空間Ｕ（Ｍ）は、特徴ベクトルとの平均２乗誤差を最小にするＭ次元部分ベクトル空間になっている。またＵ（Ｍ）は、射影された特徴ベクトル間の２乗距離の期待値が最も大きくなるようなＭ次元部分空間としても特徴付けることができる。これらの内容は、例えば、Keinosuke Fukunaga「Statistical Pattern Recognition（Second Edition）Academic Press 1990」の９章に詳しく述べられている。
【０００６】
また、実際にＫＬ展開の結果得られた特徴を使って識別を行なうには、以下の様な距離を使って、基準データの中で入力特徴ベクトルに最も近い特徴ベクトルを選べばよい。すなわち、前記の部分ベクトル空間Ｕ（Ｍ）に特徴ベクトルを直交射影し、Ｕ（Ｍ）上での距離をはかる。
【０００７】
その際に用いる距離としては、次式１
【数１】

で定義されるEuclid距離や、次式６
【数６】

で定義される距離がある。ここで、前記数式６の距離は、バイアスσが０の時maharanobis距離に一致している。
【０００８】
ＫＬ展開を利用した特徴抽出を行なっている特許としては、Face Recognition System（米国特許第５，１６４，９９２号明細書）がある。
【０００９】
この特許では、以下の図２に示す２つの構成要素によってパターン識別のための特徴を抽出している。一つは、顔画像獲得入力部201で、もう一つは、ＫＬ展開実行部202である。顔画像獲得入力部201は顔画像を各画素毎の濃淡値の集まり（ｎ次元特徴ベクトル（但し、ｎは画像の全画素数））として獲得し、ＫＬ展開実行部202に渡す。ＫＬ展開実行部202は顔画像獲得入力部201から渡されたＮ枚の顔画像からＫＬ展開により正規直交基底を算出し、そのうち固有値の大きい順にＭ（≦ｎ、Ｎ）個の基底を選び、それに対応するベクトルの座標値と固有値を保存する。
【００１０】
【発明が解決しようとする課題】
しかしながらＫＬ展開は、最小平均２乗誤差を小さくしたり、データの散在性を大きくする目的に対しては最適な直交展開であるが、パターン識別のための特徴を抽出するという目的に対して最適であるとは言い難い。すなわち、パターン識別の際に最も重要となるのは、互いの距離が近くて紛らわしい特徴ベクトルをいかにして正しく識別するかということであり、そのためにはすべてのデータについてお互いの散在性を大きくするのではなく、距離が近いデータ間のみの散在性を大きくするような直交展開が望ましい。従って、ＫＬ展開をそのまま使って特徴抽出を行なう従来の構成では、紛らわしいデータの識別が困難であるという課題を有していた。
【００１１】
本発明は、前記従来の課題を解決するもので、紛らわしいデータの識別を従来よりロバストに行なうことを可能にする特徴抽出装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
この課題を解決するために本発明の特徴抽出装置は、特徴ベクトルの近傍ベクトルを選出する近傍ベクトル選出手段と、特徴ベクトルをそこに直交射影した時に局所的な散在性が最も大きくなるような部分ベクトル空間を見つけ出す特徴ベクトル空間生成手段を設けたものである。
【００１３】
本発明の特徴抽出装置によれば、距離が近いデータ間のみの散在性を大きくするような部分ベクトル空間を見つけ出すことが可能となり、特徴ベクトルをこの部分ベクトル空間に射影した後識別を行なうことにより、紛らわしいデータの識別を従来よりロバストに行なうことができる。
【００１４】
【発明の実施の形態】
本発明の請求項１記載の発明は、特徴ベクトルの標本集合を統計的に解析することにより、パターン識別の際の指標となる特徴を算出する特徴抽出装置において、特徴ベクトルを入力する特徴ベクトル入力手段と、入力されたｎ次元の特徴ベクトルＶｉ（１≦ｉ≦Ｎ）を標本集合として記憶する記憶手段と、前記記憶手段に記憶されている特徴ベクトルＶｉに対して近い距離にあるＭ（≦Ｎ）個の特徴ベクトルを選出する近傍ベクトル出力手段と、前記選出された特徴ベクトルをそこに直交射影した時に、局所的な散在性が最も大きくなるような部分ベクトル空間を出力する特徴ベクトル空間生成手段とを備え、前記特徴ベクトル空間生成手段が、特徴ベクトルＶｉの近傍点のみから計算される局所共分散行列の固有値問題を解いて固有ベクトルを求め、その固有ベクトルの中から対応する固有値の大きい順にｍ（≦Ｎ，ｎ）個選出し、局所的な散在性を最大にする部分ベクトル空間の基底として固有ベクトルを出力するようにしたものであり、従来のように特徴ベクトル全体の散在性を大きくするような直交展開を行なうのではなく、距離が近いデータの散在性を大きくする直交展開を行なって部分ベクトル空間を生成することにより、紛らわしいデータの識別を従来よりロバストに行なうことができるという作用を有する。
【００１６】
また、本発明の請求項２記載の発明は、請求項１記載の特徴抽出装置において、前記近傍ベクトル出力手段の特徴ベクトル間の距離の算出が、正規化された相関値ｃｏｒ（ｘ，ｙ）（但し、ｘ，ｙは特徴ベクトルを表す）を基準に、各特徴ベクトルに近いＭ（≦Ｎ）個の特徴ベクトルを選出するようにしている。
【００１７】
また、本発明の請求項３記載の発明は、請求項１記載の特徴抽出装置において、前記近傍ベクトル出力手段が、前記記憶手段に記憶されている特徴ベクトルＶｉから共分散行列の固有値を計算し、固有値の大きいｌ(エル)個の固有ベクトルｅｉ（１≦ｉ≦ｌ）を選び、その固有ベクトルで張られる空間内での距離ｋｌ（ｘ，ｙ）（但し、ｘ，ｙは特徴ベクトルを表す）を元に、近傍ベクトルを算出するようにしている。
【００１８】
また、本発明の請求項４記載の発明は、請求項３記載の特徴抽出装置において、前記近傍ベクトル出力手段が、前記記憶手段に記憶されている特徴ベクトルＶｉから共分散行列の固有値問題を解き、固有値の大きいｌ個の固有ベクトルｅｉ（１≦ｉ≦ｌ）を選び、次いで、これらの固有ベクトルと、固有値から計算されるマハラノビス距離またはユークリッド距離に基づいて、距離を算出するようにしている。
【００１９】
また、本発明の請求項５記載の発明は、請求項１乃至３のいずれかに記載の特徴抽出装置において、前記特徴ベクトル空間生成手段が、ｍ個の固有ベクトルの他にそれぞれに対応する固有値を出力するようにしたものであり、識別の際の距離として、これらの固有値を使ってマハラノビス距離またはユークリッド距離を計算することができるという作用を有する。
【００２０】
また、本発明の請求項６記載の発明は、請求項１乃至５のいずれかに記載の特徴抽出装置を用いるパターン識別装置が、請求項１乃至５のいずれかに記載の特徴抽出装置から求めた固有ベクトルを格納した固有パターン格納手段と、基準パターンを格納した基準パターン格納手段と、被識別パターンを入力する被識別パターン入力手段と、前記入力された特徴パターンと前記基準パターン格納手段に格納されている全ての特徴パターンとの距離について前記固有ベクトルを用いて計算し、最も距離の近い特徴パターンを前記基準パターン手段から選出する識別手段とを有するようにしたものである。
また、本発明の請求項７記載の発明は、請求項６記載のパターン識別装置が、請求項１乃至５のいずれかに記載の特徴抽出装置から求めた固有ベクトルとそれぞれの固有ベクトルに対応した固有値とを格納した固有パターン格納手段と、基準パターンを格納した基準パターン格納手段と、被識別パターンを入力する被識別パターン入力手段と、前記入力された特徴パターンと前記基準パターン格納手段に格納されている全ての特徴パターンとの距離について前記固有ベクトルとそれぞれの固有ベクトルに対応した固有値とを用いて計算し、最も距離の近い特徴パターンを前記基準パターン手段から選出する識別手段とを有するようにしたものである。
【００２１】
以下、本発明の実施の形態について、図１を用いて説明する。
図１には、本発明の特徴抽出装置101と、特徴抽出装置101の出力結果に基づき特徴パターンの識別を行なうパターン識別装置110が示されている。
【００２２】
本発明の特徴抽出装置101は、特徴ベクトルを入力する特徴ベクトル入力部102と、特徴ベクトル入力部102から入力された各特徴ベクトルを標本集合として格納する標本特徴ベクトルメモリ103と、指定された２つの特徴ベクトル間の距離を出力する距離算出部104と、指定された特徴ベクトルと標本特徴ベクトルメモリ103に記憶されている各特徴ベクトルの距離を距離算出部104に要求して獲得し、指定された特徴ベクトルの予め指定しておいた距離内にある特徴ベクトル、すなわち近傍ベクトルを全て出力する近傍ベクトル出力部105と、標本特徴ベクトルメモリ103に記憶されているすべての特徴ベクトルに対してその近傍ベクトルを近傍ベクトル出力部105に要求して獲得し、局所共分散行列を生成する局所共分散行列生成部106と、局所共分散行列生成部106によって生成された行列の固有値問題を解いて固有ベクトルとその固有値を出力する固有値・固有ベクトル生成部107と、固有値・固有ベクトル生成部107によって生成される固有ベクトルのうち対応する固有値の大きいものから順に予め指定された個数分の固有ベクトルを出力する局所分散化固有空間生成部108を備えている。
【００２３】
なお、局所共分散行列生成部106と固有値・固有ベクトル生成部107と局所分散化固有空間生成部108でもって特徴ベクトル空間生成部109が形成される。
【００２４】
またパターン識別装置110は、本発明の特徴抽出装置101の局所分散化固有空間生成部108から出力される固有ベクトルを記憶する固有空間メモリ111と、入力された２つの特徴パターンの間の距離をそれらのパターンを固有空間メモリ111に記憶されている固有ベクトルによって張られるベクトル空間に射影した後に算出する固有空間距離算出部112と、被識別パターンを入力する被識別パターン入力部113と、基準パターンを入力する基準パターン入力部114と、入力された基準パターンを記憶する基準パターンメモリ115と、被識別パターン入力部113から入力された特徴パターンと基準パターンメモリ115に格納されている全ての特徴パターンとの距離を固有空間距離算出部112に要求し獲得し、最も距離の近い特徴パターンを基準パターンメモリ115から選出する識別部116を備えている。
【００２５】
本発明の特徴抽出装置101の距離算出部104は、前記数式１によって入力された２つの特徴ベクトルの間の距離を算出し出力する。また、距離算出部104は、前記数式１に代えて次の数式３を使って距離を算出しても良い。
【数３】

【００２６】
また、距離算出部104は、標本特徴ベクトルメモリ103に記憶されている特徴ベクトルＶｉを使ってまず次の数式４から得られる共分散行列の固有値問題を解き、固有値の大きいｌ個の固有ベクトルｅｉ（１≦ｉ≦ｌ）を選び、次いで次の数式５によって距離を算出してもよい。
【数４】

【数５】

【００２７】
また、距離算出部104は、標本特徴ベクトルメモリ103に記憶されている特徴ベクトルＶｉを使ってまず前記数式４から得られる共分散行列の固有値問題を解き、固有値の大きいｌ個の固有ベクトルｅｉ（１≦ｉ≦ｌ）を選び、次いで前記数式６によって距離を算出してもよい。
【００２８】
本発明の特徴抽出装置101の近傍ベクトル出力部105は、特徴ベクトルが入力されるとその特徴ベクトルと標本特徴ベクトルメモリ103に記憶されている各特徴ベクトルとの距離を距離算出部104に要求して獲得し、入力された特徴ベクトルの近傍内にあるベクトルを全て出力する。この際、近傍の大きさをあらわす距離は予め近傍ベクトル出力部105に指定しておく必要がある。
【００２９】
本発明の特徴抽出装置101の局所共分散行列生成部106は、標本特徴ベクトルメモリ103に記憶されている各特徴ベクトルＶｉ（１≦ｉ≦Ｎ）の近傍ベクトルを近傍ベクトル出力部105に要求して獲得し、次の数式２によって定まる局所共分散行列を生成する。但し、ｎ（ｉ）は特徴ベクトルＶｉの近傍ベクトルとして近傍ベクトル出力部105から出力されるベクトルの個数である。
【数２】

【００３０】
本発明の特徴抽出装置101の固有値・固有ベクトル生成部107は、局所共分散行列生成部106から出力される局所分散化行列の固有値問題を解き、固有ベクトルとそれに対応する固有値を出力する。
【００３１】
本発明の特徴抽出装置101の局所分散化固有空間生成部108は、固有値・固有ベクトル生成部107から出力される固有ベクトルのうち対応する固有値が大きいものから順にｍ個選んで出力する。この際ｍの値は予め、１≦ｍ≦Ｎ，ｎなる整数を一つ選んで指定しておく必要がある。
【００３２】
また、局所分散化固有空間生成部108は、固有ベクトルの他に、それぞれの固有ベクトルに対応する固有値を出力しても良い。
【００３３】
また、局所分散化固有空間生成部108は、固有ベクトルの他に、それぞれの固有ベクトル上の標本特徴ベクトルの分散を表す次の数式７で定まる値を出力してもよい。
【数７】

【００３４】
パターン識別装置110の固有空間距離算出部112は、固有空間メモリ111に記憶されている固有ベクトルｅｉ（１≦ｉ≦ｌ）を使って、入力された２つの特徴ベクトルｘとｙの間の距離を前記数式５によって計算する。
【００３５】
パターン識別装置110の識別部116は、被識別パターン入力部113から入力された特徴パターンと基準パターンメモリ115に格納されている全ての特徴パターンとの距離を固有空間距離算出部112に要求し獲得し、最も距離の近い特徴パターンを基準パターンメモリ115から選出する。
【００３６】
また、パターン識別装置110の固有空間距離算出部112は、本発明の特徴抽出装置101の局所分散化固有空間生成部108が、固有ベクトルの他にそれぞれの固有ベクトルに対応する固有値を出力する場合、前記数式６によって距離を算出しても良い。
【００３７】
また、パターン識別装置110の固有空間距離算出部112は、本発明の特徴抽出装置101の局所分散化固有空間生成部108が、固有ベクトルの他にそれぞれの固有ベクトルｅｉ上の標本特徴ベクトルの分散を表す前記数式７で定まる値σ（ｅｉ）を出力する場合、次の数式８によって距離を算出しても良い。
【数８】

【００３８】
【発明の効果】
以上の説明から明かなように、本発明の特徴抽出装置は標本特徴ベクトル間の距離が局所的に最も散在するベクトル空間を生成することに意義がある。
【００３９】
従来は、標本ベクトル全体のお互いの距離が最も散在するような空間に射影して識別を行なっていたため、紛らわしいデータの識別をうまく行なうことができなかった。これに対し、特徴ベクトルを本発明で生成されるベクトル空間に射影した後に識別を行なえば、紛らわしいデータの識別も従来より精度良く行なうことが可能になる。したがって、本発明を用いれば非常に精度のよいパターン識別装置を構成することができる。
【図面の簡単な説明】
【図１】本発明の特徴抽出装置を用いた、パターン識別装置の構成を示す図、
【図２】従来手法の特徴抽出装置の構成を示す図である。
【符号の説明】
101 特徴抽出装置
102 特徴ベクトル入力部
103 標本特徴ベクトルメモリ
104 距離算出部
105 近傍ベクトル出力部
106 局所共分散行列生成部
107 固有値固有ベクトル生成部
108 局所分散化固有空間生成部
109 特徴ベクトル空間生成部
110 パターン識別装置
111 固有空間メモリ
112 固有空間距離算出部
113 被識別パターン入力部
114 基準パターン入力部
115 基準パターンメモリ
116 識別部
201 顔画像獲得入力部
202 ＫＬ展開実行部

Claims (7)

1. 特徴ベクトルの標本集合を統計的に解析することにより、パターン識別の際の指標となる特徴を算出する特徴抽出装置において、特徴ベクトルを入力する特徴ベクトル入力手段と、入力されたｎ次元の特徴ベクトルＶｉ（１≦ｉ≦Ｎ）を標本集合として記憶する記憶手段と、前記記憶手段に記憶されている特徴ベクトルＶｉに対して近い距離にあるＭ（≦Ｎ）個の特徴ベクトルを選出する近傍ベクトル出力手段と、前記選出された特徴ベクトルをそこに直交射影した時に、局所的な散在性が最も大きくなるような部分ベクトル空間を出力する特徴ベクトル空間生成手段とを備え、前記特徴ベクトル空間生成手段が、特徴ベクトルＶｉの近傍点のみから計算される局所共分散行列の固有値問題を解いて固有ベクトルを求め、その固有ベクトルの中から対応する固有値の大きい順にｍ（≦Ｎ，ｎ）個選出し、局所的な散在性を最大にする部分ベクトル空間の基底として固有ベクトルを出力することを特徴とする特徴抽出装置。
2. 前記近傍ベクトル出力手段の特徴ベクトル間の距離の算出が、正規化された相関値ｃｏｒ（ｘ，ｙ）（但し、ｘ，ｙは特徴ベクトルを表す）を基準に、各特徴ベクトルに近いＭ（≦Ｎ）個の特徴ベクトルを選出することを特徴とする請求項１記載の特徴抽出装置。
3. 前記近傍ベクトル出力手段が、前記記憶手段に記憶されている特徴ベクトルＶｉから共分散行列の固有値を計算し、固有値の大きいｌ (エル)個の固有ベクトルｅｉ（１≦ｉ≦ｌ）を選び、その固有ベクトルで張られる空間内での距離ｋｌ（ｘ，ｙ）（但し、ｘ，ｙは特徴ベクトルを表す）を元に、近傍ベクトルを算出することを特徴とする請求項１記載の特徴抽出装置。
4. 前記近傍ベクトル出力手段が、前記記憶手段に記憶されている特徴ベクトルＶｉから共分散行列の固有値問題を解き、固有値の大きいｌ個の固有ベクトルｅｉ（１≦ｉ≦ｌ）を選び、次いで、これらの固有ベクトルと、固有値から計算されるマハラノビス距離またはユークリッド距離に基づいて、距離を算出することを特徴とする請求項３記載の特徴抽出装置。
5. 前記特徴ベクトル空間生成手段が、ｍ個の固有ベクトルの他にそれぞれに対応する固有値を出力することを特徴とする請求項１乃至３のいずれかに記載の特徴抽出装置。
6. 請求項１乃至５のいずれかに記載の特徴抽出装置から求めた固有ベクトルを格納した固有パターン格納手段と、基準パターンを格納した基準パターン格納手段と、被識別パターンを入力する被識別パターン入力手段と、前記入力された特徴パターンと前記基準パターン格納手段に格納されている全ての特徴パターンとの距離について前記固有ベクトルを用いて計算し、最も距離の近い特徴パターンを前記基準パターン手段から選出する識別手段とを有することを特徴とするパターン識別装置。
7. 請求項１乃至５のいずれかに記載の特徴抽出装置から求めた固有ベクトルとそれぞれの固有ベクトルに対応した固有値とを格納した固有パターン格納手段と、基準パターンを格納した基準パターン格納手段と、被識別パターンを入力する被識別パターン入力手段と、前記入力された特徴パターンと前記基準パターン格納手段に格納されている全ての特徴パターンとの距離について前記固有ベクトルとそれぞれの固有ベクトルに対応した固有値とを用いて計算し、最も距離の近い特徴パターンを前記基準パターン手段から選出する識別手段とを有することを特徴とする請求項６記載のパターン識別装置。

Images