JP3976056B2 - 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム - Google Patents

係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム Download PDF

Info

Publication number
JP3976056B2
JP3976056B2 JP2005309017A JP2005309017A JP3976056B2 JP 3976056 B2 JP3976056 B2 JP 3976056B2 JP 2005309017 A JP2005309017 A JP 2005309017A JP 2005309017 A JP2005309017 A JP 2005309017A JP 3976056 B2 JP3976056 B2 JP 3976056B2
Authority
JP
Japan
Prior art keywords
pattern
feature
covariance matrix
calculating
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005309017A
Other languages
English (en)
Other versions
JP2007122097A (ja
Inventor
仁 今岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2005309017A priority Critical patent/JP3976056B2/ja
Priority to US12/091,160 priority patent/US8121357B2/en
Priority to PCT/JP2006/321068 priority patent/WO2007049560A1/ja
Publication of JP2007122097A publication Critical patent/JP2007122097A/ja
Application granted granted Critical
Publication of JP3976056B2 publication Critical patent/JP3976056B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322Rendering the within-class scatter matrix non-singular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Description

本発明は、パタンの判別特徴を抽出するための計算に用いる係数を決定する係数決定方法、パタンの判別特徴を抽出する特徴抽出方法、システム及びプログラム、並びに登録用パタンと照合用パタンとを照合するパタン照合方法、システム及びプログラムに関する。
入退場管理システムやアクセスコントロールを用いたシステム等のセキュリティシステムにおいて、個人の身体的特徴を利用して、識別対象の本人と他人とを識別する技術(バイオメトリクス個人認証技術)が知られている。このような技術の一つとして、顔画像による認証方法がある。顔画像による認証方法は、カメラ等で撮影した顔画像と予めデータベース等に登録した顔画像とを比較し、認証対象の本人を認証する方法である。しかし、顔画像による認証方法においては、一般に、顔の向きや照明条件、撮影された日時等の影響により、単に入力画像と登録画像とを重ね合わせて類似度を算出する方法では高い識別性能を得ることができない。
この問題を解決するための手法として、線形判別分析を用いたFisherFace法と呼ばれる方法が提案されている(例えば、非特許文献1参照)。FisherFace法では、複数人物がいる場合に、各個人をそれぞれ一つのクラスに割り当て、多数の人物間でクラス間分散を大きくし、クラス内分散を小さくする手法(線形判別分析法)である。この手法では単純に画像間の比較を行う方法に比較して、実画像を用いた照合性能において優れていることが確かめられている。
上記の手法に対し、更に識別精度を高めた方法として、カーネル判別分析を用いて特徴抽出するカーネルFisherFace法と呼ばれる方法が知られている(非特許文献2参照)。カーネル判別分析は、非線形カーネルを用いて、特徴を一旦非線形空間に投影した後、線形判別分析を行う手法で、一般的にカーネル数が十分大きければ、FisherFace法に比べ、識別性能が高い。しかし、カーネル数に比例して特徴抽出に要する計算量は大きくなるため、実システムに応用する場合、問題になることが多い。
カーネル判別分析における計算量を削減する手法として、特徴空間における重みパラメタを求める際に、重みの絶対値の和(L1ノルム)が最小となるような拘束条件を付与し、線形計画法を用いて、最適解を用いる方法が提案されている(非特許文献3参照)。この方法により、識別性能を下げずにカーネル数を大幅に削減することが出来ることが、実験の結果、実証されている。しかし、この手法は、2クラス判別問題のみでしか適用することができず、一般の多クラス判別問題を扱うことはできない。
また、多クラス問題に適用が可能で計算量を削減する手法として、判別に重要なカーネルのみを適応的に選択する方法が提案されている(非特許文献4参照)。しかし、カーネル数を削減する手法のため、本質的にはカーネル判別分析と同じオーダーの計算量が必要となり、計算量を大幅に削減するためには適さない。
なお、入力のパターン特徴ベクトルから、判別に有効な特徴ベクトルを抽出し、特徴次元を圧縮する際に、判別に有効な特徴量の削減を抑制し、より効率の良い特徴抽出を行うための特徴ベクトルの変換技術が提供されている(例えば、特許文献1参照)。
特開2004−192603号公報(段落0045−0055) W.Zhao, R.Chellappa, P.J.Phillips, "Subspace linear discriminant analysis for face recognition", Tech. Rep. CAR-TR-914, Centre for Automation Research, (米国), University of Maryland,College Park, 1999 G.Baudat and F.Anouar, "Generalized discriminant analysis using a kernel approach", Neural Computation, (米国), vol. 12, p. 2385-2404, 2000 S.Mika, G.Ratsch, and K.R.Muller. "A mathematical programming approach to the Kernel Fisher algorithm", In Advances in Neural Information Processing Systems 13, (米国), 2001 Xu,Y., Yang,J.Y., Lu,J., Yu,D.J., "An efficient renovation on kernel Fisher discriminant analysis and face recognition experiments", Pattern Recognition, (米国), vol. 37, No. 10, October 2004, p.2091-2094
非特許文献2に記載されたカーネル判別分析を用いた方法では、特徴抽出時の計算量が多く、実用上問題になる場合が多い。また、非特許文献4に記載された手法は、多クラス判別分析におけるカーネル判別分析での計算量を削減する手法であるが、カーネル判別分析と同じオーダーの計算量を必要とし、大幅に計算量を削減する場合には適さない。
また、特許文献1に記載された方式では、射影空間が線形であることから、判別性に課題がある。
そこで、本発明は、カーネル判別分析における識別性能の低下を抑え、高速に特徴抽出を行うことができる係数決定方法、特徴抽出方法、特徴抽出システム及び特徴抽出プログラムを提供することを目的とする。また、本発明で提案した方法を利用したパタン照合方法、パタン照合システム及びパタン照合プログラムを提供することを目的とする。
本発明による係数決定方法は、パタンの判別特徴を抽出するための計算に用いる係数を決定する係数決定方法であって、計算機における演算手段が、あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出ステップと、抽出された特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算ステップと、クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算ステップと、最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算ステップと、計算された近似ベクトルを用いて特徴情報をパタンの判別特徴に変換する変換式を算出する変換式算出ステップと、算出された変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための変換式に代入する係数として記憶する係数記憶ステップと、変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算ステップとを実行し、演算手段は、判別特徴の数である最大反復回数に達するまで、再計算されたクラス間共分散行列を用いて、最適ベクトル計算ステップ、近似ベクトル計算ステップ、変換式算出ステップ、係数記憶ステップおよび共分散行列再計算ステップを繰り返し実行することを特徴とする。
なお、この係数決定方法を人物の識別する認証に適用する場合は、パタンとして人物の顔画像が用いられる。
入力信号としてパタンの特徴情報を入力する入力層、外部に出力信号として判別特徴を出力する出力層、および入力層からの信号を出力層に伝達する中間層からなる3層構造であって、入力層と中間層のノードは全結合され、出力層のノードは中間層のノードの一部から信号が入力されるのが好ましい。
本発明による特徴抽出方法は、パタンの判別特徴を抽出する特徴抽出方法であって、計算機における演算手段が、あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出ステップと、抽出された特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算ステップと、クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算ステップと、最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算ステップと、計算された近似ベクトルを用いて特徴情報をパタンの判別特徴に変換する変換式を算出する変換式算出ステップと、算出された変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための変換式に代入する係数として記憶する係数記憶ステップと、変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算ステップとを実行し、演算手段は、判別特徴の数である最大反復回数に達するまで、再計算されたクラス間共分散行列を用いて、最適ベクトル計算ステップ、近似ベクトル計算ステップ、変換式算出ステップ、係数記憶ステップおよび共分散行列再計算ステップを繰り返し実行し、演算手段が、照合対象のパタンから特徴情報を抽出する特徴情報抽出ステップと、変換式算出ステップにおいて算出された変換式に当該特徴情報を代入して照合対象のパタンの判別特徴を算出する判別特徴算出ステップとを実行することを特徴とする。
本発明による特徴抽出システムは、パタンの判別特徴を抽出する特徴抽出システムであって、あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出手段と、抽出された特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算手段と、クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算手段と、最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算手段と、計算された近似ベクトルを用いて特徴情報をパタンの判別特徴に変換する変換式を算出する変換式算出手段と、算出された変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための変換式に代入する係数として記憶する係数記憶手段と、変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算手段とを備え、最適ベクトル計算手段、近似ベクトル計算手段、変換式算出手段、係数記憶手段および共分散行列再計算手段は、判別特徴の数である最大反復回数に達するまで、再計算されたクラス間共分散行列を用いて上記の処理を繰り返し実行し、特徴情報抽出手段は、パタン照合を行う際に、照合対象のパタンから特徴情報を抽出し、変換式算出手段によって算出された変換式に当該特徴情報を代入して照合対象のパタンの判別特徴を算出する判別特徴算出手段とをさらに備えたことを特徴とする。
本発明による特徴抽出プログラムは、パタンの判別特徴を抽出するための特徴抽出プログラムであって、計算機の演算手段に、あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出処理と、抽出された特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算処理と、クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算処理と、最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算処理と、計算された近似ベクトルを用いて特徴情報をパタンの判別特徴に変換する変換式を算出する変換式算出処理と、算出された変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための変換式に代入する係数として記憶する係数記憶処理と、変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算処理とを実行させ、判別特徴の数である最大反復回数に達するまで、再計算されたクラス間共分散行列を用いて、最適ベクトル計算処理、近似ベクトル計算処理、変換式算出処理、係数記憶処理および共分散行列再計算処理を繰り返し実行させ、演算手段に、照合対象のパタンから特徴情報を抽出する特徴情報抽出処理と、変換式算出処理において算出された変換式に当該特徴情報を代入して照合対象のパタンの判別特徴を算出する判別特徴算出処理とを実行させることを特徴とする。
本発明によるパタン照合方法は、登録用パタンと照合用パタンとを照合するパタン照合方法であって、計算機における演算手段が、あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出ステップと、抽出された特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算ステップと、クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算ステップと、最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算ステップと、計算された近似ベクトルを用いて特徴情報をパタンの判別特徴に変換する変換式を算出する変換式算出ステップと、算出された変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための変換式に代入する係数として記憶する係数記憶ステップと、変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算ステップとを実行し、演算手段は、判別特徴の数である最大反復回数に達するまで、再計算されたクラス間共分散行列を用いて、最適ベクトル計算ステップ、近似ベクトル計算ステップ、変換式算出ステップ、係数記憶ステップおよび共分散行列再計算ステップを繰り返し実行し、演算手段が、登録用パタンと照合用パタンから特徴情報を抽出する特徴情報抽出ステップと、変換式算出ステップにおいて算出された変換式に当該特徴情報を代入して登録用パタンと照合用パタンの判別特徴を算出する判別特徴算出ステップと、登録用パタンの判別特徴と照合用パタンの判別特徴とを比較して類似度を計算する類似度計算ステップと、計算された類似度と所定の閾値とを比較し、登録用パタンと照合用パタンとが同一か否かを判定する対象判定ステップとを実行することを特徴とする。
本発明によるパタン照合プログラムは、登録用パタンと照合用パタンとを照合するためのパタン照合プログラムであって、計算機における演算手段に、あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出処理と、抽出された特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算処理と、クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算処理と、最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算処理と、計算された近似ベクトルを用いて特徴情報をパタンの判別特徴に変換する変換式を算出する変換式算出処理と、算出された変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための変換式に代入する係数として記憶する係数記憶処理と、変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算処理とを実行させ、判別特徴の数である最大反復回数に達するまで、再計算されたクラス間共分散行列を用いて、最適ベクトル計算処理、近似ベクトル計算処理、変換式算出処理、係数記憶処理および共分散行列再計算処理を繰り返し実行させ、演算手段に、登録用パタンと照合用パタンから特徴情報を抽出する特徴情報抽出処理と、変換式算出処理において算出された変換式に当該特徴情報を代入して登録用パタンと照合用パタンの判別特徴を算出する判別特徴算出処理と、登録用パタンの判別特徴と照合用パタンの判別特徴とを比較して類似度を計算する類似度計算処理と、計算された類似度と所定の閾値とを比較し、登録用パタンと照合用パタンとが同一か否かを判定する対象判定処理とを実行させることを特徴とする。
本発明によるパタン照合システムは、登録用パタンと照合用パタンとを照合するパタン照合システムであって、あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出手段と、抽出された特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算手段と、クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算手段と、最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算手段と、計算された近似ベクトルを用いて特徴情報をパタンの判別特徴に変換する変換式を算出する変換式算出手段と、算出された変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための変換式に代入する係数として記憶する係数記憶手段と、変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算手段とを備え、最適ベクトル計算手段、近似ベクトル計算手段、変換式算出手段、係数記憶手段および共分散行列再計算手段は、判別特徴の数である最大反復回数に達するまで、再計算されたクラス間共分散行列を用いて上記の処理を繰り返し実行し、特徴情報抽出手段は、パタン照合を行う際に、登録用パタンと照合用パタンから特徴情報を抽出し、変換式算出手段によって算出された変換式に当該特徴情報を代入して照合対象のパタンの判別特徴を算出する判別特徴算出手段と、登録用パタンの判別特徴と照合用パタンの判別特徴とを比較して類似度を計算する類似度計算手段と、計算された類似度と所定の閾値とを比較し、登録用パタンと照合用パタンとが同一か否かを判定する対象判定手段とをさらに備えたことを特徴とする。
なお、本発明では、上記の構成以外に、学習用画像、登録用画像および照合用画像を入力する画像入力手段と、画像入力手段から入力された各画像から、あらかじめ定められた特徴物の位置を検出する特徴位置検出手段と、特徴位置検出手段によって検出された特徴物の位置に基づいて、各画像の大きさおよび位置を正規化する画像正規化手段なども開示されている。
本発明によれば、特徴ベクトルのクラス間共分散行列とクラス内共分散行列との比が最大となるとともに、自乗ノルムが最小となるよう近似された最適ベクトルを算出することにより、抽出する判別特徴数が少ない場合に少ない計算量で特徴抽出が可能であるという効果がある。
以下、本発明の実施の形態を図面を参照して説明する。図1は、本発明による2次元顔画像間のパタンを照合するパタン照合システムの構成の一例を示すブロック図である。図1に示すように、パタン照合システム10は、画像入力手段100と、顔位置検出手段101と、画像正規化手段102と、周波数特徴抽出手段103と、判別特徴抽出手段104と、類似度算出手段105と、照合判定手段106とを備える。
パタン照合システム10は、具体的には、1または複数のワークステーションやパーソナルコンピュータなどの情報処理装置を用いて実現される。また、パタン照合システム10は、例えば、入退場管理システムやアクセスコントロールを用いたシステム等のセキュリティシステムに適用される。例えば、パタン照合システム10は、セキュリティシステムにおいて、本人認証を行う際に、2つの顔画像に映っている人物が同一人物か否かを判定する同一人物判定システムの用途に用いられる。
画像入力手段100は、照合用顔画像と登録用顔画像とを入力し、入力した顔画像を顔特徴点位置を抽出する顔位置検出手段101に出力する機能を有する。例えば、パタン照合システム10を実現する情報処理装置は、カメラ等の撮像手段(図示せず。)やハードディスクなどの記憶装置(図示せず。)を備える。この場合、例えば、画像入力手段100は、撮像手段が撮影した照合用顔画像と、記憶装置に蓄えられた登録用顔画像を入力する。
顔位置検出手段101は、画像入力手段100によって出力された登録用顔画像と照合用顔画像とから、両目、鼻、口の位置を検出する。ここでは、少なくとも両目位置を検出できればよい。顔位置検出手段101は、登録用顔画像と照合用顔画像について、画像輝度と両目位置座標とを画像正規化手段102に出力する。画像輝度は、各画素の位置座標(a,b)における輝度である。また、顔位置検出手段101は、判別特徴抽出手段104が記憶する学習用顔画像についても同様の処理を行う。
画像正規化手段102は、顔位置検出手段101によって出力された画像輝度と両目位置座標を用いて、顔の大きさや位置を正規化する。画像正規化手段102は、目位置が水平になるように画像を回転した後、目間距離が一定になるように画像を拡大または縮小し、両目の中心位置を求め、中心位置から幅、高さ方向に一定サイズの顔を切り出す。一定サイズに切り出された画像は、正規化画像と呼ばれる。画像正規化手段102は、登録用顔画像と照合用顔画像の両方について正規化画像を生成し、得られた登録用顔画像と照合用顔画像の正規化画像輝度I(a,b)を特徴抽出手段103に出力する。正規化画像輝度I(a,b)は、正規化画像における各画素の位置座標(a,b)における輝度を示す。また、画像正規化手段102は、判別特徴抽出手段104が記憶する学習用顔画像についても同様の処理を行う。
周波数特徴抽出手段103は、画像正規化手段102で得られた正規化画像から周波数特徴を抽出する機能を備える。「周波数特徴」とは、画像から周波数成分を抽出することによって得られる画像の特徴情報であって、ベクトルで表される。本実施の形態では、周波数特徴抽出手段103は、登録用顔画像から生成された正規化画像および照合用顔画像から生成された正規化画像のそれぞれについて周波数特徴を抽出する。すなわち、周波数特徴抽出手段103は、画像正規化手段102によって出力された正規化画像輝度I(a,b)に基づいて、式(1)に示すGaborフィルタ及び式(2)を用いて、周波数特徴f(a,b,s,k,k)を抽出する。
Figure 0003976056
Figure 0003976056
ここで、式(1)及び式(2)において、a,b,s,k,kは任意のパラメータである。周波数特徴抽出手段103は、これらパラメータの値を変化させることによって、正規化画像からN個の周波数特徴を抽出する。周波数特徴抽出手段103は、登録用顔画像と照合用顔画像のそれぞれから得られたN個の周波数特徴を判別特徴抽出手段104に出力する。また、周波数特徴抽出手段103は、判別特徴抽出手段104が記憶する学習用顔画像についても同様の処理を行う。
判別特徴抽出手段104は、学習用顔画像データベース(図示せず。)を備える。判別特徴抽出手段104は、学習用顔画像の周波数特徴ベクトルに基づき、判別空間を構成する判別軸(最適ベクトル)を算出することにより、任意の画像における周波数特徴ベクトルxを判別空間における判別特徴ベクトルyに変換するための変換式を算出する機能を有する。
なお、判別空間とは、最適ベクトルで定義される空間である。複数の周波数特徴ベクトルの終点を、判別空間に写像することにより、よく似たデータはより似ているように、異なるデータはより異なるように分離することができる。判別特徴抽出手段104は、周波数特徴ベクトルを判別空間上の判別特徴ベクトルに変換するための変換式(以下、判別特徴抽出式と表記する。)として、例えば、変換マトリックスなどを算出する。
また、判別特徴抽出手段104は、周波数特徴抽出手段103によって出力された登録用顔画像および照合用顔画像の周波数特徴を、算出した判別特徴抽出式に代入することによって、登録用顔画像と照合用顔画像それぞれの判別特徴、すなわち判別空間における判別特徴ベクトルを出力する機能を備える。
類似度算出手段105は、判別特徴抽出手段104によって出力された登録用顔画像と照合用顔画像の判別特徴を比較して、類似度Sを計算し、照合判定手段106に出力する。
照合判定手段106は、登録用顔画像中の人物(以下、登録人物と表記する。)と照合用顔画像中の人物(以下、照合人物と表記する。)が同一人物か否かを判定する機能を備える。この場合、照合判定手段106は、類似度Sが所定の閾値Tより大きいか否かを判断する。類似度Sが閾値Tより大きい場合には登録人物と照合人物が同一人物と判定し、それ以外の場合には、登録人物と照合人物が異なる人物であると判定する。
パタン照合システム10が、サーバ装置等の情報処理装置で実現される場合、画像入力手段100は、具体的には、プログラムにしたがって動作する情報処理装置に搭載されるCPU及び入力インターフェイス部によって実現される。また、顔位置検出手段101、画像正規化手段102、周波数特徴抽出手段103、判別特徴抽出手段104、類似度算出手段105および照合判定手段106は、情報処理装置に搭載されるCPUが、それらの機能を実現するためのプログラムを実行することによって実現される。
次に、図面を参照して本実施の形態の動作について説明する。図2は、本実施の形態におけるパタン照合システム10の動作を示すフローチャートである。
画像入力手段100から登録用顔画像と照合用顔画像が出力されると、顔位置検出手段101は、登録用顔画像および照合用顔画像のそれぞれについて、顔特徴点位置として両眼位置を検出し、画像輝度と両目位置座標とを画像正規化手段102に出力する(ステップS100)。
画像正規化手段102は、登録用顔画像および照合用顔画像のそれぞれの画像輝度と両目位置座標とに基づいて、顔領域の大きさ及び位置が一定になるように正規化を行う(ステップS101)。画像正規化手段102は、登録用顔画像および照合用顔画像のそれぞれの正規化画像輝度I(a,b)を特徴抽出手段103に出力する。
周波数特徴抽出手段103は、画像正規化手段102で得られた正規化画像から周波数特徴(a,b,s,k,k)を抽出する(ステップS102)。周波数特徴抽出手段103は、登録用顔画像と照合用顔画像のそれぞれから得られたN個の周波数特徴を判別特徴抽出手段104に出力する。
判別特徴抽出手段104は、判別特徴抽出式を算出する。判別特徴抽出手段104が判別特徴抽出式を算出する動作については、後述する。判別特徴抽出手段104は、周波数特徴抽出手段103によって出力された登録用顔画像および照合用顔画像の周波数特徴を、算出した判別特徴抽出式に代入することによって、それぞれの判別特徴を抽出し、類似度算出手段105に出力する(ステップS103)。
類似度算出手段105は、判別特徴抽出手段104によって出力された登録用顔画像および照合用顔画像の判別特徴をそれぞれ比較し、類似度を計算する(ステップS104)。類似度算出手段105は、計算した類似度を照合判定手段106に出力する。
照合判定手段106は、類似度算出手段105によって出力された類似度を、所定の閾値と比較することにより、登録用顔画像中の人物と照合用顔画像中の人物が同一人物か否かを判定し(ステップS105)、一連の処理を終了する。
次に、判別特徴抽出手段104が使用する判別空間を構築する方法、すなわち判別特徴抽出式を算出する方法について説明する。図3は、本実施の形態における判別特徴抽出手段104が判別空間を構築する動作を示すフローチャートである。
ここで、学習用顔画像データベースには、例えば、数100人規模の顔画像が、一人あたり10枚程度蓄えられているとする。学習用顔画像のそれぞれについて、画像入力手段100、顔位置検出手段101、画像正規化手段102及び周波数特徴抽出手段103が、ステップS100〜S102で示した方法と同じ方法で、1つの画像につきN個の周波数特徴を抽出する(ステップS200)。1つの画像の周波数特徴は、N次元の周波数特徴ベクトルとして表される。
ここで、学習用顔画像に含まれる人物数(以下、クラス数と表記する)をCとし、全学習用顔画像数をMとする。k番目の人物の学習用顔画像のうち、i番目の学習用顔画像の周波数特徴は、N次元のベクトルとして、xkiと表されるものとする。なお、kは1からCまでの正の整数、iは1からMまでの正の整数である。Mはk番目の人物の学習用顔画像の数を示す。また、以下の説明では、「k番目の人物」を「k番目のクラス」と表記する。
ステップS200において得られた周波数特徴を用いて、カーネル空間上でのクラス間共分散行列Sおよびクラス内共分散行列Sを、それぞれ式(3)および式(4)を用いて計算する(ステップS201)。
Figure 0003976056
Figure 0003976056
ここで、Kは、M次元の行列であり、C×C個の小行列から構成されているものとする。行列Kは、式(5)のように書ける。
Figure 0003976056
小行列Kklは、k番目およびl番目のクラスに含まれる学習用顔画像数をそれぞれ、M、Mとして、M×Mの行列である。小行列Kklの(i,j)番目の要素(Kklijは、k番目のクラスのi番目の学習用顔画像における周波数特徴xkiとl番目のクラスのj番目の学習用顔画像における周波数特徴xljとを用いて、式(6)のように書ける。
Figure 0003976056
ここで、関数φは、カーネル関数と呼ばれる非線形関数である。また、式(3)における行列Dは、行列K同様、M次元の行列であり、C×C個の小行列から構成されている。行列Dは式(7)のように書ける。
Figure 0003976056
ここで、小行列Dklは、それぞれ、M×Mの行列である。小行列Dklの各要素は、k=lの場合、全ての要素が1/Mの値を持ち、k≠lの場合、全ての要素が0の値を持つ行列である。ステップS201では、最終的に共分散行列SおよびSを得る。
ステップS202では、クラス間/クラス内分散比が最大となるベクトルを1個求める。すなわち、クラス内共分散行列Sの逆行列(S−1にクラス間共分散行列を掛けた行列(S−1を求め、最大固有値に対応する固有ベクトルUを求める。ここで、Uは学習用顔画像数M個の要素を持つベクトルである。なお、Uの要素を、クラス順を示すkと同一クラス内における順番を示すiで特定し、(Ukiと表記するものとする。
ステップS203では、得られた固有ベクトルUを近似して、少数のカーネルのみで特徴抽出が可能になるように、カーネル関数を再構築する。判別特徴、すなわち判別特徴ベクトルy(x)は、ステップS202で得られた最適ベクトルUを含む式(8)によって計算できる。
Figure 0003976056
ここで、xは任意の画像における周波数特徴ベクトル、xkiはk番目のクラスのi番目の学習用顔画像における学習用顔画像における周波数特徴ベクトル、y(x)はxを式(8)の右辺に代入した場合に得られる判別特徴ベクトルの1番目の要素である。式(8)における変数k,iに関する和を削減するために、式(8)におけるカーネル関数φ(xki,x)をxki,xに関する内積のべき乗の線形結合(式(9))に限定する。
Figure 0003976056
ここで、(xki,x)はベクトルxkiとxとの内積を表す。パラメタt(i=0,…,p)は、ある固定値である。また、pは自由に設定可能な値である。式(9)を用いて、式(8)を展開すると、
Figure 0003976056
となる。式(10)において、
Figure 0003976056
で記述される新たな変数bを導入し、式(10)に代入すると、
Figure 0003976056
を得る。ここで、変数bを、
Figure 0003976056
と近似する。なお、Lは、求める判別特徴の数、すなわち判別特徴ベクトルy(x)の要素数を示す。最小自乗法によりbを推定すると、最適値(最適ベクトル)、すなわちbの誤差が最小となるようなηおよびγの値は、
Figure 0003976056
となる。式(14)には、最適ベクトルとの自乗ノルムを示す。ここで、Hは近似後のベクトル数である。η1qおよびγ1qは、それぞれH次元のベクトルである。qは0からpまでの値であり、式(14)から、ベクトルη11,η12,・・・η1pおよびベクトルγ11,γ12,・・・γ1pが得られる。得られたベクトルη11,η12,・・・η1pおよびベクトルγ11,γ12,・・・γ1pを式(12)に代入すると、
Figure 0003976056
となる。ここで、η1,qiは、ベクトルη1qのi番目の要素であることを示す。判別特徴抽出手段104は、本ステップで得られたt、ベクトルη11,η12,・・・η1pおよびベクトルγ11,γ12,・・・γ1pを学習結果として保持する。後述するように、判別特徴抽出手段104が判別特徴を抽出する際には、式(15)を用いて抽出する。式(15)において、y(x)は、任意の周波数特徴ベクトルxに対する判別特徴ベクトルの1番目の要素である。
ステップS204では、クラス間共分散行列SBを式(16)を用いて再計算する。後述するように、ステップS205から移行してステップS202およびステップS203の処理を再度実行して2番目以降のベクトルを得る際に、ステップS203で得られた1番目の特徴ベクトルと直交したベクトルを得るためである。
Figure 0003976056
ここで、ρは、
Figure 0003976056
で、M次元のベクトルである。
ステップ205では、得られた判別特徴ベクトルy(x)の要素数が、求める判別特徴数すなわち最大反復回数L以上か否かを判定し、NOならば、ステップS202に戻り、式(16)を用いて再計算したクラス間共分散行列Sを用いて、ステップS202以降の操作を行う。2回目の処理において、判別特徴抽出手段104は、ベクトルη21,η22,・・・η2pおよびベクトルγ21,γ22,・・・γ2pを得る。
ステップS205でYESならば、判別特徴抽出手段104は、学習を終了する。判別特徴抽出手段104は、学習結果として、t、ηiq、γiq(i=1,2,…,L)(q=1,2,…,p)を保持しておき、判別特徴を抽出する際に使用する。
判別特徴抽出手段104は、上記の学習によって得られた、パラメタt、ηiq、γiqを用いて、式(15)により判別特徴ベクトルを計算する。判別特徴抽出手段104は、まず、1回目の処理で得られたベクトルη11,η12,・・・η1pおよびベクトルγ11,γ12,・・・γ1pを用いて、登録用顔画像の周波数特徴ベクトルxに対する判別特徴ベクトルの1番目の要素であるy(x)を求める。次に、2回目の処理で得られたベクトルη21,η22,・・・η2pおよびベクトルγ21,γ22,・・・γ2pを用いて、登録用顔画像の周波数特徴ベクトルxに対する判別特徴ベクトルの2番目の要素であるy2(x)を求める。同様にして、最大反復回数分のL個の要素を出力することにより、L個の要素を有する判別特徴ベクトルy(x)を算出する。判別特徴抽出手段104は、照合用顔画像についても同様の処理を行い、判別特徴ベクトルを算出する。
図4に本実施の形態による特徴抽出器のネットワーク構成と、一般的なカーネル判別分析(非特許文献2参照)のネットワーク構成を示す。一番下の層が入力層、中央の層が中間層、一番上の層が出力層である。入力層は、入力信号を受けるノードから構成される層であって、中間層は、入力層から信号を受け取り、出力層へ信号を伝達する層であって、出力層は、中間層から信号を受け取り、外部へ信号を出力する層である。なお、ノードとは、各層を構成する要素である。入力層のノードは周波数特徴ベクトルの要素を表し、中間層のノードはカーネル関数を表し、出力層のノードは判別特徴ベクトルの要素を表す。ノード間の線の数は、計算量を示す。
図4の左側に示す図は、例えば、式(8)を用いる一般的なカーネル判別分析のネットワーク構成である。式(8)では、カーネル関数1個あたりの計算量はNであるから、M個のカーネル関数の計算量はN×Mで表される。さらに、判別特徴ベクトルの1要素の計算量はMであって、要素数がLであることから、判別特徴ベクトルの計算量はM×Lで表される。したがって、一般的なカーネル判別分析の計算量は、N×M+M×L=(N+L)×Mのオーダーとなる。
図4の右側に示す図は、式(15)を用いる本実施の形態による特徴抽出器のネットワーク構成である。四角の数は判別ベクトルの要素数Lであって、四角の中に含まれるカーネル数はp×Hである。式(15)では、カーネル関数1個あたりの計算量はNである。また、カーネル関数の個数はp×H×Lであるから、全カーネル関数の計算量はp×H×L×Nで表される。さらに、判別特徴ベクトルの1要素の計算量はp×Hであって、要素数がLであることから、判別特徴ベクトルの計算量はp×H×Lで表される。したがって、本実施の形態による特徴抽出器の計算量は、p×H×L×N+p×H×L=(N+1)×p×H×Lのオーダーとなる。
また、ステップS104において、類似度算出手段105は、登録用顔画像と照合用顔画像の判別特徴を比較して、類似度を計算する。本実施の形態では、正規化相関
Figure 0003976056
を利用する。ここで、yは登録用顔画像における判別特徴、yは照合用顔画像における判別特徴である。得られた類似度Sを、照合判定手段106に出力する。
以上に説明したように、本実施の形態では、判別特徴抽出手段104において、式(15)で記述される再構築した判別特徴ベクトルを用いる。その場合、特徴抽出に要する計算量は、(N+1)×p×H×Lのオーダーなる。また、通常のカーネル判別分析では、式(8)を用いるため、計算量は(N+L)×Mのオーダーとなる。本実施の形態で示した方法では計算量がLに比例するのに対し、通常のカーネル判別分析では、Lが0の場合でもN×Mのオーダーの計算量が必要である。すなわち、抽出する判別特徴数が少ない場合には、本実施の形態で示した方法の方が、少ない計算量で特徴抽出が可能であるという効果がある。
なお、本実施の形態では、特徴ベクトルとして周波数特徴ベクトルを例示して説明したが、周波数特徴に限られない。
本発明によれば、顔画像間の照合によって、入退場管理やアクセスコントロールなどのセキュリティ分野での利用が期待できる。
本発明によるパタン照合システムの構成の一例を示すブロック図である。 本実施の形態におけるパタン照合システムの動作を示すフローチャートである。 本実施の形態における判別特徴抽出手段が判別空間を構築する動作を示すフローチャートである。 本実施の形態による特徴抽出器のネットワーク構成と、一般的なカーネル判別分析のネットワーク構成である。
符号の説明
10 パタン照合システム
100 画像入力手段
101 顔位置検出手段
102 画像正規化手段
103 周波数特徴抽出手段
104 判別特徴抽出手段
105 類似度算出手段
106 照合判定手段

Claims (8)

  1. パタンの判別特徴を抽出するための計算に用いる係数を決定する係数決定方法であって、
    計算機における演算手段が、
    あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出ステップと、
    抽出された前記特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算ステップと、
    クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算ステップと、
    前記最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算ステップと、
    計算された近似ベクトルを用いて前記特徴情報を前記パタンの判別特徴に変換する変換式を算出する変換式算出ステップと、
    算出された前記変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための前記変換式に代入する係数として記憶する係数記憶ステップと、
    前記変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算ステップとを実行し、
    前記演算手段は、判別特徴の数である最大反復回数に達するまで、再計算された前記クラス間共分散行列を用いて、前記最適ベクトル計算ステップ、前記近似ベクトル計算ステップ、前記変換式算出ステップ、前記係数記憶ステップおよび前記共分散行列再計算ステップを繰り返し実行する
    ことを特徴とする係数決定方法。
  2. 入力信号としてパタンの特徴情報を入力する入力層、外部に出力信号として判別特徴を出力する出力層、および前記入力層からの信号を前記出力層に伝達する中間層からなる3層構造であって、前記入力層と前記中間層のノードは全結合され、前記出力層のノードは前記中間層のノードの一部から信号が入力される
    請求項1記載の係数決定方法。
  3. パタンの判別特徴を抽出する特徴抽出方法であって、
    計算機における演算手段が、
    あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出ステップと、
    抽出された前記特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算ステップと、
    クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算ステップと、
    前記最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算ステップと、
    計算された近似ベクトルを用いて前記特徴情報を前記パタンの判別特徴に変換する変換式を算出する変換式算出ステップと、
    算出された前記変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための前記変換式に代入する係数として記憶する係数記憶ステップと、
    前記変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算ステップとを実行し、
    前記演算手段は、判別特徴の数である最大反復回数に達するまで、再計算された前記クラス間共分散行列を用いて、前記最適ベクトル計算ステップ、前記近似ベクトル計算ステップ、前記変換式算出ステップ、前記係数記憶ステップおよび前記共分散行列再計算ステップを繰り返し実行し、
    前記演算手段が、
    照合対象のパタンから特徴情報を抽出する特徴情報抽出ステップと、
    前記変換式算出ステップにおいて算出された前記変換式に当該特徴情報を代入して前記照合対象のパタンの判別特徴を算出する判別特徴算出ステップとを実行する
    ことを特徴とする特徴抽出方法。
  4. パタンの判別特徴を抽出する特徴抽出システムであって、
    あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出手段と、
    抽出された前記特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算手段と、
    クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算手段と、
    前記最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算手段と、
    計算された近似ベクトルを用いて前記特徴情報を前記パタンの判別特徴に変換する変換式を算出する変換式算出手段と、
    算出された前記変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための前記変換式に代入する係数として記憶する係数記憶手段と、
    前記変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算手段とを備え、
    前記最適ベクトル計算手段、前記近似ベクトル計算手段、前記変換式算出手段、前記係数記憶手段および前記共分散行列再計算手段は、判別特徴の数である最大反復回数に達するまで、再計算された前記クラス間共分散行列を用いて上記の処理を繰り返し実行し、
    前記特徴情報抽出手段は、パタン照合を行う際に、照合対象のパタンから特徴情報を抽出し、
    前記変換式算出手段によって算出された前記変換式に当該特徴情報を代入して前記照合対象のパタンの判別特徴を算出する判別特徴算出手段とをさらに備えた
    ことを特徴とする特徴抽出システム。
  5. パタンの判別特徴を抽出するための特徴抽出プログラムであって、
    計算機の演算手段に、
    あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出処理と、
    抽出された前記特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算処理と、
    クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算処理と、
    前記最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算処理と、
    計算された近似ベクトルを用いて前記特徴情報を前記パタンの判別特徴に変換する変換式を算出する変換式算出処理と、
    算出された前記変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための前記変換式に代入する係数として記憶する係数記憶処理と、
    前記変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算処理とを実行させ、
    判別特徴の数である最大反復回数に達するまで、再計算された前記クラス間共分散行列を用いて、前記最適ベクトル計算処理、前記近似ベクトル計算処理、前記変換式算出処理、前記係数記憶処理および前記共分散行列再計算処理を繰り返し実行させ、
    前記演算手段に、
    照合対象のパタンから特徴情報を抽出する特徴情報抽出処理と、
    前記変換式算出処理において算出された前記変換式に当該特徴情報を代入して前記照合対象のパタンの判別特徴を算出する判別特徴算出処理とを実行させる
    ことを特徴とする特徴抽出プログラム。
  6. 登録用パタンと照合用パタンとを照合するパタン照合方法であって、
    計算機における演算手段が、
    あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出ステップと、
    抽出された前記特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算ステップと、
    クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算ステップと、
    前記最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算ステップと、
    計算された近似ベクトルを用いて前記特徴情報を前記パタンの判別特徴に変換する変換式を算出する変換式算出ステップと、
    算出された前記変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための前記変換式に代入する係数として記憶する係数記憶ステップと、
    前記変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算ステップとを実行し、
    前記演算手段は、判別特徴の数である最大反復回数に達するまで、再計算された前記クラス間共分散行列を用いて、前記最適ベクトル計算ステップ、前記近似ベクトル計算ステップ、前記変換式算出ステップ、前記係数記憶ステップおよび前記共分散行列再計算ステップを繰り返し実行し、
    前記演算手段が、
    前記登録用パタンと前記照合用パタンから特徴情報を抽出する特徴情報抽出ステップと、
    前記変換式算出ステップにおいて算出された前記変換式に当該特徴情報を代入して前記登録用パタンと前記照合用パタンの判別特徴を算出する判別特徴算出ステップと、
    前記登録用パタンの判別特徴と前記照合用パタンの判別特徴とを比較して類似度を計算する類似度計算ステップと、
    計算された類似度と所定の閾値とを比較し、前記登録用パタンと照合用パタンとが同一か否かを判定する対象判定ステップとを実行する
    ことを特徴とするパタン照合方法。
  7. 登録用パタンと照合用パタンとを照合するパタン照合システムであって、
    あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出手段と、
    抽出された前記特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算手段と、
    クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算手段と、
    前記最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算手段と、
    計算された近似ベクトルを用いて前記特徴情報を前記パタンの判別特徴に変換する変換式を算出する変換式算出手段と、
    算出された前記変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための前記変換式に代入する係数として記憶する係数記憶手段と、
    前記変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算手段とを備え、
    前記最適ベクトル計算手段、前記近似ベクトル計算手段、前記変換式算出手段、前記係数記憶手段および前記共分散行列再計算手段は、判別特徴の数である最大反復回数に達するまで、再計算された前記クラス間共分散行列を用いて上記の処理を繰り返し実行し、
    前記特徴情報抽出手段は、パタン照合を行う際に、前記登録用パタンと前記照合用パタンから特徴情報を抽出し、
    前記変換式算出手段によって算出された前記変換式に当該特徴情報を代入して前記照合対象のパタンの判別特徴を算出する判別特徴算出手段と、
    前記登録用パタンの判別特徴と前記照合用パタンの判別特徴とを比較して類似度を計算する類似度計算手段と、
    計算された類似度と所定の閾値とを比較し、前記登録用パタンと照合用パタンとが同一か否かを判定する対象判定手段とをさらに備えた
    ことを特徴とするパタン照合システム。
  8. 登録用パタンと照合用パタンとを照合するためのパタン照合プログラムであって、
    計算機における演算手段に、
    あらかじめ記憶手段にクラス毎に蓄積されている複数のパタンのそれぞれから特徴情報を抽出する特徴情報抽出処理と、
    抽出された前記特徴情報を用いてカーネル空間上でのクラス間共分散行列とクラス内共分散行列とを計算する共分散行列計算処理と、
    クラス間共分散/クラス内共分散の比が最大となる最適ベクトルを計算する最適ベクトル計算処理と、
    前記最適ベクトルとの自乗ノルムが最小となる近似ベクトルを計算する近似ベクトル計算処理と、
    計算された近似ベクトルを用いて前記特徴情報を前記パタンの判別特徴に変換する変換式を算出する変換式算出処理と、
    算出された前記変換式における係数を、パタン照合を行う際にパタンの判別特徴を抽出するための前記変換式に代入する係数として記憶する係数記憶処理と、
    前記変換式より得られた判別特徴を用いてクラス間共分散行列を再計算する共分散行列再計算処理とを実行させ、
    判別特徴の数である最大反復回数に達するまで、再計算された前記クラス間共分散行列を用いて、前記最適ベクトル計算処理、前記近似ベクトル計算処理、前記変換式算出処理、前記係数記憶処理および前記共分散行列再計算処理を繰り返し実行させ、
    前記演算手段に、
    前記登録用パタンと前記照合用パタンから特徴情報を抽出する特徴情報抽出処理と、
    前記変換式算出処理において算出された前記変換式に当該特徴情報を代入して前記登録用パタンと前記照合用パタンの判別特徴を算出する判別特徴算出処理と、
    前記登録用パタンの判別特徴と前記照合用パタンの判別特徴とを比較して類似度を計算する類似度計算処理と、
    計算された類似度と所定の閾値とを比較し、前記登録用パタンと照合用パタンとが同一か否かを判定する対象判定処理とを実行させる
    ことを特徴とするパタン照合プログラム。
JP2005309017A 2005-10-24 2005-10-24 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム Active JP3976056B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005309017A JP3976056B2 (ja) 2005-10-24 2005-10-24 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム
US12/091,160 US8121357B2 (en) 2005-10-24 2006-10-23 Coefficient determining method, feature extracting method, system, and program, and pattern checking method, system, and program
PCT/JP2006/321068 WO2007049560A1 (ja) 2005-10-24 2006-10-23 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005309017A JP3976056B2 (ja) 2005-10-24 2005-10-24 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2007122097A JP2007122097A (ja) 2007-05-17
JP3976056B2 true JP3976056B2 (ja) 2007-09-12

Family

ID=37967672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005309017A Active JP3976056B2 (ja) 2005-10-24 2005-10-24 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム

Country Status (3)

Country Link
US (1) US8121357B2 (ja)
JP (1) JP3976056B2 (ja)
WO (1) WO2007049560A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501522B2 (en) * 2012-08-17 2016-11-22 Sas Institute Inc. Systems and methods for providing a unified variable selection approach based on variance preservation
JP6167733B2 (ja) * 2013-07-30 2017-07-26 富士通株式会社 生体特徴ベクトル抽出装置、生体特徴ベクトル抽出方法、および生体特徴ベクトル抽出プログラム
JP6369053B2 (ja) * 2014-02-28 2018-08-08 日本電気株式会社 マッチング装置、マッチング方法及びプログラム
US20160150196A1 (en) * 2014-11-25 2016-05-26 Jon Patrik Horvath Movement and distance triggered image recording system
CN106803054B (zh) * 2015-11-26 2019-04-23 腾讯科技(深圳)有限公司 人脸模型矩阵训练方法和装置
JP7322418B2 (ja) * 2018-06-04 2023-08-08 株式会社デンソー 特徴量抽出装置、特徴量抽出方法、および物体認識装置
CN111259780B (zh) * 2020-01-14 2022-06-24 南京审计大学 一种基于分块线性重构鉴别分析的单样本人脸识别方法
US20240163564A1 (en) * 2022-11-16 2024-05-16 Advanced Micro Devices, Inc. Method and apparatus for normalizing an image in an image capturing device
CN117576765B (zh) * 2024-01-15 2024-03-29 华中科技大学 一种基于分层特征对齐的面部动作单元检测模型构建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090274A (ja) * 1998-09-16 2000-03-31 Nippon Telegr & Teleph Corp <Ntt> パターン識別方法及びパターン識別プログラムを記録した記録媒体
JP3979007B2 (ja) * 2000-12-22 2007-09-19 富士ゼロックス株式会社 パターン識別方法および装置
US7054468B2 (en) * 2001-12-03 2006-05-30 Honda Motor Co., Ltd. Face recognition using kernel fisherfaces
JP4292837B2 (ja) 2002-07-16 2009-07-08 日本電気株式会社 パターン特徴抽出方法及びその装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11455864B2 (en) 2018-07-25 2022-09-27 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US12087130B2 (en) 2018-07-25 2024-09-10 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US12106630B2 (en) 2018-07-25 2024-10-01 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Also Published As

Publication number Publication date
WO2007049560A1 (ja) 2007-05-03
US20090123077A1 (en) 2009-05-14
JP2007122097A (ja) 2007-05-17
US8121357B2 (en) 2012-02-21

Similar Documents

Publication Publication Date Title
JP3976056B2 (ja) 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム
JP4483334B2 (ja) 画像処理装置
CN105138993B (zh) 建立人脸识别模型的方法及装置
Štruc et al. Gabor-based kernel partial-least-squares discrimination features for face recognition
JP2006338092A (ja) パタン照合方法、パタン照合システム及びパタン照合プログラム
US11281756B2 (en) Method of classification of an input image representative of a biometric trait by means of a convolutional neural network
JP2008123521A (ja) 拡張されたガボールウェーブレット特徴を利用したフェース認識方法及び装置
CN105138972A (zh) 人脸认证方法和装置
KR102483650B1 (ko) 사용자 인증 장치 및 방법
CN111382666B (zh) 具有用户验证的设备和方法
Ouarda et al. MLP Neural Network for face recognition based on Gabor Features and Dimensionality Reduction techniques
Kar et al. A multi-algorithmic face recognition system
US8442278B2 (en) Covariance based face association
JP3480563B2 (ja) パターン識別のための特徴抽出装置
Matin et al. Recognition of an individual using the unique features of human face
Mandal et al. Prediction of eigenvalues and regularization of eigenfeatures for human face verification
Kumar et al. Palmprint Recognition in Eigen-space
JP4222558B2 (ja) 画像認識装置
Behera et al. Palm print authentication using PCA technique
CN114913404A (zh) 模型训练、人脸图像活体检测方法、电子设备及存储介质
Soviany et al. A biometric system with hierarchical feature-level fusion
Zhang et al. Finger-knuckle-print verification with score level adaptive binary fusion
Ponkia et al. Face Recognition Using PCA Algorithm
Soviany et al. An optimized multimodal biometric system with hierachical classifiers and reduced features
Mishra et al. Multi-stage face recognition for biometric access

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070611

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 3976056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 6