JP4219151B2

JP4219151B2 - Image collation apparatus, image collation method, and image collation program

Info

Publication number: JP4219151B2
Application number: JP2002308902A
Authority: JP
Inventors: 耕三河田
Original assignee: Glory Ltd
Current assignee: Glory Ltd
Priority date: 2002-10-23
Filing date: 2002-10-23
Publication date: 2009-02-04
Anticipated expiration: 2022-10-23
Also published as: JP2004145576A

Description

【０００１】
【発明の属する技術分野】
本発明は、種々の画像における照明の影響を算出する為の学習知識を用いて、身体の所定の部位を撮影した入力画像と登録画像から照明の影響を除去して比較することにより、身体の所定の部位を撮影した入力画像と登録画像とを照合判定する画像照合装置、画像照合方法および画像照合プログラムに関し、特に、照明変動を含む画像を照合する場合に、照明変動に対して頑強（ロバスト）な処理をおこない、もってデータ量を低減しつつ高速な照合処理を精度良くおこなうことができる画像照合装置、画像照合方法および画像照合プログラムに関する。
【０００２】
【従来の技術】
従来、顔画像を照合する際に、顔を形成する目、鼻、耳などの各部位の形状やこれらの配置の個人差に着目し、これらから特徴量を抽出して識別する技術が知られている。たとえば、顔画像そのものをパターンとして扱い、統計的パターン照合の手法を用いる技術が知られている。
【０００３】
ところが、この手法のように画像そのものをパターンとして取り扱う場合にパターンの次元が膨大なものとなってしまい、いわゆる次元の呪いと呼ばれる問題が生じてしまう。このため、最近では、部分空間法を用いてパターンを情報圧縮した後に、マッチングする技術が提案されている（例えば、非特許文献１参照。）。非特許文献２では、パターンを情報圧縮した後に、マッチングを行う方法が提案されている。例えば、顔の特徴量をノルム及び内積を持ったベクトル空間（内積空間）に特徴ベクトルとして実現し、主成分分析によりパターンを情報圧縮する技術が開示されている。
【０００４】
具体的には、非特許文献１および非特許文献２は、多変量解析の手法である主成分分析を利用しており大きく分けて学習過程と照合過程とからなる。ここで、この学習過程においては、入力画像である顔画像情報から顔の特徴をベクトルで表示し、これによって特徴ベクトルが生成する部分空間が形成され、照合過程においては、データベース内にある登録画像及び入力画像それぞれの特徴ベクトルを当該部分空間内で比較することになる。
【０００５】
ところで、かかる従来技術を用いた場合に照明変動が生じてしまうと、画像照合精度が著しく低下してしまう。このため、かかる照明変動の影響を除去する従来技術が知られている。例えば、非特許文献３では、登録画像との照合性能を高める技術が開示されている。
【０００６】
【非特許文献１】
MIT メディアラボラトリビジョンおよびモデリンググループ作成、顔認識デモページ、「//http:whitechapel.media.mit.edu./vismod/demo/facerec/sＹstem.html」。
【非特許文献２】
Turk,M.A. およびPentland, A.P.共著論文「Face Recognition Using Eigenfaces 」Proc. IEEE Conference on Computer Vision and Pattern Recognition, Maui, Hawaii,1991. p.586−591。
【非特許文献３】
Georghiades, A.S., Belhumeur, P.N. および Kriegman, D.J. 共著論文「From Few to ManＹ: Generative Models for Recognition Under Variable Pose and Illumination」Automatic Face and Gesture Recognition. FG2000。
【０００７】
【発明が解決しようとする課題】
しかしながら、この非特許文献３によれば、個人ごとに複数の登録画像が必要となるので、データ量が膨大なものとなるだけでなく、処理遅延が生ずる結果となり、実用的ではない。また、運転免許証やパスポート等の１枚の写真を登録画像とする場合には対応できない。
【０００８】
このため、照明変動を含む入力画像と登録画像とを照合する場合に、いかに照明変動に対して頑強（ロバスト）な処理をおこなうか、言い換えると、いかにデータ量を低減しつつ高速な照合処理を精度良くおこなうかが極めて重要な課題となっている。
【０００９】
この発明は、上記従来技術による課題を解決するためになされたものであり、照明変動を含む画像を照合する場合に、照明変動に対して頑強（ロバスト）な処理をおこない、もってデータ量を低減しつつ高速な照合処理を精度良くおこなうことができる画像照合装置、画像照合方法および画像照合プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものであり、請求項１に係る画像照合装置は、本人の身体の所定の部位を取り込んだ入力画像と、前記身体の所定の部位に関する本人および他人の複数の登録画像とを比較照合する画像照合装置において、少なくとも照明影響下で前記身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出する特徴量算出手段と、前記特徴量算出手段により複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、前記入力画像または登録画像から照明影響を除去する際に利用する知識を学習する学習手段と、前記特徴量算出手段により前記入力画像から算出された照明特徴量および個人特徴量と、前記特徴量算出手段により前記登録画像から算出された照明特徴量および個人特徴量と、前記学習手段により学習された照明影響に係る知識とに基づいて前記入力画像と前記登録画像とを比較照合する比較照合手段とを備えたことを特徴とする。
【００１１】
また、請求項２に係る画像照合装置は、請求項１の発明において、前記特徴量算出手段は、少なくとも照明影響下で前記身体の所定の部位を撮影した学習用画像、入力画像または登録画像から算出した照明影響に依存した照明特徴ベクトルを部分空間に射影した照明特徴射影係数ベクトルを前記照明特徴量として算出する照明特徴画像数量化手段と、前記学習用画像、入力画像または登録画像から算出した照明および前記身体の所定の部位に依存した個人特徴ベクトルを部分空間に射影した個人特徴射影係数ベクトルを前記個人特徴量として算出する個人特徴画像数量化手段とを備えたことを特徴とする。
【００１２】
また、請求項３に係る画像照合装置は、請求項２の発明において、前記照明特徴画像数量化手段は、前記学習用画像、入力画像または登録画像を低解像度化した低解像度画像または前記学習用画像、入力画像または登録画像の低周波成分を用いて前記照明特徴ベクトルを作成することを特徴とする。
【００１３】
また、請求項４に係る画像照合装置は、請求項２または３の発明において、前記学習手段は、前記照明特徴画像数量化手段により算出された照明特徴射影係数ベクトルおよび前記個人特徴画像数量化手段により算出された個人特徴射影係数ベクトルに基づいて、前記入力画像または登録画像から照明影響を除去する際に利用する補正式を算出することを特徴とする。
【００１４】
また、請求項５に係る画像照合装置は、請求項４の発明において、前記比較照合手段は、前記学習手段により算出された補正式に基づいて、前記特徴量算出手段によって算出された前記入力画像または登録画像の個人特徴射影係数ベクトルから前記照明影響に係る成分を除去する補正をおこなう補正手段と、前記補正手段により補正された前記入力画像または登録画像の個人特徴射影係数ベクトルを比較する比較手段とを備えたことを特徴とする。
【００１５】
また、請求項６に係る画像照合方法は、本人の身体の所定の部位を取り込んだ入力画像と、所定の記憶部に記憶した前記身体の所定の部位に関する本人および他人の複数の登録画像とを比較照合処理する画像照合装置における画像照合方法であって、前記記憶部に記憶された少なくとも照明影響下で前記身体の所定の部位を撮影した学習用画像、入力画像または前記記憶部に記憶された登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出する特徴量算出工程と、前記特徴量算出工程により複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、前記入力画像または登録画像から照明影響を除去する際に利用する知識を学習する学習工程と、前記特徴量算出工程により前記入力画像から算出された照明特徴量および個人特徴量と、前記特徴量算出工程により前記登録画像から算出された照明特徴量および個人特徴量と、前記学習工程により学習された照明影響に係る知識とに基づいて前記入力画像と前記登録画像とを比較照合処理する比較照合処理工程とを含んだことを特徴とする。
【００１６】
また、請求項７に係る画像照合プログラムは、本人の身体の所定の部位を取り込んだ入力画像と、前記身体の所定の部位に関する本人および他人の複数の登録画像とを比較照合する画像照合プログラムであって、少なくとも照明影響下で前記身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出する特徴量算出手順と、前記特徴量算出手順により複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、前記入力画像または登録画像から照明影響を除去する際に利用する知識を学習する学習手順と、前記特徴量算出手順により前記入力画像から算出された照明特徴量および個人特徴量と、前記特徴量算出手順により前記登録画像から算出された照明特徴量および個人特徴量と、前記学習手順により学習された照明影響に係る知識とに基づいて前記入力画像と前記登録画像とを比較照合する比較照合手順とをコンピュータに実行させることを特徴とする。
【００１７】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る画像照合装置の好適な実施の形態を詳細に説明する。なお、本実施の形態では、本発明を照明の影響として、自然光または人工光による照明影響を受ける顔画像に適用した場合について説明するが、画像特徴を当該画像の低解像度成分または低周波数成分の抽出によって照明影響に係る情報の抽出に有効な場合、本発明は照明の種類に依存せず、照明影響が減じられた画像特徴量を比較することにより登録画像と入力画像の比較照合判定が可能となる。
【００１８】
本実施の形態に係る画像照合装置の概略構成について説明する。図１は、本発明の実施の形態である画像照合装置の概略構成を示す図である。
【００１９】
同図に示すように、この画像照合装置は、カメラ１０と、サーバ２０とからなる。カメラ１０は、ＣＣＤカメラなどを用いて顔画像を撮像する画像入力部であり、入力した画像がサーバ２０に出力される。
【００２０】
サーバ２０は、後述する学習処理および照合処理（補正処理および照合判定処理）を行うものであり、画像数量化部２１、補正式算定部２２、記憶部２３、特徴量補正部２４および照合判定部２５からなる。
【００２１】
画像数量化部２１は画像データから特徴ベクトル（詳細は後述）を算出するものであり、個人特徴画像数量化部２１ａと照明特徴画像数量化部２１ｂとからなる。
【００２２】
個人特徴画像数量化部２１ａは、入力された画像から個人の特徴量を表す個人特徴ベクトルを算出した後、算出した個人特徴ベクトルに対して部分空間を形成するとともに、この個人特徴ベクトルを個人の主要な特徴量を抽出するため当該部分空間に射影し、個人特徴射影係数ベクトルＹを算出する。
【００２３】
照明特徴画像数量化部２１ｂは、入力された画像を低解像度化、または入力された画像から低周波成分を抽出し、低解像度画像情報または低周波成分画像を作成する。そして、低解像度画像または低周波成分画像を用いて照明特徴ベクトルを算出した後、算出した照明特徴ベクトルについての部分空間を形成するとともに、この照明特徴ベクトルを照明変動による特徴量を抽出するため当該部分空間に射影し、照明特徴射影係数ベクトルＸを算出する。
【００２４】
補正式算定部２２は、後述する学習処理において、個人特徴画像数量化部２１ａおよび照明特徴画像数量化部２１ｂが複数の学習用画像（例えば、Ｎ個）に対して算出した個人特徴射影係数ベクトルＹと照明特徴射影係数ベクトルＸを用いて後述する種々の演算を行って、後述の入力画像および登録画像から照明の影響を除去するための知識である写像（照明の影響である画像に含まれるオフセットを算出するための関数あるいは補正式などを意味し、以下写像ｆとする）を算定する。
【００２５】
特徴量補正部２４は後述する照合処理時において、入力画像と登録画像から照明の影響を除去するために、補正式算定部２２が算定した写像ｆを用いて入力画像と登録画像の個人特徴射影係数ベクトルＹを補正する。
【００２６】
照合判定部２５は、特徴量補正部２４により補正された入力画像と登録画像の個人特徴射影係数ベクトルＹ_*を用いて、例えば、入力画像の人物が登録画像の人物と一致するか否かを判定する処理を行う。
【００２７】
記憶部２３は、学習用画像や登録画像、補正式算定部２２が算定した写像ｆを記憶する他、各部の処理における一時記憶部としても機能する。ただし、用途別にそれぞれ記憶手段を設けてもよく、また、登録画像のデータが膨大になるような場合には専用のデータベースを構築してもよい。
【００２８】
ここで、上述の説明および以下の説明における学習用画像とは、補正式算定部２２による写像ｆの算定のために事前情報として準備された種々の人物の顔画像であり、入力画像とは、カメラ１０により撮影された照合対象者の顔画像のことであり、登録画像とは、本発明の画像照合装置を使用するユーザ側で予め登録しておく顔画像、例えば、入場管理などに使用される場合などでは入場を許可された者の顔画像のことである。なお、学習用画像および登録画像は、カメラ１０で撮影した画像を使用するようにしてもよいし、記憶媒体に記憶させた画像を有線あるいは無線手段を用いて記憶部２３に記憶するようにしてもよい。
【００２９】
次に、図１に示した画像照合装置の処理概念について図２を参照して説明する。本発明の画像照合装置の処理としては、入力画像や登録画像から照明の影響を除去するための知識として写像ｆを得るための学習処理と写像ｆを利用して入力画像と登録画像に対して照明の影響を除去する補正をし、補正された入力画像と登録画像（詳細は後述するが、実際には各画像から求めるベクトル情報）とを照合する照合処理の大きく２種類の処理に分けられる。
【００３０】
まず、学習処理において、個人特徴画像数量化部２１ａが複数の学習用画像から個人特徴ベクトルを算出するとともに、個人特徴射影係数ベクトルＹを算出する。また、照明特徴画像数量化部２１ｂが複数の学習用画像を低解像度化あるいは低解像度成分を抽出し、低解像度画像または低周波成分画像を作成し、この低解像度画像または低周波成分を用いて照明特徴ベクトルを算出した後、照明特徴射影係数ベクトルＸを算出する。
【００３１】
そして、算出された複数の学習用画像に対する個人特徴射影係数ベクトルＹおよび照明特徴射影係数ベクトルＸを用いて補正式算定部２２が写像ｆを算定し、この写像ｆが入力画像や登録画像から照明の影響を除去するための知識として記憶部２３に記憶される。
【００３２】
次に、照合処理においては、入力画像と登録画像に対して個人特徴画像数量化部２１ａおよび照明特徴画像数量化部２１ｂが個人特徴射影係数ベクトルＹおよび照明特徴射影係数ベクトルＸをそれぞれ算出する。そして、特徴量補正部２４は補正式算定部２２が算定した写像ｆから各照明特徴射影係数ベクトルＸを用いて入力画像および登録画像に含まれる照明によるオフセットＹ₀を算出し、入力画像および登録画像の各個人特徴射影係数ベクトルＹから算出したオフセットＹ₀を差し引くことにより、これらを補正する。
【００３３】
最後に照合判定部２５が入力画像および登録画像の補正された個人特徴射影係数ベクトルＹ_*の相関値を求める、あるいはベクトルのなす角度を算出するなどして入力画像の人物が登録画像の人物と一致するか否かの照合判定を行う。
【００３４】
なお、上述のような本発明の画像照合装置における処理は、高解像度画像（カメラ１０から入力される画像そのものなど）は個人の特徴と照明の特徴の両方を含んだ情報であり、低解像度画像あるいは低周波数成分画像は個人の特徴に関する情報が薄れ、照明の特徴が顕在化した情報となることを利用している（図３参照）。
【００３５】
そして、学習において、複数の学習用画像の低解像度画像、あるいは低周波成分画像を用いて、種々の画像における照明の影響（オフセットＹ₀）を算出する為の写像ｆを求め、照合処理において、この写像ｆを用いて入力画像と登録画像から照明の影響を除去して比較することにより、本発明の特徴である照明変動にロバストな顔画像の照合処理が可能になる。
【００３６】
次に、上述した学習処理について図４から図７のフローチャートを参照してより詳細に説明する。
【００３７】
まず、各学習用画像（以下、Ｎ個の学習用画像とする）に対して個人特徴量数量化部２１ａが個人特徴ベクトルを算出した後、これを部分空間に射影した個人特徴射影係数ベクトルＹを算出する（ステップＳ０１）。次に、照明特徴画像数量化部２１ｂが各学習用画像を低解像度化、または低周波成分を抽出し、低解像度画像または低周波成分画像を作成し、この画像から照明特徴ベクトルを算出した後、これを部分空間に射影した照明特徴射影係数ベクトルＸを算出する（ステップＳ０２）。次に、ステップＳ０１およびステップＳ０２の処理により算出された個人特徴射影係数ベクトルＹの集合および照明特徴射影係数ベクトルＸの集合を作成し、この集合から後述する３つの算定方法の何れかにより写像ｆを算定する（ステップＳ０３）。そして、算定した写像ｆを記憶部２３に記憶して（ステップＳ０４）、学習処理は終了する。
【００３８】
上記一連の処理をおこなうことにより、入力画像および登録画像の個人特徴ベクトルから照明影響を減じるための学習知識、すなわち写像ｆを得ることが可能になる。
【００３９】
次に、上述した図４の学習処理のフローチャートにおけるステップＳ０４の写像ｆの算定方法について説明する。方法としては３つあり、これらを順に説明する。
【００４０】
写像ｆの第１の算定方法について、図５のフローチャートを参照して説明する。まず、Ｌ次元の個人特徴射影係数ベクトルＹの集合｛Ｙ_i｝とＫ次元の照明特徴射影係数ベクトルＸの集合｛Ｘ_i｝を作成する（ステップＳ１０１）。次に、以下のＫ変数（分離型）ｍ次多項式モデル、
【数１】

を用いて、パラメータＡ_lkjを集合｛Ｘ_i｝、｛Ｙ_i｝から最小２乗法を用いて求め、これを写像ｆ：Ｘ→Ｙ₀とする（ステップＳ１０２）。ここで、式（１）において、Ｘ（ｋ）、Ｙ（ｋ）は列ベクトルであるＸ、Ｙの第ｋ要素を意味する。
【００４１】
上記一連の処理をおこなうことにより、入力画像や登録画像から照明の影響を除去するための写像ｆを算定することが可能になる。
【００４２】
次に、写像ｆの第２の算出方法について、図６のフローチャートを参照して説明する。まず、Ｌ次元の個人特徴射影係数ベクトルの集合｛Ｙ_i｝とＫ次元の照明特徴射影係数ベクトルＸの集合｛Ｘ_i｝を作成する（ステップＳ２０１）。次に、集合｛Ｘ_i｝、｛Ｙ_i｝からL行K列の相関行列
【数２】

を算出し、Ｍを特異値分解し、特異値σ_iを得る（ステップＳ２０２）。ここで、Ｍ（ｌ,ｋ）は行列Ｍの第１行ｋ列要素を示している。この後、特異値σ_iを大きい順にｒ個取り出し、対応するＫ次元、Ｌ次元固有ベクトルをそれぞれＵ_i、Ｖ_iとし、近似相関行列Ｍ’を以下の数式に従うものとし、
【数３】

この式（３）から近似相関行列Ｍ’を算出する。そして、写像ｆ：Ｘ→Ｙ₀をＹ₀＝Ｍ’Ｘとする（ステップＳ２０３）。
【００４３】
上記一連の処理をおこなうことにより、入力画像や登録画像から照明の影響を除去するための写像ｆを算定することが可能になる。
【００４４】
次に、写像ｆの第３の算定方法について、図７のフローチャートを参照して説明する。なお、この方法は、取り扱う画像が照明パラメータ（α,β）で制御された場合に適用され、学習用画像も照明パラメータ（α,β）で制御されたものとしている。
【００４５】
Ｋ次元の照明特徴射影係数ベクトルＸの集合｛Ｘ_i｝とＬ次元の個人特徴射影係数ベクトルＹの集合｛Ｙ_i｝を作成し（ステップＳ３０１）。次に、集合｛X_i｝から以下の２変数ｍ次多項式モデル、
【数４】

のパラメータＰ_kjtを、最小２乗法を用いて算出するとともに、集合｛Ｙ_i｝から以下の２変数ｎ次多項式モデル、
【数５】

のパラメータＱ_ljtを、最小２乗法を用いて算出して、各々写像ｐ：（α,β）→Ｘおよびｑ：（α,β）→Ｙ₀として、写像ｐの逆写像ｐ^-1と写像ｑの合成写像であるｑ○ｐ^-1を写像ｆ：Ｘ→Ｙ₀とする（ステップＳ３０２）。
【００４６】
上記一連の処理をおこなうことにより、入力画像や登録画像から照明の影響を除去するための写像ｆを算定することが可能になる。
【００４７】
次に、照合処理について図８から図１１を参照して説明する。図８を用いて照合処理全体を説明すると、まず、カメラ１０から入力画像が入力される（ステップＳ２０）。次に、登録画像が記憶部２３から読み込まれる（ステップＳ２１）。次に、入力画像および登録画像の個人特徴射影係数ベクトルＹに対して後述する照明影響を除去するための補正処理が行われる（ステップＳ２２）。そして、入力画像と登録画像の補正された個人特徴射影係数ベクトルＹ_*を用いて入力画像の人物が登録画像の人物と一致するか否かなどの照合判定が行われる（ステップＳ２３）。
【００４８】
上記一連の処理をおこなうことにより、入力画像と登録画像から照明の影響を除去してそれらを照合判定することが可能になる。
【００４９】
なお、ここでの照合判定の方法は、例えば、入力画像と登録画像の補正された個人特徴射影係数ベクトルＹ_*のなす角度（余弦など）を求めて、予め設定された基準値以上であれば、入力画像と登録画像の人物が一致すると判定したり、補正された個人特徴射影係数ベクトルＹ_*の相関値を求めて、予め設定された基準値以上であれば入力画像の人物と登録画像の人物が一致すると判定するようにしてもよい。
【００５０】
また、ステップＳ２１における登録画像の読み込みは、記憶部２３に記憶されている順に読み込むようにしてもよい。あるいは、照合処理時に登録画像に対応するＩＤ番号などが入力されるのであれば、このＩＤに対応する登録画像を記憶部２３から読み込むようにすればよい。
【００５１】
次に、上述の照合処理におけるステップＳ２２の個人特徴射影係数ベクトルから照明影響を除去するための補正処理について、図９を用いて説明する。まず、入力画像および登録画像から個人特徴画像数量化部２１ａが個人特徴ベクトルを算出し、個人特徴射影係数ベクトルＹを算出する（ステップＳ４０１）。
次に、入力画像および登録画像から照明特徴画像数量化部２１ｂが、照明特徴ベクトルを算出し、さらに照明特徴射影係数ベクトルＸを算出する（ステップＳ４０２）。続いて、記憶部２３に記憶された写像ｆを用いてステップＳ４０２で算出した入力画像および登録画像の照明特徴射影係数ベクトルＸから照明によるオフセットＹ₀を算出する（ステップＳ４０３）。ステップＳ４０１で算出した入力画像および登録画像から個人特徴射影係数ベクトルＹからステップＳ４０３で算出した各オフセットＹ₀を減じて、補正された個人特徴射影係数ベクトルＹ_*を算出する（ステップＳ４０４）。
【００５２】
上記一連の処理をおこなうことにより、入力画像と登録画像の情報から照明の影響を除去する補正が可能になる。
図１０は上述の照合処理（補正処理を含む）の有効性を説明するための説明図である。以下では、同一人物の入力画像と登録画像が異なった２つの照明条件下（照明I、照明II）で撮影され、登録画像が照明Iのもとで撮影されたものであり、入力画像が照明IIのもとで撮影されたものとして説明する。
【００５３】
同図においては、登録画像の個人特徴射影係数ベクトルはＹI８２と算出され、入力画像の個人特徴射影係数ベクトルはＹII８３と算出され、上述の写像ｆを利用して算出された照明の影響によるオフセットが、それぞれ、Ｙ₀I８４、Ｙ₀II８５と算出された場合が示されている。ここで、登録画像から直接求めた個人特徴射影係数ベクトルＹI８２から上述した写像ｆを用いて算出したオフセットＹ₀I８４を減じて、補正された個人特徴射影係数ベクトルは、ＹI−Ｙ₀I８６と表される。
【００５４】
入力画像についても同様に、個人特徴射影係数ベクトルＹII８３から上述した写像ｆを用いて算出したオフセットＹ₀II８５を減じて、補正された個人特徴射影係数ベクトルはＹII−Ｙ₀II８７と表される。これにより、何も補正しない場合には、登録画像の個人特徴射影係数ベクトルＹI８２と入力画像の個人特徴射影係数ベクトルＹII８３は、照明の影響により大きさ、方向ともに異なり、このまま照合すれば、同一人物であるにもかかわらず、他人として判定されてしまうことになるが、補正された登録画像の個人特徴射影係数ベクトルＹI−Ｙ₀I８６と個人特徴射影係数ベクトルＹII−Ｙ₀II８７は大きさおよび方向が同じになっているので同一人物であると判定でき、照明条件に関わらず正しい照合が可能となる。
【００５５】
上述してきたように、本実施の形態では、画像数量化部２１において特徴ベクトルとして表現される顔画像を、特徴量補正部２４において記憶部２３に記憶された写像ｆを用いて照明の影響を除去するための補正がなされた入力画像情報と登録画像情報とを照合判定部２５において比較照合判定するので、照明変動に対してロバストな照合処理が可能となる。
【００５６】
ところで、本実施の形態では、照明変動下における顔画像を用いた場合について説明したが、本発明はこれに限定されるものではなく、他の身体の所定の部位（例えば、掌紋など）の照明変動下における画像集合においても本発明を適用することもできる。
【００５７】
【発明の効果】
以上説明したように、請求項１の発明によれば、少なくとも照明影響下で身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出し、複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、入力画像または登録画像から照明影響を除去する際に利用する知識を学習し、入力画像から算出された照明特徴量および個人特徴量と、登録画像から算出された照明特徴量および個人特徴量と、学習された照明影響に係る知識とに基づいて入力画像と登録画像とを比較照合するので、照明変動に影響されることなく入力画像と登録画像とを比較照合することができる。さらに、運転免許証やパスポート等の１枚の写真を登録画像とする場合にも適用できる。
【００５８】
また、請求項２の発明によれば、少なくとも照明影響下で身体の所定の部位を撮影した学習用画像、入力画像または登録画像から算出した照明影響に依存した照明特徴ベクトルを部分空間に射影した照明特徴射影係数ベクトルを照明特徴量として算出し、学習用画像、入力画像または登録画像から算出した照明および身体の所定の部位に依存した個人特徴ベクトルを部分空間に射影した個人特徴射影係数ベクトルを個人特徴量として算出したので、照明特徴射影係数ベクトルと個人特徴射影係数ベクトルとの数量関係を考えることができる。
【００５９】
また、請求項３の発明によれば、学習用画像、入力画像または登録画像を低解像度化した低解像度画像または学習用画像、入力画像または登録画像の低周波成分を用いて照明特徴ベクトルを作成したので、学習用画像、入力画像または登録画像それぞれの照明影響に係る照明特徴射影係数ベクトルを算出することができる。
【００６０】
また、請求項４の発明によれば、照明特徴射影係数ベクトルおよび個人特徴射影係数ベクトルに基づいて補正式を算出したので、該補正式を用いて入力画像の個人特徴射影係数ベクトルおよび登録画像の個人特徴射影係数ベクトルの照明影響を除去できる。
【００６１】
また、請求項５の発明によれば、補正式に基づいて、入力画像または登録画像の個人特徴射影係数ベクトルから照明影響に係る成分を除去する補正をおこない、補正された入力画像または登録画像の個人特徴射影係数ベクトルを比較するので、照明影響によらず入力画像の個人特徴射影係数ベクトルと登録画像の個人特徴射影係数ベクトルとを比較照合できる。
【００６２】
また、請求項６の発明によれば、記憶部に記憶された少なくとも照明影響下で身体の所定の部位を撮影した学習用画像、入力画像または記憶部に記憶された登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出し、複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、入力画像または登録画像から照明影響を除去する際に利用する知識を学習し、学習の後、入力画像から算出された照明特徴量および個人特徴量と、登録画像から算出された照明特徴量および個人特徴量と、学習された照明影響に係る知識とに基づいて入力画像と登録画像とを比較照合処理したので、入力画像と登録画像とを比較照合することができる。さらに、運転免許証やパスポート等の１枚の写真を登録画像とする場合にも適用できる。
【００６３】
また、請求項７の発明によれば、少なくとも照明影響下で身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出し、複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、入力画像または登録画像から照明影響を除去する際に利用する知識を学習し、学習の後、入力画像から算出された照明特徴量および個人特徴量と、登録画像から算出された照明特徴量および個人特徴量と、学習された照明影響に係る知識とに基づいて入力画像と登録画像とを比較照合したので、入力画像と登録画像とを比較照合することができる。さらに、運転免許証やパスポート等の１枚の写真を登録画像とする場合にも適用できる。
【図面の簡単な説明】
【図１】この発明の実施の形態である画像照合装置及び画像照合方法の概略構成を示すブロック図である。
【図２】画像照合装置の処理手順の概要を説明する説明図である。
【図３】解像度の例を示す図である。
【図４】学習処理のフローチャートである。
【図５】写像ｆの算定方法その１を説明するフローチャートである。
【図６】写像ｆの算定方法その２を説明するフローチャートである。
【図７】写像ｆの算定方法その３を説明するフローチャートである。
【図８】照合処理のフローチャートである。
【図９】補正処理のフローチャートである。
【図１０】照合処理の有効性を説明するための説明図である。
【符号の説明】
１０カメラ
２０サーバ
２１画像数量化部
２１ａ個人特徴画像数量化部
２１ｂ照明特徴画像数量化部
２２補正式算定部
２３記憶部
２４特徴量補正部
２５照合判定部
８２照明Iにおける個人特徴射影係数ベクトルＹI
８３照明IIにおける個人特徴射影係数ベクトルＹII
８４照明IにおけるオフセットＹ₀I
８５照明IIにおけるオフセットＹ₀II
８６照明Iにおける補正された個人特徴射影特徴ベクトルＹI−Ｙ₀I
８７照明IIにおける補正された個人特徴射影特徴ベクトルＹII−Ｙ₀II[0001]
BACKGROUND OF THE INVENTION
The present invention uses the learning knowledge for calculating the influence of illumination in various images, and removes the influence of illumination from an input image obtained by photographing a predetermined part of the body and a registered image, and compares them. The present invention relates to an image collation apparatus, an image collation method, and an image collation program for collating and determining an input image obtained by photographing a predetermined part and a registered image, and particularly robust against illumination fluctuations when collating images including illumination fluctuations (robustness). The present invention relates to an image collation apparatus, an image collation method, and an image collation program capable of accurately performing high-speed collation processing while reducing the amount of data.
[0002]
[Prior art]
Conventionally, when collating face images, a technique for extracting and distinguishing feature amounts from the shape of each part such as the eyes, nose, and ears that form the face, and individual differences in their arrangement has been known. ing. For example, a technique is known in which a face image itself is treated as a pattern and a statistical pattern matching method is used.
[0003]
However, when the image itself is handled as a pattern as in this method, the dimension of the pattern becomes enormous, which causes a problem called a so-called dimension curse. For this reason, recently, a technique for matching after compressing information of a pattern using a subspace method has been proposed (for example, see Non-Patent Document 1). Non-Patent Document 2 proposes a method for performing matching after information compression of a pattern. For example, a technique is disclosed in which a facial feature quantity is realized as a feature vector in a vector space (inner product space) having a norm and an inner product, and the pattern information is compressed by principal component analysis.
[0004]
Specifically, Non-Patent Document 1 and Non-Patent Document 2 use principal component analysis, which is a multivariate analysis technique, and is roughly divided into a learning process and a matching process. Here, in this learning process, facial features are displayed as vectors from face image information that is an input image, thereby forming a partial space in which the feature vectors are generated. In the matching process, registered images in the database are created. And the feature vectors of the input images are compared in the subspace.
[0005]
By the way, when such a conventional technique is used, if an illumination fluctuation occurs, the image collation accuracy is significantly lowered. For this reason, the prior art which removes the influence of this illumination variation is known. For example, Non-Patent Document 3 discloses a technique for improving collation performance with a registered image.
[0006]
[Non-Patent Document 1]
MIT Media Laboratory Vision and modeling group creation, face recognition demo page, "//http:whitechapel.media.mit.edu./vismod/demo/facerec/sYstem.html".
[Non-Patent Document 2]
Turk, MA and Pentland, AP co-authored “Face Recognition Using Eigenfaces” Proc. IEEE Conference on Computer Vision and Pattern Recognition, Maui, Hawaii, 1991. p.586-591.
[Non-Patent Document 3]
Georghiades, AS, Belhumeur, PN and Kriegman, DJ co-authored paper "From Few to ManY: Generative Models for Recognition Under Variable Pose and Illumination" Automatic Face and Gesture Recognition. FG2000.
[0007]
[Problems to be solved by the invention]
However, according to this non-patent document 3, since a plurality of registered images are required for each individual, not only the data amount becomes enormous, but also a processing delay occurs, which is not practical. In addition, it is not possible to use a single photograph such as a driver's license or passport as a registered image.
[0008]
For this reason, when collating an input image that includes illumination fluctuations with a registered image, how robust processing is performed against illumination fluctuations, in other words, how high-speed verification processing is performed while reducing the amount of data. It is an extremely important issue to perform with high accuracy.
[0009]
The present invention has been made to solve the above-described problems of the prior art, and when collating images including illumination fluctuations, robust processing against illumination fluctuations is performed to reduce the amount of data. An object of the present invention is to provide an image collation apparatus, an image collation method, and an image collation program that can perform high-speed collation processing with high accuracy.
[0010]
[Means for Solving the Problems]
The present invention has been made in order to achieve the above object, and an image collating apparatus according to claim 1 includes an input image obtained by capturing a predetermined part of the person's body, the person relating to the predetermined part of the body, In an image collation apparatus for comparing and collating with a plurality of registered images of other persons, at least a learning image obtained by photographing a predetermined part of the body under the influence of illumination, an input image, or an illumination feature amount depending on the illumination effect and illumination from the registered image And feature amount calculating means for calculating an individual feature amount depending on a predetermined part of the body, and based on the illumination feature amount and the individual feature amount respectively calculated from a plurality of learning images by the feature amount calculating means, Learning means for learning knowledge to be used when removing the illumination effect from the input image or registered image; and an illumination calculated from the input image by the feature amount calculating means. The input image based on the feature amount and the individual feature amount, the illumination feature amount and the individual feature amount calculated from the registered image by the feature amount calculating unit, and the knowledge about the lighting influence learned by the learning unit A comparison / collation unit for comparing and collating the registered image is provided.
[0011]
According to a second aspect of the present invention, in the image collating apparatus according to the first aspect, the feature amount calculating means is based on a learning image, an input image or a registered image obtained by photographing a predetermined part of the body at least under the influence of illumination. Illumination feature image quantification means for calculating an illumination feature projection coefficient vector obtained by projecting an illumination feature vector depending on the calculated illumination effect onto a partial space as the illumination feature amount, and the learning image, the input image, or the registered image And a personal feature image quantification means for calculating a personal feature projection coefficient vector obtained by projecting a personal feature vector depending on illumination and a predetermined part of the body onto a partial space as the personal feature amount.
[0012]
According to a third aspect of the present invention, in the invention of the second aspect, the illumination feature image quantifying means is a low-resolution image obtained by reducing the resolution of the learning image, the input image, or the registered image, or the learning image. The illumination feature vector is created using a low-frequency component of an image, an input image, or a registered image.
[0013]
According to a fourth aspect of the present invention, in the image collating apparatus according to the second or third aspect of the invention, the learning means includes the illumination feature projection coefficient vector calculated by the illumination feature image quantifying means and the individual feature image quantifying means. Based on the individual feature projection coefficient vector calculated by the above, a correction formula used when removing the illumination effect from the input image or registered image is calculated.
[0014]
According to a fifth aspect of the present invention, in the image collating apparatus according to the fourth aspect of the invention, the comparison collating means is the input image calculated by the feature amount calculating means based on the correction formula calculated by the learning means. Alternatively, a correction unit that performs correction to remove the component related to the illumination effect from the personal feature projection coefficient vector of the registered image, and a comparison unit that compares the input image or the personal feature projection coefficient vector of the registered image corrected by the correction unit. It is characterized by comprising.
[0015]
An image collating method according to claim 6 is an input image obtained by capturing a predetermined part of the body of the person, Stored in a predetermined storage unit Comparing and collating a plurality of registered images of the person and others regarding the predetermined part of the body processing Do An image collation method in an image collation apparatus, , Stored in the storage unit A learning image, an input image, or an image obtained by photographing a predetermined part of the body at least under the influence of lighting Stored in the storage unit A feature amount calculating step for calculating an illumination feature amount depending on the illumination effect from the registered image and an individual feature amount depending on the illumination and a predetermined part of the body, and the feature amount calculating step, respectively, are calculated from the plurality of learning images. A learning step for learning knowledge to be used in removing an illumination influence from the input image or registered image based on the illumination feature amount and the personal feature amount, and the illumination calculated from the input image by the feature amount calculation step The input image based on the feature amount and the individual feature amount, the illumination feature amount and the individual feature amount calculated from the registered image by the feature amount calculating step, and the knowledge about the lighting influence learned by the learning step, Compare and match the registered image processing Comparison matching processing And a process.
[0016]
The image collation program according to claim 7 is an image collation program for comparing and collating an input image obtained by capturing a predetermined part of the person's body with a plurality of registered images of the person and others relating to the predetermined part of the body. A learning feature, an input image or a registered image obtained by photographing at least a predetermined part of the body under the influence of illumination, and an illumination feature amount depending on the illumination effect and an individual feature amount depending on the illumination and the predetermined part of the body A feature amount calculation procedure for calculating a lighting effect and a lighting effect amount and a personal feature amount calculated from a plurality of learning images by the feature amount calculation procedure, respectively, when removing an illumination effect from the input image or registered image A learning procedure for learning knowledge to be used, an illumination feature amount and an individual feature amount calculated from the input image by the feature amount calculation procedure, and the feature A comparison and collation procedure for comparing and collating the input image and the registered image based on the illumination feature amount and the individual feature amount calculated from the registered image by the calculation procedure and the knowledge related to the illumination effect learned by the learning procedure. And making the computer execute.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Exemplary embodiments of an image collating apparatus according to the present invention will be described below in detail with reference to the accompanying drawings. In the present embodiment, the case where the present invention is applied to a face image that is affected by illumination by natural light or artificial light as an effect of illumination will be described. However, the image feature is a low-resolution component or a low-frequency component of the image. When extraction is effective for extracting information related to lighting effects, the present invention does not depend on the type of lighting, and comparison / judgment between registered images and input images can be performed by comparing image feature quantities with reduced lighting effects It becomes.
[0018]
A schematic configuration of the image collating apparatus according to the present embodiment will be described. FIG. 1 is a diagram showing a schematic configuration of an image collating apparatus according to an embodiment of the present invention.
[0019]
As shown in FIG. 1, the image collating apparatus includes a camera 10 and a server 20. The camera 10 is an image input unit that captures a face image using a CCD camera or the like, and the input image is output to the server 20.
[0020]
The server 20 performs learning processing and collation processing (correction processing and collation determination processing) described later, and includes an image quantification unit 21, a correction formula calculation unit 22, a storage unit 23, a feature amount correction unit 24, and a collation determination unit. 25.
[0021]
The image quantification unit 21 calculates a feature vector (details will be described later) from image data, and includes an individual feature image quantification unit 21a and an illumination feature image quantification unit 21b.
[0022]
The personal feature image quantifying unit 21a calculates a personal feature vector representing a personal feature amount from the input image, forms a partial space for the calculated personal feature vector, and converts the personal feature vector into the personal feature vector. In order to extract the main feature amount, projection is performed on the partial space, and an individual feature projection coefficient vector Y is calculated.
[0023]
The illumination feature image quantification unit 21b reduces the resolution of the input image or extracts a low frequency component from the input image, and creates low resolution image information or a low frequency component image. Then, after calculating the illumination feature vector using the low-resolution image or the low-frequency component image, a partial space for the calculated illumination feature vector is formed, and the illumination feature vector is extracted in order to extract a feature amount due to illumination variation. Project to the partial space, and calculate the illumination feature projection coefficient vector X.
[0024]
The correction formula calculation unit 22 uses the personal feature projection coefficient vector calculated by the personal feature image quantification unit 21a and the illumination feature image quantification unit 21b for a plurality of learning images (for example, N) in a learning process described later. Various operations described later using Y and the illumination feature projection coefficient vector X are performed to perform mapping (which is included in the image that is the influence of illumination) that is knowledge for removing the influence of illumination from the input image and the registered image described later. This means a function or correction formula for calculating the offset, and hereinafter referred to as mapping f).
[0025]
The feature amount correcting unit 24 uses the mapping f calculated by the correction formula calculating unit 22 to remove the influence of illumination from the input image and the registered image during the collation process described later, and the personal feature projection of the input image and the registered image. The coefficient vector Y is corrected.
[0026]
The collation determining unit 25 uses the individual feature projection coefficient vector Y of the input image and the registered image corrected by the feature amount correcting unit 24. _* For example, a process of determining whether or not the person in the input image matches the person in the registered image is performed.
[0027]
The storage unit 23 stores a learning image, a registered image, and the mapping f calculated by the correction formula calculation unit 22, and also functions as a temporary storage unit in the processing of each unit. However, storage means may be provided for each application, and a dedicated database may be constructed when the amount of registered image data is enormous.
[0028]
Here, the learning images in the above description and the following description are face images of various persons prepared as prior information for calculating the mapping f by the correction formula calculating unit 22, and the input image is The face image of the person to be collated photographed by the camera 10, and the registered image is a face image registered in advance by the user who uses the image collating apparatus of the present invention, for example, entrance management. In some cases, it is a face image of a person who is allowed to enter. As the learning image and the registered image, an image captured by the camera 10 may be used, or an image stored in the storage medium may be stored in the storage unit 23 using wired or wireless means. Also good.
[0029]
Next, the processing concept of the image collating apparatus shown in FIG. 1 will be described with reference to FIG. As processing of the image collating device of the present invention, learning processing for obtaining the mapping f as knowledge for removing the influence of illumination from the input image and the registered image, and the input image and the registered image using the mapping f are used. The correction is performed to remove the influence of illumination, and the input image and the registered image (which will be described in detail later, but actually vector information obtained from each image) are roughly divided into two types of verification processing. .
[0030]
First, in the learning process, the personal feature image quantifying unit 21a calculates a personal feature vector from a plurality of learning images and calculates a personal feature projection coefficient vector Y. In addition, the illumination feature image quantifying unit 21b reduces the resolution or extracts a plurality of learning images, creates a low resolution image or a low frequency component image, and uses the low resolution image or the low frequency component. After calculating the illumination feature vector, an illumination feature projection coefficient vector X is calculated.
[0031]
Then, the correction formula calculation unit 22 calculates the mapping f using the individual feature projection coefficient vector Y and the illumination feature projection coefficient vector X for the calculated plurality of learning images, and the mapping f is illuminated from the input image or the registered image. This is stored in the storage unit 23 as knowledge for removing the influence of.
[0032]
Next, in the collation process, the individual feature image quantification unit 21a and the illumination feature image quantification unit 21b calculate the individual feature projection coefficient vector Y and the illumination feature projection coefficient vector X for the input image and the registered image, respectively. Then, the feature amount correcting unit 24 uses the illumination feature projection coefficient vector X from the mapping f calculated by the correction formula calculating unit 22 to use the offset Y due to the illumination included in the input image and the registered image. ₀ Offset Y calculated from the individual feature projection coefficient vector Y of the input image and the registered image ₀ These are corrected by subtracting.
[0033]
Finally, the collation determination unit 25 corrects the individual feature projection coefficient vector Y of the input image and the registered image. _* The correlation value of the input image is calculated, or the angle formed by the vector is calculated.
[0034]
Note that, in the above-described processing in the image collating apparatus of the present invention, a high-resolution image (such as an image itself input from the camera 10) is information including both personal features and illumination features. Alternatively, the low-frequency component image utilizes the fact that the information about the individual characteristics is faint and the information about the characteristics of the illumination becomes obvious (see FIG. 3).
[0035]
In learning, the influence of illumination on various images (offset Y) is obtained using low-resolution images or low-frequency component images of a plurality of learning images. ₀ ) Is calculated, and in the collating process, the influence of illumination is removed from the input image and the registered image using the mapping f, and comparison is made. It is possible to perform face image matching processing.
[0036]
Next, the learning process described above will be described in more detail with reference to the flowcharts of FIGS.
[0037]
First, the personal feature quantity quantifying unit 21a calculates a personal feature vector for each learning image (hereinafter referred to as N learning images), and then projects this onto a partial space. Is calculated (step S01). Next, after the illumination feature image quantification unit 21b reduces the resolution of each learning image or extracts a low frequency component, creates a low resolution image or a low frequency component image, and calculates an illumination feature vector from this image Then, an illumination feature projection coefficient vector X obtained by projecting this onto the partial space is calculated (step S02). Next, a set of individual feature projection coefficient vectors Y and a set of illumination feature projection coefficient vectors X calculated by the processes of steps S01 and S02 are created, and mapping f is performed from this set by any of the three calculation methods described later. Is calculated (step S03). Then, the calculated mapping f is stored in the storage unit 23 (step S04), and the learning process ends.
[0038]
By performing the above-described series of processing, it is possible to obtain learning knowledge for reducing the illumination influence, that is, the mapping f, from the individual feature vectors of the input image and the registered image.
[0039]
Next, the calculation method of the mapping f in step S04 in the above-described learning process flowchart of FIG. 4 will be described. There are three methods, which will be described in order.
[0040]
A first calculation method of the mapping f will be described with reference to the flowchart of FIG. First, a set {Y of L-dimensional personal feature projection coefficient vectors Y _i } And a set of K-dimensional illumination feature projection coefficient vectors X {X _i } Is created (step S101). Next, the following K variable (separated) m-order polynomial model:
[Expression 1]

Using parameter A _lkj The set {X _i }, {Y _i } Using the least squares method, and this is mapped f: X → Y ₀ (Step S102). Here, in Expression (1), X (k) and Y (k) mean the kth elements of X and Y that are column vectors.
[0041]
By performing the above-described series of processing, it is possible to calculate the mapping f for removing the influence of illumination from the input image or the registered image.
[0042]
Next, the second calculation method of the mapping f will be described with reference to the flowchart of FIG. First, a set of L-dimensional personal feature projection coefficient vectors {Y _i } And a set of K-dimensional illumination feature projection coefficient vectors X {X _i } Is created (step S201). Next, the set {X _i }, {Y _i } To L row K column correlation matrix
[Expression 2]

, Singular value decomposition of M, and singular value σ _i Is obtained (step S202). Here, M (l, k) represents the first row k column element of the matrix M. After this, the singular value σ _i Are extracted in descending order, and the corresponding K-dimensional and L-dimensional eigenvectors are respectively U _i , V _i And the approximate correlation matrix M ′ follows the following formula:
[Equation 3]

An approximate correlation matrix M ′ is calculated from this equation (3). And map f: X → Y ₀ Y ₀ = M'X (step S203).
[0043]
By performing the above-described series of processing, it is possible to calculate the mapping f for removing the influence of illumination from the input image or the registered image.
[0044]
Next, a third calculation method of the mapping f will be described with reference to the flowchart of FIG. This method is applied when the image to be handled is controlled by the illumination parameter (α, β), and the learning image is also controlled by the illumination parameter (α, β).
[0045]
A set of K-dimensional illumination feature projection coefficient vectors X {X _i } And a set of L-dimensional personal feature projection coefficient vectors Y {Y _i } Is created (step S301). Next, the set {X _i } From the following two-variable m-order polynomial model,
[Expression 4]

Parameter P _kjt Are calculated using the least squares method and the set {Y _i } From the following two-variable n-order polynomial model,
[Equation 5]

Parameter Q _ljt Are calculated using the least squares method, and the mappings p: (α, β) → X and q: (α, β) → Y, respectively. ₀ As the inverse map p of the map p ^-1 Q ○ p, which is a composite map of and q ^-1 Map f: X → Y ₀ (Step S302).
[0046]
By performing the above-described series of processing, it is possible to calculate the mapping f for removing the influence of illumination from the input image or the registered image.
[0047]
Next, the collation process will be described with reference to FIGS. The overall verification process will be described with reference to FIG. 8. First, an input image is input from the camera 10 (step S20). Next, the registered image is read from the storage unit 23 (step S21). Next, a correction process is performed on the individual feature projection coefficient vector Y of the input image and the registered image in order to remove an illumination effect described later (step S22). And the corrected individual feature projection coefficient vector Y of the input image and the registered image _* Is used to check whether the person of the input image matches the person of the registered image (step S23).
[0048]
By performing the above-described series of processing, it is possible to remove the influence of illumination from the input image and the registered image and perform collation determination.
[0049]
Note that the collation determination method here is, for example, a corrected personal feature projection coefficient vector Y of the input image and the registered image. _* If the angle (such as cosine) is determined and is equal to or greater than a preset reference value, it is determined that the person in the input image and the registered image match, or the corrected personal feature projection coefficient vector Y _* If the correlation value of the input image is equal to or greater than a preset reference value, it may be determined that the person in the input image matches the person in the registered image.
[0050]
Further, the registered images may be read in the order stored in the storage unit 23 in step S21. Alternatively, if an ID number or the like corresponding to the registered image is input during the collation process, the registered image corresponding to this ID may be read from the storage unit 23.
[0051]
Next, the correction process for removing the illumination influence from the individual feature projection coefficient vector in step S22 in the above-described collation process will be described with reference to FIG. First, the personal feature image quantification unit 21a calculates a personal feature vector from the input image and the registered image, and calculates a personal feature projection coefficient vector Y (step S401).
Next, the illumination feature image quantification unit 21b calculates an illumination feature vector from the input image and the registered image, and further calculates an illumination feature projection coefficient vector X (step S402). Subsequently, the offset Y by illumination from the illumination feature projection coefficient vector X of the input image and the registered image calculated in step S402 using the mapping f stored in the storage unit 23. ₀ Is calculated (step S403). Each offset Y calculated in step S403 from the individual feature projection coefficient vector Y from the input image and registered image calculated in step S401. ₀ And the corrected personal feature projection coefficient vector Y _* Is calculated (step S404).
[0052]
By performing the series of processes described above, it is possible to perform correction for removing the influence of illumination from the information of the input image and the registered image.
FIG. 10 is an explanatory diagram for explaining the effectiveness of the above-described collation processing (including correction processing). In the following, the input image of the same person and the registered image were taken under two different lighting conditions (Illumination I, Illumination II), the registered image was taken under Illumination I, and the input image is illuminated Let's assume it was taken under II.
[0053]
In the figure, the personal feature projection coefficient vector of the registered image is calculated as YI82, the personal feature projection coefficient vector of the input image is calculated as YII83, and the offset due to the influence of the illumination calculated using the mapping f described above is offset. , Y ₀ I84, Y ₀ A case where II85 is calculated is shown. Here, the offset Y calculated using the mapping f described above from the personal feature projection coefficient vector YI82 directly obtained from the registered image. ₀ Subtracting I84, the corrected personal feature projection coefficient vector is YI-Y ₀ Represented as I86.
[0054]
Similarly, for the input image, the offset Y calculated using the mapping f described above from the individual feature projection coefficient vector YII83. ₀ Subtract II85, the corrected personal feature projection coefficient vector is YII-Y ₀ It is expressed as II87. As a result, when nothing is corrected, the personal feature projection coefficient vector YI82 of the registered image and the personal feature projection coefficient vector YII83 of the input image are different in size and direction due to the influence of illumination. In spite of the fact that the person is judged as another person, the personal characteristic projection coefficient vector YI-Y of the corrected registered image ₀ I86 and personal feature projection coefficient vector YII-Y ₀ Since the size and direction of the II87 are the same, it can be determined that they are the same person, and correct verification is possible regardless of the lighting conditions.
[0055]
As described above, in the present embodiment, the facial image expressed as the feature vector in the image quantification unit 21 is used to influence the illumination using the mapping f stored in the storage unit 23 in the feature amount correction unit 24. Since the collation determination unit 25 compares the input image information corrected for removal and the registered image information with the collation determination unit 25, it is possible to perform a collation process that is robust against illumination variations.
[0056]
By the way, in the present embodiment, the case of using a face image under illumination fluctuation has been described, but the present invention is not limited to this, and illumination of a predetermined part (for example, palm print) of another body. The present invention can also be applied to a set of images under fluctuation.
[0057]
【The invention's effect】
As described above, according to the first aspect of the present invention, at least the learning feature image, the input image, or the registered image obtained by photographing a predetermined part of the body under the influence of illumination, the illumination feature amount depending on the illumination effect, the illumination, and the above-mentioned Calculates the personal feature amount that depends on a specific part of the body, and uses it to remove the lighting effect from the input image or registered image based on the lighting feature amount and individual feature amount calculated from multiple learning images. The input image based on the illumination feature amount and the personal feature amount calculated from the input image, the illumination feature amount and the personal feature amount calculated from the registered image, and the learned knowledge about the influence of the illumination Therefore, the input image and the registered image can be compared and collated without being affected by illumination fluctuations. Furthermore, the present invention can also be applied to a case where a single photograph such as a driver's license or passport is used as a registered image.
[0058]
According to the second aspect of the present invention, the illumination feature vector depending on the illumination influence calculated from the learning image, the input image or the registered image obtained by photographing at least a predetermined part of the body under the influence of the illumination is projected onto the partial space. An illumination feature projection coefficient vector is calculated as an illumination feature quantity, and an individual feature projection coefficient vector obtained by projecting an illumination feature calculated from a learning image, an input image or a registered image and a personal feature vector depending on a predetermined part of the body onto a subspace is obtained. Since it is calculated as an individual feature amount, the quantity relationship between the illumination feature projection coefficient vector and the individual feature projection coefficient vector can be considered.
[0059]
According to the invention of claim 3, an illumination feature vector is created using a low-resolution image obtained by reducing the resolution of a learning image, an input image, or a registered image, or a low-frequency component of the learning image, the input image, or the registered image. Therefore, it is possible to calculate the illumination feature projection coefficient vector related to the illumination effect of each of the learning image, the input image, or the registered image.
[0060]
According to the invention of claim 4, since the correction formula is calculated based on the illumination feature projection coefficient vector and the personal feature projection coefficient vector, the personal feature projection coefficient vector of the input image and the registered image are calculated using the correction formula. The lighting effect of the personal feature projection coefficient vector can be removed.
[0061]
According to the invention of claim 5, based on the correction formula, correction is performed to remove a component related to illumination influence from the personal feature projection coefficient vector of the input image or registered image, and the corrected input image or registered image is corrected. Since the personal feature projection coefficient vectors are compared, the personal feature projection coefficient vector of the input image and the personal feature projection coefficient vector of the registered image can be compared and collated regardless of the illumination effect.
[0062]
According to the invention of claim 6, Stored in memory A learning image, input image, or image of a predetermined part of the body at least under the influence of lighting Stored in memory Illumination feature amounts that depend on illumination effects and individual feature amounts that depend on illumination and a predetermined part of the body are calculated from the registered image, and based on the illumination feature amounts and individual feature amounts calculated from a plurality of learning images, respectively. Learning knowledge to be used when removing the influence of illumination from the input image or registered image, and after learning, the lighting feature amount and personal feature amount calculated from the input image, and the illumination feature amount calculated from the registered image and Compare and match input images with registered images based on personal features and learned knowledge about lighting effects processing As a result, the input image and the registered image can be compared and collated. Furthermore, the present invention can also be applied to a case where a single photograph such as a driver's license or passport is used as a registered image.
[0063]
According to the seventh aspect of the present invention, at least a learning feature, an input image, or a registered image obtained by photographing a predetermined part of the body under the influence of illumination. Calculates individual feature quantities that depend on the part, and learns knowledge to be used when removing the lighting effects from the input image or registered image based on the illumination feature quantities and individual feature quantities calculated from multiple learning images. After learning, the input image is based on the illumination feature amount and personal feature amount calculated from the input image, the illumination feature amount and personal feature amount calculated from the registered image, and the learned knowledge about the lighting influence. Since the input image and the registered image are compared and verified, the input image and the registered image can be compared and verified. Furthermore, the present invention can also be applied to a case where a single photograph such as a driver's license or passport is used as a registered image.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an image matching apparatus and an image matching method according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram for explaining an outline of a processing procedure of the image collating apparatus.
FIG. 3 is a diagram illustrating an example of resolution.
FIG. 4 is a flowchart of learning processing.
FIG. 5 is a flowchart for explaining a calculation method 1 of a mapping f.
FIG. 6 is a flowchart for explaining a calculation method 2 of the mapping f.
FIG. 7 is a flowchart for explaining a calculation method 3 of the mapping f.
FIG. 8 is a flowchart of collation processing.
FIG. 9 is a flowchart of a correction process.
FIG. 10 is an explanatory diagram for explaining the effectiveness of collation processing;
[Explanation of symbols]
10 Camera
20 servers
21 Image quantification department
21a Individual feature image quantification section
21b Lighting feature image quantification section
22 Correction formula calculator
23 Memory unit
24 feature correction unit
25 Matching judgment part
82 Personal Feature Projection Coefficient Vector YI in Illumination I
83 Personal Feature Projection Coefficient Vector YII in Illumination II
84 Offset Y in Lighting I ₀ I
85 Offset Y in Lighting II ₀ II
86 Corrected personal feature projection feature vector YI-Y in illumination I ₀ I
87 Corrected personal feature projection feature vector YII-Y in Illumination II ₀ II

Claims

In an image collation device for comparing and collating an input image obtained by capturing a predetermined part of a person's body with a plurality of registered images of the person and others relating to the predetermined part of the body,
At least the learning feature, the input image, or the registered image obtained by photographing the predetermined part of the body under the influence of lighting, the lighting feature quantity depending on the lighting influence and the personal feature quantity depending on the lighting and the predetermined part of the body are calculated. A feature amount calculating means;
Learning means for learning knowledge to be used in removing an illumination influence from the input image or registered image based on the illumination feature quantity and the individual feature quantity respectively calculated from a plurality of learning images by the feature quantity calculation means; ,
Illumination feature amounts and individual feature amounts calculated from the input image by the feature amount calculation unit, illumination feature amounts and individual feature amounts calculated from the registered image by the feature amount calculation unit, and learning by the learning unit. An image collating apparatus comprising: comparison collating means for comparing and collating the input image with the registered image based on knowledge related to lighting effects.

The feature amount calculating means includes:
An illumination feature projection coefficient vector obtained by projecting an illumination feature vector depending on the illumination effect calculated from a learning image, an input image, or a registered image obtained by photographing a predetermined part of the body at least under the influence of illumination onto the partial space Lighting feature image quantifying means to calculate as:
A personal feature image quantity for calculating, as the personal feature quantity, a personal feature projection coefficient vector obtained by projecting onto the partial space a lighting and a personal feature vector depending on a predetermined part of the body calculated from the learning image, input image or registered image The image collating apparatus according to claim 1, further comprising:

The illumination feature image quantifying means uses the learning image, the input image or the registered image as a low-resolution image or a low-frequency component of the learning image, the input image, or the registered image to obtain the illumination feature vector. The image collating apparatus according to claim 2, wherein the image collating apparatus is created.

The learning unit performs illumination from the input image or the registered image based on the illumination feature projection coefficient vector calculated by the illumination feature image quantification unit and the individual feature projection coefficient vector calculated by the individual feature image quantification unit. The image collating apparatus according to claim 2, wherein a correction formula as knowledge used when removing the influence is calculated.

The comparison verification means includes
Correction means for performing correction to remove the component related to the illumination influence from the individual feature projection coefficient vector of the input image or registered image calculated by the feature amount calculation means based on the correction formula calculated by the learning means; ,
The image collating apparatus according to claim 4, further comprising: a comparing unit that compares individual feature projection coefficient vectors of the input image or the registered image corrected by the correcting unit.

An image collation method in an image collation apparatus for performing a collation process on an input image obtained by capturing a predetermined part of a person's body and a plurality of registered images of the person and others relating to the predetermined part of the body stored in a predetermined storage unit There ,
The learning feature, the input image, or the registered image stored in the storage unit that captures a predetermined part of the body at least under the influence of the illumination stored in the storage unit. A feature amount calculating step for calculating an individual feature amount depending on a predetermined part of the body;
A learning step of learning knowledge to be used when removing the illumination influence from the input image or the registered image, based on the illumination feature amount and the individual feature amount respectively calculated from a plurality of learning images by the feature amount calculation step; ,
The illumination feature amount and personal feature amount calculated from the input image by the feature amount calculation step, the illumination feature amount and personal feature amount calculated from the registered image by the feature amount calculation step, and learned by the learning step. And a comparison / collation processing step of performing comparison / collation processing on the input image and the registered image based on knowledge related to lighting effects.

An image collation program for comparing and collating an input image obtained by capturing a predetermined part of a person's body with a plurality of registered images of the person and others relating to the predetermined part of the body,
At least the learning feature, the input image, or the registered image obtained by photographing the predetermined part of the body under the influence of lighting, the lighting feature quantity depending on the lighting influence and the personal feature quantity depending on the lighting and the predetermined part of the body are calculated. A feature calculation procedure;
A learning procedure for learning knowledge to be used when removing an illumination influence from the input image or registered image based on the illumination feature amount and the individual feature amount respectively calculated from a plurality of learning images by the feature amount calculation procedure; ,
Illumination feature amounts and individual feature amounts calculated from the input image by the feature amount calculation procedure, illumination feature amounts and individual feature amounts calculated from the registered image by the feature amount calculation procedure, and learning by the learning procedure An image collation program for causing a computer to execute a comparison and collation procedure for comparing and collating the input image and the registered image based on knowledge related to lighting effects.