JP4384366B2 - 画像照合処理システムおよび画像照合方法 - Google Patents
画像照合処理システムおよび画像照合方法 Download PDFInfo
- Publication number
- JP4384366B2 JP4384366B2 JP2001005390A JP2001005390A JP4384366B2 JP 4384366 B2 JP4384366 B2 JP 4384366B2 JP 2001005390 A JP2001005390 A JP 2001005390A JP 2001005390 A JP2001005390 A JP 2001005390A JP 4384366 B2 JP4384366 B2 JP 4384366B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- window
- model
- window image
- score value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラ等の画像入力装置から入力された認識対象を含む入力画像と、予め登録済みのモデル画像を比較照合することにより、入力画像中に存在する認識対象を比較照合して識別する画像照合処理に関する。本発明の画像照合処理システムは、人物や工業製品等の任意の２次元又は３次元形状の物体の認識処理に適用することが可能である。
【０００２】
【従来の技術】
最近のデジタルカメラやビデオカメラ等の画像入力装置の普及により、撮影した画像を容易にパソコン等のコンピュータに取り込むことが可能になりつつある。また一方で、銀行のＡＴＭでのカード利用や、パソコン通信によるオンライン・ショッピングなどの急速な普及に伴い、そのシステムの利用者が本当に正しい人物なのかあるいは不正利用者なのかを瞬時にかつ正確に判断することが必要となるケースが近年増加しつつある。このような個人識別のための手段として、従来はパスワード入力による識別方法が多く用いられてきたが、近年になって、システムに設置されたカメラから人物画像を取り込み、その顔画像から、そこに写っている人物が誰であるか特定する顔画像照合・検索技術が注目を集めている。このような技術を用いれば、例えば、従来、暗証番号やパスワードを用いていたマンションやビルの入室管理、パソコンやインターネットヘのログインを、顔画像で代用することが可能になる。また、犯罪捜査などにおいても、ＡＴＭに設置された監視カメラの画像を基に、不正利用者を割り出して犯人を特定するなどといった利用方法も可能となると思われる。今後、様々な撮影環境下において安定的に高精度な照合が行える顔画像照合・検索システムが実現できれば、上記で示したセキュリティや犯罪捜査支援、さらには、自動受付端末、顧客管理システムなど、極めて幅広い分野への応用が期待される。
【０００３】
画像中の認識対象を認識する従来技術として、固有空間法を拡張した局所固有空間法（Eigen-Window法）を用いた画像照合処理技術や、局所固有空間法を更に改良した画像処理技術として局所固有空間法の画像特徴量を離散コサイン変換（Discrete Cosine Transform：以下ＤＣＴと略記する）係数に変更した画像照合処理技術（以下、改良局所特徴空間法を用いた画像照合処理技術と呼ぶ）がある。
【０００４】
以下に、従来の画像照合処理技術として、改良局所特徴空間法を用いた画像照合処理技術を説明する。一例として人物の顔画像を認識・照合する場合を挙げて説明する。
【０００５】
この改良局所特徴空間法を用いた画像照合処理は、画像照合に用いるモデルを作成・登録する「登録フェーズ」と、入力画像の認識対象に対して認識・照合処理を実行する「認識フェーズ」からなる。図１８は、従来の改良局所特徴空間法を用いた画像照合処理の流れを簡単に示したものである。
【０００６】
「登録フェーズ」において、登録用のモデル画像から対象領域の切り出し処理（Ｓ１８０１）、切り出した画像領域中の特徴点の抽出処理（Ｓ１８０２）、抽出した特徴点を基にした局所領域であるモデル窓画像の選択処理（Ｓ１８０３）、選択したモデル窓画像の低次元空間への圧縮処理（Ｓ１８０４）を経て作成した画像照合用モデルデータを登録する（Ｓ１８０５）。この登録データを「認識フェーズ」において画像照合に用いる。
【０００７】
「認識フェーズ」において、認識対象が撮影された認識画像の取得処理（Ｓ１８０６）の後、取得した入力画像から認識対象領域の切り出し処理（Ｓ１８０７）、切り出した認識対象領域中の特徴点の抽出処理（Ｓ１８０８）、抽出した特徴点を基にした局所領域である入力窓画像の選択処理（Ｓ１８０９）、選択した入力窓画像の低次元空間への圧縮処理（Ｓ１８１０）を「登録フェーズ」と同様に行う。次に、登録フェーズであらかじめ用意した画像照合用モデルデータである各モデル窓画像と、認識フェーズで得た入力窓画像の両者を窓画像の特徴空間へ投影処理（Ｓ１８１１）し、両者の窓画像照合処理（Ｓ１８１２）を行い、特徴空間内での距離が近いペア（以下対応窓という。）を見つける。次に、このように得た窓画像同士での画像照合の結果を基に画像全体の識別処理を行う。画像全体の識別処理として、モデル窓画像と入力窓画像の画像内位置の差分である相対位置ベクトルを求め、２次元投票マップ上の対応する格子に投票を行う相対位置投票処理（Ｓ１８１３）を実行し、投票マップ上でのピーク位置検出処理（Ｓ１８１４）の結果、ピークが見られる場合には、入力画像中に、モデル画像の認識対象と同じ認識対象が撮影されていることを検出する。
【０００８】
上記の改良局所特徴空間法を用いた画像照合処理により、あらかじめ用意したモデル画像を用い、入力画像中の物体が登録モデルの認識対象と同一のものであるか否かを認識することができる。
【０００９】
【発明が解決しようとする課題】
上記の改良局所特徴空間法を用いた画像照合処理技術は、優れている面が多いものであり、今後も本技術を適用した画像照合処理システムの普及が期待されている。この改良局所特徴空間法を用いた画像照合処理システムの普及にあたりさらなる改良が可能な点としては以下に挙げるものがある。
【００１０】
第１の課題は、識別対象となる登録人物の数が多くなった場合の認識精度のさらなる向上である。上記の従来手法においても登録人数が少ない場合であれば、入力画像中の人物が登録人物中の誰であるか、あるいは登録人物以外の人物であるかなどを、ほぼ１００%に近い割合で識別することも可能である。しかし、登録人数が大きくなると、登録人物の中に顔造作が類似する人物（例えば、双子や親子などがその極端な場合）が含まれる確率が比較的高くなるため、誤認識が起こる可能性がある。登録人数の規模が大きくなった場合の認識精度のさらなる向上が求められる。
【００１１】
第２の課題は、モデル窓画像が一律に選択され、認識に有効なモデル窓画像と必ずしも有効ではない窓画像が混在している点である。登録フェーズにおいてモデル画像からモデル窓画像を選択する際に、個人認識を行う上でかならずしも有効ではない、もしくは不必要だと思われる窓画像を多く選択してしまう場合がある。これは、窓画像の選択処理において、画像のエッジ強度に基づいて窓選択位置を決定しているので、例えば、顔領域の切出しの結果によっては、顔部品以外にも、額と髪の毛の境界上や、背景を含む顎周辺の顔輪郭上、衣服の襟周辺などの位置に窓が選択されるということが起こりうる。これらの窓画像は、認識を行う上でかならずしも有効ではなく、その影響を抑えることが好ましい。
【００１２】
本発明では、上記課題に鑑み、これらの課題を解決し、モデル窓画像の選択において、本人と他人を識別するために有効な窓、つまりその人物を特徴づける固有な窓を抽出して登録し、画像照合処理において、それらの有効な窓画像の照合結果を中心にして画像認識を実行し、より高精度な個人識別が可能な顔画像照合処理を実現することを目的とする。
【００１３】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像照合処理システムは、予め取り込んだ認識対象のモデル画像から切り出された特徴的な一又は複数の本人のモデル窓画像に対して、他の異なる認識対象のモデル画像から切り出された一又は複数の他人のモデル窓画像からの識別容易性の大きさに応じて重み付けしたスコア値を与えるスコア値付与部と、認識対象が含まれた入力画像から特徴的な一又は複数の入力窓画像を切り出す窓画像切り出し部と、前記入力画像の各入力窓画像と前記モデル画像の各モデル窓画像とを、その特徴ベクトルを軸とする特徴空間に投影し、両者を対応づけて画像照合する画像認識処理部を備え、前記画像認識処理部は、前記画像照合において、前記各モデル窓画像のスコア値に従って、前記各モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整することを特徴とする。
【００１４】
上記構成により、登録するモデル窓画像のそれぞれに対してスコア値を割り当て、画像照合する上で他の認識対象のモデル窓画像とは類似しない、特有の特徴を持つモデル窓画像に重点を置いて、当該モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを大きくすることが可能となり、画像照合精度を向上することができる。登録モデル数が多くなったとしても、他の認識対象とは異なった際立つ特徴を持つモデル窓画像に重みをつけて画像照合することができるからである。
【００１５】
ここで、スコア値付与部は、各モデル窓画像ごとの識別容易性の大きさを、スコア値を付与するモデル画像と同じ認識対象が撮影された参照画像から切り出した参照窓画像と、前記本人のモデル窓画像とを比較照合した場合の一致度合いを示す本人識別性の大きさと、参照窓画像と、スコア値を付与するモデル画像と異なる認識対象のモデル画像から切り出した他人のモデル窓画像とを比較照合した場合の不一致度合いを示す他人識別性の大きさをもとに決めることが好ましい。
【００１６】
つまり、同じ認識対象である本人画像同士では一致を示す度合いが大きく、異なる認識対象の他人画像との間では不一致を示す度合いが大きくなる窓画像は、画像識別処理において有効な窓画像となるからである。
【００１７】
一例として、前記モデル窓画像ごとの識別容易性の大きさを決める処理において、前記本人識別性の大きさを、前記参照窓画像の特徴空間への投影点と前記本人のモデル窓画像の特徴空間への投影点との特徴空間内での近さとし、前記他人識別性の大きさを、前記本人の参照窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離とすることが好ましい。
【００１８】
特徴空間内での両者の投影位置が近いほど両者の一致を示す度合いが大きく、両者の投影点の位置が遠いほど両者の不一致を示す度合いが大きいからである。
【００１９】
ここで、上記のように特徴空間内の投影点の距離を用いる場合に、前記スコア値を付与するモデル画像の認識対象とは異なる認識対象のモデル画像が複数ある場合には、前記他人のモデル画像ごとに、前記参照窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離を求め、それら距離の平均値をもって、前記他人識別性の大きさとすることが可能であり、また、それらのうち距離が小さい上位Ｎ個の平均値をもって、前記モデル窓画像ごとの識別容易性の大きさとすることも可能である。
【００２０】
上記のように、距離が小さい上位Ｎ個の平均値をもって前記モデル窓画像ごとの識別容易性の大きさとする場合は、誤認識する可能性の高い上位Ｎ個の窓画像に対してどの程度識別が容易であるかという観点から識別容易性を定めることができ、誤認識が起きる可能性を低く抑えることが可能となる。
【００２１】
さらに、スコア値を付与するモデル画像と同じ認識対象が撮影された参照画像から切り出した参照窓画像の特徴空間への投影点と前記本人のモデル窓画像の特徴空間への投影点との特徴空間内での距離と、前記参照窓画像の特徴空間への投影点とスコア値を付与するモデル画像と異なる認識対象のモデル画像から切り出した他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離との差分値を正規化した値を前記モデル窓画像ごとの識別容易性の大きさとすれば、正規化により、位置ずれや回転などの影響を除去した識別容易性を定めることができる。
【００２２】
次に、上記の本発明の画像照合システムにおいて、前記参照画像として、同じ認識対象を異なる姿勢、異なるサイズで撮影した画像を用い、それら参照画像から切り出した参照窓画像と前記本人のモデル窓画像とを比較照合した場合に、一致度合いを示す本人識別性の大きさが大きいものを、環境変動に対するロバスト性を持つ窓画像として前記相対的影響を大きくすることが好ましい。
【００２３】
上記構成により、他のモデル窓画像からの識別が容易で、かつ、認識対象の撮影環境の変動に対して影響を受け難い窓画像を重要視して識別処理を実行することができ、撮影環境に影響されない安定した画像照合処理を実行することができる。
【００２４】
なお、上記識別容易性を求めるにあたり、簡易的に、他人識別性の大きさのみをもとに決めることもでき、この場合、前記本人のモデル窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との距離が小さいものには前記相対的影響を低くし、大きいものには前記相対的影響を大きくすることも可能である。
【００２５】
また、本発明の画像照合処理システムにおいて、前記スコア値付与部が、スコア値調整部を備え、前記スコア値調整部を介した、利用者によるモデル窓画像のスコア値の調整を可能とすることが好ましい。
【００２６】
システムのアプリケーションなどにおいては、利用者が特定の部分に注目して画像認識したい場合も想定され、かかる場合に利用者自らスコア値を調整できる。
【００２７】
なお、スコア値の高いモデル窓画像の画像照合結果全体に占める相対的な影響度合いを調整する方法として、スコア値が与えられた後、窓画像切り出し部が、各モデル窓画像のスコア値に従った個数分、その窓画像近傍に位置する窓画像を追加選択して切り出す窓画像追加処理を行い、モデル画像中のスコア値の高い画像部分から多くのモデル窓画像を選ぶことにより、前記各モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを調整する方法がある。
【００２８】
上記構成により、スコア値が高い画像部分の投票数が相対的に増え、スコア値の低い画像部分の投票数が相対的に減るので、各モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを調整することが可能となる。
【００２９】
次に、本発明の画像照合処理システムにおいて、認識フェーズの処理として、前記画像認識処理部は、画像照合処理として、各モデル窓画像ごとの照合結果を重畳投票することにより認識する入力画像とモデル画像との画像照合を行い、前記重畳投票を、各モデル窓画像のスコア値に従った重み付け投票により行うことにより、前記各モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを調整することが好ましい。
【００３０】
上記構成により、認識フェーズの投票空間での投票処理において、スコア値に沿った重み付け投票を行うことができ、認識に有効な窓画像の照合結果の影響を大きくし、認識には有効でない窓画像の照合結果の影響を小さくし、誤認識を抑えることができる。
【００３１】
本発明の画像照合処理システムは、上記の画像照合処理システムを実現する処理ステップを記録したコンピュータ読み取り可能な記録媒体から処理プログラムを読み込むことにより、コンピュータを用いて構築することができる。
【００３２】
【発明の実施の形態】
（実施形態１）
実施形態１にかかる画像照合処理システムは、登録フェーズにおいて、取り込んだ認識対象のモデル画像から切り出された特徴的な一または複数の本人の各モデル窓画像に対し、他の異なる認識対象のモデル画像から切り出した他人の各モデル窓画像に対する識別容易性の大きさに応じて重み付けしたスコア値を与え、画像照合する上で他の画像の窓画像とは類似しない識別に有効な特徴を大きく持つ窓画像に対してその影響度合いが大きくなるように調整するものである。このスコア値付与を受け、認識フェーズにおいて、認識対象が含まれた入力画像の窓画像とモデル窓画像とを対応づけて画像照合する際には、スコア値に従って各モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整するため、重み付け投票を行うものである。
【００３３】
従来手法では、モデル画像と入力画像を比較照合して類似度計算を行う際に、それぞれのモデル窓画像に対して、他人のモデル窓画像との類似関係を考慮せず、一律に同一の重み（影響力）を与えた状態で対応窓の相対位置投票処理が行われていた。他人のモデル窓画像と類似する窓画像や、顔部品以外の位置に選択された不安定な窓画像は、認識には有効な窓画像とは言えない。そこで、本発明の画像照合処理システムでは、認識対象となるモデル画像中の各モデル窓画像に対して、認識に対する有効性・重要度を表す「スコア」という考え方を導入したものである。
【００３４】
以下、実施形態１にかかる本発明の画像照合処理システムを説明する。特に顔画像の画像照合への適用を例にとって説明する。
【００３５】
本発明の画像照合処理システムは、画像照合に用いるモデルを作成する「登録フェーズ」と、入力画像の認識対象に対して認識・照合処理を実行する「認識フェーズ」の２つのフェーズを持っている。
【００３６】
まず、「登録フェーズ」の処理手順を図１のフローチャートを参照しつつ示す。この登録フェーズでは、認識・照合したい２次元又は３次元物体、ここでは認識したい人物の顔画像の基本姿勢画像（正面向きなど）を画像照合処理に用いるモデルとして生成、整理して登録する。
【００３７】
（１）対象領域切り出し処理（ステップＳ１０１）
モデル画像とする人物顔画像を切り出して取得する。この処理は必須の処理ではないが、あらかじめ対象領域を絞っておく方が好ましい。取り込むデータは、正面顔画像の撮影画像データを外部からファイル形式で入力しても良く、このようなデータがない場合にはカメラなど画像入力装置を介して登録する人物の正面顔画像を撮影して取り込んでも良い。図２に人物顔画像の取り込み例を示す。他の人物のモデル画像も同様に取り込む。
【００３８】
（２）画像特徴点検出処理（ステップ１０２）
取り込んだモデル画像から、画像の特徴点を検出する。特徴点は何らかの指標を用いて検出・選択する。例えば、画像の表面模様であるテクスチャの複雑さに関する指標を表わすテクスチャ度がしきい値以上に大きい点、エッジ強度（エッジ成分に関する指標）がしきい値以上に大きい点、色情報が所定範囲内にある点など画像上の一種の特異点を選択する方式がある。また、取り込み画像中の認識対象に対する知識を利用してそれらの重要部分（目や口など特徴的な部分）を選択する方式等が考えられる。図３（ａ）は、２人のモデル画像について、特徴点を選択した例を簡易的に表わしたものである。
【００３９】
（３）窓画像選択処理（ステップＳ１０３）
選択された特徴点を基に当該特徴点を囲む小さい領域、例えば矩形の局所領域を窓画像として選択する。それら特徴点の周辺の局所領域を窓画像としてそれぞれ選択する。例えば、１５ドット×１５ドットの小正方形とする。図３（ａ）のモデル画像に対する処理には図示していないが、後述する認識画像に対する処理を示す図３（ｂ）に簡易的に示したように、窓画像が切り出される。
【００４０】
（４）窓画像圧縮処理（ステップＳ１０４）
選択した窓画像を低次元空間に圧縮し、各モデル画像毎にモデル窓画像として整理して保持する。例えば、Ｎ×Ｎピクセルサイズの窓画像が持つＮ×Ｎ次元空間をｋ（ｋ＜N×N）次元空間に圧縮投影する。その空間内での窓群の分布状態を考慮して無駄な次元を削減することができ、特徴空間内の窓分布状態をなるべく保ったまま、より低い次元の特徴空間へ変換することが可能となる。
【００４１】
この低次元空間への圧縮方法として、局所固有空間法ではＫＬ展開を用いて特徴空間にマッピングする方法が採られ、改良局所特徴空間法では窓画像データからＤＣＴ係数を計算し、直流成分を除いて低周波の係数を適度に選択することによって低次元空間に圧縮する方式が採られる。後者の例を説明すると、例えば、原画像である窓画像が１５ドット×１５ドットとすると２２５次元であるが、ＤＣＴ係数を計算し、直流成分を除いて画像の特徴を良く表わす低周波の係数を２０個選択して２０次元空間に圧縮することができる。図３（ａ）の矢印は低次元空間に投影される様子を簡易的に表わしたものである。
【００４２】
（５）モデル窓画像スコア値計算処理（ステップＳ１０５）
各モデル窓画像ごとにスコア値を割り当てる。後述する認識フェーズにおける画像照合処理において、入力窓画像と比較照合した場合に、対応窓画像両者の特徴空間内距離が、同一人物の認識窓画像との照合時に小さくなり、かつ、他人の認識窓画像と比較照合した場合に大きくなるというモデル窓画像に対して、そのスコア値を相対的に高い値に設定する。逆に、対応窓画像両者の特徴空間内距離が、同一人物の認識窓画像との比較照合時に大きくなったり、他人の認識窓画像との比較照合時に小さくなったするモデル窓画像に対しては、そのスコア値を低い値に設定する。なお、このステップＳ１０５のモデル窓画像スコア値計算処理の詳細は後述する。
【００４３】
（６）画像照合用モデルデータの登録処理（ステップＳ１０６）
各窓画像に対してスコア値が割り当てられたモデル画像データを画像照合用モデルデータとして登録・管理する。
【００４４】
以上の登録フェーズの処理ステップにより、登録する人物の顔画像から低次元の画像照合用モデルを生成、整理して登録する。
【００４５】
ここで、上記のステップＳ１０５のモデル窓画像スコア値計算処理をさらに詳しく説明する。
【００４６】
モデル窓画像のスコア値の計算方法を複数通り示す。以下、図４から図７を参照しつつ、モデル窓スコアの計算方法の例を示す。ここでは登録人物Ａのモデル窓画像のスコア値を計算する場合を例にとって説明する。
【００４７】
図４は、登録人物Ａのモデル窓画像のスコア値を計算する概念を模式的に示した図である。図４において、５００ａが人物Ａのモデル画像、５００ｂが人物Ｂのモデル画像、５００ｃが人物Ｃのモデル画像、５００ｚが人物Ｚのモデル画像である。なお、Ｚは便宜上付した記号であり、モデル数は任意の数で良い。
【００４８】
この例では、モデル画像Ａのモデル窓画像のスコア値の計算に際し、同じ人物Ａが撮影された別の参照画像５１０を用意する。この人物Ａが撮影された参照画像５１０と人物Ａのモデル画像５００ａとを比較することにより、本人画像同士を比較照合した場合における一致性、つまり、「本人識別性」を示す大きさである本人対応窓距離（Ｄtrue）を計算し、その結果をスコア値に加味する。また、人物Ａが撮影された参照画像５１０と他のモデル画像５００ｂ〜５００ｚとを比較することにより、他人画像と比較照合した場合における不一致性、つまり、他人識別性を示す大きさである他人対応窓距離（Ｄfalse）を計算し、その結果をスコア値に加味する。
【００４９】
なお、同じ人物Ａが撮影された参照画像５１０は、モデル画像撮影時からインターバルを置かずに続けて撮影した画像より、多少撮影時にインターバルを設けた方がより望ましいスコアが得られると予測される。多少の経時変化や環境変化があった方が、それら変化に影響されにくい窓画像を選択してスコア値を高く設定することが可能となる。
【００５０】
図４に示したスコア値の計算方法による処理の流れを図５のフローチャートを参照しつつ説明する。
【００５１】
図５のステップに先立ち、同じ人物Ａが撮影された参照画像５１０に対しても、図１のフローに示した対象領域切り出し処理（ステップＳ１０１）、画像特徴点検出処理（ステップＳ１０２）、窓画像選択処理（ステップＳ１０３）、窓画像圧縮処理（ステップＳ１０４）を実行し、人物Ａのモデル窓画像データを生成しておく。
【００５２】
まず、同じ人物Ａが撮影された参照画像５１０から切り出した参照窓画像を取り出し（ＷＡとする）、当該参照窓画像ＷＡに対応する人物Ａのモデル画像５００ａ中のモデル窓画像Ｗａを探索する（ステップＳ５０１）。
【００５３】
次に、参照窓画像ＷＡと探索したモデル窓画像Ｗａとを特徴空間内に投影し、本人対応窓距離（Ｄtrue）を計算する（ステップＳ５０２）。
【００５４】
同様に、その参照窓画像ＷＡに対応する他の人物Ｂ〜Ｚのモデル画像５００ｂ〜５００ｚのモデル窓画像Ｗｂ，Ｗｃなどを探索し（ステップＳ５０３）、その特徴空間距離である他人対応窓距離（Ｄfalse）を求める（ステップＳ５０４）。
【００５５】
本人対応窓距離（Ｄtrue）と他人対応窓距離（Ｄfalse）に基づいてスコア値を計算する（ステップＳ５０５）。
【００５６】
ここで、本人対応窓距離（Ｄtrue）と他人対応窓距離（Ｄfalse）に基づいてスコア値を計算にはいく通りかの方法がある。
【００５７】
第１の計算方法は、人物Ａ以外の全ての登録人物Ｂ〜Ｚに対する他人対応窓距離Ｄfa1seの平均値Ａｖｅ（fa1se）を計算し、以下の（数１）に示す関係式によりモデル窓のスコア値を決定する方法がある。
【００５８】
【数１】
Ｓｃｏｒｅ＝ｆ1(Ａｖｅ（Ｄfa1se），Ｄtrue)
ここで関数ｆ1は、単純に他人対応窓平均値Ａｖｅ（fa1se）と本人対応窓距離Ｄtrueの差分をそのまま“Ｓｃｏｒｅ”とする場合や、両者の比を“Ｓｃｏｒｅ”とする場合、さらには全モデル窓画像のスコアが０〜１００の値を取るように正規化するなどの計算方法がある。
【００５９】
第２の計算方法は、上記第１の計算方法のように、人物Ａ以外の全ての登録人物Ｂ〜Ｚに対する他人対応窓距離Ｄfa1seの平均値Ａｖｅ（fa1se）を用いる代わりに、他人対応窓距離Ｄfa1seの値が比較的に小さな、つまり、人物Ａの参照窓画像ＷＡと類似する窓画像を持つモデル画像５００ｂ〜ｚのうち上位Ｎ位までの人物の対応窓距離Dfa1seの平均値を他人対応窓平均値Ａｖｅ（fa1se）として用い、（数１）に示す関係式によりによりモデル窓のスコア値を決定する計算方法である。
【００６０】
スコア計算処理が未処理であるモデル窓画像があれば（ステップＳ５０６：Ｙ）、上記ステップＳ５０１〜ステップＳ５０５の処理を繰り返し実行し、全モデル窓画像のスコア値を得る。
【００６１】
なお、図４に示したスコア値の計算方法による処理に代え、他の計算方法を用いることも可能である。図６は、登録人物Ａのモデル窓画像のスコア値を計算する第２の概念を模式的に示した図である。参照画像として静止画を与える代わりに、画像系列を与え、各フレーム画像に対して求められたモデル窓スコアを時間累積することによりスコア値を求める方法である。各フレーム画像一つ一つのモデル窓画像に対するスコア値の計算方法自体は、上記図５のフローと同様で良い。また、図７は、登録人物Ａのモデル窓画像のスコア値を計算する第３の概念を模式的に示した図である。図７のように人物Ａの参照画像５１０を用いずに、モデル画像５００ａと他の人物のモデル画像５００ｂ〜ｚと比較照合して、他人対応窓距離Ｄfalseのみを求め、（数１）に代え、（数２）の関係式を用いてスコア値を計算する方法である。
【００６２】
【数２】
Ｓｃｏｒｅ＝ｆ2(Ａｖｅ（Ｄfa1se）)
（数２）の関数ｆ2は、（数１）の関数ｆ1のように本人対応窓距離Ｄtrueを用いず、他人対応窓平均値Ａｖｅ（fa1se）のみをパラメタとする関数である。例えば、他人対応窓平均値Ａｖｅ（fa1se）の距離が大きいモデル窓画像のスコア値を小さく設定する。
【００６３】
以上の処理により、各モデル窓画像に対してスコア値を割り当てる。
【００６４】
図８は、スコア値に注目した、従来の局所固有空間法による画像照合処理システムのモデル窓画像と本発明の画像照合処理システムにおけるモデル窓画像を比較したものである。図８に示すように、従来のものでは選択された全モデル窓画像が、その位置や重要度に関わらず全て一定の影響力（スコア値）を持っていたのに対し、本発明は、各モデル窓ごとに、重要度を示すスコア値を計算し、そのスコア値に応じて類似度計算を行う投票処理における各モデル窓画像の影響力を調整できるため、モデル窓画像の認識における有効性を加味して認識処理を実行することが可能となる。その結果、従来方法のものと比較し、他人識別性の高いモデル窓画像の画像照合結果がより強調され、差異を明確に示さないモデル窓画像の画像照合結果の影響は低く抑えられるため、認識精度が向上することとなる。例えば、比較的登録人物数が大きい場合においても、より高い精度で顔画像照合処理を実行することが可能となる。またそれと同時に、顔部品以外の比較的不安定な位置に選択された窓画像のスコア値を低く設定することができるため、識別処理にとって有効でない窓の影響力を小さく抑えることができる。
【００６５】
次に、「認識フェーズ」の処理手順を図９のフローチャートを参照しつつ示す。
【００６６】
この認識フェーズでは、認識・照合したい人物の顔を撮影した画像を取り込み、登録されているモデル画像と画像照合し、どの人物であるかを認識する。
【００６７】
（１）認識対象画像取得処理（ステップＳ９０１）
認識対象となる人物の顔画像が写りこんだ人物顔画像を取得する。正面顔画像の撮影画像データを外部からファイル形式で入力しても良く、このようなデータがない場合にはカメラなど画像入力装置を介して登録する人物の正面顔画像を撮影して取り込む。入退室管理システムなどでは後者の場合が多い。ここでは図２に示したように顔画像を取り込むこととする。
【００６８】
（２）認識対象領域切り出し処理（ステップＳ９０２）
入力画像中から認識対象となる人物顔画像を切り出す。この際、認識対象となる人物の顔画像領域の位置を推定しても良く、また、常に一定の矩形領域を切り出してもよい。人物の顔画像領域の位置推定方法としては、肌領域を検出することで顔画像領域と推定する方法が知られている。なお、この認識対象領域切り出し処理は必須の処理ではないが、あらかじめ認識対象領域を絞っておく方が好ましい。図３（ｂ）の画像は認識対象領域を切り出した例を簡易的に表わしたものである。
【００６９】
（３）画像特徴点検出処理（ステップ９０３）
切り出した認識対象顔画像から特徴点を検出する（ステップＳ９０３）。登録フェーズと同様の指標を用いて特徴点を選択しても良く、また、より適した他の指標を用いて特徴点の選択を実行しても良い。図３（ｂ）の顔画像に付された点は選択された特徴点を簡易的に表わしたものである。
【００７０】
（４）窓画像選択処理（ステップＳ９０４）
選択した特徴点を基にその局所領域を入力窓画像として選択する。登録フェーズと同様、例えば、１５ドット×１５ドットの小正方形として選択する。図３（ｂ）は選択された窓画像を１つのみ簡単に示した。
【００７１】
（５）窓画像圧縮処理（ステップＳ９０５）
選択した入力窓画像を登録フェーズと同一の低次元空間に圧縮する。ここでは、登録フェーズと同様、改良局所特徴空間法を用いて低次元空間に圧縮する方法を採り、原画像である窓画像からＤＣＴ係数を計算し、直流成分を除いて画像の特徴を良く表わす低周波の係数を２０個選択して２０次元空間に圧縮する。図３（ｂ）の矢印はこの低次元空間への投影を簡単に表わしている。
【００７２】
（６）窓画像照合処理（ステップＳ９０６）
低次元空間内において登録済みのモデル窓画像と認識対象の窓画像を比較し、特徴空間内での距離が近い対応窓を見つけ、窓画像の照合処理を行なう。このようにして対応づけられたモデル窓画像と入力窓画像の組み合わせに対して、画像内位置および両者の特徴空間内距離を対応窓情報として記憶しておく。
【００７３】
（７）対応窓の相対位置投票処理（ステップＳ９０７）
対応窓情報に基づいて、入力画像とモデル画像を比較照合し、対応窓同士の配置関係の整合性評価を行う。具体的には、対応窓情報に記述されているモデル窓画像と入力窓画像の画像内位置の差分である相対位置ベクトルを求め、２次元投票マップ上の対応する格子に投票を行う。
【００７４】
以下に、このステップＳ９０７の対応窓の相対位置投票処理を詳しく説明する。
【００７５】
本発明の画像照合処理システムでは、相対位置投票処理において、各モデル窓画像に割り当てられたスコア値に従った重み付け投票を行い、投票に占める各モデル窓画像の影響力を加味した投票とする。つまり、モデル窓画像のスコア値に応じて、対応窓の投票数を変化させる。図１０は、各モデル窓画像に割り当てられたスコア値に従った重み付け投票の際の重み付け方法（投票数の変化方法）を説明したものである。図１０において、横軸は特徴空間内距離、縦軸は投票数を示している。図１０に示すように、投票数Ｖは２つのパラメタにより決定される。第１のパラメタは、対応窓画像の特徴空間内距離ｄである。特徴空間内距離ｄに反比例して決定されている。つまり、特徴空間内距離ｄが０である場合に投票数が最大となる。第２のパラメタは、モデル窓画像のスコア値に比例して決められるＶbase（特徴空間内距離ｄ＝０の場合の最大可能投票数）である。従来手法においては、図８に見たように全ての窓画像に対してスコア値が一定、つまり、Ｖbaseは全ての窓画像に対して一定値としていたが、本発明の画像照合処理システムでは、各モデル窓画像スコアの値に比例するようにＶbaseの値が設定される。そのため、高いスコア値が割り当てられた重要度の高いモデル窓画像の持つ投票数Ｖが相対的に大きくなり、低いモデル窓画像スコアが割り当てられた重要度の低い窓画像では投票数Ｖが低く抑えられることとなる。このように、最終的投票結果を評価する際には、重要度の高い窓画像の照合結果がより大きな影響力を持つことになる。
【００７６】
次に、重み付け投票が実行される様子を説明する。
【００７７】
窓画像照合処理（ステップＳ９０６）で出力された対応窓情報に基づいて、対応するモデル窓画像と入力窓画像の特徴空間内での相対位置△Pを求める。なお、モデル窓位置に対しては幾何変換パラメタを用いて変換処理を行っておくことが好ましい。そして、モデル画像ごとに用意された投票マップ上の△Pのポイントに、投票数Vを投票する。図１１にこの様子を簡単に示した。ここで、投票マップとは、モデル画像毎に用意した平面を格子状に区切った投票空間であり、投票とは、投票マップ上の格子に投票に応じた値を加算する処理である。投票される格子位置は、窓画像のペアの画像上での相対位置に応じて定められる。例えば、両者が全く同じ位置にあれば相対位置は０となり投票マップの中心に投票される。もし、登録モデルの顔画像と認識対象の顔画像が同一人物のものであれば、目と目、口と口等、多くの窓画像同士が正しく対応し合うため、それら対応し合う窓画像同士の相対位置はほぼ一定となり、投票マップ上の同じ格子位置に票が集中することとなる。一方、登録モデルの顔画像と認識対象の顔画像が異なるものであれば、窓画像のうち、正しく対応し合わないものが増え、それらの相対位置がいろいろなバラツキを持つため、投票マップ上の広い範囲に票が分散することとなる。
【００７８】
（９）ピーク位置検出・類似度計算処理（ステップＳ９０８）
最後に、対応窓の相対位置投票処理（ステップＳ９０７）の終了後、最多得票数を持つ格子（以降ピークと呼ぶ）を見つけ、得票数をもとに登録モデルの顔画像と認識対象の顔画像の類似度を算出し、この算出結果を基準に画像認識・照合を行う。また、ピークの位置から、登録物体が認識対象画像内のどこにあるかを検出することができる。
【００７９】
次に、上記実施形態１にかかる画像照合処理を実行する画像照合処理システムの装置構成概略を示す。
【００８０】
図１２は実施形態１にかかる本発明の画像照合処理システムの装置構成概略を示すブロック図である。
【００８１】
図１２において、１０は画像取り込み部、２０は窓画像切り出し部、３０は窓画像圧縮部、４０は特徴空間投影部、５０は窓画像照合部、６０はスコア値付与部、７０はモデルデータ格納部、８０は対応窓の相対位置投票処理部、９０は認識判定部である。
【００８２】
画像取り込み部１０は、画像データを取り込む部分である。
【００８３】
窓画像切り出し部２０は、取り込んだ画像から、画像の特徴点を検出し、選択された特徴点を基に当該特徴点を囲む小さい領域、例えば矩形の局所領域を窓画像として切り出す部分である。
【００８４】
窓画像圧縮部３０は、窓画像を低次元空間にマッピングし、データ圧縮する部分である。ここでは、窓画像圧縮部３０は窓画像データからＤＣＴ係数を計算し、直流成分を除いて低周波の係数を適度に選択することによって低次元空間に圧縮する処理を実行する。
【００８５】
特徴空間投影部４０は、窓画像を特徴空間に投影する部分である。
【００８６】
窓画像照合部５０は、登録済みのモデル窓画像データと、照合対象となった窓画像データを低次元空間である特徴空間内での距離が近い対応窓を見つけ、窓画像の照合処理を行なう部分である。生成した対応窓情報を記憶する。
【００８７】
スコア値付与部６０は、各モデル窓画像ごとにスコア値を割り当てる部分である。この例では、スコア値付与部６０は、スコア値調整部６１を備え、利用者が必要に応じて各モデル窓画像のスコア値をチューニングすることができる構成となっている。
【００８８】
モデルデータ格納部７０は、各モデル窓画像ごとにスコア値が割り当てられたモデルデータを格納する部分である。
【００８９】
対応窓の相対位置投票処理部８０は、対応窓情報に基づいて、入力画像とモデル画像を比較照合し、スコア値に従った重み付け投票を行う部分であり、対応窓同士の配置関係の整合性評価を行う部分である。具体的には、対応窓情報に記述されているモデル窓画像と照合対象となった窓画像の画像内位置の差分である相対位置ベクトルを求め、２次元投票マップ上の対応する格子に投票を行う。
【００９０】
認識判定部９０は、相対位置投票処理結果に基づいてピークの有無を検出し、入力画像の画像認識を行う部分である。また、ピークの位置から、登録物体が認識対象画像内のどこにあるかを検出する。
【００９１】
図１のフローチャートにより説明した認識フェーズの各処理ステップは、図１２の構成要素のうち、画像取り込み部１０、窓画像切り出し部２０、窓画像圧縮部３０、特徴空間投影部４０、窓画像照合部５０、スコア値付与部６０により実効され、モデル画像データの取り込み、対象領域切り出し処理（ステップＳ１０１）、画像特徴点検出処理（ステップ１０２）、窓画像選択処理（ステップＳ１０３）、窓画像圧縮処理（ステップＳ１０４）、モデル窓画像スコア値計算処理（ステップＳ１０５）、画像照合用モデルデータの登録処理（ステップＳ１０６）までの各ステップの処理が実効される。
【００９２】
また、図９のフローチャートにより説明した登録フェーズの各処理ステップは、図１２の構成要素のうち、画像取り込み部１０、窓画像切り出し部２０、窓画像圧縮部３０、特徴空間投影部４０、窓画像照合部５０、モデルデータ格納部７０、対応窓の相対位置投票処理部８０により実効され、認識対象画像取得処理（ステップＳ９０１）、認識対象領域切り出し処理（ステップＳ９０２）、画像特徴点検出処理（ステップ９０３）、窓画像選択処理（ステップＳ９０４）、窓画像圧縮処理（ステップＳ９０５）、窓画像照合処理（ステップＳ９０６）、対応窓の相対位置投票処理（ステップＳ９０７）、ピーク位置検出・類似度計算処理（ステップＳ９０８）までの各ステップの処理が実効される。
【００９３】
以上、本発明の画像照合処理システムによれば、その人物特有の局所特徴である他人との相違点がより強調されるため、登録人数が大規模な場合においても、従来手法と比較して本人棄却率や他人受理率などの誤認識率を比較的低く抑えることが可能になる。
【００９４】
（実施形態２）
実施形態２にかかる画像照合処理システムは、登録フェーズにおいて、実施形態１と同様、モデル窓画像に対する識別容易性の大きさに応じて重み付けして与えられたスコア値に応じ、各モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを調整するものであるが、実施形態２では、スコア値が与えられた後、窓画像切り出し部が、各モデル窓画像のスコア値に従った個数分、その窓画像近傍に位置する窓画像を追加選択して切り出す窓画像追加処理を行い、モデル画像中のスコア値の高い画像部分から多くのモデル窓画像を選ぶことにより、各モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを調整するものである。
【００９５】
図１３は、窓画像追加処理の概念を模式的に説明した図である。
【００９６】
窓画像追加処理に先立ち、実施形態１と同様、スコア値の割り当てが実行されている。例えば、図１３に示すモデル画像中、モデル窓画像Ｗｎのスコア値が“ｍ”であったとする。窓画像切り出し部２０は、モデル窓画像Ｗｎのスコア値“ｍ”に従った個数分、例えばｍ個の窓画像をそのモデル窓画像Ｗｎの近傍から追加選択して切り出す。図１３の例ではモデル窓画像Ｗｎの近傍からＷｎ１〜Ｗｎｍのｍ個の新たな窓画像を追加選択して切り出している。
【００９７】
このように各モデル窓画像のスコア値に従った個数分、その窓画像近傍に位置する窓画像を追加選択して切り出すことにより、スコア値に応じる形で認識フェーズで窓画像照合が実効され、相対位置投票される個数が増えるため、結果としてスコア値に応じる形で、各モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを調整することができる。
【００９８】
登録フェーズで窓画像追加処理を実行した場合における認識フェーズでの処理は実施形態１で説明した認識フェーズと同様で良い。登録フェーズで窓画像追加処理を実行した場合、窓画像の追加数に応じて投票マップ上の該当部分における投票数が増加することとなる。このように登録フェーズにおいて、重要な窓画像の周辺にその重要度に応じて窓画像を追加選択しておくことにより、重要度に応じた重み付け投票ができることとなる。実施形態１で用いたスコア値に従った重み付け投票と同様の重み付けの効果が得られることとなる。
【００９９】
（実施形態３）
実施形態３にかかる画像照合処理システムは、登録フェーズにおいて、実施形態１と同様のモデル窓画像に対する識別容易性の大きさに応じた重み付けに加え、モデル窓画像ごとに、撮影姿勢や撮影状態などの環境変動にかかわらず正しく画像照合できるというロバスト性を評価し、そのロバスト性の大きさに応じた重み付けも行ってスコア値を求めるものである。ロバスト性の大きなモデル窓画像に対してスコア値を大きくすることにより、入力画像の撮影環境によらず、そのモデル窓画像の画像照合結果は信頼の高いものであるので、当該モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを高く調整する。
【０１００】
図１４は実施形態３にかかる本発明の画像照合処理システムの装置構成概略を示すブロック図である。
【０１０１】
図１４において、画像取り込み部１０、窓画像切り出し部２０、窓画像圧縮部３０、特徴空間投影部４０、窓画像照合部５０、モデルデータ格納部７０、対応窓の相対位置投票処理部８０、認識判定部９０は実施形態１で説明した図１２と同様のものであり、ここでの説明は省略する。図１４の構成では、スコア値付与部６０ａは、窓画像ロバスト性評価部６２を備えている。
【０１０２】
窓画像ロバスト性評価部６２は、モデル窓画像の持つロバスト性を評価する部分であり、スコア値付与部６０ａは、一定のロバスト性を持つモデル窓画像のスコア値を高く重み付ける。例えば、実施形態１と同様、識別容易性の大きさに応じて重み付けたスコア値に対し、一定のロバスト性を持つモデル窓画像であればそのスコア値を２倍にしたり、逆に一定のロバスト性を持たないモデル窓画像であればそのスコア値を０．５倍にしたりという重み付けの調整を行う。
【０１０３】
以下に、環境変動に対するロバスト性の高いロバスト窓画像の抽出原理を説明する。
【０１０４】
図１５は、ロバスト窓画像の抽出原理を簡単に説明する図である。
【０１０５】
図１５の上から第１段目は登録画像群１００である。同じ人物の複数の画像である。ここでは撮影環境の変動として、姿勢を連続的に変化させることとし、姿勢を所定きざみで連続的に変化させた連続画像とし、左端から登録画像Ａ（１）、登録画像Ａ（２）、・・・、登録画像Ａ（ｎ）のｎ枚の画像群とした。ここでは便宜上第１の登録画像Ａ（１）を基本登録画像とする。また、ここでは説明を簡単にするため第１の登録画像Ａ（１）と第２の登録画像Ａ（ｎ）の間の画像図示は省略したが第１の登録画像Ａ（１）から第２の登録画像Ａ（ｎ）までの姿勢変化の中間画像が与えられているものとする。なお、中間画像の枚数および撮影環境の変化のきざみは限定されることはなく、一例として示した。
【０１０６】
図１５の例は姿勢の連続的に変化させた撮影環境の違いであるが、撮影環境変動は認識フェーズで入力が想定される様々なバリエーションのものとすることが好ましい。認識フェーズで入力された画像の撮影環境の違いに影響されないモデル窓画像を生成するため、多様な撮影環境バリエーションに対するロバスト性を検証しておく必要があるからである。ここで、想定されうる撮影環境の違いとは、人物とカメラとの相対位置（距離、方向）、照明条件（照度や照明光の波長やスペクトルなどの光源条件、人物と照明との相対位置（距離、方向））、経時変化（例えば髪型、眼鏡、ひげの有無）、表情変化（例えば無表情や笑顔）など多数あるが、これらは一例であり本発明は上記列挙の撮影環境の違いに限定されない。
【０１０７】
図１５の上から第２段目はトラッキング窓画像群１１０を簡単に表した例である。撮影環境変動を加味しない第１の窓画像選択基準として、トラッキングによる窓画像の抽出を用いる。以下、トラッキングによる窓画像抽出方法の一例を説明する。上記したようにここでは、登録画像群のうち第１の登録画像Ａ（１）が基本登録画像とされている。トラッキング窓画像群とは、基本登録画像から窓画像として抽出された登録画像中の部位（例えば、目、鼻、口）に相当する窓画像を、登録画像群の各画像にわたりトラッキングして得た窓画像群である。つまり、基本登録画像である第１の登録画像Ａ（１）において左目の部位が窓画像として抽出された場合、すべての登録窓画像群の連続画像にわたり左目の部位の窓画像をトラッキングして各画像において抽出して行き、このようにトラッキングして得た左目の部位の窓画像群を意味する。ここで重要なことは連続画像の一つ一つを個別の画像として窓画像を抽出するものではなく、基本登録画像から窓画像として抽出された登録画像中の部位に相当する窓画像を、登録画像群の各画像にわたりトラッキングして得ることである。結局、トラッキングして得られる窓画像は、環境変動の影響を無視して、基本登録画像の環境において抽出された窓画像が、各環境変動バリエーションの登録画像内のどの位置に存在しているかをトラッキングした結果となる。
【０１０８】
図１５でのトラッキング窓画像抽出の様子を説明する。図１５の例では、基本登録画像Ａ（１）から抽出した窓画像がＢ１（Ａ１），Ｂ２（Ａ１），・・・，Ｂ１０（Ａ１）までの１０個である。この１０個の窓画像に相当する画像部位がそれぞれの中間の登録窓画像においてどこに位置するかをトラッキングして抽出してゆき、登録画像Ａ（２）においては、登録画像Ａ（１）からのトラッキングの結果、Ｂ１（Ａ２），Ｂ２（Ａ２），・・・，Ｂ１０（Ａ２）の窓画像が抽出され、登録画像Ａ（ｎ）においては、登録画像Ａ（１），Ａ（２），・・・，Ａ（ｎ−１）からのトラッキングの結果、Ｂ１（Ａｎ），Ｂ２（Ａｎ），・・・，Ｂ１０（Ａｎ）の窓画像が抽出されることとなる。
【０１０９】
図１５の上から第３段目は静的抽出窓画像１２０を簡単に表した例である。撮影環境変動を加味した第２の窓画像選択基準として窓画像の静的抽出を用いる。ここでいう静的抽出窓画像とは、登録画像群に含まれる連続画像の１枚１枚を個別に単独の画像として窓画像を抽出したものである。つまり、撮影環境の多様なバリエーションに対処するための用意された各撮影環境ごとの画像から窓画像を抽出したものとなり、これは、それぞれの撮影環境の影響下において認識対象画像から切り出される窓画像となる。この静的抽出窓画像は環境変動を受けた結果として各登録画像から抽出された窓画像と言っても良い。
【０１１０】
図１５での静的抽出窓画像抽出の様子を説明する。いま、基本登録画像Ａ（１）から抽出した窓画像がＣ１（Ａ１），Ｃ２（Ａ１），・・・，Ｃ１０（Ａ１）までの１０個である。なお、これらはそれぞれ第２段のＢ１（Ａ１），Ｂ２（Ａ１），・・・，Ｂ１０（Ａ１）と同じものである。次に、図１５の例では、登録画像Ａ（２）から静的につまり単独に抽出した窓画像が、Ｄ１（Ａ２），Ｄ２（Ａ２），・・・，Ｄ１２（Ａ２）である。ここでは１２個の窓画像が抽出されている。登録画像Ａ（２）は環境が登録画像Ａ（１）とは異なっているので抽出される窓画像が、同じ１０個とは限らない。つまり登録画像Ａ（１）に比べてより多くの窓画像が抽出されるかも知れないし、より少ない窓画像が抽出されるかも知れない。つまり、トラッキング窓画像抽出においてトラッキングの結果抽出できた窓画像であっても、静的抽出では窓画像として抽出されないものや、逆にトラッキングの結果抽出されていない窓画像が静的抽出では窓画像として抽出される場合がある。このように静的抽出窓画像は各環境個別に抽出されるものである。
【０１１１】
続いて各中間画像についても同様に静的抽出による窓画像抽出を実行して行き、登録画像Ａ（ｎ）から静的につまり単独に抽出した窓画像が、Ｅ１（Ａｎ），Ｅ２（Ａｎ），・・・，Ｅ１２（Ａｎ）であり、１２個の窓画像が抽出されたものとする。
【０１１２】
図１５の上から第４段目はロバスト窓画像１３０を簡単に示したものである。図１５の例におけるロバスト窓画像の抽出原理は、第２段目のトラッキング窓画像１１０と第３段目の静的抽出窓画像１２０においても共通して窓画像として抽出されている窓画像を選択するものである。つまり、分かりやすく言うと、環境変動のバリエーションにおいて、第１の窓画像選択基準であるトラッキングによる窓画像抽出の結果であっても第２の窓画像選択基準である静的抽出による窓画像抽出の結果であっても選択されている部位の窓画像、つまり、基本登録画像の撮影環境からの撮影環境変動にかかわらず選択された窓画像をロバスト窓画像として選択するものである。
【０１１３】
図１５の例では、登録画像Ａ（１）では、Ｆ１（Ａ１），Ｆ２（Ａ１），・・・，Ｆ１０（Ａ１）の１０個の窓画像が選択され、登録画像Ａ（２）では、Ｇ１（Ａ２），Ｇ２（Ａ２），・・・，Ｇ９（Ａ２）の９個の窓画像が選択され、登録画像Ａ（ｎ）では、Ｈ１（Ａｎ），Ｈ２（Ａｎ），・・・，Ｈ８（Ａｎ）の８個の窓画像が選択されている。
【０１１４】
次に、図１６に別のパターンのロバスト窓画像の抽出原理の一例を示す。
【０１１５】
図１６の上から第１段目は登録画像群１００であり、図１５と同様のものである。姿勢を所定きざみで連続的に変化させた連続画像であり、左端から登録画像Ａ（１）、登録画像Ａ（２）、・・・、登録画像Ａ（ｎ）のｎ枚の画像群である。ここでも便宜上第１の登録画像Ａ（１）を基本登録画像とする。
【０１１６】
図１６の上から第２段目はトラッキング窓画像群１１０であり、図１５と同様のものである。図１６の例でも、基本登録画像Ａ（１）から窓画像Ｂ１（Ａ１），Ｂ２（Ａ１），・・・，Ｂ１０（Ａ１）までの１０個が抽出され、登録画像Ａ（２）においては、登録画像Ａ（１）からのトラッキングの結果、Ｂ１（Ａ２），Ｂ２（Ａ２），・・・，Ｂ１０（Ａ２）の窓画像が抽出され、登録画像Ａ（ｎ）においては、登録画像Ａ（１），Ａ（２），・・・，Ａ（ｎ−１）からのトラッキングの結果、Ｂ１（Ａｎ），Ｂ２（Ａｎ），・・・，Ｂ１０（Ａｎ）の窓画像が抽出されている。
【０１１７】
図１６の上から第３段目は静的抽出窓画像１２０であり、図１５と同様のものである。基本登録画像Ａ（１）から窓画像Ｃ１（Ａ１），Ｃ２（Ａ１），・・・，Ｃ１０（Ａ１）までの１０個が抽出され、登録画像Ａ（２）から静的につまり単独に窓画像が、Ｄ１（Ａ２），Ｄ２（Ａ２），・・・，Ｄ１２（Ａ２）の１２個が抽出され、登録画像Ａ（ｎ）から静的につまり単独に窓画像が、Ｄ１（Ａｎ），Ｄ２（Ａｎ），・・・，Ｄ１２（Ａｎ）１２個抽出されている。
【０１１８】
図１６の上から第４段目はロバスト窓画像群１４０を簡単に示したものである。このロバスト窓画像の抽出原理は、第２段目のトラッキング窓画像１１０の各トラッキング窓画像群Ｂ１〜Ｂ１０のうち、すべての登録画像にわたり第３段目の静的抽出窓画像１２０においても共通して窓画像として抽出されている窓画像群を選択するものである。つまり、分かりやすく言うと、環境変動のバリエーションすべてにおいて窓画像として選択された部位の窓画像、つまり、環境変動にかかわらず常に、第１の窓画像選択基準であるトラッキングによる窓画像抽出においても、第２の窓画像選択基準である静的抽出による窓画像抽出においても選択された窓画像がロバスト窓画像ということになる。図１５に示したロバスト窓画像の抽出原理は、各登録画像ごとに基本登録画像の撮影環境との撮影環境変動に対してロバストな窓画像を選んだが、この図１６に示したロバスト窓画像の抽出原理は、基本登録画像の撮影環境との撮影環境変動のすべてにわたってロバストな部位の窓画像群を選ぶものである。
【０１１９】
図１６の例では、７つの窓画像群がロバスト窓画像群として選択され、登録画像Ａ（１）では、Ｉ１（Ａ１），Ｉ２（Ａ１），・・・，Ｉ７（Ａ１）が選択され、登録画像Ａ（２）では、Ｊ１（Ａ２），Ｊ２（Ａ２），・・・，Ｊ７（Ａ２）が選択され、登録画像Ａ（ｎ）では、Ｋ１（Ａｎ），Ｋ２（Ａｎ），・・・，Ｋ７（Ａｎ）が選択されている。
【０１２０】
窓画像ロバスト性評価部６２は、以上のロバスト性の高いモデル窓画像の抽出原理を用いて、モデル窓画像の持つロバスト性を評価し、スコア値付与部６０ａは、一定のロバスト性を持つモデル窓画像のスコア値を高く重み付ける。
【０１２１】
（実施形態４）
本発明の画像照合処理システムは、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明の画像照合処理システムを実現する処理ステップを備えたプログラムを記録した記録媒体は、図１７に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ１００２やフレキシブルディスク１００３等の可搬型記録媒体１００１だけでなく、ネットワーク上にある記録装置内の記録媒体１０００や、コンピュータのハードディスクやＲＡＭ等の記録媒体１００５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ１００４上にローディングされ、主メモリ上で実行される。
【０１２２】
本発明の画像照合処理システムおよび画像照合処理方法についてさらに以下の項を開示する。
【０１２３】
（付記１）予め取り込んだ認識対象のモデル画像から切り出された特徴的な一又は複数の本人のモデル窓画像に対して、他の異なる認識対象のモデル画像から切り出された一又は複数の他人のモデル窓画像からの識別容易性の大きさに応じて重み付けしたスコア値を与えるスコア値付与部と、
認識対象が含まれた入力画像から特徴的な一又は複数の入力窓画像を切り出す窓画像切り出し部と、
前記入力画像の各入力窓画像と前記モデル画像の各モデル窓画像とを、その特徴ベクトルを軸とする特徴空間に投影し、両者を対応づけて画像照合する画像認識処理部を備え、
前記画像認識処理部は、前記画像照合において、前記各モデル窓画像のスコア値に従って、前記各モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整することを特徴とする画像照合処理システム（１）。
【０１２４】
（付記２）前記スコア値付与部は、各モデル窓画像ごとの識別容易性の大きさを、
スコア値を付与するモデル画像と同じ認識対象が撮影された参照画像から切り出した参照窓画像と、前記本人のモデル窓画像とを比較照合した場合の一致度合いを示す本人識別性の大きさと、
前記参照窓画像と、スコア値を付与するモデル画像と異なる認識対象のモデル画像から切り出した他人のモデル窓画像とを比較照合した場合の不一致度合いを示す他人識別性の大きさをもとに決める付記１に記載の画像照合処理システム（２）。
【０１２５】
（付記３）前記モデル窓画像ごとの識別容易性の大きさを決める処理において、
前記本人識別性の大きさを、前記参照窓画像の特徴空間への投影点と前記本人のモデル窓画像の特徴空間への投影点との特徴空間内での近さに応じて決め、
前記他人識別性の大きさを、前記本人の参照窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離に応じて決める付記２に記載の画像照合システム（３）。
【０１２６】
（付記４）前記モデル窓画像ごとの識別容易性の大きさを決める処理において、前記スコア値を付与するモデル画像の認識対象とは異なる認識対象のモデル画像が複数ある場合、
前記他人のモデル画像ごとに、前記参照窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離を求め、それら距離の平均値をもって、前記他人識別性の大きさとした付記３に記載の画像照合システム（４）。
【０１２７】
（付記５）前記モデル窓画像ごとの識別容易性の大きさを決める処理において、前記スコア値を付与するモデル画像の認識対象とは異なる認識対象のモデル画像が複数ある場合、
前記他人のモデル画像ごとに、前記参照窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離を求め、その距離が小さい上位Ｎ個の平均値をもって、前記他人識別性の大きさとした付記３に記載の画像照合システム。
【０１２８】
（付記６）前記スコア値付与部のスコア値付与処理における、各モデル窓画像ごとの識別容易性の大きさを、
スコア値を付与するモデル画像と同じ認識対象が撮影された参照画像から切り出した参照窓画像の特徴空間への投影点と前記本人のモデル窓画像の特徴空間への投影点との特徴空間内での距離と、
前記参照窓画像の特徴空間への投影点とスコア値を付与するモデル画像と異なる認識対象のモデル画像から切り出した他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離との差分値を正規化した値を前記モデル窓画像ごとの識別容易性の大きさとした付記１に記載の画像照合システム（５）。
【０１２９】
（付記７）前記スコア値付与部のスコア値付与処理における、各モデル窓画像ごとの識別容易性の大きさを、
スコア値を付与するモデル画像と同じ認識対象が撮影された参照画像から切り出した参照窓画像の特徴空間への投影点と前記本人のモデル窓画像の特徴空間への投影点との特徴空間内での距離と、
前記参照窓画像の特徴空間への投影点とスコア値を付与するモデル画像と異なる認識対象のモデル画像から切り出した他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離との比を前記本人のモデル窓画像ごとの識別容易性の大きさとした付記１に記載の画像照合システム。
【０１３０】
（付記８）前記参照画像として、同じ認識対象を異なる姿勢、異なるサイズで撮影した画像を用い、それら参照画像から切り出した参照窓画像と前記本人のモデル窓画像とを比較照合した場合に、一致度合いを示す本人識別性の大きさが大きいものを、環境変動に対するロバスト性を持つ窓画像として前記相対的影響を大きくする付記２に記載の画像照合処理システム。
【０１３１】
（付記９）前記スコア値付与部のスコア値付与処理における、各モデル窓画像ごとの識別容易性の大きさを、前記本人のモデル窓画像とスコア値を付与するモデル画像と異なる認識対象のモデル画像から切り出した他人のモデル窓画像とを比較照合した場合の不一致度合いを示す他人識別性の大きさをもとに決め、
前記本人のモデル窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との距離が小さいものには前記相対的影響を低くし、大きいものには前記相対的影響を大きくする付記１に記載の画像照合システム（６）。
【０１３２】
（付記１０）前記スコア値付与部が、スコア値調整部を備え、
前記スコア値調整部を介した、利用者によるモデル窓画像のスコア値の調整を可能とした付記１から９のいずれかに記載の画像照合処理システム。
【０１３３】
（付記１１）前記スコア値が与えられた後、前記窓画像切り出し部が、各モデル窓画像のスコア値に従った個数分、その窓画像近傍に位置する窓画像を追加選択して切り出す窓画像追加処理を行い、モデル画像中のスコア値の高い画像部分から多くのモデル窓画像を選ぶことにより、前記相対的な影響度合いを調整する付記１に記載の画像照合処理システム（７）。
【０１３４】
（付記１２）前記画像認識処理部は、画像照合処理として、各モデル窓画像ごとの照合結果を重畳投票することにより認識する入力画像とモデル画像との画像照合を行い、
前記重畳投票を、各モデル窓画像のスコア値に従った重み付け投票により行うことにより、前記各モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整する付記１に記載の画像照合処理システム（８）。
【０１３５】
（付記１３）予め取り込んだ認識対象のモデル画像から切り出された特徴的な一又は複数の本人のモデル窓画像に対して、他の異なる認識対象のモデル画像から切り出された一又は複数の他人のモデル窓画像からの識別容易性の大きさに応じて重み付けしたスコア値を与え、
認識対象が含まれた入力画像から特徴的な一又は複数の入力窓画像を切り出し、
前記入力画像の各入力窓画像と前記モデル画像の各モデル窓画像とを、その特徴ベクトルを軸とする特徴空間に投影し、両者を対応づけて画像照合し、
前記画像照合において、前記各モデル窓画像のスコア値に従って、前記各モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整することを特徴とする画像照合方法（９）。
【０１３６】
（付記１４）画像照合処理システムを実現する処理ステップを記録したコンピュータ読み取り可能な記録媒体であって、
予め取り込んだ認識対象のモデル画像から切り出された特徴的な一又は複数の本人のモデル窓画像に対して、他の異なる認識対象のモデル画像から切り出された一又は複数の他人のモデル窓画像からの識別容易性の大きさに応じて重み付けしたスコア値を与えるスコア値付与処理ステップと、
認識対象が含まれた入力画像から特徴的な一又は複数の入力窓画像を切り出す窓画像切り出し処理ステップと、
前記入力画像の各入力窓画像と前記モデル画像の各モデル窓画像とを、その特徴ベクトルを軸とする特徴空間に投影し、両者を対応づけて画像照合する画像認識処理ステップを備え、
前記画像認識処理ステップは、前記画像照合において、前記各モデル窓画像のスコア値に従って、前記各モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整する処理ステップを含むことを特徴とする処理プログラムを記録した記録媒体（１０）。
【０１３７】
【発明の効果】
本発明の画像照合処理システムによれば、その人物特有の局所特徴である他人との相違点がより強調されるため、登録人数が大規模な場合においても、従来手法と比較して本人棄却率や他人受理率などの誤認識率を比較的低く抑えることが可能になる。
【０１３８】
また、本発明の画像照合処理システムによれば、識別容易性の大きさに応じた重み付けに加え、ロバスト性の大きなモデル窓画像に対してスコア値を大きくすることにより、当該モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを高く調整することができ、入力画像の撮影環境によらず、信頼性の高い安定した画像照合処理を実現することができる。
【図面の簡単な説明】
【図１】 本発明の画像照合処理システムで用いる「登録フェーズ」の処理手順を示したフローチャート
【図２】 人物顔画像を取り込む様子を示す図
【図３】 （ａ）はモデル画像から特徴点を基に局所領域を窓画像として選択し、低次元空間に投影した例を示す図、（ｂ）は認識対象である入力画像から特徴点を基に局所領域を窓画像として選択し、低次元空間に投影した例を示す図
【図４】 登録人物Ａのモデル窓画像のスコア値を計算する概念を模式的に示した図
【図５】 図４に示したスコア値の計算方法による処理の流れを示すフローチャート
【図６】 登録人物Ａのモデル窓画像のスコア値を計算する第２の概念を模式的に示した図
【図７】 登録人物Ａのモデル窓画像のスコア値を計算する第３の概念を模式的に示した図
【図８】 従来の局所固有空間法による画像照合処理システムのモデル窓画像と本発明の画像照合処理システムにおけるモデル窓画像を比較した図
【図９】 本発明の画像照合処理システムで用いる「認識フェーズ」の処理手順を示したフローチャート
【図１０】 各モデル窓画像に割り当てられたスコア値に従った重み付け投票の際の重み付け方法を説明した図
【図１１】 モデル画像ごとに用意された投票マップ上の△Ｐのポイントに、投票数Ｖを投票する様子を示す図
【図１２】 実施形態１にかかる本発明の画像照合処理システムの装置構成概略を示すブロック図
【図１３】 窓画像追加処理の概念を模式的に説明した図
【図１４】 本発明の実施形態３にかかる本発明の画像照合処理システムの装置構成概略を示すブロック図
【図１５】 ロバスト窓画像の抽出原理を簡単に説明する図
【図１６】 別のパターンのロバスト窓画像の抽出原理の一例を示す図
【図１７】 実施形態４における本発明の画像照合処理システムを実現する処理プログラムを記録した記録媒体の例を示す図
【図１８】 従来の改良局所特徴空間法を用いた画像照合処理の流れを簡単に示した図
【符号の説明】
１０ 画像取り込み部
２０ 窓画像切り出し部
３０ 窓画像圧縮部
４０ 特徴空間投影部
５０ 窓画像照合部
６０，６０ａ スコア値付与部
６１ スコア値調整部
６２ 窓画像ロバスト性評価部
７０ モデルデータ格納部
８０ 対応窓の相対位置投票処理部
９０ 認識判定部
１００ 登録画像群
１１０ トラッキング窓画像群
１２０ 静的抽出窓画像
１３０ ロバスト窓画像
１４０ ロバスト窓画像群
１０００ 記録装置内の記録媒体
１００１ 可搬型記録媒体
１００２ ＣＤ−ＲＯＭ
１００３ フレキシブルディスク
１００４ コンピュータ
１００５ コンピュータのハードディスクやＲＡＭ等の記録媒体
【発明の属する技術分野】
本発明は、カメラ等の画像入力装置から入力された認識対象を含む入力画像と、予め登録済みのモデル画像を比較照合することにより、入力画像中に存在する認識対象を比較照合して識別する画像照合処理に関する。本発明の画像照合処理システムは、人物や工業製品等の任意の２次元又は３次元形状の物体の認識処理に適用することが可能である。
【０００２】
【従来の技術】
最近のデジタルカメラやビデオカメラ等の画像入力装置の普及により、撮影した画像を容易にパソコン等のコンピュータに取り込むことが可能になりつつある。また一方で、銀行のＡＴＭでのカード利用や、パソコン通信によるオンライン・ショッピングなどの急速な普及に伴い、そのシステムの利用者が本当に正しい人物なのかあるいは不正利用者なのかを瞬時にかつ正確に判断することが必要となるケースが近年増加しつつある。このような個人識別のための手段として、従来はパスワード入力による識別方法が多く用いられてきたが、近年になって、システムに設置されたカメラから人物画像を取り込み、その顔画像から、そこに写っている人物が誰であるか特定する顔画像照合・検索技術が注目を集めている。このような技術を用いれば、例えば、従来、暗証番号やパスワードを用いていたマンションやビルの入室管理、パソコンやインターネットヘのログインを、顔画像で代用することが可能になる。また、犯罪捜査などにおいても、ＡＴＭに設置された監視カメラの画像を基に、不正利用者を割り出して犯人を特定するなどといった利用方法も可能となると思われる。今後、様々な撮影環境下において安定的に高精度な照合が行える顔画像照合・検索システムが実現できれば、上記で示したセキュリティや犯罪捜査支援、さらには、自動受付端末、顧客管理システムなど、極めて幅広い分野への応用が期待される。
【０００３】
画像中の認識対象を認識する従来技術として、固有空間法を拡張した局所固有空間法（Eigen-Window法）を用いた画像照合処理技術や、局所固有空間法を更に改良した画像処理技術として局所固有空間法の画像特徴量を離散コサイン変換（Discrete Cosine Transform：以下ＤＣＴと略記する）係数に変更した画像照合処理技術（以下、改良局所特徴空間法を用いた画像照合処理技術と呼ぶ）がある。
【０００４】
以下に、従来の画像照合処理技術として、改良局所特徴空間法を用いた画像照合処理技術を説明する。一例として人物の顔画像を認識・照合する場合を挙げて説明する。
【０００５】
この改良局所特徴空間法を用いた画像照合処理は、画像照合に用いるモデルを作成・登録する「登録フェーズ」と、入力画像の認識対象に対して認識・照合処理を実行する「認識フェーズ」からなる。図１８は、従来の改良局所特徴空間法を用いた画像照合処理の流れを簡単に示したものである。
【０００６】
「登録フェーズ」において、登録用のモデル画像から対象領域の切り出し処理（Ｓ１８０１）、切り出した画像領域中の特徴点の抽出処理（Ｓ１８０２）、抽出した特徴点を基にした局所領域であるモデル窓画像の選択処理（Ｓ１８０３）、選択したモデル窓画像の低次元空間への圧縮処理（Ｓ１８０４）を経て作成した画像照合用モデルデータを登録する（Ｓ１８０５）。この登録データを「認識フェーズ」において画像照合に用いる。
【０００７】
「認識フェーズ」において、認識対象が撮影された認識画像の取得処理（Ｓ１８０６）の後、取得した入力画像から認識対象領域の切り出し処理（Ｓ１８０７）、切り出した認識対象領域中の特徴点の抽出処理（Ｓ１８０８）、抽出した特徴点を基にした局所領域である入力窓画像の選択処理（Ｓ１８０９）、選択した入力窓画像の低次元空間への圧縮処理（Ｓ１８１０）を「登録フェーズ」と同様に行う。次に、登録フェーズであらかじめ用意した画像照合用モデルデータである各モデル窓画像と、認識フェーズで得た入力窓画像の両者を窓画像の特徴空間へ投影処理（Ｓ１８１１）し、両者の窓画像照合処理（Ｓ１８１２）を行い、特徴空間内での距離が近いペア（以下対応窓という。）を見つける。次に、このように得た窓画像同士での画像照合の結果を基に画像全体の識別処理を行う。画像全体の識別処理として、モデル窓画像と入力窓画像の画像内位置の差分である相対位置ベクトルを求め、２次元投票マップ上の対応する格子に投票を行う相対位置投票処理（Ｓ１８１３）を実行し、投票マップ上でのピーク位置検出処理（Ｓ１８１４）の結果、ピークが見られる場合には、入力画像中に、モデル画像の認識対象と同じ認識対象が撮影されていることを検出する。
【０００８】
上記の改良局所特徴空間法を用いた画像照合処理により、あらかじめ用意したモデル画像を用い、入力画像中の物体が登録モデルの認識対象と同一のものであるか否かを認識することができる。
【０００９】
【発明が解決しようとする課題】
上記の改良局所特徴空間法を用いた画像照合処理技術は、優れている面が多いものであり、今後も本技術を適用した画像照合処理システムの普及が期待されている。この改良局所特徴空間法を用いた画像照合処理システムの普及にあたりさらなる改良が可能な点としては以下に挙げるものがある。
【００１０】
第１の課題は、識別対象となる登録人物の数が多くなった場合の認識精度のさらなる向上である。上記の従来手法においても登録人数が少ない場合であれば、入力画像中の人物が登録人物中の誰であるか、あるいは登録人物以外の人物であるかなどを、ほぼ１００%に近い割合で識別することも可能である。しかし、登録人数が大きくなると、登録人物の中に顔造作が類似する人物（例えば、双子や親子などがその極端な場合）が含まれる確率が比較的高くなるため、誤認識が起こる可能性がある。登録人数の規模が大きくなった場合の認識精度のさらなる向上が求められる。
【００１１】
第２の課題は、モデル窓画像が一律に選択され、認識に有効なモデル窓画像と必ずしも有効ではない窓画像が混在している点である。登録フェーズにおいてモデル画像からモデル窓画像を選択する際に、個人認識を行う上でかならずしも有効ではない、もしくは不必要だと思われる窓画像を多く選択してしまう場合がある。これは、窓画像の選択処理において、画像のエッジ強度に基づいて窓選択位置を決定しているので、例えば、顔領域の切出しの結果によっては、顔部品以外にも、額と髪の毛の境界上や、背景を含む顎周辺の顔輪郭上、衣服の襟周辺などの位置に窓が選択されるということが起こりうる。これらの窓画像は、認識を行う上でかならずしも有効ではなく、その影響を抑えることが好ましい。
【００１２】
本発明では、上記課題に鑑み、これらの課題を解決し、モデル窓画像の選択において、本人と他人を識別するために有効な窓、つまりその人物を特徴づける固有な窓を抽出して登録し、画像照合処理において、それらの有効な窓画像の照合結果を中心にして画像認識を実行し、より高精度な個人識別が可能な顔画像照合処理を実現することを目的とする。
【００１３】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像照合処理システムは、予め取り込んだ認識対象のモデル画像から切り出された特徴的な一又は複数の本人のモデル窓画像に対して、他の異なる認識対象のモデル画像から切り出された一又は複数の他人のモデル窓画像からの識別容易性の大きさに応じて重み付けしたスコア値を与えるスコア値付与部と、認識対象が含まれた入力画像から特徴的な一又は複数の入力窓画像を切り出す窓画像切り出し部と、前記入力画像の各入力窓画像と前記モデル画像の各モデル窓画像とを、その特徴ベクトルを軸とする特徴空間に投影し、両者を対応づけて画像照合する画像認識処理部を備え、前記画像認識処理部は、前記画像照合において、前記各モデル窓画像のスコア値に従って、前記各モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整することを特徴とする。
【００１４】
上記構成により、登録するモデル窓画像のそれぞれに対してスコア値を割り当て、画像照合する上で他の認識対象のモデル窓画像とは類似しない、特有の特徴を持つモデル窓画像に重点を置いて、当該モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを大きくすることが可能となり、画像照合精度を向上することができる。登録モデル数が多くなったとしても、他の認識対象とは異なった際立つ特徴を持つモデル窓画像に重みをつけて画像照合することができるからである。
【００１５】
ここで、スコア値付与部は、各モデル窓画像ごとの識別容易性の大きさを、スコア値を付与するモデル画像と同じ認識対象が撮影された参照画像から切り出した参照窓画像と、前記本人のモデル窓画像とを比較照合した場合の一致度合いを示す本人識別性の大きさと、参照窓画像と、スコア値を付与するモデル画像と異なる認識対象のモデル画像から切り出した他人のモデル窓画像とを比較照合した場合の不一致度合いを示す他人識別性の大きさをもとに決めることが好ましい。
【００１６】
つまり、同じ認識対象である本人画像同士では一致を示す度合いが大きく、異なる認識対象の他人画像との間では不一致を示す度合いが大きくなる窓画像は、画像識別処理において有効な窓画像となるからである。
【００１７】
一例として、前記モデル窓画像ごとの識別容易性の大きさを決める処理において、前記本人識別性の大きさを、前記参照窓画像の特徴空間への投影点と前記本人のモデル窓画像の特徴空間への投影点との特徴空間内での近さとし、前記他人識別性の大きさを、前記本人の参照窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離とすることが好ましい。
【００１８】
特徴空間内での両者の投影位置が近いほど両者の一致を示す度合いが大きく、両者の投影点の位置が遠いほど両者の不一致を示す度合いが大きいからである。
【００１９】
ここで、上記のように特徴空間内の投影点の距離を用いる場合に、前記スコア値を付与するモデル画像の認識対象とは異なる認識対象のモデル画像が複数ある場合には、前記他人のモデル画像ごとに、前記参照窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離を求め、それら距離の平均値をもって、前記他人識別性の大きさとすることが可能であり、また、それらのうち距離が小さい上位Ｎ個の平均値をもって、前記モデル窓画像ごとの識別容易性の大きさとすることも可能である。
【００２０】
上記のように、距離が小さい上位Ｎ個の平均値をもって前記モデル窓画像ごとの識別容易性の大きさとする場合は、誤認識する可能性の高い上位Ｎ個の窓画像に対してどの程度識別が容易であるかという観点から識別容易性を定めることができ、誤認識が起きる可能性を低く抑えることが可能となる。
【００２１】
さらに、スコア値を付与するモデル画像と同じ認識対象が撮影された参照画像から切り出した参照窓画像の特徴空間への投影点と前記本人のモデル窓画像の特徴空間への投影点との特徴空間内での距離と、前記参照窓画像の特徴空間への投影点とスコア値を付与するモデル画像と異なる認識対象のモデル画像から切り出した他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離との差分値を正規化した値を前記モデル窓画像ごとの識別容易性の大きさとすれば、正規化により、位置ずれや回転などの影響を除去した識別容易性を定めることができる。
【００２２】
次に、上記の本発明の画像照合システムにおいて、前記参照画像として、同じ認識対象を異なる姿勢、異なるサイズで撮影した画像を用い、それら参照画像から切り出した参照窓画像と前記本人のモデル窓画像とを比較照合した場合に、一致度合いを示す本人識別性の大きさが大きいものを、環境変動に対するロバスト性を持つ窓画像として前記相対的影響を大きくすることが好ましい。
【００２３】
上記構成により、他のモデル窓画像からの識別が容易で、かつ、認識対象の撮影環境の変動に対して影響を受け難い窓画像を重要視して識別処理を実行することができ、撮影環境に影響されない安定した画像照合処理を実行することができる。
【００２４】
なお、上記識別容易性を求めるにあたり、簡易的に、他人識別性の大きさのみをもとに決めることもでき、この場合、前記本人のモデル窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との距離が小さいものには前記相対的影響を低くし、大きいものには前記相対的影響を大きくすることも可能である。
【００２５】
また、本発明の画像照合処理システムにおいて、前記スコア値付与部が、スコア値調整部を備え、前記スコア値調整部を介した、利用者によるモデル窓画像のスコア値の調整を可能とすることが好ましい。
【００２６】
システムのアプリケーションなどにおいては、利用者が特定の部分に注目して画像認識したい場合も想定され、かかる場合に利用者自らスコア値を調整できる。
【００２７】
なお、スコア値の高いモデル窓画像の画像照合結果全体に占める相対的な影響度合いを調整する方法として、スコア値が与えられた後、窓画像切り出し部が、各モデル窓画像のスコア値に従った個数分、その窓画像近傍に位置する窓画像を追加選択して切り出す窓画像追加処理を行い、モデル画像中のスコア値の高い画像部分から多くのモデル窓画像を選ぶことにより、前記各モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを調整する方法がある。
【００２８】
上記構成により、スコア値が高い画像部分の投票数が相対的に増え、スコア値の低い画像部分の投票数が相対的に減るので、各モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを調整することが可能となる。
【００２９】
次に、本発明の画像照合処理システムにおいて、認識フェーズの処理として、前記画像認識処理部は、画像照合処理として、各モデル窓画像ごとの照合結果を重畳投票することにより認識する入力画像とモデル画像との画像照合を行い、前記重畳投票を、各モデル窓画像のスコア値に従った重み付け投票により行うことにより、前記各モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを調整することが好ましい。
【００３０】
上記構成により、認識フェーズの投票空間での投票処理において、スコア値に沿った重み付け投票を行うことができ、認識に有効な窓画像の照合結果の影響を大きくし、認識には有効でない窓画像の照合結果の影響を小さくし、誤認識を抑えることができる。
【００３１】
本発明の画像照合処理システムは、上記の画像照合処理システムを実現する処理ステップを記録したコンピュータ読み取り可能な記録媒体から処理プログラムを読み込むことにより、コンピュータを用いて構築することができる。
【００３２】
【発明の実施の形態】
（実施形態１）
実施形態１にかかる画像照合処理システムは、登録フェーズにおいて、取り込んだ認識対象のモデル画像から切り出された特徴的な一または複数の本人の各モデル窓画像に対し、他の異なる認識対象のモデル画像から切り出した他人の各モデル窓画像に対する識別容易性の大きさに応じて重み付けしたスコア値を与え、画像照合する上で他の画像の窓画像とは類似しない識別に有効な特徴を大きく持つ窓画像に対してその影響度合いが大きくなるように調整するものである。このスコア値付与を受け、認識フェーズにおいて、認識対象が含まれた入力画像の窓画像とモデル窓画像とを対応づけて画像照合する際には、スコア値に従って各モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整するため、重み付け投票を行うものである。
【００３３】
従来手法では、モデル画像と入力画像を比較照合して類似度計算を行う際に、それぞれのモデル窓画像に対して、他人のモデル窓画像との類似関係を考慮せず、一律に同一の重み（影響力）を与えた状態で対応窓の相対位置投票処理が行われていた。他人のモデル窓画像と類似する窓画像や、顔部品以外の位置に選択された不安定な窓画像は、認識には有効な窓画像とは言えない。そこで、本発明の画像照合処理システムでは、認識対象となるモデル画像中の各モデル窓画像に対して、認識に対する有効性・重要度を表す「スコア」という考え方を導入したものである。
【００３４】
以下、実施形態１にかかる本発明の画像照合処理システムを説明する。特に顔画像の画像照合への適用を例にとって説明する。
【００３５】
本発明の画像照合処理システムは、画像照合に用いるモデルを作成する「登録フェーズ」と、入力画像の認識対象に対して認識・照合処理を実行する「認識フェーズ」の２つのフェーズを持っている。
【００３６】
まず、「登録フェーズ」の処理手順を図１のフローチャートを参照しつつ示す。この登録フェーズでは、認識・照合したい２次元又は３次元物体、ここでは認識したい人物の顔画像の基本姿勢画像（正面向きなど）を画像照合処理に用いるモデルとして生成、整理して登録する。
【００３７】
（１）対象領域切り出し処理（ステップＳ１０１）
モデル画像とする人物顔画像を切り出して取得する。この処理は必須の処理ではないが、あらかじめ対象領域を絞っておく方が好ましい。取り込むデータは、正面顔画像の撮影画像データを外部からファイル形式で入力しても良く、このようなデータがない場合にはカメラなど画像入力装置を介して登録する人物の正面顔画像を撮影して取り込んでも良い。図２に人物顔画像の取り込み例を示す。他の人物のモデル画像も同様に取り込む。
【００３８】
（２）画像特徴点検出処理（ステップ１０２）
取り込んだモデル画像から、画像の特徴点を検出する。特徴点は何らかの指標を用いて検出・選択する。例えば、画像の表面模様であるテクスチャの複雑さに関する指標を表わすテクスチャ度がしきい値以上に大きい点、エッジ強度（エッジ成分に関する指標）がしきい値以上に大きい点、色情報が所定範囲内にある点など画像上の一種の特異点を選択する方式がある。また、取り込み画像中の認識対象に対する知識を利用してそれらの重要部分（目や口など特徴的な部分）を選択する方式等が考えられる。図３（ａ）は、２人のモデル画像について、特徴点を選択した例を簡易的に表わしたものである。
【００３９】
（３）窓画像選択処理（ステップＳ１０３）
選択された特徴点を基に当該特徴点を囲む小さい領域、例えば矩形の局所領域を窓画像として選択する。それら特徴点の周辺の局所領域を窓画像としてそれぞれ選択する。例えば、１５ドット×１５ドットの小正方形とする。図３（ａ）のモデル画像に対する処理には図示していないが、後述する認識画像に対する処理を示す図３（ｂ）に簡易的に示したように、窓画像が切り出される。
【００４０】
（４）窓画像圧縮処理（ステップＳ１０４）
選択した窓画像を低次元空間に圧縮し、各モデル画像毎にモデル窓画像として整理して保持する。例えば、Ｎ×Ｎピクセルサイズの窓画像が持つＮ×Ｎ次元空間をｋ（ｋ＜N×N）次元空間に圧縮投影する。その空間内での窓群の分布状態を考慮して無駄な次元を削減することができ、特徴空間内の窓分布状態をなるべく保ったまま、より低い次元の特徴空間へ変換することが可能となる。
【００４１】
この低次元空間への圧縮方法として、局所固有空間法ではＫＬ展開を用いて特徴空間にマッピングする方法が採られ、改良局所特徴空間法では窓画像データからＤＣＴ係数を計算し、直流成分を除いて低周波の係数を適度に選択することによって低次元空間に圧縮する方式が採られる。後者の例を説明すると、例えば、原画像である窓画像が１５ドット×１５ドットとすると２２５次元であるが、ＤＣＴ係数を計算し、直流成分を除いて画像の特徴を良く表わす低周波の係数を２０個選択して２０次元空間に圧縮することができる。図３（ａ）の矢印は低次元空間に投影される様子を簡易的に表わしたものである。
【００４２】
（５）モデル窓画像スコア値計算処理（ステップＳ１０５）
各モデル窓画像ごとにスコア値を割り当てる。後述する認識フェーズにおける画像照合処理において、入力窓画像と比較照合した場合に、対応窓画像両者の特徴空間内距離が、同一人物の認識窓画像との照合時に小さくなり、かつ、他人の認識窓画像と比較照合した場合に大きくなるというモデル窓画像に対して、そのスコア値を相対的に高い値に設定する。逆に、対応窓画像両者の特徴空間内距離が、同一人物の認識窓画像との比較照合時に大きくなったり、他人の認識窓画像との比較照合時に小さくなったするモデル窓画像に対しては、そのスコア値を低い値に設定する。なお、このステップＳ１０５のモデル窓画像スコア値計算処理の詳細は後述する。
【００４３】
（６）画像照合用モデルデータの登録処理（ステップＳ１０６）
各窓画像に対してスコア値が割り当てられたモデル画像データを画像照合用モデルデータとして登録・管理する。
【００４４】
以上の登録フェーズの処理ステップにより、登録する人物の顔画像から低次元の画像照合用モデルを生成、整理して登録する。
【００４５】
ここで、上記のステップＳ１０５のモデル窓画像スコア値計算処理をさらに詳しく説明する。
【００４６】
モデル窓画像のスコア値の計算方法を複数通り示す。以下、図４から図７を参照しつつ、モデル窓スコアの計算方法の例を示す。ここでは登録人物Ａのモデル窓画像のスコア値を計算する場合を例にとって説明する。
【００４７】
図４は、登録人物Ａのモデル窓画像のスコア値を計算する概念を模式的に示した図である。図４において、５００ａが人物Ａのモデル画像、５００ｂが人物Ｂのモデル画像、５００ｃが人物Ｃのモデル画像、５００ｚが人物Ｚのモデル画像である。なお、Ｚは便宜上付した記号であり、モデル数は任意の数で良い。
【００４８】
この例では、モデル画像Ａのモデル窓画像のスコア値の計算に際し、同じ人物Ａが撮影された別の参照画像５１０を用意する。この人物Ａが撮影された参照画像５１０と人物Ａのモデル画像５００ａとを比較することにより、本人画像同士を比較照合した場合における一致性、つまり、「本人識別性」を示す大きさである本人対応窓距離（Ｄtrue）を計算し、その結果をスコア値に加味する。また、人物Ａが撮影された参照画像５１０と他のモデル画像５００ｂ〜５００ｚとを比較することにより、他人画像と比較照合した場合における不一致性、つまり、他人識別性を示す大きさである他人対応窓距離（Ｄfalse）を計算し、その結果をスコア値に加味する。
【００４９】
なお、同じ人物Ａが撮影された参照画像５１０は、モデル画像撮影時からインターバルを置かずに続けて撮影した画像より、多少撮影時にインターバルを設けた方がより望ましいスコアが得られると予測される。多少の経時変化や環境変化があった方が、それら変化に影響されにくい窓画像を選択してスコア値を高く設定することが可能となる。
【００５０】
図４に示したスコア値の計算方法による処理の流れを図５のフローチャートを参照しつつ説明する。
【００５１】
図５のステップに先立ち、同じ人物Ａが撮影された参照画像５１０に対しても、図１のフローに示した対象領域切り出し処理（ステップＳ１０１）、画像特徴点検出処理（ステップＳ１０２）、窓画像選択処理（ステップＳ１０３）、窓画像圧縮処理（ステップＳ１０４）を実行し、人物Ａのモデル窓画像データを生成しておく。
【００５２】
まず、同じ人物Ａが撮影された参照画像５１０から切り出した参照窓画像を取り出し（ＷＡとする）、当該参照窓画像ＷＡに対応する人物Ａのモデル画像５００ａ中のモデル窓画像Ｗａを探索する（ステップＳ５０１）。
【００５３】
次に、参照窓画像ＷＡと探索したモデル窓画像Ｗａとを特徴空間内に投影し、本人対応窓距離（Ｄtrue）を計算する（ステップＳ５０２）。
【００５４】
同様に、その参照窓画像ＷＡに対応する他の人物Ｂ〜Ｚのモデル画像５００ｂ〜５００ｚのモデル窓画像Ｗｂ，Ｗｃなどを探索し（ステップＳ５０３）、その特徴空間距離である他人対応窓距離（Ｄfalse）を求める（ステップＳ５０４）。
【００５５】
本人対応窓距離（Ｄtrue）と他人対応窓距離（Ｄfalse）に基づいてスコア値を計算する（ステップＳ５０５）。
【００５６】
ここで、本人対応窓距離（Ｄtrue）と他人対応窓距離（Ｄfalse）に基づいてスコア値を計算にはいく通りかの方法がある。
【００５７】
第１の計算方法は、人物Ａ以外の全ての登録人物Ｂ〜Ｚに対する他人対応窓距離Ｄfa1seの平均値Ａｖｅ（fa1se）を計算し、以下の（数１）に示す関係式によりモデル窓のスコア値を決定する方法がある。
【００５８】
【数１】
Ｓｃｏｒｅ＝ｆ1(Ａｖｅ（Ｄfa1se），Ｄtrue)
ここで関数ｆ1は、単純に他人対応窓平均値Ａｖｅ（fa1se）と本人対応窓距離Ｄtrueの差分をそのまま“Ｓｃｏｒｅ”とする場合や、両者の比を“Ｓｃｏｒｅ”とする場合、さらには全モデル窓画像のスコアが０〜１００の値を取るように正規化するなどの計算方法がある。
【００５９】
第２の計算方法は、上記第１の計算方法のように、人物Ａ以外の全ての登録人物Ｂ〜Ｚに対する他人対応窓距離Ｄfa1seの平均値Ａｖｅ（fa1se）を用いる代わりに、他人対応窓距離Ｄfa1seの値が比較的に小さな、つまり、人物Ａの参照窓画像ＷＡと類似する窓画像を持つモデル画像５００ｂ〜ｚのうち上位Ｎ位までの人物の対応窓距離Dfa1seの平均値を他人対応窓平均値Ａｖｅ（fa1se）として用い、（数１）に示す関係式によりによりモデル窓のスコア値を決定する計算方法である。
【００６０】
スコア計算処理が未処理であるモデル窓画像があれば（ステップＳ５０６：Ｙ）、上記ステップＳ５０１〜ステップＳ５０５の処理を繰り返し実行し、全モデル窓画像のスコア値を得る。
【００６１】
なお、図４に示したスコア値の計算方法による処理に代え、他の計算方法を用いることも可能である。図６は、登録人物Ａのモデル窓画像のスコア値を計算する第２の概念を模式的に示した図である。参照画像として静止画を与える代わりに、画像系列を与え、各フレーム画像に対して求められたモデル窓スコアを時間累積することによりスコア値を求める方法である。各フレーム画像一つ一つのモデル窓画像に対するスコア値の計算方法自体は、上記図５のフローと同様で良い。また、図７は、登録人物Ａのモデル窓画像のスコア値を計算する第３の概念を模式的に示した図である。図７のように人物Ａの参照画像５１０を用いずに、モデル画像５００ａと他の人物のモデル画像５００ｂ〜ｚと比較照合して、他人対応窓距離Ｄfalseのみを求め、（数１）に代え、（数２）の関係式を用いてスコア値を計算する方法である。
【００６２】
【数２】
Ｓｃｏｒｅ＝ｆ2(Ａｖｅ（Ｄfa1se）)
（数２）の関数ｆ2は、（数１）の関数ｆ1のように本人対応窓距離Ｄtrueを用いず、他人対応窓平均値Ａｖｅ（fa1se）のみをパラメタとする関数である。例えば、他人対応窓平均値Ａｖｅ（fa1se）の距離が大きいモデル窓画像のスコア値を小さく設定する。
【００６３】
以上の処理により、各モデル窓画像に対してスコア値を割り当てる。
【００６４】
図８は、スコア値に注目した、従来の局所固有空間法による画像照合処理システムのモデル窓画像と本発明の画像照合処理システムにおけるモデル窓画像を比較したものである。図８に示すように、従来のものでは選択された全モデル窓画像が、その位置や重要度に関わらず全て一定の影響力（スコア値）を持っていたのに対し、本発明は、各モデル窓ごとに、重要度を示すスコア値を計算し、そのスコア値に応じて類似度計算を行う投票処理における各モデル窓画像の影響力を調整できるため、モデル窓画像の認識における有効性を加味して認識処理を実行することが可能となる。その結果、従来方法のものと比較し、他人識別性の高いモデル窓画像の画像照合結果がより強調され、差異を明確に示さないモデル窓画像の画像照合結果の影響は低く抑えられるため、認識精度が向上することとなる。例えば、比較的登録人物数が大きい場合においても、より高い精度で顔画像照合処理を実行することが可能となる。またそれと同時に、顔部品以外の比較的不安定な位置に選択された窓画像のスコア値を低く設定することができるため、識別処理にとって有効でない窓の影響力を小さく抑えることができる。
【００６５】
次に、「認識フェーズ」の処理手順を図９のフローチャートを参照しつつ示す。
【００６６】
この認識フェーズでは、認識・照合したい人物の顔を撮影した画像を取り込み、登録されているモデル画像と画像照合し、どの人物であるかを認識する。
【００６７】
（１）認識対象画像取得処理（ステップＳ９０１）
認識対象となる人物の顔画像が写りこんだ人物顔画像を取得する。正面顔画像の撮影画像データを外部からファイル形式で入力しても良く、このようなデータがない場合にはカメラなど画像入力装置を介して登録する人物の正面顔画像を撮影して取り込む。入退室管理システムなどでは後者の場合が多い。ここでは図２に示したように顔画像を取り込むこととする。
【００６８】
（２）認識対象領域切り出し処理（ステップＳ９０２）
入力画像中から認識対象となる人物顔画像を切り出す。この際、認識対象となる人物の顔画像領域の位置を推定しても良く、また、常に一定の矩形領域を切り出してもよい。人物の顔画像領域の位置推定方法としては、肌領域を検出することで顔画像領域と推定する方法が知られている。なお、この認識対象領域切り出し処理は必須の処理ではないが、あらかじめ認識対象領域を絞っておく方が好ましい。図３（ｂ）の画像は認識対象領域を切り出した例を簡易的に表わしたものである。
【００６９】
（３）画像特徴点検出処理（ステップ９０３）
切り出した認識対象顔画像から特徴点を検出する（ステップＳ９０３）。登録フェーズと同様の指標を用いて特徴点を選択しても良く、また、より適した他の指標を用いて特徴点の選択を実行しても良い。図３（ｂ）の顔画像に付された点は選択された特徴点を簡易的に表わしたものである。
【００７０】
（４）窓画像選択処理（ステップＳ９０４）
選択した特徴点を基にその局所領域を入力窓画像として選択する。登録フェーズと同様、例えば、１５ドット×１５ドットの小正方形として選択する。図３（ｂ）は選択された窓画像を１つのみ簡単に示した。
【００７１】
（５）窓画像圧縮処理（ステップＳ９０５）
選択した入力窓画像を登録フェーズと同一の低次元空間に圧縮する。ここでは、登録フェーズと同様、改良局所特徴空間法を用いて低次元空間に圧縮する方法を採り、原画像である窓画像からＤＣＴ係数を計算し、直流成分を除いて画像の特徴を良く表わす低周波の係数を２０個選択して２０次元空間に圧縮する。図３（ｂ）の矢印はこの低次元空間への投影を簡単に表わしている。
【００７２】
（６）窓画像照合処理（ステップＳ９０６）
低次元空間内において登録済みのモデル窓画像と認識対象の窓画像を比較し、特徴空間内での距離が近い対応窓を見つけ、窓画像の照合処理を行なう。このようにして対応づけられたモデル窓画像と入力窓画像の組み合わせに対して、画像内位置および両者の特徴空間内距離を対応窓情報として記憶しておく。
【００７３】
（７）対応窓の相対位置投票処理（ステップＳ９０７）
対応窓情報に基づいて、入力画像とモデル画像を比較照合し、対応窓同士の配置関係の整合性評価を行う。具体的には、対応窓情報に記述されているモデル窓画像と入力窓画像の画像内位置の差分である相対位置ベクトルを求め、２次元投票マップ上の対応する格子に投票を行う。
【００７４】
以下に、このステップＳ９０７の対応窓の相対位置投票処理を詳しく説明する。
【００７５】
本発明の画像照合処理システムでは、相対位置投票処理において、各モデル窓画像に割り当てられたスコア値に従った重み付け投票を行い、投票に占める各モデル窓画像の影響力を加味した投票とする。つまり、モデル窓画像のスコア値に応じて、対応窓の投票数を変化させる。図１０は、各モデル窓画像に割り当てられたスコア値に従った重み付け投票の際の重み付け方法（投票数の変化方法）を説明したものである。図１０において、横軸は特徴空間内距離、縦軸は投票数を示している。図１０に示すように、投票数Ｖは２つのパラメタにより決定される。第１のパラメタは、対応窓画像の特徴空間内距離ｄである。特徴空間内距離ｄに反比例して決定されている。つまり、特徴空間内距離ｄが０である場合に投票数が最大となる。第２のパラメタは、モデル窓画像のスコア値に比例して決められるＶbase（特徴空間内距離ｄ＝０の場合の最大可能投票数）である。従来手法においては、図８に見たように全ての窓画像に対してスコア値が一定、つまり、Ｖbaseは全ての窓画像に対して一定値としていたが、本発明の画像照合処理システムでは、各モデル窓画像スコアの値に比例するようにＶbaseの値が設定される。そのため、高いスコア値が割り当てられた重要度の高いモデル窓画像の持つ投票数Ｖが相対的に大きくなり、低いモデル窓画像スコアが割り当てられた重要度の低い窓画像では投票数Ｖが低く抑えられることとなる。このように、最終的投票結果を評価する際には、重要度の高い窓画像の照合結果がより大きな影響力を持つことになる。
【００７６】
次に、重み付け投票が実行される様子を説明する。
【００７７】
窓画像照合処理（ステップＳ９０６）で出力された対応窓情報に基づいて、対応するモデル窓画像と入力窓画像の特徴空間内での相対位置△Pを求める。なお、モデル窓位置に対しては幾何変換パラメタを用いて変換処理を行っておくことが好ましい。そして、モデル画像ごとに用意された投票マップ上の△Pのポイントに、投票数Vを投票する。図１１にこの様子を簡単に示した。ここで、投票マップとは、モデル画像毎に用意した平面を格子状に区切った投票空間であり、投票とは、投票マップ上の格子に投票に応じた値を加算する処理である。投票される格子位置は、窓画像のペアの画像上での相対位置に応じて定められる。例えば、両者が全く同じ位置にあれば相対位置は０となり投票マップの中心に投票される。もし、登録モデルの顔画像と認識対象の顔画像が同一人物のものであれば、目と目、口と口等、多くの窓画像同士が正しく対応し合うため、それら対応し合う窓画像同士の相対位置はほぼ一定となり、投票マップ上の同じ格子位置に票が集中することとなる。一方、登録モデルの顔画像と認識対象の顔画像が異なるものであれば、窓画像のうち、正しく対応し合わないものが増え、それらの相対位置がいろいろなバラツキを持つため、投票マップ上の広い範囲に票が分散することとなる。
【００７８】
（９）ピーク位置検出・類似度計算処理（ステップＳ９０８）
最後に、対応窓の相対位置投票処理（ステップＳ９０７）の終了後、最多得票数を持つ格子（以降ピークと呼ぶ）を見つけ、得票数をもとに登録モデルの顔画像と認識対象の顔画像の類似度を算出し、この算出結果を基準に画像認識・照合を行う。また、ピークの位置から、登録物体が認識対象画像内のどこにあるかを検出することができる。
【００７９】
次に、上記実施形態１にかかる画像照合処理を実行する画像照合処理システムの装置構成概略を示す。
【００８０】
図１２は実施形態１にかかる本発明の画像照合処理システムの装置構成概略を示すブロック図である。
【００８１】
図１２において、１０は画像取り込み部、２０は窓画像切り出し部、３０は窓画像圧縮部、４０は特徴空間投影部、５０は窓画像照合部、６０はスコア値付与部、７０はモデルデータ格納部、８０は対応窓の相対位置投票処理部、９０は認識判定部である。
【００８２】
画像取り込み部１０は、画像データを取り込む部分である。
【００８３】
窓画像切り出し部２０は、取り込んだ画像から、画像の特徴点を検出し、選択された特徴点を基に当該特徴点を囲む小さい領域、例えば矩形の局所領域を窓画像として切り出す部分である。
【００８４】
窓画像圧縮部３０は、窓画像を低次元空間にマッピングし、データ圧縮する部分である。ここでは、窓画像圧縮部３０は窓画像データからＤＣＴ係数を計算し、直流成分を除いて低周波の係数を適度に選択することによって低次元空間に圧縮する処理を実行する。
【００８５】
特徴空間投影部４０は、窓画像を特徴空間に投影する部分である。
【００８６】
窓画像照合部５０は、登録済みのモデル窓画像データと、照合対象となった窓画像データを低次元空間である特徴空間内での距離が近い対応窓を見つけ、窓画像の照合処理を行なう部分である。生成した対応窓情報を記憶する。
【００８７】
スコア値付与部６０は、各モデル窓画像ごとにスコア値を割り当てる部分である。この例では、スコア値付与部６０は、スコア値調整部６１を備え、利用者が必要に応じて各モデル窓画像のスコア値をチューニングすることができる構成となっている。
【００８８】
モデルデータ格納部７０は、各モデル窓画像ごとにスコア値が割り当てられたモデルデータを格納する部分である。
【００８９】
対応窓の相対位置投票処理部８０は、対応窓情報に基づいて、入力画像とモデル画像を比較照合し、スコア値に従った重み付け投票を行う部分であり、対応窓同士の配置関係の整合性評価を行う部分である。具体的には、対応窓情報に記述されているモデル窓画像と照合対象となった窓画像の画像内位置の差分である相対位置ベクトルを求め、２次元投票マップ上の対応する格子に投票を行う。
【００９０】
認識判定部９０は、相対位置投票処理結果に基づいてピークの有無を検出し、入力画像の画像認識を行う部分である。また、ピークの位置から、登録物体が認識対象画像内のどこにあるかを検出する。
【００９１】
図１のフローチャートにより説明した認識フェーズの各処理ステップは、図１２の構成要素のうち、画像取り込み部１０、窓画像切り出し部２０、窓画像圧縮部３０、特徴空間投影部４０、窓画像照合部５０、スコア値付与部６０により実効され、モデル画像データの取り込み、対象領域切り出し処理（ステップＳ１０１）、画像特徴点検出処理（ステップ１０２）、窓画像選択処理（ステップＳ１０３）、窓画像圧縮処理（ステップＳ１０４）、モデル窓画像スコア値計算処理（ステップＳ１０５）、画像照合用モデルデータの登録処理（ステップＳ１０６）までの各ステップの処理が実効される。
【００９２】
また、図９のフローチャートにより説明した登録フェーズの各処理ステップは、図１２の構成要素のうち、画像取り込み部１０、窓画像切り出し部２０、窓画像圧縮部３０、特徴空間投影部４０、窓画像照合部５０、モデルデータ格納部７０、対応窓の相対位置投票処理部８０により実効され、認識対象画像取得処理（ステップＳ９０１）、認識対象領域切り出し処理（ステップＳ９０２）、画像特徴点検出処理（ステップ９０３）、窓画像選択処理（ステップＳ９０４）、窓画像圧縮処理（ステップＳ９０５）、窓画像照合処理（ステップＳ９０６）、対応窓の相対位置投票処理（ステップＳ９０７）、ピーク位置検出・類似度計算処理（ステップＳ９０８）までの各ステップの処理が実効される。
【００９３】
以上、本発明の画像照合処理システムによれば、その人物特有の局所特徴である他人との相違点がより強調されるため、登録人数が大規模な場合においても、従来手法と比較して本人棄却率や他人受理率などの誤認識率を比較的低く抑えることが可能になる。
【００９４】
（実施形態２）
実施形態２にかかる画像照合処理システムは、登録フェーズにおいて、実施形態１と同様、モデル窓画像に対する識別容易性の大きさに応じて重み付けして与えられたスコア値に応じ、各モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを調整するものであるが、実施形態２では、スコア値が与えられた後、窓画像切り出し部が、各モデル窓画像のスコア値に従った個数分、その窓画像近傍に位置する窓画像を追加選択して切り出す窓画像追加処理を行い、モデル画像中のスコア値の高い画像部分から多くのモデル窓画像を選ぶことにより、各モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを調整するものである。
【００９５】
図１３は、窓画像追加処理の概念を模式的に説明した図である。
【００９６】
窓画像追加処理に先立ち、実施形態１と同様、スコア値の割り当てが実行されている。例えば、図１３に示すモデル画像中、モデル窓画像Ｗｎのスコア値が“ｍ”であったとする。窓画像切り出し部２０は、モデル窓画像Ｗｎのスコア値“ｍ”に従った個数分、例えばｍ個の窓画像をそのモデル窓画像Ｗｎの近傍から追加選択して切り出す。図１３の例ではモデル窓画像Ｗｎの近傍からＷｎ１〜Ｗｎｍのｍ個の新たな窓画像を追加選択して切り出している。
【００９７】
このように各モデル窓画像のスコア値に従った個数分、その窓画像近傍に位置する窓画像を追加選択して切り出すことにより、スコア値に応じる形で認識フェーズで窓画像照合が実効され、相対位置投票される個数が増えるため、結果としてスコア値に応じる形で、各モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを調整することができる。
【００９８】
登録フェーズで窓画像追加処理を実行した場合における認識フェーズでの処理は実施形態１で説明した認識フェーズと同様で良い。登録フェーズで窓画像追加処理を実行した場合、窓画像の追加数に応じて投票マップ上の該当部分における投票数が増加することとなる。このように登録フェーズにおいて、重要な窓画像の周辺にその重要度に応じて窓画像を追加選択しておくことにより、重要度に応じた重み付け投票ができることとなる。実施形態１で用いたスコア値に従った重み付け投票と同様の重み付けの効果が得られることとなる。
【００９９】
（実施形態３）
実施形態３にかかる画像照合処理システムは、登録フェーズにおいて、実施形態１と同様のモデル窓画像に対する識別容易性の大きさに応じた重み付けに加え、モデル窓画像ごとに、撮影姿勢や撮影状態などの環境変動にかかわらず正しく画像照合できるというロバスト性を評価し、そのロバスト性の大きさに応じた重み付けも行ってスコア値を求めるものである。ロバスト性の大きなモデル窓画像に対してスコア値を大きくすることにより、入力画像の撮影環境によらず、そのモデル窓画像の画像照合結果は信頼の高いものであるので、当該モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを高く調整する。
【０１００】
図１４は実施形態３にかかる本発明の画像照合処理システムの装置構成概略を示すブロック図である。
【０１０１】
図１４において、画像取り込み部１０、窓画像切り出し部２０、窓画像圧縮部３０、特徴空間投影部４０、窓画像照合部５０、モデルデータ格納部７０、対応窓の相対位置投票処理部８０、認識判定部９０は実施形態１で説明した図１２と同様のものであり、ここでの説明は省略する。図１４の構成では、スコア値付与部６０ａは、窓画像ロバスト性評価部６２を備えている。
【０１０２】
窓画像ロバスト性評価部６２は、モデル窓画像の持つロバスト性を評価する部分であり、スコア値付与部６０ａは、一定のロバスト性を持つモデル窓画像のスコア値を高く重み付ける。例えば、実施形態１と同様、識別容易性の大きさに応じて重み付けたスコア値に対し、一定のロバスト性を持つモデル窓画像であればそのスコア値を２倍にしたり、逆に一定のロバスト性を持たないモデル窓画像であればそのスコア値を０．５倍にしたりという重み付けの調整を行う。
【０１０３】
以下に、環境変動に対するロバスト性の高いロバスト窓画像の抽出原理を説明する。
【０１０４】
図１５は、ロバスト窓画像の抽出原理を簡単に説明する図である。
【０１０５】
図１５の上から第１段目は登録画像群１００である。同じ人物の複数の画像である。ここでは撮影環境の変動として、姿勢を連続的に変化させることとし、姿勢を所定きざみで連続的に変化させた連続画像とし、左端から登録画像Ａ（１）、登録画像Ａ（２）、・・・、登録画像Ａ（ｎ）のｎ枚の画像群とした。ここでは便宜上第１の登録画像Ａ（１）を基本登録画像とする。また、ここでは説明を簡単にするため第１の登録画像Ａ（１）と第２の登録画像Ａ（ｎ）の間の画像図示は省略したが第１の登録画像Ａ（１）から第２の登録画像Ａ（ｎ）までの姿勢変化の中間画像が与えられているものとする。なお、中間画像の枚数および撮影環境の変化のきざみは限定されることはなく、一例として示した。
【０１０６】
図１５の例は姿勢の連続的に変化させた撮影環境の違いであるが、撮影環境変動は認識フェーズで入力が想定される様々なバリエーションのものとすることが好ましい。認識フェーズで入力された画像の撮影環境の違いに影響されないモデル窓画像を生成するため、多様な撮影環境バリエーションに対するロバスト性を検証しておく必要があるからである。ここで、想定されうる撮影環境の違いとは、人物とカメラとの相対位置（距離、方向）、照明条件（照度や照明光の波長やスペクトルなどの光源条件、人物と照明との相対位置（距離、方向））、経時変化（例えば髪型、眼鏡、ひげの有無）、表情変化（例えば無表情や笑顔）など多数あるが、これらは一例であり本発明は上記列挙の撮影環境の違いに限定されない。
【０１０７】
図１５の上から第２段目はトラッキング窓画像群１１０を簡単に表した例である。撮影環境変動を加味しない第１の窓画像選択基準として、トラッキングによる窓画像の抽出を用いる。以下、トラッキングによる窓画像抽出方法の一例を説明する。上記したようにここでは、登録画像群のうち第１の登録画像Ａ（１）が基本登録画像とされている。トラッキング窓画像群とは、基本登録画像から窓画像として抽出された登録画像中の部位（例えば、目、鼻、口）に相当する窓画像を、登録画像群の各画像にわたりトラッキングして得た窓画像群である。つまり、基本登録画像である第１の登録画像Ａ（１）において左目の部位が窓画像として抽出された場合、すべての登録窓画像群の連続画像にわたり左目の部位の窓画像をトラッキングして各画像において抽出して行き、このようにトラッキングして得た左目の部位の窓画像群を意味する。ここで重要なことは連続画像の一つ一つを個別の画像として窓画像を抽出するものではなく、基本登録画像から窓画像として抽出された登録画像中の部位に相当する窓画像を、登録画像群の各画像にわたりトラッキングして得ることである。結局、トラッキングして得られる窓画像は、環境変動の影響を無視して、基本登録画像の環境において抽出された窓画像が、各環境変動バリエーションの登録画像内のどの位置に存在しているかをトラッキングした結果となる。
【０１０８】
図１５でのトラッキング窓画像抽出の様子を説明する。図１５の例では、基本登録画像Ａ（１）から抽出した窓画像がＢ１（Ａ１），Ｂ２（Ａ１），・・・，Ｂ１０（Ａ１）までの１０個である。この１０個の窓画像に相当する画像部位がそれぞれの中間の登録窓画像においてどこに位置するかをトラッキングして抽出してゆき、登録画像Ａ（２）においては、登録画像Ａ（１）からのトラッキングの結果、Ｂ１（Ａ２），Ｂ２（Ａ２），・・・，Ｂ１０（Ａ２）の窓画像が抽出され、登録画像Ａ（ｎ）においては、登録画像Ａ（１），Ａ（２），・・・，Ａ（ｎ−１）からのトラッキングの結果、Ｂ１（Ａｎ），Ｂ２（Ａｎ），・・・，Ｂ１０（Ａｎ）の窓画像が抽出されることとなる。
【０１０９】
図１５の上から第３段目は静的抽出窓画像１２０を簡単に表した例である。撮影環境変動を加味した第２の窓画像選択基準として窓画像の静的抽出を用いる。ここでいう静的抽出窓画像とは、登録画像群に含まれる連続画像の１枚１枚を個別に単独の画像として窓画像を抽出したものである。つまり、撮影環境の多様なバリエーションに対処するための用意された各撮影環境ごとの画像から窓画像を抽出したものとなり、これは、それぞれの撮影環境の影響下において認識対象画像から切り出される窓画像となる。この静的抽出窓画像は環境変動を受けた結果として各登録画像から抽出された窓画像と言っても良い。
【０１１０】
図１５での静的抽出窓画像抽出の様子を説明する。いま、基本登録画像Ａ（１）から抽出した窓画像がＣ１（Ａ１），Ｃ２（Ａ１），・・・，Ｃ１０（Ａ１）までの１０個である。なお、これらはそれぞれ第２段のＢ１（Ａ１），Ｂ２（Ａ１），・・・，Ｂ１０（Ａ１）と同じものである。次に、図１５の例では、登録画像Ａ（２）から静的につまり単独に抽出した窓画像が、Ｄ１（Ａ２），Ｄ２（Ａ２），・・・，Ｄ１２（Ａ２）である。ここでは１２個の窓画像が抽出されている。登録画像Ａ（２）は環境が登録画像Ａ（１）とは異なっているので抽出される窓画像が、同じ１０個とは限らない。つまり登録画像Ａ（１）に比べてより多くの窓画像が抽出されるかも知れないし、より少ない窓画像が抽出されるかも知れない。つまり、トラッキング窓画像抽出においてトラッキングの結果抽出できた窓画像であっても、静的抽出では窓画像として抽出されないものや、逆にトラッキングの結果抽出されていない窓画像が静的抽出では窓画像として抽出される場合がある。このように静的抽出窓画像は各環境個別に抽出されるものである。
【０１１１】
続いて各中間画像についても同様に静的抽出による窓画像抽出を実行して行き、登録画像Ａ（ｎ）から静的につまり単独に抽出した窓画像が、Ｅ１（Ａｎ），Ｅ２（Ａｎ），・・・，Ｅ１２（Ａｎ）であり、１２個の窓画像が抽出されたものとする。
【０１１２】
図１５の上から第４段目はロバスト窓画像１３０を簡単に示したものである。図１５の例におけるロバスト窓画像の抽出原理は、第２段目のトラッキング窓画像１１０と第３段目の静的抽出窓画像１２０においても共通して窓画像として抽出されている窓画像を選択するものである。つまり、分かりやすく言うと、環境変動のバリエーションにおいて、第１の窓画像選択基準であるトラッキングによる窓画像抽出の結果であっても第２の窓画像選択基準である静的抽出による窓画像抽出の結果であっても選択されている部位の窓画像、つまり、基本登録画像の撮影環境からの撮影環境変動にかかわらず選択された窓画像をロバスト窓画像として選択するものである。
【０１１３】
図１５の例では、登録画像Ａ（１）では、Ｆ１（Ａ１），Ｆ２（Ａ１），・・・，Ｆ１０（Ａ１）の１０個の窓画像が選択され、登録画像Ａ（２）では、Ｇ１（Ａ２），Ｇ２（Ａ２），・・・，Ｇ９（Ａ２）の９個の窓画像が選択され、登録画像Ａ（ｎ）では、Ｈ１（Ａｎ），Ｈ２（Ａｎ），・・・，Ｈ８（Ａｎ）の８個の窓画像が選択されている。
【０１１４】
次に、図１６に別のパターンのロバスト窓画像の抽出原理の一例を示す。
【０１１５】
図１６の上から第１段目は登録画像群１００であり、図１５と同様のものである。姿勢を所定きざみで連続的に変化させた連続画像であり、左端から登録画像Ａ（１）、登録画像Ａ（２）、・・・、登録画像Ａ（ｎ）のｎ枚の画像群である。ここでも便宜上第１の登録画像Ａ（１）を基本登録画像とする。
【０１１６】
図１６の上から第２段目はトラッキング窓画像群１１０であり、図１５と同様のものである。図１６の例でも、基本登録画像Ａ（１）から窓画像Ｂ１（Ａ１），Ｂ２（Ａ１），・・・，Ｂ１０（Ａ１）までの１０個が抽出され、登録画像Ａ（２）においては、登録画像Ａ（１）からのトラッキングの結果、Ｂ１（Ａ２），Ｂ２（Ａ２），・・・，Ｂ１０（Ａ２）の窓画像が抽出され、登録画像Ａ（ｎ）においては、登録画像Ａ（１），Ａ（２），・・・，Ａ（ｎ−１）からのトラッキングの結果、Ｂ１（Ａｎ），Ｂ２（Ａｎ），・・・，Ｂ１０（Ａｎ）の窓画像が抽出されている。
【０１１７】
図１６の上から第３段目は静的抽出窓画像１２０であり、図１５と同様のものである。基本登録画像Ａ（１）から窓画像Ｃ１（Ａ１），Ｃ２（Ａ１），・・・，Ｃ１０（Ａ１）までの１０個が抽出され、登録画像Ａ（２）から静的につまり単独に窓画像が、Ｄ１（Ａ２），Ｄ２（Ａ２），・・・，Ｄ１２（Ａ２）の１２個が抽出され、登録画像Ａ（ｎ）から静的につまり単独に窓画像が、Ｄ１（Ａｎ），Ｄ２（Ａｎ），・・・，Ｄ１２（Ａｎ）１２個抽出されている。
【０１１８】
図１６の上から第４段目はロバスト窓画像群１４０を簡単に示したものである。このロバスト窓画像の抽出原理は、第２段目のトラッキング窓画像１１０の各トラッキング窓画像群Ｂ１〜Ｂ１０のうち、すべての登録画像にわたり第３段目の静的抽出窓画像１２０においても共通して窓画像として抽出されている窓画像群を選択するものである。つまり、分かりやすく言うと、環境変動のバリエーションすべてにおいて窓画像として選択された部位の窓画像、つまり、環境変動にかかわらず常に、第１の窓画像選択基準であるトラッキングによる窓画像抽出においても、第２の窓画像選択基準である静的抽出による窓画像抽出においても選択された窓画像がロバスト窓画像ということになる。図１５に示したロバスト窓画像の抽出原理は、各登録画像ごとに基本登録画像の撮影環境との撮影環境変動に対してロバストな窓画像を選んだが、この図１６に示したロバスト窓画像の抽出原理は、基本登録画像の撮影環境との撮影環境変動のすべてにわたってロバストな部位の窓画像群を選ぶものである。
【０１１９】
図１６の例では、７つの窓画像群がロバスト窓画像群として選択され、登録画像Ａ（１）では、Ｉ１（Ａ１），Ｉ２（Ａ１），・・・，Ｉ７（Ａ１）が選択され、登録画像Ａ（２）では、Ｊ１（Ａ２），Ｊ２（Ａ２），・・・，Ｊ７（Ａ２）が選択され、登録画像Ａ（ｎ）では、Ｋ１（Ａｎ），Ｋ２（Ａｎ），・・・，Ｋ７（Ａｎ）が選択されている。
【０１２０】
窓画像ロバスト性評価部６２は、以上のロバスト性の高いモデル窓画像の抽出原理を用いて、モデル窓画像の持つロバスト性を評価し、スコア値付与部６０ａは、一定のロバスト性を持つモデル窓画像のスコア値を高く重み付ける。
【０１２１】
（実施形態４）
本発明の画像照合処理システムは、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明の画像照合処理システムを実現する処理ステップを備えたプログラムを記録した記録媒体は、図１７に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ１００２やフレキシブルディスク１００３等の可搬型記録媒体１００１だけでなく、ネットワーク上にある記録装置内の記録媒体１０００や、コンピュータのハードディスクやＲＡＭ等の記録媒体１００５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ１００４上にローディングされ、主メモリ上で実行される。
【０１２２】
本発明の画像照合処理システムおよび画像照合処理方法についてさらに以下の項を開示する。
【０１２３】
（付記１）予め取り込んだ認識対象のモデル画像から切り出された特徴的な一又は複数の本人のモデル窓画像に対して、他の異なる認識対象のモデル画像から切り出された一又は複数の他人のモデル窓画像からの識別容易性の大きさに応じて重み付けしたスコア値を与えるスコア値付与部と、
認識対象が含まれた入力画像から特徴的な一又は複数の入力窓画像を切り出す窓画像切り出し部と、
前記入力画像の各入力窓画像と前記モデル画像の各モデル窓画像とを、その特徴ベクトルを軸とする特徴空間に投影し、両者を対応づけて画像照合する画像認識処理部を備え、
前記画像認識処理部は、前記画像照合において、前記各モデル窓画像のスコア値に従って、前記各モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整することを特徴とする画像照合処理システム（１）。
【０１２４】
（付記２）前記スコア値付与部は、各モデル窓画像ごとの識別容易性の大きさを、
スコア値を付与するモデル画像と同じ認識対象が撮影された参照画像から切り出した参照窓画像と、前記本人のモデル窓画像とを比較照合した場合の一致度合いを示す本人識別性の大きさと、
前記参照窓画像と、スコア値を付与するモデル画像と異なる認識対象のモデル画像から切り出した他人のモデル窓画像とを比較照合した場合の不一致度合いを示す他人識別性の大きさをもとに決める付記１に記載の画像照合処理システム（２）。
【０１２５】
（付記３）前記モデル窓画像ごとの識別容易性の大きさを決める処理において、
前記本人識別性の大きさを、前記参照窓画像の特徴空間への投影点と前記本人のモデル窓画像の特徴空間への投影点との特徴空間内での近さに応じて決め、
前記他人識別性の大きさを、前記本人の参照窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離に応じて決める付記２に記載の画像照合システム（３）。
【０１２６】
（付記４）前記モデル窓画像ごとの識別容易性の大きさを決める処理において、前記スコア値を付与するモデル画像の認識対象とは異なる認識対象のモデル画像が複数ある場合、
前記他人のモデル画像ごとに、前記参照窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離を求め、それら距離の平均値をもって、前記他人識別性の大きさとした付記３に記載の画像照合システム（４）。
【０１２７】
（付記５）前記モデル窓画像ごとの識別容易性の大きさを決める処理において、前記スコア値を付与するモデル画像の認識対象とは異なる認識対象のモデル画像が複数ある場合、
前記他人のモデル画像ごとに、前記参照窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離を求め、その距離が小さい上位Ｎ個の平均値をもって、前記他人識別性の大きさとした付記３に記載の画像照合システム。
【０１２８】
（付記６）前記スコア値付与部のスコア値付与処理における、各モデル窓画像ごとの識別容易性の大きさを、
スコア値を付与するモデル画像と同じ認識対象が撮影された参照画像から切り出した参照窓画像の特徴空間への投影点と前記本人のモデル窓画像の特徴空間への投影点との特徴空間内での距離と、
前記参照窓画像の特徴空間への投影点とスコア値を付与するモデル画像と異なる認識対象のモデル画像から切り出した他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離との差分値を正規化した値を前記モデル窓画像ごとの識別容易性の大きさとした付記１に記載の画像照合システム（５）。
【０１２９】
（付記７）前記スコア値付与部のスコア値付与処理における、各モデル窓画像ごとの識別容易性の大きさを、
スコア値を付与するモデル画像と同じ認識対象が撮影された参照画像から切り出した参照窓画像の特徴空間への投影点と前記本人のモデル窓画像の特徴空間への投影点との特徴空間内での距離と、
前記参照窓画像の特徴空間への投影点とスコア値を付与するモデル画像と異なる認識対象のモデル画像から切り出した他人のモデル窓画像の特徴空間への投影点との特徴空間内での距離との比を前記本人のモデル窓画像ごとの識別容易性の大きさとした付記１に記載の画像照合システム。
【０１３０】
（付記８）前記参照画像として、同じ認識対象を異なる姿勢、異なるサイズで撮影した画像を用い、それら参照画像から切り出した参照窓画像と前記本人のモデル窓画像とを比較照合した場合に、一致度合いを示す本人識別性の大きさが大きいものを、環境変動に対するロバスト性を持つ窓画像として前記相対的影響を大きくする付記２に記載の画像照合処理システム。
【０１３１】
（付記９）前記スコア値付与部のスコア値付与処理における、各モデル窓画像ごとの識別容易性の大きさを、前記本人のモデル窓画像とスコア値を付与するモデル画像と異なる認識対象のモデル画像から切り出した他人のモデル窓画像とを比較照合した場合の不一致度合いを示す他人識別性の大きさをもとに決め、
前記本人のモデル窓画像の特徴空間への投影点と前記他人のモデル窓画像の特徴空間への投影点との距離が小さいものには前記相対的影響を低くし、大きいものには前記相対的影響を大きくする付記１に記載の画像照合システム（６）。
【０１３２】
（付記１０）前記スコア値付与部が、スコア値調整部を備え、
前記スコア値調整部を介した、利用者によるモデル窓画像のスコア値の調整を可能とした付記１から９のいずれかに記載の画像照合処理システム。
【０１３３】
（付記１１）前記スコア値が与えられた後、前記窓画像切り出し部が、各モデル窓画像のスコア値に従った個数分、その窓画像近傍に位置する窓画像を追加選択して切り出す窓画像追加処理を行い、モデル画像中のスコア値の高い画像部分から多くのモデル窓画像を選ぶことにより、前記相対的な影響度合いを調整する付記１に記載の画像照合処理システム（７）。
【０１３４】
（付記１２）前記画像認識処理部は、画像照合処理として、各モデル窓画像ごとの照合結果を重畳投票することにより認識する入力画像とモデル画像との画像照合を行い、
前記重畳投票を、各モデル窓画像のスコア値に従った重み付け投票により行うことにより、前記各モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整する付記１に記載の画像照合処理システム（８）。
【０１３５】
（付記１３）予め取り込んだ認識対象のモデル画像から切り出された特徴的な一又は複数の本人のモデル窓画像に対して、他の異なる認識対象のモデル画像から切り出された一又は複数の他人のモデル窓画像からの識別容易性の大きさに応じて重み付けしたスコア値を与え、
認識対象が含まれた入力画像から特徴的な一又は複数の入力窓画像を切り出し、
前記入力画像の各入力窓画像と前記モデル画像の各モデル窓画像とを、その特徴ベクトルを軸とする特徴空間に投影し、両者を対応づけて画像照合し、
前記画像照合において、前記各モデル窓画像のスコア値に従って、前記各モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整することを特徴とする画像照合方法（９）。
【０１３６】
（付記１４）画像照合処理システムを実現する処理ステップを記録したコンピュータ読み取り可能な記録媒体であって、
予め取り込んだ認識対象のモデル画像から切り出された特徴的な一又は複数の本人のモデル窓画像に対して、他の異なる認識対象のモデル画像から切り出された一又は複数の他人のモデル窓画像からの識別容易性の大きさに応じて重み付けしたスコア値を与えるスコア値付与処理ステップと、
認識対象が含まれた入力画像から特徴的な一又は複数の入力窓画像を切り出す窓画像切り出し処理ステップと、
前記入力画像の各入力窓画像と前記モデル画像の各モデル窓画像とを、その特徴ベクトルを軸とする特徴空間に投影し、両者を対応づけて画像照合する画像認識処理ステップを備え、
前記画像認識処理ステップは、前記画像照合において、前記各モデル窓画像のスコア値に従って、前記各モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整する処理ステップを含むことを特徴とする処理プログラムを記録した記録媒体（１０）。
【０１３７】
【発明の効果】
本発明の画像照合処理システムによれば、その人物特有の局所特徴である他人との相違点がより強調されるため、登録人数が大規模な場合においても、従来手法と比較して本人棄却率や他人受理率などの誤認識率を比較的低く抑えることが可能になる。
【０１３８】
また、本発明の画像照合処理システムによれば、識別容易性の大きさに応じた重み付けに加え、ロバスト性の大きなモデル窓画像に対してスコア値を大きくすることにより、当該モデル窓画像の画像照合結果が画像照合結果全体に占める相対的な影響度合いを高く調整することができ、入力画像の撮影環境によらず、信頼性の高い安定した画像照合処理を実現することができる。
【図面の簡単な説明】
【図１】 本発明の画像照合処理システムで用いる「登録フェーズ」の処理手順を示したフローチャート
【図２】 人物顔画像を取り込む様子を示す図
【図３】 （ａ）はモデル画像から特徴点を基に局所領域を窓画像として選択し、低次元空間に投影した例を示す図、（ｂ）は認識対象である入力画像から特徴点を基に局所領域を窓画像として選択し、低次元空間に投影した例を示す図
【図４】 登録人物Ａのモデル窓画像のスコア値を計算する概念を模式的に示した図
【図５】 図４に示したスコア値の計算方法による処理の流れを示すフローチャート
【図６】 登録人物Ａのモデル窓画像のスコア値を計算する第２の概念を模式的に示した図
【図７】 登録人物Ａのモデル窓画像のスコア値を計算する第３の概念を模式的に示した図
【図８】 従来の局所固有空間法による画像照合処理システムのモデル窓画像と本発明の画像照合処理システムにおけるモデル窓画像を比較した図
【図９】 本発明の画像照合処理システムで用いる「認識フェーズ」の処理手順を示したフローチャート
【図１０】 各モデル窓画像に割り当てられたスコア値に従った重み付け投票の際の重み付け方法を説明した図
【図１１】 モデル画像ごとに用意された投票マップ上の△Ｐのポイントに、投票数Ｖを投票する様子を示す図
【図１２】 実施形態１にかかる本発明の画像照合処理システムの装置構成概略を示すブロック図
【図１３】 窓画像追加処理の概念を模式的に説明した図
【図１４】 本発明の実施形態３にかかる本発明の画像照合処理システムの装置構成概略を示すブロック図
【図１５】 ロバスト窓画像の抽出原理を簡単に説明する図
【図１６】 別のパターンのロバスト窓画像の抽出原理の一例を示す図
【図１７】 実施形態４における本発明の画像照合処理システムを実現する処理プログラムを記録した記録媒体の例を示す図
【図１８】 従来の改良局所特徴空間法を用いた画像照合処理の流れを簡単に示した図
【符号の説明】
１０ 画像取り込み部
２０ 窓画像切り出し部
３０ 窓画像圧縮部
４０ 特徴空間投影部
５０ 窓画像照合部
６０，６０ａ スコア値付与部
６１ スコア値調整部
６２ 窓画像ロバスト性評価部
７０ モデルデータ格納部
８０ 対応窓の相対位置投票処理部
９０ 認識判定部
１００ 登録画像群
１１０ トラッキング窓画像群
１２０ 静的抽出窓画像
１３０ ロバスト窓画像
１４０ ロバスト窓画像群
１０００ 記録装置内の記録媒体
１００１ 可搬型記録媒体
１００２ ＣＤ−ＲＯＭ
１００３ フレキシブルディスク
１００４ コンピュータ
１００５ コンピュータのハードディスクやＲＡＭ等の記録媒体
Claims (10)
- 本人モデル画像から所定の特徴点検出により切り出された本人モデル窓画像と、前記本人モデル画像とは異なる他人モデル画像から前記特徴点検出により切り出された他人モデル窓画像とに基づく識別容易性の大きさに応じて重み付けしたスコア値を、前記本人モデル窓画像に与えるスコア値付与部と、
認識対象が含まれた入力画像から前記特徴点検出により入力窓画像を切り出す窓画像切り出し部と、
前記入力画像の入力窓画像と、前記スコア値が与えられた前記本人モデル窓画像とを、その特徴ベクトルを軸とする特徴空間に投影し、両者を対応づけて画像照合する画像認識処理部を備え、
前記画像認識処理部は、前記画像照合において、前記本人モデル窓画像のスコア値に従って、前記本人モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整することを特徴とする画像照合処理システム。 - 前記スコア値付与部は、前記本人モデル窓画像における識別容易性の大きさを、
前記本人モデル画像と同じ認識対象が撮影された参照画像から切り出された参照窓画像と、前記本人モデル窓画像とを比較照合した場合の一致度合いを示す本人識別性の大きさと、
前記参照窓画像と、前記本人モデル画像とは異なる他人モデル画像から切り出された他人モデル窓画像とを比較照合した場合の不一致度合いを示す他人識別性の大きさをもとに決める請求項１に記載の画像照合処理システム。 - 前記本人モデル窓画像における識別容易性の大きさを決める処理において、
前記本人識別性の大きさを、前記参照窓画像の特徴空間への投影点と前記本人モデル窓画像の特徴空間への投影点との特徴空間内での近さに応じて決め、
前記他人識別性の大きさを、前記本人の参照窓画像の特徴空間への投影点と前記他人モデル窓画像の特徴空間への投影点との特徴空間内での距離に応じて決める請求項２に記載の画像照合システム。 - 前記本人モデル窓画像における識別容易性の大きさを決める処理において、前記本人モデル画像とは異なる他人モデル画像が複数ある場合、
前記他人モデル画像ごとに、前記参照窓画像の特徴空間への投影点と前記他人モデル窓画像の特徴空間への投影点との特徴空間内での距離を求め、それら距離の平均値をもって、前記他人識別性の大きさとした請求項３に記載の画像照合システム。 - 前記スコア値付与部のスコア値を付与する処理における、前記本人モデル窓画像における識別容易性の大きさを
前記本人モデル画像と同じ認識対象が撮影された参照画像から切り出された参照窓画像の特徴空間への投影点と前記本人モデル窓画像の特徴空間への投影点との特徴空間内での距離と、
前記参照窓画像の特徴空間への投影点と前記本人モデル画像とは異なる他人モデル画像から切り出された他人モデル窓画像の特徴空間への投影点との特徴空間内での距離との差分値を正規化した値を前記本人モデル窓画像ごとの識別容易性の大きさとした請求項１に記載の画像照合システム。 - 前記スコア値付与部のスコア値を付与する処理における、前記本人モデル窓画像における識別容易性の大きさを
前記本人モデル窓画像と前記他人モデル窓画像とを比較照合した場合の不一致度合いを示す他人識別性の大きさをもとに決め、
前記本人モデル窓画像の特徴空間への投影点と前記他人モデル窓画像の特徴空間への投影点との距離が小さいものには前記相対的影響を低くし、大きいものには前記相対的影響を大きくする請求項１に記載の画像照合システム。 - 前記スコア値が与えられた後、前記窓画像切り出し部が、各モデル窓画像のスコア値に従った個数分、その窓画像近傍に位置する窓画像を追加選択して切り出す窓画像追加処理を行い、モデル画像中のスコア値の高い画像部分から多くのモデル窓画像を選ぶことにより、前記相対的な影響度合いを調整する請求項１に記載の画像照合処理システム。
- 前記画像認識処理部は、画像照合処理として、各モデル窓画像ごとの照合結果を重畳投票することにより認識する入力画像とモデル画像との画像照合を行い、
前記重畳投票を、各モデル窓画像のスコア値に従った重み付け投票により行うことにより、前記各モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整する請求項１に記載の画像照合処理システム。 - 本人モデル画像から所定の特徴点検出により切り出された本人モデル窓画像と、前記本人モデル画像とは異なる他人モデル画像から前記特徴点検出により切り出された他人モデル窓画像とに基づく識別容易性の大きさに応じて重み付けしたスコア値を、、前記本人モデル窓画像に与え、
認識対象が含まれた入力画像から前記特徴点検出により入力窓画像を切り出し、
前記入力画像の各入力窓画像と、前記スコア値が与えられた前記本人モデル窓画像とを、その特徴ベクトルを軸とする特徴空間に投影し、両者を対応づけて画像照合し、
前記画像照合において、前記本人モデル窓画像のスコア値に従って、前記本人モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整することを特徴とする画像照合方法。 - 画像照合処理システムを実現する処理ステップを記録したコンピュータ読み取り可能な記録媒体であって、
本人モデル画像から所定の特徴点検出により切り出された本人モデル窓画像と、前記本人モデル画像とは異なる他人モデル画像から前記特徴点検出により切り出された他人モデル窓画像に基づく識別容易性の大きさに応じて重み付けしたスコア値を、、前記本人モデル窓画像に与えるスコア値付与処理ステップと、
認識対象が含まれた入力画像から前記特徴点検出により入力窓画像を切り出す窓画像切り出し処理ステップと、
前記入力画像の入力窓画像と、前記スコア値が与えられた前記本人モデル窓画像とを、その特徴ベクトルを軸とする特徴空間に投影し、両者を対応づけて画像照合する画像認識処理ステップを備え、
前記画像認識処理部は、前記画像照合において、前記本人モデル窓画像のスコア値に従って、前記本人モデル窓画像の画像照合結果の画像照合結果全体に占める相対的な影響度合いを調整する処理ステップを含むことを特徴とする処理プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001005390A JP4384366B2 (ja) | 2001-01-12 | 2001-01-12 | 画像照合処理システムおよび画像照合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001005390A JP4384366B2 (ja) | 2001-01-12 | 2001-01-12 | 画像照合処理システムおよび画像照合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002208011A JP2002208011A (ja) | 2002-07-26 |
| JP4384366B2 true JP4384366B2 (ja) | 2009-12-16 |
Family
ID=18873436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001005390A Expired - Fee Related JP4384366B2 (ja) | 2001-01-12 | 2001-01-12 | 画像照合処理システムおよび画像照合方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4384366B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005027048A1 (ja) * | 2003-08-29 | 2005-03-24 | Nec Corporation | 重み情報を用いた物体姿勢推定・照合システム |
| JP4606402B2 (ja) * | 2006-11-27 | 2011-01-05 | 日本電信電話株式会社 | 画像照合方法及び装置及びプログラム |
| US20130250181A1 (en) * | 2010-12-29 | 2013-09-26 | Thomson Licensing | Method for face registration |
| JP5505323B2 (ja) | 2011-01-25 | 2014-05-28 | 富士通株式会社 | 生体認証装置、生体認証装置を制御する制御プログラム、生体認証装置を制御する制御方法及び生体認証システムの制御方法 |
| KR101130817B1 (ko) * | 2011-09-27 | 2012-04-16 | (주)올라웍스 | 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
| JP5616310B2 (ja) * | 2011-09-27 | 2014-10-29 | 日本電信電話株式会社 | 画像マッチング装置及び画像マッチングプログラム |
| JP5974982B2 (ja) * | 2013-06-04 | 2016-08-23 | 三菱電機株式会社 | エレベータシステム |
| WO2023190644A1 (ja) * | 2022-03-31 | 2023-10-05 | ヌヴォトンテクノロジージャパン株式会社 | 性能指標化装置、性能指標化方法、及びプログラム |
| WO2024018605A1 (ja) * | 2022-07-21 | 2024-01-25 | 株式会社ソニー・インタラクティブエンタテインメント | 画像情報処理装置、画像情報処理方法、及びプログラム |
-
2001
- 2001-01-12 JP JP2001005390A patent/JP4384366B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002208011A (ja) | 2002-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4543423B2 (ja) | 対象物自動認識照合方法および装置 | |
| Abate et al. | 2D and 3D face recognition: A survey | |
| EP1766555B1 (en) | Single image based multi-biometric system and method | |
| CN101702198B (zh) | 基于背景比对的视频和活体人脸的鉴别方法 | |
| Barnouti et al. | Face recognition: A literature review | |
| US20100329568A1 (en) | Networked Face Recognition System | |
| US20120288148A1 (en) | Image recognition apparatus, method of controlling image recognition apparatus, and storage medium | |
| WO2008072622A1 (ja) | 顔認証装置 | |
| JP2008123521A (ja) | 拡張されたガボールウェーブレット特徴を利用したフェース認識方法及び装置 | |
| JPH10177650A (ja) | 画像特徴抽出装置，画像特徴解析装置，および画像照合システム | |
| KR101436290B1 (ko) | 생체인식 유형의 접근제어시스템에 대한 부정 검출 | |
| Khan et al. | Low dimensional representation of dorsal hand vein features using principle component analysis (PCA) | |
| JP4387552B2 (ja) | 画像照合処理システム | |
| Doublet et al. | Robust grayscale distribution estimation for contactless palmprint recognition | |
| JP4384366B2 (ja) | 画像照合処理システムおよび画像照合方法 | |
| Khanday et al. | Face recognition techniques: a critical review | |
| Monwar et al. | FES: A system for combining face, ear and signature biometrics using rank level fusion | |
| KR20020022295A (ko) | 3차원 정보를 이용한 얼굴 인식 장치 및 방법 | |
| Ravi et al. | A study on face recognition technique based on Eigenface | |
| Mohamed et al. | Automated face recogntion system: Multi-input databases | |
| Agrawal et al. | An efficient approach for face recognition in uncontrolled environment | |
| Makwana et al. | Evaluation and analysis of illumination normalization methods for face recognition | |
| Behera et al. | Palm print authentication using PCA technique | |
| Bodhe et al. | Real-time age-invariant face recognition in videos using the scatternet inception hybrid network (SIHN) | |
| Verlekar et al. | Walking direction identification using perceptual hashing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060714 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090604 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090908 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090925 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |