JP5848604B2 - 評価装置および評価方法 - Google Patents

Description

この発明は、評価対象画像と登録画像との一致度を評価する評価装置および評価方法に関するものである。

近年、コンピュータ室や重要機械室への入退室管理、コンピュータ端末や銀行の金融端末へのアクセス管理などの個人認証を必要とする分野において、これまでの暗証番号やＩＤカードに代わって、生体情報に基づいて個人の認証を行うシステムが開発されている。

生体情報を用いた個人認証システムは、記憶や所持を必要としないこと、盗難の危険性が低いことから注目されている。生体情報による個人認証では、指紋・虹彩・顔・掌紋・筆跡などが利用されるが、その中でも顔を用いた個人認証は、利便性と受容性が高いことから注目されている。

例えば、ビルなどの入退室管理に用いられる個人認証システムでは、入室しようとする人の顔を撮像して参照画像とし、この参照画像と予め登録されている人の顔の画像（登録画像）との照合を行い、すなわち参照画像（評価対象画像）と登録画像との一致度の評価を行い、参照画像と登録画像とが一致した場合に、その人の入室を許可するようにする。

この参照画像と登録画像との照合処理において、本出願人は、参照画像および登録画像のそれぞれについて、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を作成し、この階層画像の低解像度画像から高解像度画像に向かって位相限定相関法（ＰＯＣ：Phase-Only Correlation）を用いた対応点の探索を行い（例えば、特許文献１，２参照）、探索後の対応領域の位相限定相関値に基づいて、参照画像と登録画像との照合を行うようにしている。以下、この階層画像を用いての対応点探索を階層探索と呼ぶ。

この階層探索では、例えば、参照画像について、その原画像（１２８×１２８の画素の画像）を高解像度画像とし、この高解像度画像の下層に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層に３２×３２の画素の画像（第２の低解像度画像）を作成する。また、登録画像について、参照画像と同様に、その原画像（１２８×１２８の画素の画像）を高解像度画像とし、この高解像度画像の下層に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層に３２×３２の画素の画像（第２の低解像度画像）を作成する。この原画像を含む階層画像において、高解像度画像の階層を第０層、第１の低解像度画像の階層を第１層、第２の低解像度画像の階層を第２層とする。

そして、登録画像の原画像に対してｘ軸方向にｍ個、ｙ軸方向にｎ個の基準点を定め、この登録画像の原画像に定めた基準点毎に、最下層（第２層）の階層画像から、探索領域を定めて、その基準点に対応する参照画像における対応点の探索を開始する。この対応点の探索はＰＯＣ照合によって行い、当該階層画像についてその対応点の探索が終了すると、当該階層画像についての探索結果を次の階層（第１層）での探索に反映させるというようにして、順次解像度の高い階層画像について対応点の探索を行い、最上層（第０層）の階層画像に至るまで順に対応点の探索を繰り返す。

そして、最上層（第０層）の階層画像において、対応点が見つかれば、基準点と対応点との間で対応領域の位相限定相関値を求める。以下、同様にして、登録画像に対して定められる基準点毎に、参照画像における対応点を低解像度画像から高解像度画像に向かって探索し、探索後の対応領域の位相限定相関値を求め、この求めた位相限定相関値に基づいて参照画像と登録画像との照合を行う。以下、基準点毎の対応領域の位相限定相関値に基づく照合方式を対応点の相関値に基づく照合方式と呼ぶ。

なお、ＰＯＣは、もとになる画像のデータとこれと照合すべき画像のデータとをフーリエ変換で数学的に処理して、振幅（濃淡データ）と位相（像の輪郭データ）とに分解し、このうち位相情報のみを用いて、両画像の相関を求めるアルゴリズムであり、外乱に強く、高精度な演算結果を得られるという特色がある。

ＰＯＣについては、上述した特許文献１，２の他、特許文献３などにもその詳細が説明されている。ＰＯＣでは、一方の画像に２次元離散的フーリエ変換を施してフーリエ画像を作成する。そして、このフーリエ画像と同様の処理を施して作成されている他方の画像のフーリエ画像とを合成し、この合成フーリエ画像に対して振幅を１とする処理を行ったうえ、２次元離散的フーリエ変換を施して相関データとする。この相関データ（ＰＯＣ関数）は、周波数空間における振幅が１とされ、位相のみとされているが、基本的には一方の画像と他方の画像とを畳み込んだデータと考えることができ、一方の画像と他方の画像との相関を表すものである。

特開２００８−２０９２７５号公報 特開２００８−１２３１４１号公報 特開平１０−６３８４７号公報

しかしながら、上述した対応点の相関値に基づく照合方式では、参照画像と登録画像との照合を高精度で行うことができるが、基準点毎の対応領域の位相限定相関値を求めなければならず、処理量が多くなり、照合速度が低下するという問題がある。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、高精度と高速処理を両立させることが可能な評価装置および評価方法を提供することにある。

このような目的を達成するために、本発明に係る評価装置は、評価対象画像と登録画像との一致度を評価する評価装置において、登録画像に対して定められる複数の基準点を参照し、全ての基準点に対応する評価対象画像における対応点を探索し終わるまで、基準点に対応する対応点の探索処理を繰り返す対応点探索手段と、探索された対応点の空間分布に基づいて評価対象画像と登録画像との一致度を求める手段とを備えることを特徴とする。

この発明では、登録画像に対して定められる複数の基準点を参照し、全ての基準点に対応する評価対象画像における対応点を探索し終わるまで、基準点に対応する対応点の探索処理を繰り返し、探索された対応点の空間分布に基づいて評価対象画像と登録画像との一致度を求める。例えば、探索された対応点の密度に基づいて一致度を求めるようにしたり、探索された対応点の並びに基づいて一致度を求めるようにしたり、探索された対応点の位置に基づいて一致度を求めたりする。これにより、処理量を少なくし、高精度と高速処理を両立させる。

なお、本発明では、登録画像に対して定められる複数の基準点を参照し、全ての基準点に対応する評価対象画像における対応点を探索し終わるまで、基準点に対応する対応点の探索処理を繰り返すが、この対応点の探索の一例として階層探索を用いることが考えられる。階層探索では、評価対象画像について、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を作成し、この作成された評価対象画像の階層画像とこの階層画像に対応する登録画像の階層画像とから、これら階層画像の低解像度画像から高解像度画像に向かう対応点の探索によって、登録画像に対して定められる基準点毎に評価対象画像における対応点を探索する。この階層探索において、対応点の探索は、例えばＰＯＣ（位相限定相関法）を用いて行うことが考えられるが、ＰＯＣに限られるものではない。また、本発明は、評価方法として実現することも可能である。

本発明によれば、登録画像に対して定められる複数の基準点を参照し、全ての基準点に対応する評価対象画像における対応点を探索し終わるまで、基準点に対応する対応点の探索処理を繰り返し、探索された対応点の空間分布に基づいて評価対象画像と登録画像との一致度を求めるようにしたので、探索された対応点の密度に基づいて一致度を求めるようにしたり、探索された対応点の並びに基づいて一致度を求めるようにしたり、探索された対応点の位置に基づいて一致度を求めたりするようにして、処理量を少なくし、高精度と高速処理を両立させることが可能となる。

本発明の一実施の形態を示す照合装置（評価装置）のブロック構成図である。 この照合装置における対象物の登録処理を示すフローチャートである。 この照合装置における対象物の照合処理を示すフローチャートである。 この照合装置における対象物の照合処理における対応点の探索処理を示すフローチャートである。 参照画像の階層画像および登録画像の階層画像をこれらの階層画像に対して設定される探索領域および対応領域と合わせて例示する図である。 登録画像の原画像に対して設定されている基準点およびこの基準点を中心として登録画像の最上層の階層画像（高解像度画像（原画像））に対して設定された探索領域を示す図である。 この照合装置における対象物の照合処理における一致度の算出処理の第１例を示すフローチャートである。 この照合装置における対象物の照合処理における一致度の算出処理の第２例を示すフローチャートである。 この照合装置における対象物の照合処理における一致度の算出処理の第３例を示すフローチャートである。 一致度の算出処理の第１例において求められる対応点の密度を説明する図である。 一致度の算出処理の第２例において求められる対応点の並びを説明する図である。 一致度の算出処理の第３例において求められる対応点の位置を説明する図である。 本人照合で照合ＯＫの第１例（登録画像内の基準点および参照画像内の対応点の分布）を示す図である。 本人照合で照合ＯＫの第２例（登録画像内の基準点および参照画像内の対応点の分布）を示す図である。 他人照合で照合ＮＧの第１例（登録画像内の基準点および参照画像内の対応点の分布）を示す図である。 他人照合で照合ＮＧの第２例（登録画像内の基準点および参照画像内の対応点の分布）を示す図である。 他人照合で照合ＮＧの第３例（登録画像内の基準点および参照画像内の対応点の分布）を示す図である。

以下、本発明に係る評価装置および評価方法の実施の形態を図面に基づいて詳細に説明する。

図１は本発明の一実施の形態を示す照合装置のブロック構成図である。同図において、１０は第１のＣＣＤカメラ、１１は第２のＣＣＤカメラ、１２は液晶表示装置（ＬＣＤ）、２０は処理部であり、処理部２０は、ＣＰＵを有する制御部２０−１と、ＲＯＭ２０−２と、ＲＡＭ２０−３と、ハードディスク（ＨＤ）２０−４と、フレームメモリ（ＦＭ）２０−５と、外部接続部（Ｉ／Ｆ）２０−６と、フーリエ変換部（ＦＦＴ）２０−７とを備えており、ＲＯＭ２０−２には登録プログラムと照合プログラムが格納されている。また、ＣＣＤカメラ１０，１１は、所定の距離Ｌを隔てて設置されている。すなわち、ＣＣＤカメラ１０，１１は、そのレンズ１０−１，１１−１間の距離をＬとして、横方向に並んで配置されている。図では分かり易いように、照合装置は上方向から見た図とし、対象物（人間の顔）は横方向から見た図としている。

〔対象物の登録〕
この照合装置において、対象物を人間の顔Ｍ１とした場合、この対象物（登録対象物）Ｍ１の登録は次のようにして行われる。運用する前に、利用者は、ＣＣＤカメラ１０，１１に顔Ｍ１を向け、登録スタートスイッチ（図示せず）を押す。

〔画像キャプチャ〕
制御部２０−１は、登録スタートスイッチが押されると（図２：ステップＳ１０１のＹＥＳ）、フレームメモリ２０−５を介して、ＣＣＤカメラ１０からの登録対象物Ｍ１を捉えた画像を左カメラの画像として取り込み、ＣＣＤカメラ１１からの登録対象物Ｍ１を捉えた画像を右カメラの画像として取り込む（ステップＳ１０２）。

〔顔領域の検出〕
そして、制御部２０−１は、取り込んだ左カメラの画像および右カメラの画像から画像処理によって顔領域を検出する（ステップＳ１０３）。なお、この際、顔領域の輝度が一定範囲でなければ、ゲインコントロールし、左カメラの画像および右カメラの画像の取り込みを再度行う。また、この例では、左右の顔領域を検出するようにしたが、左か右の何れか一方の顔領域を検出するようにしてもよい。

〔瞳領域の検出および顔画像の正規化〕
そして、制御部２０−１は、検出した左右の顔領域の画像（左右の顔画像）から画像処理によって瞳領域を検出し（ステップＳ１０４）、３Ｄ計測によってカメラから登録対象物Ｍ１までの距離Ｒを算出し（ステップＳ１０５）、この算出した距離Ｒに基づいて右の顔画像のサイズを正規化する（ステップＳ１０６）。

〔階層画像の作成〕
そして、制御部２０−１は、ステップＳ１０６で正規化した顔画像を登録画像の原画像として、その原画像（１２８×１２８の画素の画像）を最上層（第０層）の高解像度画像とし、この高解像度画像の下層（第１層）に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層（第２層）に３２×３２の画素の画像（第２の低解像度画像）を作成する（ステップＳ１０７）。

そして、制御部２０−１は、この原画像を含む階層画像（高解像度画像、第１の低解像度画像、第２の低解像度画像）を利用者の登録画像としてＨＤ２０−４に保存する（ステップＳ１０８）。以下、同様にして、全ての利用者について、その利用者の登録画像（原画像を含む階層画像）をＨＤ２０−４に保存して行く。この実施の形態では、利用者の数を数千人規模とし、これら利用者の登録画像をＨＤ２０−４に保存させる。

なお、この例では、右の顔画像を登録するようにしたが、左の顔画像を登録するようにしてもよく、左右の顔画像を登録するようにしてもよい。この実施の形態では、説明上、右の顔画像を登録するものとした。

〔対象物の照合〕
この照合装置において、照合対象物を人間の顔Ｍ１とした場合、この顔Ｍ１の照合は次のようにして行われる。図３に制御部２０−１がＲＯＭ２０−２に格納されている照合プログラムに従って実行する照合処理のフローチャートを示す。

〔画像キャプチャ〕
利用者は、ＣＣＤカメラ１０，１１の前に立つ。すると、制御部２０−１は、ＣＣＤカメラ１０，１１の撮像領域に顔Ｍ１が入ったことを認識し、フレームメモリ２０−５を介して、ＣＣＤカメラ１０からの顔Ｍ１を捉えた画像を左カメラの画像として取り込み、ＣＣＤカメラ１１からの顔Ｍ１を捉えた画像を右カメラの画像として取り込む（ステップＳ２０１）。

〔顔領域の検出〕
そして、制御部２０−１は、取り込んだ左カメラの画像および右カメラの画像から画像処理によって顔領域を検出する（ステップＳ２０２）。なお、この際、顔領域の輝度が一定範囲でなければ、ゲインコントロールし、左カメラの画像および右カメラの画像の取り込みを再度行う。また、この例では、左右の顔領域を検出するようにしたが、左か右の何れか一方の顔領域を検出するようにしてもよい。

〔瞳領域の検出および顔画像の正規化〕
そして、制御部２０−１は、検出した左右の顔領域の画像（左右の顔画像）から画像処理によって瞳領域を検出し（ステップＳ２０３）、３Ｄ計測によってカメラから照合対象物Ｍ１までの距離Ｒを算出し（ステップＳ２０４）、この算出した距離Ｒに基づいて右の顔画像のサイズを正規化する（ステップＳ２０５）。

〔登録画像（階層画像）の読み出し〕
そして、制御部２０−１は、ＨＤ２０−４に保存されている第１番目の登録画像（原画像を含む階層画像）を読み出す（ステップＳ２０６）。すなわち、第１番目の登録画像について、最上層（第０層）に位置する高解像度画像（１２８×１２８の画素の画像）と、この高解像度画像の下層（第１層）に位置する第１の低解像度画像（６４×６４の画素の画像）と、この第１の低解像度画像の下層（第２層）に位置する第２の低解像度画像（３２×３２の画素の画像）とを読み出す。

〔対応点の探索〕
次に、制御部２０−１は、ステップＳ２０５で正規化した顔画像を参照画像の原画像とし、この参照画像とステップＳ２０６で読み出した登録画像との間の対応点の探索を開始する（ステップＳ２０７）。図４にこの対応点の探索処理のフローチャートを示す。

この対応点の探索処理において、制御部２０−１は、ステップＳ２０５で得た参照画像の原画像（１２８×１２８の画素の画像）を最上層（第０層）の高解像度画像とし、この高解像度画像の下層（第１層）に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層（第２層）に３２×３２の画素の画像（第２の低解像度画像）を作成する（ステップＳ３０１）。

図５（ａ），（ｂ）にステップＳ３０１で作成された参照画像の階層画像とステップＳ２０６で読み出された登録画像の階層画像を例示する。図５（ａ）において、Ｊ０は登録画像の第０層に位置する階層画像（高解像度画像（１２８×１２８の画素の画像））、Ｊ１は登録画像の第１層に位置する階層画像（第１の低解像度画像（６４×６４の画素の画像））、Ｊ２は登録画像の第２層に位置する階層画像（第２の低解像度画像（３２×３２の画素の画像））であり、図５（ｂ）において、Ｉ０は参照画像の第０層に位置する階層画像（高解像度画像（１２８×１２８の画素の画像））、Ｉ１は参照画像の第１層に位置する階層画像（第１の低解像度画像（６４×６４の画素の画像））、Ｉ２は参照画像の第２層に位置する階層画像（第２の低解像度画像（３２×３２の画素の画像））である。

制御部２０−１は、このような参照画像の階層画像Ｉ０，Ｉ１，Ｉ２および登録画像の階層画像Ｊ０，Ｊ１，Ｊ２を得た後、登録画像の原画像に対して設定されている基準点プレートＰＬ（図６（ａ）参照）を読み出し（ステップＳ３０２）、Ｎ＝１とし（ステップＳ３０３）、この基準点プレートＰＬからＮ＝１番目の基準点Ｐ１を読み込んで、対応点探索のための探索領域を登録画像の階層画像Ｊ０，Ｊ１，Ｊ２に設定する（ステップＳ３０４）。

この例では、基準点プレートＰＬからＮ＝１番目の基準点Ｐ１を読み込み、この基準点Ｐ１を中心とする３２×３２の画素の領域を探索領域Ｓ０として登録画像の階層画像Ｊ０に設定する。

同様にして、登録画像の階層画像Ｊ１に対して、基準点Ｐ１に対応する点を中心とする３２×３２の画素の領域を探索領域Ｓ１として設定し、登録画像の階層画像Ｊ２に対して、基準点Ｐ１に対応する点を中心とする３２×３２の画素の領域を探索領域Ｓ２として設定する。なお、階層画像Ｊ２は３２×３２の画素の画像であるので、階層画像Ｊ２の全領域が探索領域Ｓ２として設定される。

そして、制御部２０−１は、低解像度画像から高解像度画像に向けた階層探索によって、登録画像の階層画像の探索領域に対応する参照画像の階層画像の対応領域の探索（対応点の探索）を行い、登録画像の最上層（第０層）の階層画像（高解像度画像）Ｊ０における探索領域Ｓ０（基準点Ｐ１）に対応する参照画像の最上層（第０層）の階層画像（高解像度画像）Ｉ０における対応領域Ｓ０’（対応点Ｐ１’）を探し出す（ステップＳ３０５）。

この場合、先ず、最下層（第２層）の階層画像Ｊ２，Ｉ２について、探索領域Ｓ２に対応する対応領域Ｓ２’の探索をＰＯＣ照合によって行う。この最下層での対応領域の探索が終了すると、この最下層での探索結果を次の階層（第１層）での探索、すなわち第１層の階層画像Ｊ１，Ｉ１における探索領域Ｓ１に対応する対応領域Ｓ１’のＰＯＣ照合による探索に反映させる。

そして、この第１層での対応領域の探索が終了すると、この第１層での探索結果を次の階層（第０層）での探索、すなわち第０層の階層画像Ｊ０，Ｉ０における探索領域Ｓ０に対応する対応領域Ｓ０’のＰＯＣ照合による探索に反映させる。このようにして、登録画像の最上層（第０層）の階層画像（高解像度画像）Ｊ０における探索領域Ｓ０（基準点Ｐ１）に対応する参照画像の最上層（第０層）の階層画像（高解像度画像）Ｉ０における対応領域Ｓ０’（対応点Ｐ１’）を探し出す。

以下同様にして、制御部２０−１は、Ｎを１ずつ増加させながら（ステップＳ３０７）、全ての基準点ＰＮについてその対応点ＰＮ′が探し出されるまで（ステップＳ３０６のＹＥＳ）、ステップＳ３０４〜Ｓ３０７の処理を繰り返し、低解像度画像から高解像度画像に向けた階層探索による対応点の探索を続ける。

〔一致度の算出〕
制御部２０−１は、ステップＳ２０７での対応点の探索が終了すると、探索された対応点の空間分布に基づいて参照画像と登録画像との一致度Ｓを求める（ステップＳ２０８）。

〔一致度の算出処理の第１例（対応点の密度を利用する例）〕
図７に一致度の算出処理の第１例のフローチャートを示す。この一致度の算出処理の第１例では、探索された対応点の密度に基づいて一致度Ｓを求める。

この第１例において、制御部２０−１は、Ｎ＝１とし（ステップＳ４０１）、Ｎ＝１番目の基準点Ｐ１の座標を基準として、対応点の密度ρを求める（ステップＳ４０２）。この例では、基準点Ｐ１から半径ｒの円内の対応点の数を対応点の密度ρとして求める。図１０（ａ）に基準点群を、図１０（ｂ）に探索された対応点群を例示する。他人照合では、対応点の密度ρの変化が大きくなる。

制御部２０−１は、この求めた基準点Ｐ１を基準とする対応点の密度ρについて予め定められている閾値ｔｈ_minおよびｔｈ_max（ｔｈ_max＞ｔｈ_min）と比較し（ステップＳ４０３）、ｔｈ_min＜ρ＜ｔｈ_maxであれば（ステップＳ４０３のＹＥＳ）、一致度ＳをＳ＝Ｓ＋１とする（ステップＳ４０４）。なお、一致度Ｓの初期値は０とされている。

これに対し、基準点Ｐ１を基準とする対応点の密度ρがｔｈ_min＜ρ＜ｔｈ_maxでなければ（ステップＳ４０３のＮＯ）、すなわち基準点Ｐ１を基準とする対応点の密度ρがｔｈ_min以下（密度小）であったり、ｔｈ_max以上（密度大）であったりすれば、制御部２０−１は、ステップＳ４０４の処理をスキップする。すなわち、一致度Ｓの加算処理は行わず、ステップＳ４０５へ進む。

以下同様にして、制御部２０−１は、Ｎを１ずつ増加させながら（ステップＳ４０６）、基準点全てが終了するまで（ステップＳ４０５のＹＥＳ）、ステップＳ４０２〜Ｓ４０６の処理を繰り返す。

〔一致度の算出処理の第２例（対応点の並びを利用する例）〕
図８に一致度の算出処理の第２例のフローチャートを示す。この一致度の算出処理の第２例では、探索された対応点の並びに基づいて一致度Ｓを求める。

この第２例において、制御部２０−１は、Ｎ＝１とし（ステップＳ５０１）、Ｎ＝１番目の基準点Ｐ１から上下左右にある基準点の番号を調べる（ステップＳ５０２）。そして、対応点群から、基準点Ｐ１とその上下左右にある点の番号に対応する点を選ぶ（ステップＳ５０３）。そして、対応点群で点の位置関係があっている個数を求め、基準点Ｐ１を基準とする対応点の並びを示す指標Ｍとする（ステップＳ５０４）。

図１１（ａ）に基準点群を、図１１（ｂ）に探索された対応点群を例示する。なお、基準点と対応点には同じ番号が付いている。他人照合では、対応点の上下左右の位置関係が入れ替わるなど、その並びの変化が大きくなる。例えば、基準点ＰＮの番号を「＊８」とする。この場合、「＊８」に対して、上に位置する基準点の番号は「＊７」、下に位置する基準点の番号は「＊９」、左に位置する基準点の番号は「＊３」、右に位置する基準点の番号は「＊１３」である。これに対して、対応点群では、「＊７」は「＊８」の上にあり、「＊３」は「＊８」の左にあり、「＊１３」は「＊８」の右にあり、基準点群での位置関係とあっている。しかし、「＊９」は「＊８」の上にあり、基準点群での位置関係とはあっていない。この場合、基準点ＰＮの対応点の並びを示す指標ＭはＭ＝３となる。なお、この例では、「＊８」の基準点ＰＮを代表して説明したが、基準点Ｐ１（「＊１」）でも同様にして基準点Ｐ１を基準とする対応点の並びを示す指標Ｍが求められる。

制御部２０−１は、この求めた基準点Ｐ１を基準とする対応点の並びを示す指標Ｍと予め定められている閾値Ｍ_thとを比較し（ステップＳ５０５）、Ｍ_th＜Ｍであれば（ステップＳ５０５のＹＥＳ）、一致度ＳをＳ＝Ｓ＋１とする（ステップＳ５０６）。なお、一致度Ｓの初期値は０とされている。

これに対し、基準点Ｐ１を基準とする対応点の並びを示す指標Ｍが、Ｍ_th＜Ｍでなければ（ステップＳ５０５のＮＯ）、制御部２０−１は、ステップＳ５０６の処理をスキップする。すなわち、一致度Ｓの加算処理は行わず、ステップＳ５０７へ進む。

以下同様にして、制御部２０−１は、Ｎを１ずつ増加させながら（ステップＳ５０８）、基準点全てが終了するまで（ステップＳ５０７のＹＥＳ）、ステップＳ５０２〜Ｓ５０８の処理を繰り返す。

〔一致度の算出処理の第３例（対応点の位置を利用する例）〕
図９に一致度の算出処理の第３例のフローチャートを示す。この一致度の算出処理の第３例では、探索された対応点の位置に基づいて一致度Ｓを求める。

この第３例において、制御部２０−１は、Ｎ＝１とし（ステップＳ６０１）、Ｎ＝１番目の基準点Ｐ１を基準とする対応点の位置として、その基準点と対応点との間の距離（座標の差分）ｄ〔ピクセル〕を求める（ステップＳ６０２）。図１２（ａ）に基準点群を、図１２（ｂ）に探索された対応点群を例示する。他人照合では、対応点の距離ｄが大きくなる。本人照合の場合、表情変化などの影響で差分はでるが、その値は小さい。

制御部２０−１は、この求めた基準点Ｐ１を基準とする対応点の距離ｄについて予め定められている閾値ｄ_thと比較し（ステップＳ６０３）、ｄ＜ｄ_thであれば（ステップＳ６０３のＹＥＳ）、一致度ＳをＳ＝Ｓ＋１とする（ステップＳ６０４）。なお、一致度Ｓの初期値は０とされている。

これに対し、基準点Ｐ１を基準とする対応点の距離ｄがｄ＜ｄ_thでなければ（ステップＳ６０３のＮＯ）、制御部２０−１は、ステップＳ６０４の処理をスキップする。すなわち、一致度Ｓの加算処理は行わず、ステップＳ６０５へ進む。

以下同様にして、制御部２０−１は、Ｎを１ずつ増加させながら（ステップＳ６０６）、基準点全てが終了するまで（ステップＳ６０５のＹＥＳ）、ステップＳ６０２〜Ｓ６０６の処理を繰り返す。

〔照合（評価）〕
制御部２０−１は、ステップＳ２０８での参照画像と登録画像との一致度Ｓの算出が終了すると、この算出された一致度Ｓと予め定められている閾値Ｓ_thとを比較し（ステップＳ２０９）、Ｓ_th＜Ｓであれば（ステップＳ２０９のＹＥＳ）、参照画像と登録画像との照合結果を一致として（ステップＳ２１０）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

Ｓ_th＜Ｓでなければ（ステップＳ２０９のＮＯ）、制御部２０−１は、他の登録画像がＨＤ２０−４に保存されていることを確認のうえ（ステップＳ２１１のＹＥＳ）、ＨＤ２０−４から次の登録画像（階層画像）を読み出し（ステップＳ２０６）、ステップＳ２０７以下の処理を繰り返す。

これにより、一致するという照合結果が得られるまで、次々にＨＤ２０−４から登録画像が読み出され、この読み出された登録画像と参照画像との一致度Ｓを求めての照合が繰り返される。

この照合の繰り返し中、他の登録画像がなくなれば（ステップＳ２１１のＮＯ）、制御部２０−１は、参照画像と登録画像との照合結果を不一致として（ステップＳ２１２）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。

このようにして、本実施の形態では、探索された対応点の密度ρに基づいて一致度を求めたり、探索された対応点の並びを示す指標Ｍに基づいて一致度Ｓを求めたり、探索された対応点の距離（位置）ｄに基づいて一致度を求めたりすることにより、処理量を少なくし、高精度と高速処理を両立させることが可能となる。

なお、上述した実施の形態では、一致度の算出処理の第１例（対応点の密度を利用する例）と、一致度の算出処理の第２例（対応点の並びを利用する例）と、一致度の算出処理の第３例（対応点の位置を利用する例）とを別々の実施の形態としたが、これらの算出処理を組み合わせて１つの実施の形態としてもよい。

例えば、一致度の算出処理の第１例と第２例と第３例とを組み合わせ、全ての算出処理での一致度が閾値Ｓ_thを超えている場合に、照合ＯＫ（一致）と判断させるようにしたり、一致度の算出処理の第１例と第２例とを組み合わせ、その両者の一致度が閾値Ｓ_thを超えている場合に、照合ＯＫ（一致）と判断させるようにしたりするなど、一致度の算出処理の例を任意に組み合わせて実施することが可能である。

また、目を中心とするエリア、鼻を中心とするエリア、口を中心とするエリアなど、特徴的なエリアを定め、この特徴的なエリア内の対応点の空間分布（密度、並び、位置など）に基づいて一致度を求めて、参照画像と登録画像との照合を行うようにしてもよい。また、一致度と対応点の相関値とを組み合わせて照合を行うようにしてもよい。

図１３に本人照合で照合ＯＫの第１例を示す。この例では、対応点の並び順に乱れがなく、基準点と対応点の密度に大きな差がなく、基準点と対応点の座標の差分が小さい。

図１４に本人照合で照合ＯＫの第２例（メガネ有り／無し）を示す。メガネのフレーム付近では、対応点の並びが乱れ、基準点との差分が大きい。または、密度が高くなっている（「＊７」、「＊１８」、「＊３１」）。全対応点において、一部分の領域で差分が大きい、もしくは密度の変化が大きい場合、遮蔽物がある場合の本人照合と考えられる。

図１５に他人照合で照合ＮＧの第１例を示す。この例では、対応点の順番が入れ替わっている（例えば、「＊９」と「＊１０」、「＊２１」と「＊２２」）。この場合、対応点の並びによって、照合ＮＧと判断される。

図１６に他人照合で照合ＮＧの第２例を示す。この例では、対応点の密度が異なっている。例えば、基準点の「＊１０」に対応する位置では密度が小さく、基準点「＊１９」に対応する位置では密度が大きい。この場合、対応点の密度によって、照合ＮＧと判断される。

図１７に他人照合で照合ＮＧの第３例を示す。この例では、全体として対応点の座標が大きくずれている。この場合、対応点の位置によって、照合ＮＧと判断される。

図１３〜図１７に示した例では、全てのエリアの対応点を用いて照合を行っているが、対応点の重要度を定義し、性能を向上させるようにしてもよい。同一のメガネ、マスクでは、他人の照合でも相関ピークの並びが綺麗で、ピーク高さが高くなる可能性がある。しかし、その他の部分では乱れていれば、他人と判断できる場合がある。このような場合、例えば、上半分のエリア、下半分のエリアなどに分けて照合することで、性能を向上させることが可能である。

また、上述した実施の形態において、対応点を求めるときに、第１相関ピークだけではなく、第２相関ピークの情報も利用してもよい。このようにすると、第１相関ピークがノイズ等で位置がずれた場合にも精度のよい照合が可能となる。

また、上述した実施の形態では、登録画像内の基準点の空間分布に対する参照画像内の対応点の空間分布の変化を対応点の並びの変化、対応点の密度の変化、対応点の位置の変化として捉えて参照画像と登録画像との一致度を求めるようにしているが、参照画像内の対応点の空間分布のみを利用して参照画像と登録画像との一致度を求めるようにしてもよい。

〔実施の形態の拡張〕
以上、実施の形態を参照して本発明を説明したが、本発明は上記実施の形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。

本発明の評価装置は、参照画像（評価対象画像）と登録画像との一致度を評価する評価装置として、入退室を管理するシステムに限らず、各種の対象物を認証するシステム（例えば、印刷などの画像チェック、半田基板チェックなど）において利用することが可能である。

１０，１１…ＣＣＤカメラ、１０−１，１１−１…レンズ、１２…液晶表示装置（ＬＣＤ）、２０…処理部、２０−１…制御部、２０−２…ＲＯＭ、２０−３…ＲＡＭ、２０−４…ハードディスク（ＨＤ）、２０−５…フレームメモリ（ＦＭ）、２０−６…外部接続部（Ｉ／Ｆ）、２０−７…フーリエ変換部（ＦＦＴ）、Ｉ０，Ｉ１，Ｉ２…参照画像の階層画像、Ｊ０，Ｊ１，Ｊ２…登録画像の階層画像、Ｓ０，Ｓ１，Ｓ２…探索領域、Ｓ０’，Ｓ１’，Ｓ２’…対応領域、ＰＬ…基準テンプレート、ＰＮ（Ｐ１）…基準点、ＰＮ’（Ｐ１’）…対応点。

Claims (10)

1. 評価対象画像と登録画像との一致度を評価する評価装置において、
   前記登録画像に対して定められる複数の基準点を参照し、全ての前記基準点に対応する前記評価対象画像における対応点を探索し終わるまで、前記基準点に対応する前記対応点の探索処理を繰り返す対応点探索手段と、
   前記探索された対応点の空間分布に基づいて前記評価対象画像と前記登録画像との一致度を求める手段と
   を備えることを特徴とする評価装置。
2. 請求項１に記載された評価装置において、
   前記一致度を求める手段は、
   前記探索された対応点の密度に基づいて前記一致度を求める
   ことを特徴とする評価装置。
3. 請求項１に記載された評価装置において、
   前記一致度を求める手段は、
   前記探索された対応点の並びに基づいて前記一致度を求める
   ことを特徴とする評価装置。
4. 請求項１に記載された評価装置において、
   前記一致度を求める手段は、
   前記探索された対応点の位置に基づいて前記一致度を求める
   ことを特徴とする評価装置。
5. 請求項１〜４の何れか１項に記載された評価装置において、
   前記対応点探索手段は、
   前記評価対象画像について、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を作成し、この作成された評価対象画像の階層画像とこの階層画像に対応する前記登録画像の階層画像とから、これら階層画像の低解像度画像から高解像度画像に向かう対応点の探索によって、前記登録画像に対して定められる基準点毎に前記評価対象画像における対応点を探索する
   ことを特徴とする評価装置。
6. 評価対象画像と登録画像との一致度を評価する評価方法において、
   前記登録画像に対して定められる複数の基準点を参照し、全ての前記基準点に対応する前記評価対象画像における対応点を探索し終わるまで、前記基準点に対応する前記対応点の探索処理を繰り返す対応点探索ステップと、
   前記探索された対応点の空間分布に基づいて前記評価対象画像と前記登録画像との一致度を求めるステップと
   を備えることを特徴とする評価方法。
7. 請求項６に記載された評価方法において、
   前記一致度を求めるステップは、
   前記探索された対応点の密度に基づいて前記一致度を求める
   ことを特徴とする評価方法。
8. 請求項６に記載された評価方法において、
   前記一致度を求めるステップは、
   前記探索された対応点の並びに基づいて前記一致度を求める
   ことを特徴とする評価方法。
9. 請求項６に記載された評価方法において、
   前記一致度を求めるステップは、
   前記探索された対応点の位置に基づいて前記一致度を求める
   ことを特徴とする評価方法。
10. 請求項６〜９の何れか１項に記載された評価方法において、
    前記対応点探索ステップは、
    前記評価対象画像について、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を作成し、この作成された評価対象画像の階層画像とこの階層画像に対応する前記登録画像の階層画像とから、これら階層画像の低解像度画像から高解像度画像に向かう対応点の探索によって、前記登録画像に対して定められる基準点毎に前記評価対象画像における対応点を探索する
    ことを特徴とする評価方法。