JP4577580B2 - 位置合わせ方法、位置合わせ装置及びプログラム - Google Patents

Description

本発明は位置合わせ方法、位置合わせ装置及びプログラムに関し、バイオメトリクス認証する場合に適用して好適なものである。

従来、バイオメトリクス認証対象の１つとして血管がある。この種の認証装置では、メモリに登録された画像に映し出される血管と、入力された画像に映し出される血管とを位置合わせし、該位置合わせした血管が一致するか否かにより登録者本人の有無が判定される（例えば特許文献１参照）。
特開２００６−０１８３９５公報

この位置合わせには、一般に、相互相関が用いられ、当該相関係数の算出には、大量の積算や累積加算が必要となる。また、マッチング位置を求めるには、画像を構成するすべての画素を対象として相関係数を算出する必要があるため、位置合わせの処理負荷は膨大となるという問題があった。

本発明は以上の点を考慮してなされたもので、処理負荷を低減し得る位置合わせ方法、位置合わせ装置及びプログラムを提案しようとするものである。

かかる課題を解決するため本発明は、位置合わせ方法であって、一方の画像に映し出されるオブジェクトから抽出された第１の点の集合から、該第１の点の集合における外縁を構成する第１の点群を検出し、他方の画像に映し出されるオブジェクトから抽出された第２の点の集合から、該第２の点の集合における外縁を構成する第２の点群を検出する第１のステップと、第１の点群と、第２の点群を基準として、第１の点の集合に対して第２の点の集合を位置合わせする第２のステップと、第１の点の集合におけるすべての点と、第２のステップで位置合わせされた第２の点の集合におけるすべての点を基準として、第１の点の集合に対して第２の点の集合を位置合わせする第３のステップとを有する。
また本発明は、位置合わせ方法であって、一方の画像に映し出されるオブジェクトから抽出された第１の点の集合から、該第１の点の集合を含む最小の矩形に接する第１の点群を検出し、他方の画像に映し出されるオブジェクトから抽出された第２の点の集合から、該第２の点の集合を含む最小の矩形に接する第２の点群を検出する第１のステップと、一方の矩形における中心を通る長軸と、他方の矩形における中心を通る長軸とが一致するように、第１の点の集合に対して第２の点の集合を位置合わせする第２のステップと、第１の点の集合におけるすべての点と、第２のステップで位置合わせされた第２の点の集合におけるすべての点を基準として、第１の点の集合に対して第２の点の集合を位置合わせする第３のステップとを有する。

また本発明は、位置合わせ装置であって、ワークメモリと、入力される一方の画像と、他方の画像とを、ワークメモリを用いて位置合わせする位置合わせ部とを有する。
位置合わせ部では、一方の画像に映し出されるオブジェクトから抽出された第１の点の集合から、該第１の点の集合における外縁を構成する第１の点群を検出し、他方の画像に映し出されるオブジェクトから抽出された第２の点の集合から、該第２の点の集合における外縁を構成する第２の点群を検出し、第１の点群と、第２の点群を基準として、第１の点の集合に対して第２の点の集合を位置合わせし、第１の点の集合におけるすべての点と、位置合わせされた第２の点の集合におけるすべての点を基準として、第１の点の集合に対して第２の点の集合を位置合わせする。
また位置合わせ部では、一方の画像に映し出されるオブジェクトから抽出された第１の点の集合から、該第１の点の集合を含む最小の矩形に接する第１の点群を検出し、他方の画像に映し出されるオブジェクトから抽出された第２の点の集合から、該第２の点の集合を含む最小の矩形に接する第２の点群を検出し、一方の矩形における中心を通る長軸と、他方の矩形における中心を通る長軸とが一致するように、第１の点の集合に対して第２の点の集合を位置合わせし、第１の点の集合におけるすべての点と、位置合わせされた第２の点の集合におけるすべての点を基準として、第１の点の集合に対して第２の点の集合を位置合わせする。

さらに本発明は、プログラムであって、入力される一方の画像と、他方の画像とを、ワークメモリを用いて位置合わせする位置合わせ部に対して、一方の画像に映し出されるオブジェクトから抽出された第１の点の集合から、該第１の点の集合における外縁を構成する第１の点群を検出し、他方の画像に映し出されるオブジェクトから抽出された第２の点の集合から、該第２の点の集合における外縁を構成する第２の点群を検出すること、第１の点群と、第２の点群を基準として、第１の点の集合に対して第２の点の集合を位置合わせすること、第１の点の集合におけるすべての点と、位置合わせされた第２の点の集合におけるすべての点を基準として、第１の点の集合に対して第２の点の集合を位置合わせすることを実行させる。
また位置合わせ部に対して、一方の画像に映し出されるオブジェクトから抽出された第１の点の集合から、該第１の点の集合を含む最小の矩形に接する第１の点群を検出し、他方の画像に映し出されるオブジェクトから抽出された第２の点の集合から、該第２の点の集合を含む最小の矩形に接する第２の点群を検出すること、一方の矩形における中心を通る長軸と、他方の矩形における中心を通る長軸とが一致するように、第１の点の集合に対して第２の点の集合を位置合わせすること、第１の点の集合におけるすべての点と、位置合わせされた第２の点の集合におけるすべての点を基準として、第１の点の集合に対して第２の点の集合を位置合わせすることを実行させる。

以上のように本発明によれば、オブジェクトから抽出された点の集合を、その集合の一部の点群を基準として大まかに位置合わせする段階を経ることで、位置合わせ基準数を少なくする分だけ位置合わせ位置の探索負荷を低減することができる。また大まかな位置合わせを行っているので、当該段階を経ずに位置合わせする場合に比して位置合わせ位置の探索負荷を低減することができる。したがって、画像を構成するすべての画素を対象として位置合わせする場合に比して位置合わせ位置の探索負荷を大幅に低減することができ、かくして処理負荷を低減し得る位置合わせ方法、位置合わせ装置及びプログラムを実現できる。

以下図面について、本発明を適用した一実施の形態を詳述する。

（１）認証装置の全体構成
図１において、本実施の形態による認証装置１の全体構成を示す。この認証装置１は、制御部１０に対して、操作部１１、撮像部１２、メモリ１３、インターフェース１４及び通知部１５をそれぞれバス１６を介して接続することにより構成される。

制御部１０は、認証装置１全体の制御を司るＣＰＵ(Central Processing Unit)と、各種プログラム及び設定情報などが格納されるＲＯＭ(Read Only Memory)と、当該ＣＰＵのワークメモリとしてのＲＡＭ(Random Access Memory)とを含むコンピュータとして構成される。

この制御部１０には、登録対象のユーザ（以下、これを登録者と呼ぶ）の血管を登録するモード（以下、これを血管登録モードと呼ぶ）の実行命令ＣＯＭ１又は登録者本人の有無を判定するモード（以下、これを認証モードと呼ぶ）の実行命令ＣＯＭ２が、ユーザ操作に応じて操作部１１から入力される。

制御部１０は、かかる実行命令ＣＯＭ１、ＣＯＭ２に基づいて実行すべきモードを決定し、この決定結果に対応するプログラムに基づいて、撮像部１２、メモリ１３、インターフェース１４及び通知部１５を適宜制御し、血管登録モード又は認証モードを実行するようになされている。

撮像部１２は、この認証装置１の筐体のうち、指が配される領域上を撮像空間とするカメラを有し、該カメラにおける光学系のレンズ位置、絞りの絞り値及び撮像素子のシャッター速度（露出時間）を、御部１０により設定される設定値を基準として調整する。

また撮像部１２は、撮像空間に近赤外光を照射する近赤外光光源を有し、該近赤外光光源を、制御部１０により指定される期間に点灯させるとともに、撮像素子の撮像面に映し出される被写体像を所定周期ごとに撮像し、該撮像結果として生成される画像に関する画像データを制御部１０に順次出力する。

メモリ１３は、例えばフラッシュメモリでなり、制御部１０により指定されるデータを記憶し、又は読み出すようになされている。

インターフェース１４は、所定の伝送路を介して接続された外部の装置との間で各種データを授受するようになされている。

通知部１５は、表示部１５ａ及び音声出力部１５ｂでなり、該表示部１５ａは、制御部１０から与えられる表示データに基づく文字や図形を表示画面に表示する。一方、音声出力部１５ｂは、制御部１０から与えられる音声データに基づく音声を、スピーカから出力するようになされている。

（１−１）血管登録モード
次に、血管登録モードについて説明する。制御部１０は、実行すべきモードとして血管登録モードを決定した場合、動作モードを血管登録モードに遷移し、撮像空間に対して指を配置させなければならないことを通知部１５に通知させる。

このとき制御部１０は、撮像部１２におけるカメラを撮像動作させるとともに、該撮像部１２における近赤外光光源を点灯動作させる。

この状態において、撮像空間に対して指が配される場合、近赤外光光源からその指の内方を経由した近赤外光は、血管を投影する光として、カメラにおける光学系及び絞りを介して撮像素子に入射され、該撮像素子の撮像面には指内方における血管が投影される。したがってこの場合に撮像部１２での撮像結果として生成される画像データに基づく画像には、血管が映し出されることとなる。

制御部１０は、撮像部１２から与えられる画像データに対して、画像回転補正、ノイズ除去、画像切出などの前処理を適宜施し、該前処理結果として得られる画像から、その画像に映し出される血管の形状パターンを抽出する。そして制御部１０は、この血管の形状パターンを識別対象のデータ（以下、これを識別データと呼ぶ）として生成し、これをメモリ１３に記憶することにより登録する。

このようにして制御部１０は、血管登録モードを実行することができるようになされている。

（１−２）認証モード
次に、認証モードについて説明する。制御部１０は、実行すべきモードとして認証モードを決定した場合、動作モードを認証モードに遷移し、撮像空間に対して指を配置させなければならないことを通知部１５に通知させ、かつ、撮像部１２におけるカメラを撮像動作させるとともに、近赤外光光源を点灯動作させる。

また制御部１０は、撮像部１２から与えられる画像データに対して、画像回転補正、ノイズ除去、画像切出などの前処理を適宜施し、該前処理結果として得られる画像から、血管登録モードと同じように血管の形状パターンを抽出する。

そして制御部１０は、抽出した血管の形状パターンと、メモリ１３に記憶された識別データにより表される血管の形状パターンとを照合（パターンマッチング）し、該照合結果として得られるパターンの類似度に応じて、登録者と承認することができるか否かを判定するようになされている。

ここで、登録者と承認することができないものと判定した場合、制御部１０は、その旨を表示部１５ａ及び音声出力部１５ｂを介して視覚的及び聴覚的に通知する。これに対して、登録者と承認することができるものと判定した場合、制御部１０は、登録者と承認したことを表すデータを、インターフェース１４に接続された装置に送出する。この装置では、登録者と承認したことを表すデータをトリガとして、例えば、ドアを一定期間閉錠させる、あるいは、制限対象の動作モードを解除させる等、認証成功時に実行すべき所定の処理が行われる。

このようにしてこの制御部１０は、認証モードを実行することができるようになされている。

（２）制御部における処理の具体的内容
次に、制御部１０における処理の具体的内容として、血管の形状パターンの抽出処理と、形状パターンの照合処理との一例を、詳細に説明する。

（２−１）血管の形状パターンの抽出
制御部１０は、抽出対象の画像に映し出されるオブジェクトの輪郭を、ガウシアンフィルタやＬｏｇフィルタ等の微分フィルタを用いて浮き彫りにし、該輪郭を浮き彫りにした画像を、設定された輝度値を基準として２値画像に変換する。

また制御部１０は、２値画像に映し出される血管部分における幅の中心又は幅の輝度ピークを抽出することによって、当該血管を線（以下、これを血管線と呼ぶ）として表す。

ここで、この血管線の抽出前後の画像例を図２に示す。この図２からも明らかなように、抽出前の画像（図２（Ａ））は、その画像に映し出される血管部分が線状にパターン化された２値画像（図２（Ｂ））として得られることとなる。

さらに制御部１０は、２値画像に映し出される血管線を構成する点（画素）のうち、端点、分岐点及び屈曲点を、血管線の特徴をなす点（以下、これを特徴点と呼ぶ）として検出し、該検出した各特徴点の全部又は一部の点の集合（以下、これを血管構成点群と呼ぶ）を、血管の形状パターンとして抽出するようになされている。

（２−２）形状パターンの照合
制御部１０は、認証モード時に抽出した血管の形状パターン（血管構成点群）と、メモリ１３（図１）に記憶された識別データにより表される血管の形状パターン（血管構成点群）とを位置合わせする。

そして制御部１０は、位置合わせした一方の血管構成点群における各特徴点と、他方の血管構成点群における各特徴点のうち、例えば、一致する特徴点の数の割合が所定の閾値以上である場合には、登録者と承認することができるものと判定する。一方、制御部１０は、一致する特徴点の数の割合が閾値未満の場合には、登録者と承認することができないものと判定するようになされている。

（２−３）血管構成点群の位置合わせ
ここで、この実施の形態における位置合わせ手法の一例を詳細に説明する。

（２−３−１）第１段階
第１段階として、制御部１０は、例えば図３に示すように、一方の血管構成点群（図３（Ａ））から、当該血管構成点群を含む最小の多角形（以下、これを凸包(convex-hull)と呼ぶ）の頂点を構成する点群（以下、これを第１の凸包点群と呼ぶ）を検出する（図３（Ｂ））。この図３では、便宜上、血管線も示している。

同様に、制御部１０は、他方の血管構成点群から、凸包の頂点を構成する複数の点（以下、これを第２の凸包点群と呼ぶ）を検出する。

また制御部１０は、一方の血管構成点群から第１の凸包点群を検出した場合、該第１の凸包点群により構成される凸包の中心点（以下、これを第１の凸包中心点と呼ぶ）を検出し、他方の血管構成点群から第２の凸包点群を検出した場合、該第２の凸包点群により構成される凸包の中心点（以下、これを第２の凸包中心点と呼ぶ）を検出する。

（２−３−２）第２段階
第２段階として、制御部１０は、例えば図４に示すように、第１の凸包中心点と、第２の凸包中心点とが一致するように、第２の凸包点群をそれぞれ平行移動する。

具体的には、制御部１０は、第１の凸包中心点に対する第２の凸包中心点の平行移動量を算出する。そして制御部１０は、この平行移動量だけ、第２の凸包点群における各点を移動するようになされている。

（２−３−３）第３段階
第３段階として、制御部１０は、例えば図５に示すように、第１の凸包点群における各点と、第２の凸包点群における各点との間の相対距離が閾値未満となるように、一方の血管構成点群に対して他方の血管構成点群をおおまかに位置合わせする。この図５では、便宜上、血管線も示している。また、この図５における一方の血管構成点群（血管線）と、他方の血管構成点群（血管線）とは、同一人物における同一指から抽出されたものである。

具体的には、制御部１０は、第１の凸包点群に対する第２の凸包点群の移動位置を、例えば回転移動及び平行移動の順で探索する。

すなわち、制御部１０は、現時点での第２の凸包点群の位置を初期位置とし、該初期位置での第２の凸包中心を回転の中心として、予め設定された回転移動範囲において所定の回転移動量ずつ第２の凸包点群を回転移動し、例えば、第２の凸包点群の各点と、これら各点に最も近い点となる第１の凸包点群の各点との距離の２乗の和（以下、これを評価値と呼ぶ）が最小となる位置を探索する。

そして制御部１０は、この回転移動において評価値が最小となる第２の凸包点群の位置を探索した場合、その探索した位置を基準として、予め設定された平行移動範囲において所定の平行移動量ずつ平行移動し、評価値が最小となる第２の凸包点群の位置を探索するようになされている。

また制御部１０は、この平行移動において評価値が最小となる第２の凸包点群の位置を探索した場合、当該探索したときの評価値（以下、これを現評価値と呼ぶ）に対する、１つ前に回転移動及び平行移動の順で探索したときの評価値（以下、これを前評価値と呼ぶ）の大小を認識する。

この現評価値が前評価値よりも小さい場合、このことは、次の評価値がさらに小さくなる、つまり、第１の凸包点群に対して第２の凸包点群をさらに近づけることができる可能性があることを意味する。この場合、制御部１０は、現評価値を得たときの第２の凸包点群の位置を初期位置として、該第１の凸包点群に対する第２の凸包点群の移動位置を、回転移動及び平行移動の順で再探索する。

ちなみに、第１の凸包点群に対する第２の凸包点群の移動位置を最初に探索した場合には前評価値がないので、この場合には、現評価値が前評価値よりも小さい場合と同様に、現評価値に対応する第２の凸包点群の位置を初期位置として、該第１の凸包点群に対する第２の凸包点群の移動位置が、回転移動及び平行移動の順で再探索される。

一方、現評価値が前評価値よりも大きい場合、このことは、次の評価値が大きくなる、つまり、第２の凸包点群が第１の凸包点群から離れる可能性が高いことを意味する。この場合、制御部１０は、現評価値が所定の閾値未満となるか否かを判定する。ちなみに、前評価値が所定の閾値未満となるか否かを判定するようにしてもよい。

この現評価値が閾値以上となる場合、このことは、その後に第１の凸包点群に対する第２の凸包点群の移動位置を再探索しても、第１の凸包点群に対して第２の凸包点群をさらに近づけることができる可能性が低く、これに起因して照合処理で登録者と承認することができないものと判定される可能性が高いので、その後の処理が無駄になることを意味する。したがってこの場合、制御部１０は、その後の処理を停止する。

一方、現評価値が所定の閾値未満となる場合、このことは、第１の凸包点群に対して十分に近い位置に第２の凸包点群が存在する、つまり位置合わせされたことを意味する。この場合、制御部１０は、現評価値を得たときに探索した第２の凸包点群の位置を、第１の凸包点群に対する第２の凸包点群の移動位置として決定する。そして制御部１０は、このとき決定した第２の凸包点群の移動位置と、該第２の凸包点群の移動前の位置との移動量分だけ、当該第２の凸包点群を含む他方の血管構成点群を移動するようになされている。

この実施の形態の場合、制御部１０は、かかる移動量を、同次座標系(homogeneous coordinate)を用いて算出するようになされている。

すなわち、制御部１０は、移動前後の点を１次元拡張した座標系により定義し、当該座標系を行列として表したときの変換行列を、回転移動後の位置及び平行移動後の位置を探索するごとに累積的に乗算する。

つまり、第２段階で平行移動したときの変換行列に対して、最初の回転移動後の位置を探索したときの変換行列が乗算され、その乗算結果に対して、最初の平行移動後の位置を探索したときの変換行列が乗算され、その乗算結果に対して、２回目の回転移動後の位置を探索したときの変換行列が乗算され、その乗算結果に対して、２回目の平行移動後の位置を探索したときの変換行列が乗算されていくこととなる。

そして制御部１０は、第１の凸包点群に対する第２の凸包点群の移動位置を決定した場合、その移動位置を決定したときの乗算結果として得られる変換行列を、他方の血管構成点群に乗算し、この乗算後に得られる他方の血管構成点群を、１次元拡張する前の座標系に戻す。

このようにして制御部１０は、同次座標系を用いて移動量を算出し、該算出した移動量を他方の血管構成点群に乗算することにより、他方の血管構成点群の位置を移動させるようになされている。

ここで、他方の血管構成点群の移動に関し、他方の血管構成点群における各点を移動先に移動させるための変換行列を、移動前後の点の座標系に１次元拡張した座標系で算出する場合と、該１次元拡張した座標系で算出しない場合とを比較する。

この実施の形態では、移動前後の点は２次元座標系である。したがって、移動前後の点を１次元拡張した場合、回転移動は、移動前の点を（ｘ，ｙ，１）とし、該移動後の点を（ｕ，ｖ，１）とすると、次式

となり、平行移動は、次式

となる。

この回転移動及び平行移動を繰り返し何度も実行した場合、移動後の点は、次式

となる。

これら式からも明らかなように、移動前後の点を１次元拡張した場合における変換行列は、回転移動及び平行移動の双方ともに、移動前の点に対する「３×３」の行列の「積」によって表される（式１、式２）。

したがって、第１の凸包点群に対する第２の凸包点群の移動位置を決定するまでの中間過程で回転移動及び平行移動が何度も行われた場合であっても、直前の結果に対して「３×３」の変換行列を積算するだけの一貫した算出手法により（式３）、当該第２の凸包点群を含む他方の血管構成点群を移動させるための移動量を得ることができる。

この結果、第１の凸包点群に対する第２の凸包点群の移動位置を決定した時点に得られた変換行列を、第２の凸包点群を含む他方の血管構成点群における各点に乗算するだけで、該他方の血管構成点群を一括して移動先の位置に移動させることができることとなる。

一方、移動前後の点を１次元拡張せずにそのままとした場合、回転移動は、移動前の点を（ｘ，ｙ）とし、該移動後の点を（ｕ，ｖ）とすると、次式

となり、平行移動は、次式

となる。

これら式からも明らかなように、移動前後の点を１次元拡張しない場合における変換行列は、回転移動では、移動前の点に対する「積」によって表され（式４）、平行移動の場合では、移動前の点に対する「和」によって表される（式５）。

したがって、移動前後の点を１次元拡張した座標系で表現することなく、第２の凸包点群における移動位置を決定するには、単に直前の結果に対して変換行列を積算するといった単純な算出手法とはならない。

この結果、他方の血管構成点群を移動先の位置に移動させるには、当該第１の凸包点群に対する第２の凸包点群の移動位置を決定するまでの中間過程で行われた回転移動及び平行移動の変換行列やその順序などの記憶し、その順序で各変換行列を、他方の血管構成点群における各点それぞれに対して乗算していかなければならないこととなる。また、一回の乗算により他方の血管構成点群を一括して移動先の位置に移動させる場合に比して、計算誤差の蓄積が増すことにもなる。

このように制御部１０は、移動前後の点を１次元拡張した座標系について行列として表したときの変換行列を、回転移動後の位置及び平行移動後の位置を探索するごとに累積的に乗算することにより、当該１次元拡張した座標系に定義しない場合に比して、他方の血管構成点群を移動させるまでの処理負荷を低減できるとともに、該他方の血管構成点群を正確に移動することができるようになされている。

（２−３−４）第４段階
第４段階として、制御部１０は、一方の血管構成点群に対して他方の血管構成点群をおおまかに位置合わせした場合には、例えば図６に示すように、一方の血管構成点群すべての点と、他方の血管構成点群すべての点との間の相対距離が閾値未満となるように、第３段階と同じ手法を用いて、一方の血管構成点群に対して他方の血管構成点群を詳細に位置合わせする。この図６では、便宜上、血管線も示している。また、この図６における一方の血管構成点群（血管線）と、他方の血管構成点群（血管線）とは、同一人物における同一指から抽出されたものである。

（３）認証処理手順
次に、制御部１０における認証モード時の認証処理手順について説明する。

図７に示すように、制御部１０は、操作部１１（図１）から実行命令ＣＯＭ２が与えられると、この認証処理手順ＲＴ１を開始し、ステップＳＰ１において、撮像部１２（図１）を制御し、当該撮像部１２での撮像結果として、血管が映し出される画像データを取得する。

次いで、制御部１０は、ステップＳＰ２において、この画像データに対して所定の前処理を施した後、該処理結果として得られる画像から血管構成点群を抽出し（図２）、続くステップＳＰ３において、この血管構成点群と、メモリ１３（図１）に識別データとして記憶される血管構成点群とから凸包点群及び凸包中心点をそれぞれ検出する（図３）。

そして制御部１０は、次のステップＳＰ４に進んで、第１の凸包中心点と、第２の凸包中心点とが一致するように、第２の凸包点群をそれぞれ平行移動した後（図４）、続く位置合わせ処理ルーチンＳＲＴにおいて、一方の血管構成点群に対して他方の血管構成点群をおおまかに位置合わせする（図５）。

すなわち、図８に示すように、制御部１０は、ステップＳＰ１１において、現時点での第２の凸包点群の位置を初期位置とし、該初期位置での第２の凸包中心を回転の中心として、予め設定された回転移動範囲において所定の回転移動量ずつ第２の凸包点群を回転移動し、評価値が最小となる第２の凸包点群の位置を探索した後、ステップＳＰ１２に進んで、その探索した位置を基準として、予め設定された平行移動範囲において所定の平行移動量ずつ平行移動し、評価値が最小となる第２の凸包点群の位置を探索する。

そして制御部１０は、ステップＳＰ１３において、ステップＳＰ１１及びＳＰ１２における探索が初回の探索であるか否か判定し、２回目以降の探索である場合には、次のステップＳＰ１４において、今回の探索により得た現評価値が、その探索の１つ前の回の探索により得た前評価値よりも大きいか否かを判定する。

ここで、初回の探索である、又は、現評価値が前評価値よりも小さいものと判定された場合、第１の凸包点群に対して第２の凸包点群をさらに近づけることができる可能性があるもことから、制御部１０は、現評価値を得たときの第２の凸包点群の位置を初期位置として、該第１の凸包点群に対する第２の凸包点群の移動位置を、回転移動及び平行移動の順で再探索する。

一方、現評価値が前評価値よりも大きいものと判定された場合、第２の凸包点群が第１の凸包点群から離れる可能性が高いことから、制御部１０は、次のステップＳＰ１５に進んで、当該現評価値が所定の閾値未満であるか否かを判定する。

この現評価値が閾値以上であるものと判定された場合、その後に第１の凸包点群に対する第２の凸包点群の移動位置を再探索しても、第１の凸包点群に対して第２の凸包点群をさらに近づけることができる可能性が低いことにより照合処理で登録者と承認することができないものと判定される可能性が高いことから、制御部１０は、登録者と承認することができないものと見越して、この認証処理手順ＲＴを終了する（図７）。

このようにこの制御部１０は、位置合わせされたか否かの判定要素となる評価値を、登録者と承認することができるか否かの判定要素としても用いることにより、当該位置合わせから登録者と承認することができるか否かを判定するまでの処理を省くことができるようになされている。

一方、現評価値が閾値未満であるものと判定された場合、第１の凸包点群に対して十分に近い位置に第２の凸包点群が存在することから、制御部１０は、続くステップＳＰ１６に進んで、第２の凸包点群の移動前後の移動量分だけ、当該第２の凸包点群を含む他方の血管構成点群を移動する。

そして制御部１０は、次のステップＳＰ５（図７）において一方の血管構成点群に対する他方の血管構成点群の詳細な位置合わせが終了していない場合には、続くステップＳＰ６において、処理対象を凸包点群から血管構成点群に切り換えた後、位置合わせ処理ルーチンＳＲＴにおいて、一方の血管構成点群と他方の血管構成点群との相対距離（評価値）が閾値未満となるように、一方の血管構成点群に対して他方の血管構成点群を詳細に位置合わせするようになされている（図６）。

ここで、一方の血管構成点群に対する他方の血管構成点群の大まかな位置合わせ（図５）と、詳細な位置合わせ（図６）の過程において、登録者と承認することができないものと見越されることなく（図８：ステップＳＰ１５（ＮＯ））、当該位置合わせ処理が終了した場合、制御部１０は、ステップＳＰ７に進む。

制御部１０は、このステップＳＰ７において、位置合わせされた一方の血管構成点群における各特徴点と、他方の血管構成点群における各特徴点とを照合し、該照合結果が登録者と承認することができるものである場合には、この場合に行うべきものとして設定された処理を実行し、これに対して登録者と承認することができるものでない場合には、この場合に行うべきものとして設定された処理を実行した後に、この認証処理手順ＲＴ１を終了する。

（４）動作及び効果
以上のように、この制御部１０は、一方の画像から抽出された血管の形状パターンと、他方の画像から抽出された血管の形状パターンとを照合する場合、これら画像を位置合わせする位置合わせ部として機能する。

この場合、制御部１０は、血管構成点群のうち、該血管構成点群全体のおおまかな形状となる外縁を構成する一部の点（第１の凸包点群、第２の凸包点群（図３））を基準に、血管構成点群全体をおおまかに位置合わせし（図４）、この後、当該移動した血管構成点群すべての点を基準に、血管構成点群全体を詳細に位置合わせする（図５）。

したがってこの制御部１０は、血管構成点群の一部の点でおおまかに位置合わせすることなく、当該血管構成点群全体を詳細に位置合わせする場合に比して、血管構成点群すべての点を基準に位置合わせする際の回転移動及び平行移動の移動回数を大幅に低減することができる。

このため、制御部１０は、血管構成点群を位置合わせするまでの処理時間を短縮することができる。ここで、実験結果を図９に示す。この図９は、一方の血管構成点群と、他方の血管構成点群との基準線のなす角（以下、これをずれ角と呼ぶ）に応じた、第１段階から第３段階までの処理時間と、第１段階から第４段階までの処理時間と、第１段階から第３段階までを経ずに第４段階だけを行った場合の処理時間との比較を表したものである。ちなみに、この処理時間は、Xeon 3.73[GHz] 4[GByte]のコンピュータにて、MATLAB7.1を用いて実測したものである。

この図９では、第４段階だけを行った場合（血管構成点群の一部の点でおおまかに位置合わせすることなく、当該血管構成点群全体を詳細に位置合わせする場合）の処理時間は、ずれ角が大きくなるにつれて、増加の一途をたどる。

これに対して、第１段階から第３段階までの処理時間は、ずれ角にかかわらず一定であり、かつ、第４段階だけを行った場合に比して格段に短時間となる。これは、位置合わせ時の基準となる点の数が大幅に少ないため、評価値（第２の凸包点群の各点と、これら各点に最も近い点となる第１の凸包点群の各点との距離の２乗の和）が速やかに閾値未満に収束するということを理由の１つにあげることができる。ちなみに、図３における血管構成点群は「１０３７」点であるのに対し、凸包点群は「１０」点である。

一方、第４段階自体の処理時間も、ずれ角にかかわらず一定であり、かつ、第４段階のみを行った場合に比して格段に短時間となる。これは、前段で大まかに位置合わせされているため、評価値が速やかに閾値未満に収束するということを理由の１つにあげることができる。

したがって、この図９からも明らかなように、血管構成点群の一部の点でおおまかに位置合わせすることなく、当該血管構成点群全体を詳細に位置合わせする場合に比して、当該血管構成点群を位置合わせするまでの処理時間を短縮することができる。

また、制御部１０は、血管構成点群すべての点を基準に位置合わせする際の回転移動及び平行移動の移動回数を大幅に低減することができることができるため、その移動計算における誤差の蓄積をも低減することができ、この結果、血管構成点群の位置合わせ精度を向上することができる。ここで、第４段階だけを行った場合（血管構成点群の一部の点でおおまかに位置合わせすることなく、当該血管構成点群全体を位置合わせした場合）の画像を、図１０に示す。

この図１０と、図６との比較からも明らかなように、血管構成点群の一部の点でおおまかに位置合わせすることなく、当該血管構成点群全体を詳細に位置合わせする場合に比して、当該血管構成点群の位置合わせ精度を向上することができる。

この実施の形態における制御部１０では、おおまかな位置合わせ手法として、第２の凸包点群の各点と、これら各点に最も近い点となる第１の凸包点群の各点との相対距離（書く点間の距離の２乗の和）が最小となるように、第１の凸包点群に対する第２の凸包点群の移動先の位置を、回転移動及び平行移動を交互に繰り返して探索し、その探索結果に基づいて第２の凸包点群を含む他方の血管構成点群を移動する手法が採用されている。

したがって、この制御部１０は、相互変換(cross correlation)又は位相限定相関(phase only correlation)に比して、２次元のＦＦＴ(Fast Fourier Transform)処理を必要としないで、位置合わせをすることができる。この点、例えば携帯電話機や、ＰＤＡ(Personal Digital Assistants)等のように、浮動小数点の計算力に乏しい携帯型端末装置に搭載する場合には、特に有用となる。

以上の構成によれば、血管構成点群のうち、該血管構成点群全体の概略形状となる外縁を構成する一部の点を基準に、血管構成点群全体をおおまかに位置合わせし、当該移動した血管構成点群すべての点を基準に、血管構成点群全体を詳細に位置合わせするようにしたことにより、当該血管構成点群すべての点を基準に位置合わせする際の回転移動及び平行移動の移動回数を大幅に低減することができ、かくして処理負荷を低減し得る認証装置１を実現できる。

（５）他の実施の形態
上述の実施の形態においては、オブジェクトとして、血管を適用するようにした場合について述べたが、本発明はこれに限らず、例えば指紋、口紋又は神経等の生体の識別対象を適用するようにしてもよく、また、例えば地図や、写真等の絵柄を適用するようにしてもよい。このことは、上述した制御部１０の位置合わせ処理は、バイオメトリクス認証での画像処理のみならず、その他の画像処理での前処理、中間処理、後処理に利用するなどといったように、種々の画像処理に幅広く適用することができるということである。

また上述の実施の形態においては、オブジェクト（血管）の中心線（血管線）を構成する端点、分岐点及び屈曲点の全部又は一部（血管構成点群）を抽出するようにした場合について述べたが、本発明はこれに限らず、オブジェクトの輪郭線を構成する端点、分岐点及び屈曲点の全部又は一部を抽出するようにしてもよい。具体的には、オブジェクトの輪郭線を浮き彫りにし、該浮き彫りにされたオブジェクトの輪郭線を構成する端点、分岐点及び屈曲点を抽出する。この抽出手法は、例えば地図や、写真等の絵柄をオブジェクトとして適用する場合に有用となる。

なお、オブジェクトの中心線又は輪郭線を構成する端点、分岐点及び屈曲点の全部又は一部に代えて、該中心線又は輪郭線を構成するすべての点を抽出するようにしてもよい。

さらに上述の実施の形態においては、オブジェクトから抽出された点の集合（血管構成点群）から、該点の集合（血管構成点群）を含む最小の多角形（凸包）の頂点を構成する点群（凸包点群）を検出するようにした場合について述べたが、これ以外を検出するようにしてもよい。

例えば図１１に示すように、点の集合（血管構成点群）を含む最小の矩形に接する点群（以下、これを最小外接矩形点群と呼ぶ）を検出することができる。この最小外接矩形点群を適用した場合、第３段階では、例えば図１２に示すように、一方の最小外接矩形点群における中心を通る長軸と、他方の最小外接矩形点群における中心を通る長軸とが一致するように、一方の血管構成点群に対して他方の血管構成点群をおおまかに位置合わせする手法を採用することができる。

具体的には、一方の最小外接矩形点群における中心を通る長軸に対する、他方の最小外接矩形点群における中心を通る長軸の反時計回りの回転角θ_Ｆ−θ_Ｐ（又は時計回りの回転角）を求め、該回転角だけ他方の血管構成点群における各点をずらす。この手法を採用すれば、上述の実施の形態における第３段階の手法に比して、回転移動及び平行移動の計算を省略できる分だけ一段と処理負荷を低減することができる。

ただし、上述の実施の形態のように一方の最小外接矩形点群における各点と、他方の最小外接矩形点群における各点との間の相対距離が閾値未満となるように、一方の血管構成点群に対して他方の血管構成点群をおおまかに位置合わせする手法を採用することもできる。

また、例えば図１３に示すように、点の集合（血管構成点群）のうち分岐点及び屈曲点の全部又は一部の点群を検出するようにしてもよい。

なお、点の集合（血管構成点群）における外縁を構成する点群の一例として凸包点群及び最小外接矩形点群を挙げ、該点の集合における内部の概略形状を構成する点群の一例として分岐点及び屈曲点の全部又は一部を挙げたが、必ずしもこれら点群でなくてよい。

また、例えば凸包点群と、分岐点及び屈曲点の全部又は一部の組み合わせ、あるいは、最小外接矩形点群と、分岐点及び屈曲点の全部又は一部の組み合わせのように、内外の概略形状を構成する点群の組み合わせを検出するようにしてもよい。

さらに上述の実施の形態においては、オブジェクトから抽出された点の集合（血管構成点群）から、該点の集合（血管構成点群）を含む最小の多角形（凸包）の頂点を構成する複数の点（凸包点群）を検出するようにした場合について述べたが、所定の条件に応じて検出対象を切り換えるようにしてもよい。

例えば、凸包点群を適用した場合について説明する。この場合、凸包点群により構成される凸包の形状が正多角形若しくはこれらに近い対称形状となることが想定され、このときには、実際の対応点でない点同士が近づいても、当該点間の相対距離が閾値未満となって位置合わせされたものと判断され、この結果、位置合わせ精度が低減する。

したがって、制御部１０は、第１段階において、凸包の形状が対称であるとする条件として、例えば、凸包点群により構成される凸包の枠に対する、凸包中心からの複数の直線の距離のばらつきの程度が閾値未満であるか否かを判断する。

ここで、ばらつきの程度が閾値以上であった場合、制御部１０は、凸包の形状が正多角形若しくはこれらに近い形状となっていないものとして、第２段階の処理を開始する。一方、ばらつきの程度が閾値未満であった場合、制御部１０は、凸包の形状が正多角形若しくはこれらに近い形状となっているものとして、凸包点群と、血管構成点群のうち分岐点及び屈曲点の全部又は一部の点群との組み合わせを再検出した後に、第２段階の処理を開始する。

このようにすれば、ある一定の位置合わせ精度を維持しつつ、該位置合わせにおける処理負荷を低減することができる。なお、凸包点群を適用した場合について述べたが、最小外接矩形点群も場合も同様にして実行することが可能である。

さらに上述の実施の形態においては、一方のオブジェクトから抽出された点の集合（血管構成点群）から検出された点群（第１の凸包点群）と、他方のオブジェクトから抽出された点の集合（血管構成点群）から検出された点群（第２の凸包点群）との各対応点間の相対距離として、第１の凸包点群との各対応点間の距離の２乗の和を採用するようにした場合について述べたが、本発明はこれに限らず、例えば、当該各対応点間の距離の平均を採用する等、種々の幾何学的手法により表現することができる。

さらに上述の実施の形態においては、ＲＯＭに格納されたプログラムにしたがって上述の位置合わせ処理を実行するようにした場合について述べたが、本発明はこれに限らず、ＣＤ(Compact Disc)、ＤＶＤ(Digital Versatile Disc)、半導体メモリ等のプログラム格納媒体からインストールし、又はインターネット上のプログラム提供サーバからダウンロードすることにより取得したプログラムにしたがって上述の位置合わせ処理を実行するようにしてもよい。

さらに上述の実施の形態においては、パターン抽出処理及び位置合わせ処理を制御部１０が実行するようにした場合について述べたが、本発明はこれに限らず、これら処理の一部をグラフィックスワークステーションで実行するようにしてもよい。

さらに上述の実施の形態においては、撮像機能、照合機能及び登録機能を有する認証装置１を適用するようにした場合について述べたが、本発明はこれに限らず、当該用途に応じて、機能ごとに又は各機能の一部を単体の装置に分けた態様で適用するようにしてもよい。

本発明は、種々の画像処理分野においてオブジェクトの位置合わせを行う場合に利用可能である。

本実施の形態による認証装置の全体構成を示すブロック図である。 パターン抽出前後の画像を示す略線図である。 凸包点の検出前後の画像を示す略線図である。 凸包点の平行移動の説明に供する略線図である。 一方の血管構成点群と、他方の血管構成点群の一部の点を用いて、当該血管構成点群同士を位置合わせした状態を示す略線図である。 一方の血管構成点群と、他方の血管構成点群のすべての点を用いて、当該血管構成点群同士を位置合わせした状態を示す略線図である。 認証処理手順を示すフローチャートである。 位置合わせ処理手順を示すフローチャートである。 ずれ角に応じた、第１〜第３段階までの処理時間と、第１〜第４段階までの処理時間と、第４段階だけを行った場合の処理時間とを示す略線図である。 血管構成点群の一部の点で大まかに位置合わせすることなく、当該血管構成点群同士を位置合わせした状態を示す略線図である。 最小外接矩形点の検出前後の画像を示す略線図である。 最小外接矩形点を基準とする、血管構成点群の位置合わせの説明に供する略線図である。 分岐点及び屈曲点の検出前後の画像を示す略線図である。

符号の説明

１……認証装置、１０……制御部、１１……操作部、１２……撮像部、１３……メモリ、１４……インターフェース、１５……通知部、１５ａ……表示部、１５ｂ……音声出力部。

Claims (11)

1. 一方の画像に映し出されるオブジェクトから抽出された第１の点の集合から、該第１の点の集合における外縁を構成する第１の点群を検出し、他方の画像に映し出されるオブジェクトから抽出された第２の点の集合から、該第２の点の集合における外縁を構成する第２の点群を検出する第１のステップと、
   上記第１の点群と、上記第２の点群を基準として、上記第１の点の集合に対して上記第２の点の集合を位置合わせする第２のステップと、
   上記第１の点の集合におけるすべての点と、上記第２のステップで位置合わせされた第２の点の集合におけるすべての点を基準として、上記第１の点の集合に対して上記第２の点の集合を位置合わせする第３のステップと
   を有する位置合わせ方法。
2. 一方の画像に映し出されるオブジェクトから抽出された第１の点の集合から、該第１の点の集合を含む最小の矩形に接する第１の点群を検出し、他方の画像に映し出されるオブジェクトから抽出された第２の点の集合から、該第２の点の集合を含む最小の矩形に接する第２の点群を検出する第１のステップと、
   一方の上記矩形における中心を通る長軸と、他方の上記矩形における中心を通る長軸とが一致するように、上記第１の点の集合に対して上記第２の点の集合を位置合わせする第２のステップと、
   上記第１の点の集合におけるすべての点と、上記第２のステップで位置合わせされた第２の点の集合におけるすべての点を基準として、上記第１の点の集合に対して上記第２の点の集合を位置合わせする第３のステップと
   を有する位置合わせ方法。
3. 上記第２のステップでは、
   上記第１の点の集合における一部の点群と、上記第２の点の集合における一部の点群との間の相対距離が閾値未満となるように、上記第２の点の集合における一部の点群の移動先の位置を、回転移動及び平行移動を交互に繰り返して探索し、該探索された移動先の位置と、移動前の位置との移動量だけ上記第２の点の集合を移動する
   請求項１又は請求項２に記載の位置合わせ方法。
4. 上記相対距離は、登録者と承認することができるか否かを判定する判定基準としても用いられる
   請求項３に記載の位置合わせ方法。
5. 上記第２のステップでは、
   １次元拡張された移動前後の点の座標系を行列としたときの変換行列を、上記回転移動と上記平行移動を行うごとに累積的に乗算し、
   上記移動先の位置が探索された場合、その探索されたときの乗算結果として得られる変換行列を、上記第２の点の集合に乗算する
   請求項３に記載の位置合わせ方法。
6. 上記第１のステップでは、
   外縁の形状が対称であるとする条件を上記外縁が満たす場合、上記第１の点群と、該第１の点の集合のうち、上記オブジェクトの中心線又は輪郭線における分岐点及び屈曲点の全部又は一部の点群との組み合わせを第１の点群として再検出し、上記第２の点群と、該第２の点の集合のうち、上記オブジェクトの中心線又は輪郭線における分岐点及び屈曲点の全部又は一部の点群との組み合わせを第２の点群として再検出する
   請求項１に記載の位置合わせ方法。
7. 画像に映し出される生体の識別対象を線として抽出し、該線の端点、分岐点及び屈曲点の全部又は一部を、上記識別対象の特徴をなす点の集合として抽出する抽出ステップ
   を有し、
   上記第１のステップでは、
   一方の上記生体の識別対象から抽出された第１の点の集合から、該第１の点の集合における外縁を構成する第１の点群を検出し、他方の上記生体の識別対象から抽出された第２の点の集合から、該第２の点の集合における外縁を構成する第２の点群を検出する
   請求項１又は請求項２に記載の位置合わせ方法。
8. ワークメモリと、
   入力される一方の画像と、他方の画像とを、上記ワークメモリを用いて位置合わせする位置合わせ部と
   を有し、
   上記位置合わせ部は、
   一方の画像に映し出されるオブジェクトから抽出された第１の点の集合から、該第１の点の集合における外縁を構成する第１の点群を検出し、他方の画像に映し出されるオブジェクトから抽出された第２の点の集合から、該第２の点の集合における外縁を構成する第２の点群を検出し、
   上記第１の点群と、上記第２の点群を基準として、上記第１の点の集合に対して上記第２の点の集合を位置合わせし、
   上記第１の点の集合におけるすべての点と、位置合わせされた第２の点の集合におけるすべての点を基準として、上記第１の点の集合に対して上記第２の点の集合を位置合わせする
   ことを特徴とする位置合わせ装置。
9. ワークメモリと、
   入力される一方の画像と、他方の画像とを、上記ワークメモリを用いて位置合わせする位置合わせ部と
   を有し、
   上記位置合わせ部は、
   一方の画像に映し出されるオブジェクトから抽出された第１の点の集合から、該第１の点の集合を含む最小の矩形に接する第１の点群を検出し、他方の画像に映し出されるオブジェクトから抽出された第２の点の集合から、該第２の点の集合を含む最小の矩形に接する第２の点群を検出し、
   一方の上記矩形における中心を通る長軸と、他方の上記矩形における中心を通る長軸とが一致するように、上記第１の点の集合に対して上記第２の点の集合を位置合わせし、
   上記第１の点の集合におけるすべての点と、位置合わせされた第２の点の集合におけるすべての点を基準として、上記第１の点の集合に対して上記第２の点の集合を位置合わせする
   ことを特徴とする位置合わせ装置。
10. 入力される一方の画像と、他方の画像とを、ワークメモリを用いて位置合わせする位置合わせ部に対して、
    一方の画像に映し出されるオブジェクトから抽出された第１の点の集合から、該第１の点の集合における外縁を構成する第１の点群を検出し、他方の画像に映し出されるオブジェクトから抽出された第２の点の集合から、該第２の点の集合における外縁を構成する第２の点群を検出すること、
    上記第１の点群と、上記第２の点群を基準として、上記第１の点の集合に対して上記第２の点の集合を位置合わせすること、
    上記第１の点の集合におけるすべての点と、位置合わせされた第２の点の集合におけるすべての点を基準として、上記第１の点の集合に対して上記第２の点の集合を位置合わせすること
    を実行させるプログラム。
11. 入力される一方の画像と、他方の画像とを、ワークメモリを用いて位置合わせする位置合わせ部に対して、
    一方の画像に映し出されるオブジェクトから抽出された第１の点の集合から、該第１の点の集合を含む最小の矩形に接する第１の点群を検出し、他方の画像に映し出されるオブジェクトから抽出された第２の点の集合から、該第２の点の集合を含む最小の矩形に接する第２の点群を検出すること、
    一方の上記矩形における中心を通る長軸と、他方の上記矩形における中心を通る長軸とが一致するように、上記第１の点の集合に対して上記第２の点の集合を位置合わせすること、
    上記第１の点の集合におけるすべての点と、位置合わせされた第２の点の集合におけるすべての点を基準として、上記第１の点の集合に対して上記第２の点の集合を位置合わせすること
    を実行させるプログラム。