以下、本発明の生体情報照合装置を適用した指紋認証装置について、図を参照しつつ説明する。まず最初に、指紋認証装置全体の概略を説明する。
図2は、本発明の生体情報照合装置を適用した指紋認証装置1の機能ブロック図である。指紋認証装置1は、生体情報として指紋を使用する。そして図2に示すように、指紋認証装置1は、操作・表示部100、指紋入力部105、記憶部110、処理部115及び出力部180を備える。そして処理部115は、指紋の照合処理を行うための照合部140などを備える。本発明の生体情報照合装置を適用した指紋認証装置1は、操作者を識別番号により特定し、予め登録されているその操作者の指紋と、指紋認証装置1で読み取る操作者の指紋の照合を行って本人と確認できた場合のみ認証を行う。そして指紋認証装置1は、出力部180を通じて接続される電気錠の施解錠制御装置を制御する。指紋認証装置1は、認証に成功した場合、出力部180を通じて接続される電気錠の施解錠制御装置に電気錠を解錠させる制御信号を送信する。以下、指紋認証装置1の指紋認証動作の概要を、図3及び図4に示すフローチャートを用いて説明する。なお、以下に説明する指紋認証装置1の動作は、処理部115に読み込まれたプログラムにしたがって、処理部115の制御部120により実行される。
図3に示すように、まず、指紋認証装置1は、例えば図示しない近赤外線センサなどにより、操作者の接近を検知すると、所定のガイダンスを操作・表示部100に表示し、操作者にそのガイダンスにしたがって指紋認証作業を行うよう促すとともに、指紋認証動作を開始する。
最初に、指紋認証装置1は、操作・表示部100から操作者の入力識別番号を取得する(ステップS101)。なお、操作者が識別番号を入力する前に、指紋入力部105の載置センサが指を検知した場合には、指紋認証装置1は、操作・表示部100を通じて識別番号の入力を促すメッセージを表示する。そして指紋認証装置1は、取得した入力識別番号が記憶部110に登録されているか否か検索する。入力識別番号が記憶部110に登録されている場合、指紋認証装置1は、操作者の指紋画像(入力指紋画像)を取得するために、指を指紋入力部105の所定位置に置くように操作・表示部100を通じて操作者に対するガイダンスを行う。一方、取得した入力識別番号が登録されていなければ、指紋認証装置1は、操作・表示部100を通じて識別番号未登録のエラーメッセージを表示する。そして、識別番号の入力待ち状態を継続する。
ステップS101の後、指紋入力部105の載置センサが指を検知すると指紋入力部105は操作者の入力指紋画像を取得する(ステップS102)。入力指紋画像を取得すると、処理部115の画像処理部125は、その入力指紋画像に対して前処理となる二値化、細線化などの画像処理を行う(ステップS103)。そして処理部115の特徴抽出部130は、その画像処理を施された入力指紋画像から隆線領域の端点、分岐点などの特徴点を抽出し、抽出された特徴点(以下、入力特徴点という)から入力指紋の特徴を表す入力特徴情報である入力特徴点リストFiを作成する(ステップS104)。
入力特徴点リストFiが作成されると、処理部115は、記憶部110から入力識別番号に関連付けられた特徴点リスト(以下、登録特徴点リストという)Frを読み出す。そして、処理部115の照合部140は、入力特徴点リストFiに含まれる入力特徴点と登録特徴点リストFrに含まれる登録特徴点の位置合わせの基準となる特徴点の組を、入力特徴点リストFi及び登録特徴点リストFrからそれぞれ抽出し、位置合わせ候補として設定する(ステップS105)。このとき、位置合わせ候補の入力特徴点と登録特徴点の位置を合わせるための位置補正量Pcを算出する。
なお、登録特徴点リストFrの作成に使用した画像を、以下では登録指紋画像と言い、その登録指紋画像に撮影されている指紋を登録指紋と言う。そして、登録特徴点リストFrは、登録指紋の特徴を表す登録特徴情報であり、登録指紋画像から抽出された複数の登録特徴点を含む。
そして図4に示すように、照合部140は、1以上の位置合わせ候補が設定されたか否か調べる(ステップS106)。そして、位置合わせ候補がなければ、照合に失敗したと判定し、操作者に対する認証を与えずに処理を終了する。
一方、ステップS106において、位置合わせ候補が1個でもあると、照合部140は、各位置合わせ候補に関連付けられた位置補正量Pcに基づいて、その位置合わせ候補に含まれる入力特徴点及び登録特徴点の近傍領域に存在する入力特徴点と登録特徴点を位置合わせし、その一致度合いを調べる。照合部140は、その一致度合いに基づいて、適切な位置合わせができていると考えられる位置合わせ候補を選別する(ステップS107)。そして照合部140は、全ての位置合わせ候補について適否判定を行った後、選別された位置合わせ候補があるか否かを調べる(ステップS108)。適切な位置合わせ候補が一つもない場合、処理部115は、照合に失敗したと判定し、操作者に対する認証を与えずに処理を終了する。一方ステップS108において、適切な位置合わせ候補がある場合、照合部140は、その位置合わせ候補を用いて、入力特徴点リストFi全体と登録特徴点リストFr全体を位置合わせする(すなわち、位置合わせ候補に関連付けられた位置補正量Pcを用いて、全入力特徴点と全登録特徴点を位置合わせする)。そして入力特徴点リストFiに含まれる入力特徴点と登録特徴点リストFrに含まれる登録特徴点の一致度合いに基づいて入力指紋画像と登録指紋画像の全体照合を行う(ステップS109)。そして照合部140は、何れかの位置合わせパターンで照合に成功したか否かを調べる(ステップS110)。ステップS110において、照合に成功した場合、処理部115は、操作者に本人であることの認証を与え、その認証を示す制御信号を出力部180を通じて出力する(ステップS111)。出力部180には、例えば電気錠の施解錠制御装置が接続される。そして、電気錠の施解錠制御装置は、電気錠の解錠を行う。そして指紋認証装置1は、処理を終了する。一方、ステップS110において、照合に成功した位置合わせペアがない場合、処理部115は、操作者に認証を与えずに処理を終了する。この場合、電気錠の施解錠制御装置は、電気錠の施錠を維持する。
上記のように、指紋認証装置1は、設定した位置合わせ候補のうち、全体照合に適したものに絞り込んだ上で全体照合を行うため、複数の位置合わせの候補を設けたことに伴う、照合に要する時間の増加を抑えつつ、本人棄却率を低減することができる。
以下、指紋認証装置1の各部について詳細に説明する。
操作・表示部100は、指紋認証装置1の操作者、すなわち被照合者が、識別番号の入力、行いたい動作の選択(例えば、特定の部屋への入室)などの操作を行うものである。また操作・表示部100は、操作のガイダンスを表示又は音声指示するものであり、タッチパネルディスプレイとスピーカで構成される。また、タッチパネルの代わりに、キーボード又はマウスのような入力デバイスと液晶ディスプレイのような単純な表示デバイスで構成してもよい。なお、ガイダンスの音声指示を行わない場合には、スピーカを省略してもよい。
操作・表示部100で入力された識別番号などのデータは、処理部115で呼び出す登録指紋データの特定などに使用される。
指紋入力部105は、照合処理に使用する生体情報として指紋画像を生成するものであり、載置された指を撮像してデジタル信号に変換するCCDカメラをモジュール化した指紋センサ、指紋センサへの指の載置を検出する載置センサ、撮像時に指を照明するLED、操作者に指の載置位置を正しく認識させるための指ガイド部材を有する。本実施形態では、一例として指紋センサとして全反射法光学式のものを使用した。しかし、本発明で使用可能な指紋センサはこれに限られない。例えば、指紋センサとして、指内部特性検出型光学式、光路分離法光学式、表面突起不規則反射式などの光学式センサ、静電容量式、電界式、感圧式、超音波方式などの非光学式センサを使用してもよい。またエリアセンサ型の指紋センサに限られず、ラインセンサ型の指紋センサを使用してもよい。
指紋入力部105では、載置センサが指紋センサ上に指が載置されたことを検出すると、指紋センサがその指を撮像し、入力指紋の入力指紋画像を生成する。
記憶部110は、予め登録された操作者の識別番号と登録特徴点リストFrを関連付けた登録指紋情報を記憶するものであり、フラッシュメモリなどの不揮発性メモリ、ハードディスクなどの磁気記録媒体、CD−ROM、DVD−R/Wなどの光記録媒体を有する。
ここで登録特徴点リストFrは、予め登録された操作者の指紋画像(登録指紋画像)から作成した特徴点リストであり、隆線の分岐点、端点などの各特徴点の位置をリスト形式にしたものである。登録特徴点リストFrは、後述する処理部115による入力特徴点リストFiの作成と同じ方法で作成される。各特徴点リストの詳細及び作成方法については、後述する。
また記憶部110は、処理部115が使用するプログラム、各種設定ファイル、パラメータなども記憶する。これらは、指紋認証装置1の起動時など、所定のタイミングで必要に応じて処理部115により読み出される。
処理部115は、指紋入力部105から取得した入力指紋画像と記憶部110から取得した登録特徴点リストFrに基づいて指紋の照合を行うものであり、中央演算装置(CPU)、数値演算プロセッサ、ROM又はRAMのような半導体メモリなどで構成される。また処理部115は、記憶部110から読み込まれたプログラムにしたがって、所定の動作を実行する。さらに処理部115は、操作・表示部100、指紋入力部105、記憶部110、及び出力部180と接続されており、それら各部に所定の制御信号を出力して制御を行う。また処理部115は、指紋の照合及び各部の制御を行うために、制御部120、画像処理部125、特徴抽出部130及び照合部140を備える。
処理部115は、操作・表示部100から操作者の識別番号が入力されると、その識別番号(以下入力識別番号という)が記憶部110に登録されているか否か探索する。そして処理部115は、入力識別番号と一致する識別番号が登録されていれば、その識別番号と関連付けられた登録特徴点リストFrを記憶部110から読み出す。また処理部115の画像処理部125は、指紋入力部105から取得した入力指紋画像に対してムラ補正、二値化、細線化などの画像処理を行う。そして処理部115は、特徴抽出部130において、そのような画像処理を施された入力指紋画像から、入力指紋の入力特徴点リストFiを作成する。入力特徴点リストFiが作成されると、処理部115の照合部140は、入力特徴点リストFiと登録特徴点リストFrとに基づいて照合を行う。最後に処理部115は、認証に成功したか否かに関する照合結果を操作・表示部100に表示させ、また照合結果を示す信号を出力部180を介して電気錠制御装置など外部の機器へ出力する。
以下、処理部115の各部について詳細に説明する。
制御部120は、記憶部110から読み込まれたプログラム及び操作・表示部100からの入力信号にしたがって、操作・表示部100、指紋入力部105、記憶部110及び出力部180の各部の制御、指紋画像など各種データの受け渡しなどを行う。また、制御部120は、処理部115内の画像処理部125、特徴抽出部130及び照合部140による処理を制御する。
画像処理部125は、操作者の入力指紋画像から照合に利用する入力特徴点リストFiを作成するために、入力指紋画像に前処理となる画像処理を施す。画像処理部125は、例えば以下のような画像処理を施す。まず画像処理部125は、入力指紋画像の濃度ムラを補正する。次に、画像処理部125は、その濃度ムラを補正した入力指紋画像を、隆線領域と谷線領域とに二値化する。そして画像処理部125は、二値化された入力指紋画像の隆線領域を細線化する。これらムラ補正処理、二値化処理、細線化処理には、公知の種々の処理を利用することができるため、詳細な説明は省略する。
特徴抽出部130は、画像処理部125において画像処理を施された入力指紋画像に基づいて、入力指紋画像の特徴情報を抽出する。ここで特徴情報とは、指紋画像における隆線領域の端点、分岐点など複数の特徴点の情報である。特徴抽出部130は、入力指紋画像から抽出した特徴点のそれぞれについて、その特徴点の情報を予め定められた形式にしたがって入力特徴点リストFiとして作成する。なお上記のように、特徴抽出部130による特徴抽出方法と同じ方法を用いて、照合を行う以前に予め登録指紋画像から特徴抽出を行い、登録特徴点リストFrが作成される。
特徴抽出部130による特徴情報の抽出処理について、詳細に説明する。
図5は、細線化された指紋画像における特徴点の概略を示す。図5において、黒く示された部分は細線化された隆線領域を表す。また、図5において、隆線領域の終端となっている部分300及び310が、隆線の端点であり、隆線が1本から2本に分岐している部分320が分岐点である。これらの特徴点の位置、数は、個人毎に異なるため、指紋の照合を行うための非常に有益な情報となる。
特徴情報抽出部130は、指紋画像から隆線の端点、分岐点を抽出し、位置、方向、信頼度の各要素を求める。例えば、隆線画素のうちで、且つ隣接する8近傍画素のうち、1画素だけが隆線画素である画素を端点とする。また隆線画素のうちで、隣接する8近傍画素のうち、3画素が隆線画素であり、且つそれら8近傍画素中の隆線画素同士が隣接していない画素を分岐点とする。また端点300、310又は分岐点320の入力指紋画像上の座標値(XT,YT)を各特徴点の位置とする。ただしXTは入力指紋画像上の水平方向座標値、YTは入力指紋画像上の垂直方向座標値である。
特徴点の方向θTは、その特徴点における隆線の方向を表す。また特徴点の方向θTは、図5に示すように、例えば入力指紋画像の水平方向軸と時計回りの方向になす角で表される。特徴点が端点300、310の場合、その端点300、310と隣接する隆線画素を結んだ直線と、入力指紋画像の水平方向軸とのなす角を特徴点の方向θTとして求める。また特徴点が分岐点320の場合、分岐点320と、分岐点320から2画素の距離にある隆線画素との線分を求める(そのような線分は3本あるはずである)。次に、それぞれの線分同士のなす角を求める。そして、最もなす角が狭い2本の線分の2等分線を求める。その2等分線と入力指紋画像の水平方向軸とのなす角を特徴点の方向θTとする。なお、特徴点の方向θTの求め方は、上記に限られるものではなく、他の公知の方法を用いてもよい。
特徴点の信頼度Tは、その特徴点の存在、位置、方向の信頼性を示す値である。例えば、指紋画像では、局所的に見ると複数の隆線が略平行に並んでいる。そのため、複数の特徴点が含まれる局所的な領域を考えると、その領域内では、それぞれの特徴点の方向θTは、ほぼ同じ方向となる。そこで、以下のように信頼度Tを設定することができる。まず、着目する特徴点を中心とした局所的な領域(例えば、32×32画素程度)を設定する。次に、その局所的な領域中に含まれる各特徴点の方向θTを表す方向単位ベクトルを平均化した方向ベクトルを算出する。そして、着目特徴点の方向θTを表す方向単位ベクトルのうち、平均化された方向ベクトルの成分と平行な方向の成分の絶対値を信頼度Tとする。信頼度Tは、近傍の隆線方向と整合性の度合いを反映した値となり、近傍隆線方向が全て同一となるとき最大値をとり、傷などで隆線が途切れた場所にできる擬似特徴点などでは小さな値となる。また信頼度Tは、相対的な評価を容易にするために、例えば、0〜1の値をとるように正規化される。
特徴抽出部130は、上記のように指紋画像から特徴点を抽出し、抽出した特徴点の情報(特徴点の種類(端点か分岐点か)、位置、方向、信頼度)から、予め定められた形式にしたがって特徴点リストを生成する。
照合部140は、操作者の指紋画像から特徴抽出部130において抽出した入力特徴点リストFiと、記憶部110から読み出した登録特徴点リストFrとを照合する。
上記のように、同じ指の指紋を入力した場合であっても、入力時の指の押圧状態などによって得られる指紋画像は異なる。そのため、指紋画像によって、抽出される特徴点の位置、方向、信頼度も異なってしまい、特徴点リストも同一とはならない。そのため、正確な照合を行うために、照合部140は、入力指紋の歪みと登録指紋の歪みの差が少ない領域に基づいて適切な位置合わせを行い、その後に各特徴点の一致度合いを評価することが好ましい。
図6を用いてこの様子を説明する。図6は、特徴点リストの情報を模式的に示した図であって、登録特徴点リストFrに含まれる登録特徴点と入力特徴点リストFiに含まれる入力特徴点を画像上に展開し、重ね合わせた模式図である。なお、図6(a)及び図6(b)において、領域410は図1(a)の登録指紋画像における画像全体の領域に対応し、領域420は図1(b)の入力指紋画像における画像全体の領域に対応する。また、白抜きの三角形450は登録指紋画像から抽出された登録特徴点、すなわち、登録特徴点リストFrに含まれる各特徴点を表し、ハッチングされた三角形460は入力指紋画像から抽出された入力特徴点、すなわち、入力特徴点リストFiに含まれる各特徴点を表す。そして、これら三角形450、460の重心が特徴点の位置(XT,YT)であり、最も鋭角な角の向いている方向が、特徴点の方向θTを表す。図6(a)は、図1(a)及び図1(b)に示した登録指紋画像及び入力指紋画像に対して、図1における押圧状態の差が大きい領域340を避けた領域、すなわち比較的歪みの差の少ない画像下部において位置合わせを行った例を示す。具体的には、登録特徴点の組(450a、450b)及び対応する入力特徴点の組(460a、460b)を位置合わせの基準として、特徴点450aと460a、及び特徴点450bと460bが略一致するように位置合わせを行った例を示す。一方、図6(b)は、図1における押圧状態の差が大きい領域340に含まれる歪みの差が大きい上部側において位置合わせを行った例を示す。具体的には、登録特徴点の組(450c、450d)及び対応する入力特徴点の組(460c、460d)をそれぞれ略一致するように位置合わせを行った例を示す。
図6(a)に示されるように、登録指紋と入力指紋の歪みの差が少ない部分領域430の特徴点で位置合わせを行った場合、登録特徴点と対応する入力特徴点の位置の差は、ほぼ入力指紋と登録指紋の歪みの差のみに起因する。そのため、部分領域430以外でも、入力指紋と登録指紋の歪みの差が大きい一部の領域を除けば、登録特徴点450と対応する入力特徴点460との位置及び方向はほぼ一致する。一方、図6(b)に示されるように、登録指紋と入力指紋の歪みの差が大きい部分領域440の特徴点で位置合わせを行うと、その歪みの差が位置合わせ時の位置補正量Pcに反映され、各登録特徴点450と対応する入力特徴点460の位置及び方向は殆ど一致せず、登録指紋と入力指紋の位置ずれを正しく補正できないことが分かる。したがって、指紋画像全体において、登録特徴点と対応する入力登録特徴点の位置の差が大きくなり、正確な照合を行うことができなくなるため、このような位置合わせは照合に適切でない。
そこで、照合部140は、位置合わせを行うパターンを複数設定し、その中から位置合わせの基準とした特徴点の近傍領域(例えば、図6(a)における部分領域430)に含まれる特徴点を用いて、登録特徴点と入力特徴点の位置ずれが少なく、良好に位置合わせされたものに絞り込む。そして照合部140は、その良好に位置合わせされたものに基づいて、指紋画像全域(全体領域)にわたって登録特徴点と入力特徴点の位置合わせを行った上で登録特徴点リストFrと入力特徴点リストFiとを照合する。
そのために、照合部140は、候補設定手段150と、位置補正手段155と、候補選別手段160と、判定手段170を備える。候補設定手段150は、登録特徴点リストFrから位置合わせ用に2個の登録特徴点からなる登録特徴点ペアを複数選択する。そして候補設定手段150は、それぞれの登録特徴点ペアについて、相対的な位置関係が一致する2個の入力特徴点からなる入力特徴点ペアを入力特徴点リストFiから選択する。そして、相対的な位置関係が一致する登録特徴点ペアと入力特徴点ペアの組み合わせを位置合わせ候補ペアとして設定する。さらに、その位置合わせ候補ペアに含まれる入力特徴点を登録特徴点と一致させるための位置補正量Pcを算出し、位置合わせ候補ペアと関連付ける。また位置補正手段155は、位置合わせを行うために、位置補正量Pcに基づいて入力特徴点リストFiに含まれる入力特徴点の位置及び方向を補正する。そして候補選別手段160は、位置合わせ候補ペアの中から入力指紋と登録指紋の歪みの差が小さいところで適切に位置合わせできていると考えられるものを位置合わせペアとして選別する。最後に判定手段170は、特徴点同士の一致度合いから求めた類似度を算出して入力特徴点リストFiと登録特徴点リストFrの照合を行う。以下照合部140の各部について説明する。
候補設定手段150は、図3のS105、図4のS106の処理を実行する手段である。候補設定手段150は、上記のように、登録特徴点リストFrから位置合わせ用に複数の登録特徴点ペアを順次選択する。そして候補設定手段150は、各ペアについて入力特徴点リストFiに含まれる各特徴点のうち対応する特徴点を検索する。つまり、登録特徴点ペアと特徴点間の距離や方向の関係が同等である、相対的な位置関係が一致する入力特徴点のペアを検索する。そして、候補設定手段150は、登録特徴点ペアと対応する入力特徴点ペアとの組み合わせを位置合わせ候補ペアとして求める。さらに、その位置合わせ候補ペアに含まれる入力特徴点の位置を登録特徴点の位置と一致させるための位置補正量Pcを算出し、位置合わせ候補ペアと関連付ける。
ここで候補設定手段150は、位置合わせの失敗による本人棄却を避けるために、登録特徴点ペアを複数用意し、入力特徴点の様々な組み合わせと総当り的に位置合わせを行う。また計算時間の長大化を避けるために、それぞれの登録特徴点ペアに含まれる特徴点の数は少ない方が好ましい。そこで本実施形態では、各登録特徴点ペアは、2個の登録特徴点から構成されることとした。したがって、対応する入力特徴点ペアも、2個の入力特徴点から構成される。なお、登録特徴点ペアに含まれる登録特徴点の数は2個に限られるものではなく、処理部115の処理能力に応じて、その数を増やしてもよい。
図7及び図8を用いて、候補設定手段150における位置合わせ候補設定の動作を説明する。図7は、位置合わせ候補ペア設定の動作を示すフローチャートであり、図3のS105の処理の詳細を示したものである。図8は、特徴点リストの情報を模式的に示した図であって、図8(a)が登録特徴点リストFrの情報を示し、図8(b)が入力特徴点リストFiの情報を示している。図8(a)において、白抜きの三角形は登録特徴点450を表す。同様に、図8(b)において、ハッチングされた三角形は入力特徴点460を表す。なお、図8(a)及び図8(b)において、登録特徴点450a〜450d及び入力特徴点460a〜460dは、それぞれ図6(a)及び図6(b)に示される登録特徴点450a〜450d及び入力特徴点460a〜460dに対応する。
図7に示すように、候補設定手段150は、位置合わせ候補ペアの設定にあたって、所定の条件を満たす2個の登録特徴点を登録特徴点ペアとして選択する(ステップS201)。ここで、選択される2個の登録特徴点は、所定の距離よりも離れたものである。このように、所定の距離よりも離れた登録特徴点から登録特徴点ペアを選択することにより、後述する候補選別手段160の処理を精度よく行うことができる。なお、所定の距離とは、隆線の幅数本分程度に相当する。
選択された登録特徴点ペアは、処理部115を構成するメモリ又は記憶部110に記憶する。なお、登録特徴点ペアは、登録特徴点リストFrを登録する際に予め選択しておき、登録特徴点リストFrと関連付けて記憶部110に保存しておいてもよい。このように登録特徴点ペアを予め選択しておくことにより、照合の際に要する処理時間を短縮することができる。
登録特徴点ペアが選択されると、候補設定手段150は、登録特徴点ペアと相対的な位置関係が一致する、対応する入力特徴点の組(入力特徴点ペア)が有るか否かを調べる(ステップS202)。そのために、まず候補設定手段150は、登録特徴点ペアに含まれる両登録特徴点の座標値から、登録特徴点間の距離drを求める。次に、候補設定手段150は、入力特徴点リストFiから順次二つの入力特徴点を選択し、その入力特徴点間の距離diを求め、上記の距離drと比較する。そして、候補設定手段150は、距離drと略等しい距離diとなる二つの入力特徴点が選択された場合(例えば、図8(a)及び(b)において、登録特徴点の組(450a、450b)に対する入力特徴点の組(460a、460b)、若しくは登録特徴点の組(450c、450d)に対する入力特徴点の組(460c、460d))、選択した入力特徴点同士を結ぶ線分が、登録特徴点ペアに含まれる登録特徴点同士を結ぶ線分と平行になるように、選択した入力特徴点を回転する。そして、回転されたそれぞれの入力特徴点の方向が、登録特徴点ペアに含まれる対応する登録特徴点のそれぞれの方向と略一致する場合、候補設定手段150は、その選択した入力特徴点を入力特徴点ペアとして抽出する。
次に、候補設定手段150は、登録特徴点ペアに対応する入力特徴点ペアを抽出すると、登録特徴点ペアに含まれる登録特徴点と、対応する入力特徴点ペアに含まれる入力特徴点の位置を一致させるための位置補正量Pcを算出する(ステップS203)。そのために、候補設定手段150は、登録特徴点リストFrと入力特徴点リストFiの座標軸を一致させた状態から、登録特徴点ペアと重ね合わせるために入力特徴点ペアの平行移動・回転移動に必要な移動量を求める。そして、算出された入力特徴点ペアに対する水平方向移動量Mx、垂直方向移動量My、及び回転移動量Rを位置補正量Pcとする。なお、上記の重ね合わせた状態とは、両特徴点ペアの特徴点間を結ぶ線分を重複させ、2組の対応する特徴点同士の位置の誤差が最小となる位置とする。
候補設定手段150は、位置補正量Pcを算出すると、登録特徴点ペア及び対応する入力特徴点ペアを位置合わせ候補ペアとして設定する(ステップS204)。そして、候補設定手段150は、位置合わせ候補ペアに上記の位置補正量Pcを関連付け、記憶部110に記憶する。
その後、候補設定手段150は、登録特徴点リストFrから、上記の所定の条件を満たす全ての登録特徴点の組について、登録特徴点ペアの選択を試みたか否かを調べる(ステップS205)。全ての組について、登録特徴点ペアの選択を試みている場合、候補設定手段150は、位置合わせ候補ペアの設定を終了する。一方、ステップS205において、登録特徴点ペアの選択を試みていない登録特徴点の組が存在する場合、ステップS201の前に制御を戻し、ステップS201〜S204の処理を行う。
候補設定手段150は、位置合わせ候補ペアが0組の場合、照合に失敗したと判定する。そして、以後の照合処理は行わない。入力特徴点リストFiに含まれる入力特徴点と登録特徴点リストFrに含まれる登録特徴点には相対的な位置関係が一致するものが存在しないので、登録指紋と入力指紋が同一のものである可能性は殆ど存在しないためである。逆に位置合わせ候補ペアが複数存在する場合、各位置合わせ候補ペアに対して、後続の処理を行う順序を定める優先度を設定してもよい。優先度は、例えば、位置合わせ候補ペアに含まれる各特徴点ごとの信頼度Tの和が大きいものから順に高くなるように設定することができる。また、登録特徴点ペアと入力特徴点ペアの一致度合いが高いほど、優先度を高くするように設定してもよい。
なお、上記のステップS201において、登録特徴点ペアを1組も選択できない場合には、登録特徴点ペアの選択基準を緩めて再度選択を行うようにしてもよい。特に、特徴点の配置に関しては、個人差が大きいため、再選択の際には、特徴点間の距離に関する上記の所定距離を小さく変更することが好ましい。また、特徴点間の距離の上限を設けている場合には、その上限を高く変更することが好ましい。
また、登録特徴点ペアとして選択する2個の特徴点間の距離に上限を設けてもよい。上限を設けることにより、後述する候補選別手段160の処理を効果的に行うことができるとともに、設定される登録特徴点ペアの数を制限し、処理に要する時間を抑制することができる。
さらに、候補設定手段150は、画像取得時等のノイズの影響によって生じた、いわゆる擬似特徴点の可能性が少ないと考えられる程度に高い信頼度Tを有する登録特徴点のみから、登録特徴点ペアを選択してもよい。例えば上記のように、信頼度Tが0〜1で正規化され、実験的に信頼度Tが0.8以上であれば、擬似特徴点の可能性はほぼ0であると分かっている場合、候補設定手段150は、信頼度Tが0.8以上である登録特徴点のみから登録特徴点ペアを選択する。同様に、候補設定手段150は、入力特徴点ペアの選択に使用する入力特徴点についても、擬似特徴点の可能性が少ないと考えられる程度に高い信頼度Tを有する入力特徴点のみに限定してもよい。このように高い信頼度を有する入力特徴点のみを対象とすることで、位置合わせの精度を向上することができる。
また、上記のステップS203において、入力特徴点の位置を調整する代わりに、登録特徴点の位置を調整するための各移動量を位置補正量Pcとして求め、位置合わせ候補ペアに関連付けて記憶してもよい。この場合、以下に説明する各手段において、特徴点同士の位置合わせを行う際、入力特徴点を移動する代わりに登録特徴点を移動する。
なお、候補設定手段150は、1組の登録特徴点ペアに対して複数の入力特徴点ペアを選択してもよい。逆に、1組の入力特徴点ペアが複数の登録特徴点ペアに対応してもよい。また、上記では、登録特徴点リストFrから位置合わせ用の登録特徴点ペアを選択することとしたが、これとは逆に、入力特徴点リストFiから位置合わせ用の入力特徴点ペアを選択し、位置合わせ候補ペアを求めても同様である。
位置補正手段155は、位置補正量P
c(M
x、M
y、R)に基づいて、候補選別手段160又は判定手段170で必要とされる領域(入力特徴点リストF
iの一部又は全体の領域)に含まれる各入力特徴点の位置情報を補正することにより、位置合わせ候補ペアを基準として登録特徴点リストF
rの特徴点と入力特徴点リストF
iの特徴点を位置合わせする。具体的には、各入力特徴点をアフィン変換を用いて移動する。すなわち、入力特徴点の位置座標をP(X
T,Y
T)(ただし、X
Tは水平座標、Y
Tは垂直座標)、位置補正後の位置座標P’(X
T’,Y
T’)とすると、位置補正手段155は、次式によって位置座標P’(X
T’,Y
T’)を算出する。
また、位置補正手段155は、各入力特徴点の方向θ
Tも、回転補正量Rに基づいて回転する。
全ての入力特徴点の位置座標及び方向を補正すると、位置補正手段155は、その結果を候補選別手段160又は判定手段170へ出力する。なお、位置補正手段155は、入力特徴点リストF
iの全ての特徴点を補正するのみの構成としてもよい。この場合、候補選別手段160の実行時に全特徴点を補正してこれを記憶しておき、判定手段170の実行時にこれを読み出して再利用することができる。
候補選別手段160は、図4のS107、S108の処理を実行する手段である。候補選別手段160は、一又は複数得られた位置合わせ候補ペアから、指紋全体における特徴点の位置ずれが小さく、指紋画像全体の特徴点の一致度合いを調べるのに適したものを位置合わせペアとして選別する。すなわち、位置合わせ候補ペアに基づいて位置合わせした場合に、位置合わせ候補ペアを構成する特徴点の近傍領域を、求めた位置補正量Pcによる位置合わせが適切であるか否か判定するための部分領域として設定し、その部分領域内で登録指紋と入力指紋がある程度一致しているか否か判定し、一致すると判定した位置合わせ候補ペアに基づく位置合わせを全体照合に適したものと判断し、全体照合に用いる位置合わせペアとして選別する。このように、位置合わせの基準となる領域で、入力指紋画像と登録指紋画像との歪み方の相違が少ない場合や、歪み方の相違が位置合わせによって吸収される場合の位置合わせペアに絞り込むことができる。例えば、図6(a)では、部分領域430に含まれる各登録特徴点450と各入力特徴点460の位置及び方向は、ほぼ一致している。したがって、このような位置合わせを行える位置合わせ候補ペアは、位置合わせペアとして選別される。一方、図6(b)では、部分領域440に含まれる各登録特徴点450と対応する各入力特徴点460の位置及び方向は一致していない。したがって、このような位置合わせを行う位置合わせ候補ペアは、棄却され、記憶部110から消去される。
再度図8を参照して、設定される部分領域のイメージを説明する。図8(a)において、位置合わせ候補ペアに含まれる登録特徴点ペア(450a、450b)を端点とする線分を直径とする円形領域が、登録指紋画像について設定された部分領域510である。同様に、図8(b)において、位置合わせ候補ペアに含まれる入力特徴点ペア(460a、460b)を直径の両端とする円形領域が、入力指紋画像について設定された部分領域520である。図8(a)に示した部分領域510及び図8(b)に示した部分領域520は、それぞれ位置合わせ候補ペアに基づいて定められるため、ほぼ同じ大きさとなる。
そこで候補選別手段160は、まず、上記位置合わせ候補ペアの近傍領域を、求めた位置補正量Pcによる位置合わせが適切であるか否か判定するための部分領域として、位置合わせ候補ペアごとに設定する。そして候補選別手段160は、入力特徴点リストFiから、それら部分領域に含まれる入力特徴点を選択する。また、選択された入力特徴点の位置及び方向を、位置合わせ候補ペアに関連付けて記憶されている位置補正量Pc(Mx、My、R)に基づいて補正し、登録特徴点と位置合わせした結果を位置補正手段155から受け取る。その後候補選別手段160は、上記の部分領域内に存在する各入力特徴点について、登録特徴点リストFrに含まれる登録特徴点と一致するものを探す。そして候補選別手段160は、部分領域内に存在する入力特徴点のうち、登録特徴点と略一致するものの数に基づいて、位置合わせに適切な位置合わせ候補ペアか否か判定する。
このように、位置合わせ候補ペアによる位置合わせの適否判定を指紋画像の一部領域に限定して行うことにより、画像全体に対して行う場合と比較して扱うデータ量及び必要な演算量を抑制できるので、処理に要する時間の増大を抑制することができる。また、位置合わせ候補ペアの近傍領域である部分領域に含まれる特徴点の一致度合いを用いることにより、例え位置合わせ候補ペア自体が一致していても、その近傍領域に存在する特徴点が一致しないような位置合わせ候補ペアを排除するため、登録指紋と入力指紋の歪みの差の少ないところで設定された位置合わせ候補ペアに絞り込むことができる。
図9は、候補選別手段160における位置合わせ候補ペア選別の動作を示すフローチャートであり、図4のS107の処理の詳細を示したものである。
まず、候補選別手段160は、候補設定手段150にて設定した各位置合わせ候補ペア及び関連する位置補正量Pcを記憶部110から読み出し、処理部115を構成するメモリに保存する(ステップS301)。次に、候補選別手段160は、各位置合わせ候補ペアの中から、着目する位置合わせ候補ペアを選択する(ステップS302)。
着目する位置合わせ候補ペアを選択すると、候補選別手段160は、その位置合わせ候補ペアに含まれる登録特徴点ペアを直径の両端とする円形領域を、登録特徴点を抽出するための部分領域として設定する(ステップS303)。次に、候補選別手段160は、登録指紋特徴点リストFrから部分領域に存在する登録特徴点を抽出する(ステップS304)。
同様に、候補選別手段160は、その位置合わせ候補ペアに含まれる入力特徴点ペアを直径の両端とする円形領域を、入力特徴点を抽出するための部分領域として設定する(ステップS305)。そして、候補選別手段160は、入力指紋特徴点リストFiから部分領域に存在する登録特徴点を抽出する(ステップS306)。
なお、部分領域は、入力特徴点と登録特徴点で部分領域の設定が同じ方式を採用する方が選別精度の向上の観点からは好ましい。
次に、候補選別手段160は、抽出された各入力特徴点及び位置補正量Pcを、位置補正手段155へ送る。そして位置補正手段155から、補正された各入力特徴点の位置及び方向を取得する(ステップS307)。
さらに、候補選別手段160は、移動された部分領域520の各入力特徴点と、部分領域510内の各登録特徴点との一致度合いを算出する(ステップS308)。例えば、各部分領域510、520に含まれる入力特徴点と登録特徴点の合計(LAll)に対する、一致していると判定された入力特徴点と登録特徴点の合計(LC)の比(LC/LAll)を一致度合いとして算出する。ここで入力特徴点と対応する登録特徴点とが一致しているか否かは、特徴点同士の位置の差、方向の差などに基づいて判定される。それぞれの差が所定の一致基準を満たしていれば、入力特徴点と対応する登録特徴点は一致していると判定される。なお、この一致基準は、実験又は経験に基づいて適切な値を設定できる。また一致度合いの算出の際、各特徴点の信頼度Tを加味してもよい。例えば、上記の一致していると判定された入力特徴点と登録特徴点の合計(LC)に代わりに、一致していると判定された入力特徴点の信頼度Tと登録特徴点の信頼度Tの合計を用いてもよい。さらに、着目する位置合わせ候補ペアに含まれる入力特徴点及び登録特徴点については、当然ながら一致するため、これら入力特徴点及び登録特徴点を除いて、上記の比を計算してもよい。
候補選別手段160は、特徴点の一致度合いを表す上記の比(LC/LAll)を所定の閾値と比較する(ステップS309)。特徴点の一致度合いが所定の閾値未満であれば、着目する位置合わせ候補ペアに基づく位置合わせは不適切と判定し、この位置合わせ候補ペアを上記のメモリ及び記憶部110から消去する。一方、ステップS309において、特徴点の一致度合いが所定の閾値以上であれば、着目する位置合わせ候補ペアを位置合わせペアに設定する(ステップS310)。なお、所定の閾値は、例えば0.5〜0.8程度の値とすることができる。この閾値の値が大きいほど、入力特徴点と登録特徴点の一致がより厳密な場合のみ位置合わせが適切と判定され、選別される位置合わせ候補ペアの数が減少することになる。しかし、一致度合いが最も高い場合が必ずしも最適な位置合わせとなるわけではないため、ここでは適切な位置合わせペアへの絞り込みをするべく、所定の閾値を0.7とした。
候補選別手段160は、全ての位置合わせ候補ペアについて上記の処理を行ったか否か判定する(ステップS311)。そして、まだ処理が行われていない位置合わせ候補ペアが存在する場合は、制御をステップS302の前に戻す。一方、全ての位置合わせ候補ペアについて上記の処理が終了している場合は、設定された位置合わせペア及び関連する位置補正量Pcを判定手段170へ渡す。なお、位置合わせペアが0個の場合、照合に失敗したと判定し、以後の照合処理を行わない。
なお、部分領域510、520は上記の円領域に限られるものではない。例えば、登録指紋画像について設定される部分領域510を、着目する位置合わせ候補ペアに含まれる登録特徴点を長軸の両端とする楕円領域に設定してもよい。また、部分領域510を、着目する位置合わせ候補ペアに含まれる登録特徴点を対角とする矩形領域としてもよく、また特徴点を結ぶ線分から所定の距離の範囲を含む領域としてもよい。さらに部分領域510を、着目する位置合わせ候補ペアに含まれる登録特徴点をそれぞれ中心とする二つの円形領域としてもよい。なお、入力指紋画像について設定される部分領域520についても同様に、部分領域510と同様、様々な形状とすることができる。ただし、何れの形状を採用する場合であっても、位置補正量Pcの適否を正確に判定するために、上記の部分領域510、520は、着目する位置合わせ候補ペアに含まれる入力特徴点又は登録特徴点の近傍領域に設定することが好ましい。
また、ステップS304及びS306において、候補選別手段160は、これら二つの部分領域510、520内に、特徴点の一致度合いを調べるのに十分な数の特徴点が存在するか否かを判定してもよい。部分領域510に含まれる登録特徴点又は部分領域520に含まれる入力特徴点の何れかが所定数未満であれば、候補選別手段160は、部分領域510と520に含まれる特徴点の一致度合いを評価できないため、着目する位置合わせ候補ペアを、上記のメモリ及び記憶部110から消去し、制御をステップS311の前へ移行する。この場合、候補選別手段160は、例えば上記の所定数を3とすることができる。なお、上記の所定数は3に限られない。特徴点の一致度合いをより正確に評価するために、所定数を3より大きくしてもよい。
判定手段170は、図4のS109、S110の処理を実行する手段である。判定手段170は、候補選別手段160で選別された位置合わせペアに基づいて、入力特徴点リストFi及び登録特徴点リストFr内の全ての入力特徴点と登録特徴点の位置合わせを行った場合の類似度を調べる。ここで類似度は、入力指紋と登録指紋の同一性を表す尺度であり、入力特徴点と登録特徴点の一致度合いに基づいて算出される。そして、算出された類似度が照合閾値以上の場合、判定手段170は、照合に成功したと判定する。一方、類似度が照合閾値未満の場合、判定手段170は別の位置合わせペアに基づいて、位置合わせ、類似度の算出、及び類似度と照合閾値の比較を行う。このように、判定手段170は、何れかの位置合わせペアに対して算出した類似度が、照合閾値以上であれば照合に成功したと判定し、何れの位置合わせペアに対しても、算出した類似度が照合閾値未満であれば、照合に失敗したと判定する。
そこで、判定手段170は、候補選別手段160から取得した位置合わせペアの中から、着目する位置合わせペアを設定する。そして判定手段170は、その着目する位置合わせペアと関連する位置補正量Pc(Mx、My、R)と、入力特徴点リストFiに含まれる全ての入力特徴点を位置補正手段155へ送る。そして位置補正手段155から、補正された各入力特徴点の位置及び方向を取得し、各入力特徴点と対応する各登録特徴点との位置合わせが為される。このとき、判定手段170は、上記の候補選別手段160において一致していると判定された入力特徴点と登録特徴点について、それぞれ重心を算出し、その重心のずれをなくすように、位置補正量Pc(Mx、My、R)を補正して使用してもよい。
次に、判定手段170は、候補選別手段160において部分領域510、520内に存在する各登録特徴点と入力特徴点について一致しているか否かを判定したのと同様の方法を用いて、入力特徴点リストFiに含まれる各入力特徴点が、登録特徴点リストFrに含まれる各登録特徴点の何れかと所定の一致基準を満たしているか否かを判定する。そして、入力特徴点リストFiに含まれる入力特徴点の数と登録特徴点リストFrに含まれる登録特徴点の合計(SAll)に対する、一致していると判定される入力特徴点と登録特徴点の合計(SC)の比(SC/SAll)を類似度として算出する。
ここで候補選別手段160において、入力指紋画像と登録指紋とで歪み方の相違が小さい領域の特徴点を用いた位置合わせを選別したため、画像全体を観察した場合には各特徴点の位置関係のずれが小さくなっているが、部分領域外では、部分領域内と比較して入力指紋画像と登録指紋画像の歪みの差が大きく、各特徴点のずれが大きくなっている可能性がある。そこで上記部分領域外では、上記の一致基準を上記部分領域内よりも緩やかに設定してもよい。例えば、部分領域外の一致基準における特徴点同士の位置の差及び/又は方向の差に関する許容誤差を部分領域内の一致基準におけるそれら許容誤差の1.5倍とすることができる。また、一般的に歪みの差は、歪みの差が少ないと判定されるところから離れるほど大きくなる可能性が高い。そこで、上記何れかの部分領域の中心又は外周からの距離が大きくなるにつれて、上記の一致基準を緩やかになるよう設定してもよい。また、上記部分領域の面積が広くなるにつれて、類似度を高くするように修正してもよい。これは、上記部分領域が広い場合ほど、入力指紋画像と登録指紋画像の歪みの差が少なく、良好な位置合わせができていると考えられるためである。逆に、部分領域の面積が狭くなるにつれて、類似度を低くなるように修正してもよい。このような修正を行うために、判定手段170は、例えば、部分領域510又は520の面積と対応して予め定められた所定の修正量を類似度に加えることができる。あるいは、その面積と対応して予め定められた所定の係数を類似度に乗じて類似度を修正することができる。さらに、部分領域の面積を用いる代わりに、着目する位置合わせペアに含まれる入力特徴点又は登録特徴点間の距離を用いてもよい。
さらに判定手段170は、一致度合いの算出の際、候補選別手段160の処理と同様に、各特徴点の信頼度Tを加味してもよい。また一致しない特徴点の数又は信頼度Tに基づいて、類似度を低下させるような補正を行ってもよい。
なお、上記候補選別手段160において、上記部分領域内の特徴点の合計LALL及び一致する特徴点の合計LCを位置合わせペアと関連付けて記憶しておくことにより、判定手段170はそれらの値を利用することができ、計算に要する時間を短縮することができる。
判定手段170は、何れかの位置合わせペアについて算出された類似度が予め定められた照合閾値以上であれば、照合に成功したと判定する(すなわち、入力指紋は、登録指紋と一致する)。
出力部180は、指紋認証装置1と外部の機器(例えば、電気錠の施解錠制御装置)を接続し、信号の入出力を行うインターフェースであり、イーサネット(登録商標)、USB、SCSI、RS−232Cなどの規格に準拠した通信ポート、電子回路及びドライバソフトウェアなどで構成される。
そして出力部180は、処理部115の照合結果を示す信号などを外部機器に出力する。
以上説明してきたように、本発明の生体情報照合装置を適用した指紋認証装置1は、多種パターンの特徴点による位置合わせの中から、位置合わせに用いた一部の領域における特徴点の一致度合いにて照合に適した位置合わせを選別し、全体領域における照合(全体照合)を行う。したがって、位置合わせ候補を増加させたことによる全体照合の処理量を効果的に削減することができるため、照合に要する時間を抑えつつ本人棄却率を低減させた照合を実現することができる。さらに、操作者本人に対しては、照合の際に算出される類似度の値が従来よりも高くなることが期待できるので、照合閾値を高めに設定することにより、他人受容率も低下させることができる。
なお、上記の実施形態では、指紋認証装置1は、操作者が予め登録された特定の一人と同一人か否かを認証するものであるが、本発明はこの実施形態に限られない。例えば、入力指紋画像から得られた入力特徴点リストFiを、予め登録されている全ての登録特徴点リストFrと位置合わせを行い、それぞれについて類似度を算出し、算出された類似度のうち、最も高いものが所定の閾値以上であれば、照合に成功したと判定するようにしてもよい。この場合、上記の実施形態と異なり、操作者の識別情報を入力する手順を省略しても、照合を行うことができる。
また、本発明の生体情報照合装置で使用できる生体情報は、指紋だけに限られない。本発明は、例えば、掌紋、網膜パターンのように、入力時と登録時の撮影条件によって特徴量を抽出する際の特徴点の位置関係に相違が生じる可能性のある生体情報に対して、好適に使用することができる。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。