JP3994930B2 - 画像照合装置、および画像照合方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば被検体の指紋を撮像して得られた画像データの照合処理を行う画像照合装置および画像照合方法に関するものである。
【０００２】
【従来の技術】
被検体の指紋を撮像し、その撮像した指紋による画像データを基に照合処理を行う指紋照合装置が知られている（例えば、特許文献１参照）。
例えば一般的な指紋照合装置では、被検体の指をセンサ部に固定して指紋を撮像して画像データを生成する。
【０００３】
【特許文献１】
特開平１０−２１４３４３号公報
【０００４】
【発明が解決しようとする課題】
しかし、上述した指紋照合装置では、例えば被検体の指がセンサ部から離れた状態で、センサ部に残る指紋の跡を残留指紋として誤検出する場合がある。
詳細には、例えば湿った指などでは指紋の跡が残り、それにより指紋センサが誤作動する場合があり、その誤作動により照合精度が低下するという問題点がある。
【０００５】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、残留指紋を誤検出することなく高精度に指紋の照合を行うことができる画像照合装置および画像照合方法を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の画像照合装置は、被検体の指紋の画像データの照合を行う画像照合装置であって、前記被検体の指紋を撮像する指紋撮像手段と、前記指紋撮像手段が撮像した指紋の画像データを基に、前記指紋の位置データを生成する位置データ生成手段と、前記被検体の指紋の画像データと、前記位置データ生成手段が生成した当該被検体の指紋の画像データに対応する第１の位置データとを関連付けて記憶する記憶手段と、新たに前記指紋撮像手段が撮像した前記被検体の指紋の画像データと、前記記憶手段が記憶する前記被検体の指紋の前記画像データとを照合して、一致していると判断した場合に、前記指紋撮像手段が新たに撮像した指紋の画像データに対応する第２の位置データ、および前記記憶手段が記憶する第１の位置データに基づいて、前記新たに撮像された画像データが残留指紋を示す画像データか否かを判別する残留指紋判別手段とを有する。
【０００７】
好ましくは、本発明の画像照合装置は、前記位置データ生成手段は、前記記憶手段が記憶する画像データと、前記新たに指紋撮像手段が撮像した画像データとのパターンマッチング処理の結果を基に前記位置データを生成する。
【０００８】
また、本発明の画像照合方法は、被検体の指紋の画像データの照合を行う画像照合方法であって、指紋撮像手段が、前記被検体の指紋を撮像し、位置データ生成手段が、前記指紋撮像手段が撮像した指紋の画像データを基に、前記指紋の位置データを生成し、記憶手段が、前記被検体の指紋の画像データと、当該被検体の指紋の画像データに対応する第１の位置データとを関連付けて記憶し、残留指紋判別手段が、新たに前記指紋撮像手段が撮像した前記被検体の指紋の画像データと、前記記憶手段が記憶する前記被検体の指紋の前記画像データとを照合して、一致していると判断した場合に、前記指紋撮像手段が新たに撮像した指紋の画像データに対応する第２の位置データ、および前記記憶手段が記憶する第１の位置データに基づいて、前記新たに撮像された画像データが残留指紋を示す画像データか否かを判別する。
【０００９】
好ましくは、本発明の画像照合方法は、前記位置データ生成手段は、前記記憶手段が記憶する画像データと、前記新たに指紋撮像手段が撮像した画像データとのパターンマッチング処理の結果を基に、前記位置データを生成する。
【００１１】
【発明の実施の形態】
本発明の第１実施形態に係る画像照合装置は、残留指紋による誤検出を防止するために、例えば直前に撮像した指紋の指紋データを記憶しておき、新たに指紋を撮像した際に、まず記憶した指紋データと比較することにより残留指紋であるか否かを判別し、その結果、新たに撮像した指紋データが残留指紋でないと判別した場合に、その指紋データの照合処理を行う。以下、図面を参照しながら詳細に説明する。
【００１２】
図１は、本発明に係る画像照合装置の第１実施形態の機能ブロック図である。本実施形態に係る画像照合装置１は、図１に示すように、指紋センサ部（Sensor）１１、アナログ／デジタルコンバータ（ＡＤＣ）１２、２値化部（Binary変換）１３、メモリ１４、インタフェース（Ｉ／Ｆ）１５、パターンマッチング部１６、およびＣＰＵ１７を有する。
【００１３】
指紋センサ部１１、ＡＤＣ１２、２値化部１３、メモリ１４、Ｉ／Ｆ１５、パターンマッチング部１６、およびＣＰＵ１７は、バスＢＳにより接続されている。
【００１４】
指紋センサ部１１は、指紋ｆｐを読取り、信号Ｓ１１としてＡＤＣ１２に出力する。
図２は、図１に示した画像照合装置のセンサ部を説明するための概念図である。図３は、図２に示したセンサ部を拡大した図である。
本実施形態では静電容量型の指紋センサ部１１を説明する。
【００１５】
指紋センサ部１１は、例えば図２，３に示すように、基板１１０１、絶縁膜１１０２、検出電極１１０３、および保護膜１１０４を有する。
基板１１０１は、例えばシリコン（Ｓｉ）等により形成される半導体基板である。
絶縁膜１１０２は基板１１０１上に設けられている。
検出電極１１０３は例えば絶縁膜１１０２上にマトリクス形状に複数の検出電極が設けられている。
保護膜１１０４は検出電極１１０３を覆うように形成され、検出電極１１０３を保護する絶縁膜である。
【００１６】
指紋センサ部１１は、保護膜１１０４上に指ｆを接触させた場合に、検出電極１１０３と指ｆの表面の凹凸に応じて形成されるキャパシタＣｓを検出することにより、指紋ｆｐを検出する。
【００１７】
詳細には、例えば図３に示すように、検出電極１１０３と絶縁膜１１０２と指ｆの３つでキャパシタＣｓを形成する。指紋ｆｐの隆起部及び谷部の違いは検出電極１１０３までの距離の違いであり、それがキャパシタの容量Ｃｓの差となって検出される。
【００１８】
検出電極１１０３に一定電圧を印可した場合、Ｃｓの違いが電荷量の違いとなって検出されるので、その電荷を電圧に変化することで、指紋ｆｐの凹凸を電気信号として検出することが可能となる。
【００１９】
図４は、図３に示した指紋センサ部を説明するための図である。
指紋センサ部１１は、例えば図４に示すように、行駆動回路１１１、検出回路１１２、トランジスタｔｒ、および検出電極１１０３を有する。
電極１１０３は上述したように、複数の検出電極１１０３＿１１，１１０３＿１２，１１０３＿１３〜ｎｍ，…，１１０３＿２１，１１０３＿２２，１１０３＿２３，…がマトリックス形状に設けられている。
【００２０】
行駆動回路１１１には、行ラインＬＲ、例えば複数の行ラインＬＲ１，ＬＲ２，…が接続されている。検出回路１１２には、列ラインＬＢ、例えば複数の列ラインＬＢ１，ＬＢ２，ＬＢ３，…が接続されている。
トランジスタｔｒのゲートは、行ラインＬＲに接続され、ドレインは列ラインＬＢに接続され、ソースは検出電極１１０３に接続されている。
指紋センサ部１１は、例えば行駆動回路１１１により行単位で検出電極１１０３を選択し、選択された検出電極１１０３の検出信号が、例えばアンプ、シフトレジスタ等で構成される検出回路１１２に入力されて、シリアル信号としてＡＤＣ１２に出力される。
【００２１】
キャパシタＣｓの検出方法としては、例えば電圧チャージ法や電荷チャージ法が知られている。電圧チャージ法は、キャパシタＣｓを一定の電圧でチャージして、このキャパシタＣｓに蓄積された電荷を取得する方法である。電荷チャージ法は、キャパシタＣｓに一定の電荷をチャージして電圧変化を検出する方法である（それぞれの詳細な説明は、例えば特開２００３−２８６０７号公報等を参照）。
本実施形態では指紋センサ部１１は、電圧チャージ法または電荷チャージ法によりキャパシタＣｓを検出する。
【００２２】
図５は、図１に示した指紋センサ部の正面図である。
本実施形態では指紋センサ部１１は、例えば図５に示すように検出電極１１０３のピッチが指紋ｆｐの凹凸間隔より十分に小さい間隔で、検出電極１１０３が形成されている。例えば検出電極１１０３の大きさは横１５ｍｍ×縦２０ｍｍである。例えば検出電極１１０３それぞれのピッチを５０μｍとした場合、３００×４００個の検出電極１１０３を設ける。
【００２３】
アナログ／デジタルコンバータ（ＡＤＣ）１２は、指紋センサ部１１から出力された信号Ｓ１１をアナログ信号から所定の階調、例えば２５６階調のデジタル信号に変換し、信号Ｓ１２として２値化部１３に出力する。
２値化部１３は、指紋データを示す信号Ｓ１２を、所定の閾値に基づいて２値化処理を行い、２値化された指紋データｄ＿ｆｐを信号Ｓ１３として出力する。
【００２４】
例えば指紋ｆｐは、指紋センサ部１１により撮像され、ＡＤＣ１２および２値化部１３を介して指紋データとしてＣＰＵ１７に入力される。
【００２５】
メモリ１４は、登録指紋データｄ＿ｆｐｒや、最新の指紋データｄ＿ｆｐｒｃを記憶する。例えばＣＰＵ１７の制御により、メモリ１４が記憶する登録指紋データｄ＿ｆｐｒや、最新の指紋データｄ＿ｆｐｒｃが読出し処理および書き込み処理が行われる。
また、メモリ１４は、本発明に係る処理機能が記述されたプログラムＰＲＧを有する。ＣＰＵ１７は、例えばメモリ１４を作業領域として、プログラムＰＲＧを実行することにより、本発明に係る処理機能を実現する。
【００２６】
メモリ１４は、例えば図１に示すように、ＤＲＡＭ（Dynamic Random Access Memory）１４１、フラッシュメモリ（FLASH memory）１４２等を有する。
ＤＲＡＭ１４１は、例えば最新の指紋データｄ＿ｆｐｒｃ等を記憶する。フラッシュメモリ１４２は、例えば登録指紋データｄ＿ｆｐｒを記憶する。
Ｉ／Ｆ１５は、ＣＰＵ１７の制御により、外部の情報処理装置とデータ通信を行う。例えばＩ／Ｆ１５は、ユニバーサルシリアルバス（ＵＳＢ：Universal Serial Bus）や汎用非同期送受信回路（ＵＡＲＴ：universal asynchronous receiver-transmitter）により構成される。
【００２７】
パターンマッチング部１６は、後述するパターンマッチング処理を行う回路である。本実施形態ではパターンマッチング処理に係る処理を高速に処理するためにハードウェアの専用回路によりパターンマッチング処理を行うことが好ましい。
パターンマッチング処理は、この形態に限られるものではなく、例えばＣＰＵ１７が後述するパターンマッチング処理機能を有するプログラムＰＲＧを実行することにより実現してもよい。
ＣＰＵ１７は、例えば指紋センサ部１１、ＡＤＣ１２、２値化部１３、メモリ１４、Ｉ／Ｆ１５、およびパターンマッチング部１６を制御する。
【００２８】
図６は、図１に示した画像照合装置の処理機能を説明するための機能ブロック図である。
例えばＣＰＵ１７がプログラムＰＲＧを実行することにより、図６に示すように、指置き検出部１７１、残留指紋判別部１７２、および照合部１７３の処理機能を実現する。
残留指紋判別部１７２は本発明に係る残留指紋判別手段に相当し、照合部１７３は本発明に係る照合処理手段に相当する。
【００２９】
図７は、図６に示した指置き検出部の動作を説明するための図である。
指紋センサ部１１は、例えば図７に示すように、指紋センサ部１１の表面に指ｆが接触すると（時間ｔ０）、指紋センサ部１１の検出電極１１０３それぞれからの検出レベルの和が図７に示すように増加して、所定の時間ｔ後に所定の値Ｖ＿Ｓで飽和する信号Ｓ１１を出力するという特性がある。
【００３０】
指置き検出部１７１は、例えば指紋センサ部１１の検出電極１１０３それぞれの検出レベルの和を基に、指紋センサ部１１に指ｆが接触したか否かを判別する。
例えば詳細には、指置き検出部１７１は、指紋センサ部１１の検出電極１１０３それぞれの検出レベルの和が、飽和値Ｖ＿Ｓよりも小さく、ほぼ飽和した値である閾値Ｖ＿ｔｈ以上の場合には、指ｆが指紋センサ部１１に接触したと判別し、閾値Ｖ＿ｔｈよりも小さい場合には、指ｆが指紋センサ部１１に接触していないと判別し、判別結果を出力する。
【００３１】
図８は、図６に示した指置き検出部の動作を説明するための図である。
また、指紋センサ部１１は、例えば指ｆｐが指紋センサ部１１の表面に接触した場合には、横軸を検出電極１１０３に沿った軸、縦軸を検出電極１１０３それぞれの検出レベルとした場合に、例えば図８に示すように、所定のレベルＶ＿０を平均値として、例えば指紋ｆｐの尾根の部分ｘｒでは、平均値Ｖ＿０より高い値Ｖ＿Ｈであり、指紋ｆｐの谷の部分ｘｖでは平均値Ｖ＿０より低い値Ｖ＿Ｌの信号を出力する特性がある。
【００３２】
指置き検出部１７１は、検出電極１１０３に沿っての検出レベルが、平均値を中心として振動しているか否かを基に、指ｆが指紋センサ部１１に接触しているか否かを判別する。
例えば詳細には、指置き検出部１７１は、図８に示すように、検出電極１１０３に沿って検出レベルが平均値Ｖ＿０を中心に振動する場合には、指ｆが指紋センサ部１１に接触していると判別し、振動していない場合には指ｆが指紋センサ部１１に接触していないと判別する。
【００３３】
また、指紋センサ部１１は、上述した検出電極１１０３それぞれの検出レベルの和を基に指ｆが指紋センサ部１１に接触したか否かを判別し、さらに、検出電極１１０３に沿っての検出レベルが、平均値を中心として振動しているか否かを基に、指ｆが指紋センサ部１１に接触しているか否かを判別してもよい。
【００３４】
残留指紋判別部１７２は、指紋センサ部１１が新たに撮像した指紋ｆｐの指紋データｄ＿ｆｐ、およびメモリ１４が記憶する指紋データｄ＿ｆｐｒｃに基づいて、指紋データｄ＿ｆｐが残留指紋を示す指紋データか否かを判別する。
【００３５】
図９は、図１に示した残留指紋判別部の動作を説明するための図である。
残留指紋判別部１７２は、例えば指紋センサ部１１から出力された指紋データｄ＿ｆｐの部分データｄ＿ｐ、例えば中央部分を照合データとして抽出する。例えば、残留指紋判別部１７２は、図９に示すように３０×３０セルの部分データｄ＿ｐを抽出する。
【００３６】
残留指紋判別部１７２は、部分データｄ＿ｐとして、所定の大きさの複数のブロックｂ＿００〜ｎｎに分割し、そのブロックｂ＿００〜ｎｎそれぞれと、指紋データｄ＿ｆｐｒｃとのパターンマッチング処理を行う。
【００３７】
例えば詳細には、残留指紋判別部１７２は、３０×３０セルの部分データｄ＿ｐを、大きさ１０×１０セルを１ブロックｂとし、例えば図９に示すように９つのブロックｂ＿００〜２２に分割する。
【００３８】
図１０は、パターンマッチング処理を説明するための模式図である。
残留指紋判別部１７２は、例えばメモリ１４が記憶する指紋データｄ＿ｆｐｒｃと、指紋センサ部１１が新たに撮像した指紋データｄ＿ｆｐとパターンマッチング処理を、パターンマッチング部１６に行わせる。
例えばパターンマッチング処理としては、図１０（ａ）に示すようにメモリ１４が記憶する指紋データｄ＿ｆｐｒｃのブロックｂ＿ｆｐｒｃ００を１セルずらしながら、図１０（ｂ）に示した指紋センサ部１１が新たに撮像した指紋データｄ＿ｆｐとのパターンマッチング処理を行う。
詳細には、パターンマッチング処理は、指紋データｄ＿ｆｐｒｃ００内のセルそれぞれと、指紋データｄ＿ｆｐ内の対応するセルそれぞれについて、排他的論理和演算（Exclusive OR）を行い、一致したセルの個数を集計し、１セルずらしながら同様な処理を行う。
【００３９】
図１１，１２は、パターンマッチング処理の集計結果を説明するための図である。
パターンマッチング処理により、例えば１回のパターンマッチング処理により一致したセルの個数が大きい順にプロットする。例えば図１１（ａ）に示すように、一致したセルの個数を集計した結果、その集計値が大きい順に１〜１０位に相当するポイントをプロットし、照合結果データｒｅｓ＿ｆｐ００を生成する。
同様にパターンマッチング処理は、図１１（ｂ）に示すように、ブロックｂ＿ｆｐｒｃ００〜ｂ＿ｆｐｒｃ２２それぞれについても同様な処理を行い、照合結果データｒｅｓ＿ｆｐ００〜ｒｅｓ＿ｆｐ２２を生成する。
【００４０】
簡単な説明のため、ブロックｂ＿ｆｐｒｃ００，ブロックｂ＿ｆｐｒｃ１１，ｂ＿ｆｐｒｃ２２について説明すると、ブロックｂ＿ｆｐｒｃ００，ブロックｂ＿ｆｐｒｃ１１，ｂ＿ｆｐｒｃ２２それぞれを基に、例えば図１２（ａ），（ｂ），（ｃ）に示すように照合結果データｒｅｓ＿ｆｐ００，ｒｅｓ＿ｆｐ１１，ｒｅｓ＿ｆｐ２２が生成される。
【００４１】
例えば、ｂ＿ｆｐｒｃ００とｂ＿ｆｐｒｃ１１との位置関係は、縦横方向にそれぞれ１０セルずれている。このブロックの位置関係分を補正してブロック照合の結果を中央へ移動させる。
具体的には、ブロックｂ＿ｆｐｒｃ００の照合結果のｒｅｓ＿ｆｐ００のポイントを、図に向かって右に１０セル、下に１０セル移動させる。また、ブロックｂ＿ｆｐｒｃ２２の照合結果のｒｅｓ＿ｆｐ２２のポイントを、図に向かって上にセル、左に１０セル移動させ、図１２（ｄ）に示すように結果データｒｅｓ＿ｆｐ００，ｒｅｓ＿ｆｐ１１，ｒｅｓ＿ｆｐ２２それぞれを重ね合わせる。
【００４２】
また、図示しないが、上述した処理をブロックｂ＿ｆｐ００〜ｂ＿ｆｐ２２それぞれの位置関係を基に、ブロックｂ＿ｆｐ００〜ｂ＿ｆｐ２２それぞれに対応する照合結果ｒｅｓ＿ｆｐ００〜ｒｅｓ＿ｆｐ２２を移動させて、それぞれを重ね合わせる。
【００４３】
指紋センサ部１１が撮像した指紋データｄ＿ｆｐと、登録指紋データｄ＿ｆｐｒとの一致の度合いが高い場合には、例えば図１２（ｄ）に示すように、照合結果データｒｅｓ＿ｆｐ００〜ｒｅｓ＿ｆｐ２２のポイントの重なる領域OVL の内のポイントの重なりの度合いが大きい。
例えば、照合結果データｒｅｓ＿ｆｐ００〜ｒｅｓ＿ｆｐ２２それぞれをずらして重ね合わせた場合、最大で９ポイントが重なる。
残留指紋判別部１７２は、このポイントの重なりの度合いに応じて残留指紋か否かを判別する。
【００４４】
図１３は、指の位置がずれている場合のパターンマッチング処理を説明するための図である。
また、パターンマッチング処理の際に、指ｆの位置が登録指紋データｄ＿ｆｐｒを撮像した際の指ｆの位置とがずれている場合には、図１３に示すように、ポイントが重なりあう領域OVL の位置がずれるが、図１２（ｄ）と同様なポイントの分布が得られる。
【００４５】
照合部１７３は、残留指紋判別部１７２の判別の結果に応じて、指紋センサ部１１が撮像した指紋データｄ＿ｆｐの照合処理を行う。
詳細には、照合部１７３は、残留指紋判別部１７２が指紋データｄ＿ｆｐが残留指紋を示す指紋データであると判別した場合には、その指紋データｄ＿ｆｐの照合処理を行わない。
また、照合部１７３は、残留指紋判別部１７２が指紋データｄ＿ｆｐが残留指紋を示す指紋データでないと判別した場合には、指紋データｄ＿ｆｐと、メモリ１４が記憶する登録指紋データｄ＿ｆｐｒとの照合処理を行う。
【００４６】
図１４は、図１に示した画像照合装置の動作を説明するためのフローチャートである。図１４を参照しながら、画像照合装置１の動作をＣＰＵ１７およびパターンマッチング部１６の処理を中心に説明する。
【００４７】
ステップＳＴ１において、例えば指紋センサ部１１の各検出電極１１０３から検出レベルを示す信号Ｓ１１が出力される。
ステップＳＴ２において、ＣＰＵ１７において、指置き検出部１７１では、例えば図７に示すように、指紋センサ部１１の検出電極１１０３それぞれからの検出レベルの和を基に指紋センサ部１１に指ｆが接触したか否かを判別する。
【００４８】
例えば詳細には、指置き検出部１７１は、指紋センサ部１１の検出電極１１０３それぞれからの検出レベルの和が、飽和値Ｖ＿Ｓよりも小さく、飽和値Ｖ＿Ｓと略同じ値である閾値Ｖ＿ｔｈ以上の場合には、指ｆが指紋センサ部１１に接触したと判別し、閾値Ｖ＿ｔｈよりも小さい場合には、指ｆが指紋センサ部１１に接触していないと判別し、判別結果を出力する。
【００４９】
また、指置き検出部１７１は、図８に示すように、検出電極１１０３に沿っての検出レベルが、平均値を中心として振動しているか否かを基に、指ｆが指紋センサ部１１に接触しているか否かを判別する。
例えば詳細には、指置き検出部１７１は、図８に示すように、検出電極１１０３に沿って検出レベルが平均値Ｖ＿０を中心に振動する場合には、指ｆが指紋センサ部１１に接触していると判別し、振動していない場合には指ｆが指紋センサ部１１に接触していないと判別する。
【００５０】
ステップＳＴ３において、指置き検出部１７１は、指ｆが指紋センサ部１１に接触していない、つまり指ｆが指紋センサ部１１に置かれていないと判別した場合には、ステップＳＴ１の処理に戻る。
また、ステップＳＴ３の判別において、指置き検出部１７１は、指紋センサ部１１に指ｆが接触している、つまり指ｆが指紋センサ部１１に置かれていると判別した場合には、ステップＳＴ４の処理に進む。
【００５１】
ステップＳＴ４において、残留指紋判別部１７２では、メモリ１４が記憶する直前の指紋データｄ＿ｆｐｒｃ、例えば最後に正常に照合が行われた指紋データｄ＿ｆｐをメモリ１４に記憶した指紋データ＿ｆｐｒｃを読み出す。
【００５２】
ステップＳＴ５において、残留指紋判別部１７２は、指紋データ＿ｆｐｒｃ、およびＡＤＣ１２，２値化部１３を介して入力された新たな指紋データｄ＿ｆｐである信号Ｓ１１を基に、指紋データｄ＿ｆｐが残留指紋を示すデータであるか否かを判別する。
詳細には、残留指紋判別部１７２は、上述したパターンマッチング部１６にパターンマッチング処理および集計処理を行わせる。
残留指紋判別部１７２は、パターンマッチング処理および集計処理の結果、例えばブロックｂ＿ｆｐ００〜ｂ＿ｆｐ２２それぞれの位置関係を基に、ブロックｂ＿ｆｐ００〜ｂ＿ｆｐ２２それぞれに対応する照合結果ｒｅｓ＿ｆｐ００〜ｒｅｓ＿ｆｐ２２のポイントを移動させて、それぞれを重ね合わせる。
【００５３】
ステップＳＴ６において、残留指紋判別部１７２は、その結果ポイントの重なりの度合いを基に残留指紋であるか否かを判別する。
詳細には、残留指紋判別部１７２は、その結果、ポイントの重なりの度合いを基に、例えば所定の閾値よりも大きい場合、本実施形態では、ポイントが所定のエリア内で、閾値として４よりも大きい重なり度合いの場合には、その指紋データｄ＿ｆｐを残留指紋を示す指紋データであると判別し、ステップＳＴ７の処理に進む。
【００５４】
ステップＳＴ７において、所定の時間、例えば数秒程度経過したか否かが判別され、所定の時間経過したと判別した場合には一連の処理を終了し、所定の時間経過していない場合には、ステップＳＴ１の処理に戻る。
【００５５】
一方、ステップＳＴ６の判別において、ポイントの重なりの度合いが所定の閾値よりも小さい場合には、その新たに撮像された指紋データｄ＿ｆｐが、残留指紋を示す指紋データでないと判別し、ステップＳＴ８の処理に進む。
【００５６】
ステップＳＴ８の処理において、照合部１７３は、新たに撮像された指紋データｄ＿ｆｐと、メモリ１４が記憶する複数の登録指紋データｄ＿ｆｐｒと照合処理を行う。例えば、照合部１７３は、照合処理として、パターンマッチング部１６に上述と同様なパターンマッチング処理および集計処理を行わせ、ポイントの重なり度合いに応じて照合処理を行う。
【００５７】
ステップＳＴ９において、照合部１７３は、新たに撮像された指紋データｄ＿ｆｐと、登録指紋データｄ＿ｆｐｒとの照合処理の結果、それぞれが一致しない場合には、メモリ１４内の次の登録指紋データｄ＿ｆｐｒ（登録画像ともいう）と照合処理を行う。
また、照合部１７３は、新たな指紋データｄ＿ｆｐと、登録指紋データｄ＿ｆｐｒとが一致した場合、およびメモリ１４が記憶する複数の登録指紋データｄ＿ｆｐｒのいずれとも一致しない場合には、その結果を示す信号Ｓ１７３を生成して出力する。
また、例えば残留指紋判別部１７２は、最後に照合が行われた指紋データｄ＿ｆｐを、指紋データｄ＿ｆｐｒｃとしてメモリ１４に記憶する。
【００５８】
以上説明したように、本実施形態では、被検体ｈの指紋ｆｐを撮像する指紋センサ部１１と、指紋センサ部１１が撮像した指紋ｆｐの画像データである指紋データｄ＿ｆｐｒｃを記憶するメモリ１４と、指紋センサ部１１が新たに撮像した指紋ｆｐの画像データである指紋データｄ＿ｆｐ、およびメモリ１４が記憶する指紋データｄ＿ｆｐｒｃに基づいて、当該指紋データｄ＿ｆｐが残留指紋を示す指紋データであるか否かを、パターンマッチング処理により判別する残留指紋判別部１７２と、残留指紋判別部１７２が残留指紋であると判別した場合には、指紋データｄ＿ｆｐの照合処理を行わず、指紋データｄ＿ｆｐが残留指紋を示す指紋データでないと判別した場合には、メモリ１４が記憶する登録指紋データｄ＿ｆｐｒと照合処理を行う照合部１７３とを設けたので、残留指紋を誤検出することなく高精度に指紋の照合を行うことができる。
【００５９】
また、被検体の指ｈが指紋センサ部１１に接触しているか否かを検出する指置き検出部１７１を設け、例えば残留指紋としてレベルの低いものが、指置き検出部１７１の検出処理を基に排除され、その処理の後、残留指紋としてレベルの高いものが、残留指紋判別部１７２による検出処理を基に排除され、２重に残留指紋を排除する処理が行われるので、画像照合装置１は高精度に照合処理を行うことができる。
【００６０】
また、指紋データの登録を行う場合には、残留指紋を排除しているので、残留指紋を間違って登録することを防止することができる。
【００６１】
図１５は、本発明に係る画像照合装置の第２実施形態の機能ブロック図である。
第１実施形態に係る画像照合装置１では、最後に照合された指紋データｄ＿ｆｐｒｃをメモリ１４に保存し、新たに撮像した指紋データｄ＿ｆｐと比較することにより残留指紋を検出したが、本実施形態に係る画像照合装置１ａでは、最後の照合時の指紋データおよび位置データに基づいて、残留指紋の検出を行う。
【００６２】
つまり指紋センサ部１１に指ｆが接触する位置が照合毎に異なるので、照合時の指紋ｆｐの位置データと、最後に照合を行った指紋ｆｐの位置データと比較し、比較の結果、一致した場合には、それが残留指紋であると判別する。以下、図面を参照しながら、詳細に説明する。
【００６３】
本実施形態に係る画像照合装置１ａのハードウェア的な機能ブロックは、図１に示す第１実施形態に係る画像照合装置１と同様なので説明を省略する。
画像照合装置１ａは、例えばＣＰＵ１７がプログラムＰＲＧを実行することにより、図１５に示すように、指置き検出部１７１、残留指紋判別部１７２ａ、照合部１７３、および位置データ生成部１７４の処理機能を実現する。
位置データ生成部１７４は本実施形態に係る位置データ生成手段に相当する。
【００６４】
第１実施形態との大きな相違点は、位置データ生成部１７４をさらに有し、残留指紋判別部１７２ａが、その位置データ生成部１７４が生成した位置データｄｄを基に、新たに撮像された指紋データが残留指紋であるか否かを判別する点である。
【００６５】
位置データ生成部１７４は、指紋センサ部１１が撮像した被検体ｈの指紋ｆｐの指紋データｄ＿ｆｐを基に位置データｄｄを生成する。
詳細には、位置データ生成部１７４は、例えば、図１２（ｄ）および図１３に示すように、パターンマッチング部１６によるパターンマッチング処理および集計処理の結果、ポイントが重なる領域OVL の位置を基に位置データｄｄを生成する。メモリ１４は、位置データ生成部１７４が生成した位置データｄｄと、指紋データｄ＿ｆｐと関連付けて記憶する。
【００６６】
例えば同じ被検体ｈの指ｆが指紋センサ部１１に接触する位置は、照合毎に異なり、例えば図１２（ｄ），図１３に示すように、パターンマッチング部１６による、パターンマッチング処理および集計処理の結果、ポイントの重なる領域OVL の位置が異なる。また、例えば位置データ生成部１７４は、ポイントの重なりの度合いが閾値よりも大きい場合に、そのポイントの重なる領域OVL の位置を示す位置データｄｄを生成する。
この位置データｄｄは照合処理の結果、一致した場合に更新される。
【００６７】
図１６は、第２実施形態に係るメモリが記憶するデータを説明するための図である。
画像照合装置１ａのメモリ１４は、図１６に示すように、登録指紋データｄ＿ｆｐｒと、位置データｄｄとを関連付けて記憶する。
【００６８】
メモリ１４は、例えば被検体（ユーザともいう）毎に登録指紋データｄ＿ｆｐｒと位置データｄｄとを関連付けて記憶する。例えば詳細にはメモリ１４は、図１６に示すように、被検体Ａの指紋データｄ＿ｆｐｒＡと、その指紋データｄ＿ｆｐｒＡの位置データｄｄＡとを関連付けて記憶し、被検体Ｂの指紋データｄ＿ｆｐｒＢと、その指紋データｄ＿ｆｐｒＢの位置データｄｄＢとを関連付けて記憶し、…、被検体Ｎの指紋データｄ＿ｆｐｒＮと、その指紋データｄ＿ｆｐｒＮの位置データｄｄＮとを関連付けて記憶する。
また、位置データｄｄは、例えばｘ座標データおよびｙ座標データを含む。
【００６９】
図１７は、図１５に示した画像照合装置の動作を説明するためのフローチャートである。図１７を参照しながら、画像照合装置１ａの動作をＣＰＵ１７の動作を中心に説明する。第１実施形態との相違点のみを説明する。
【００７０】
ステップＳＴ１〜ＳＴ３の処理は、第１実施形態と同様な処理なので説明を省略する。
ステップＳＴ１４では、ステップＳＴ１〜ＳＴ３において指置き検出部１７１により、指紋センサ部１１に指ｆが接触していると判別された場合には、照合部１７３は、パターンマッチング部１６に第１実施形態と同様に撮像された指紋データｄ＿ｆｐと、メモリ１４が記憶する登録指紋データｄ＿ｆｐｒとのパターンマッチング処理および集計処理を行わせる。
【００７１】
詳細には、照合部１７３は、新たに撮像された指紋データｄ＿ｆｐと、登録指紋データｄ＿ｆｐｒとの照合処理の結果（ＳＴ１５）、それぞれが一致しない場合には、メモリ１４内の次の登録指紋データｄ＿ｆｐｒ（登録画像ともいう）と照合処理を行う（ＳＴ１６）。
また、照合部１７３は、新たな指紋データｄ＿ｆｐと、登録指紋データｄ＿ｆｐｒとが一致した場合は、ステップＳＴ１７の処理に進み、メモリ１４が記憶する複数の登録指紋データｄ＿ｆｐｒのいずれとも一致しない場合には一連の処理を終了する。
【００７２】
ステップＳＴ１７において、位置データ生成部１７４は、パターンマッチング部１６による新たに撮像されたｄ＿ｆｐと登録指紋データｄ＿ｆｐｒとのパターンマッチング処理および集計処理を基に位置データｄｄを生成する。
残留指紋判別部１７２ａは、位置データ生成部１７４が生成した位置データｄｄと、メモリ１４が記憶する登録指紋データｄ＿ｆｐｒに関連付けられた位置データｄｄと比較し、比較の結果を基に、新たに撮像された指紋データｄ＿ｆｐが残留指紋データであるか否かを判別する。
【００７３】
残留指紋判別部１７２ａは、位置データ生成部１７４が生成した位置データｄｄと、メモリ１４が記憶する登録指紋データｄ＿ｆｐｒに関連付けられた位置データｄｄとが一致した場合には、指紋データｄ＿ｆｐが残留指紋データであると判別し、所定の時間、例えば数秒程度経過したか否かが判別され（ＳＴ１８）、所定の時間経過していないと判別された場合にはステップＳＴ１の処理に戻り、所定の時間経過したと判別された場合には、一連の処理を終了する。
【００７４】
一方、ステップＳＴ１９の比較の結果、残留指紋判別部１７２ａが、位置データ生成部１７４が生成した位置データｄｄと、メモリ１４が記憶する登録指紋データｄ＿ｆｐｒに関連付けられた位置データｄｄが一致していない場合には、新たに撮像された指紋データｄ＿ｆｐが残留指紋でないと判別する。
また、残留指紋判別部１７２ａは、指紋データｄ＿ｆｐが残留指紋でないと判別した場合には、登録指紋データｄ＿ｆｐｒに関連付けられている位置データｄｄを、位置データ生成部１７４が生成した位置データｄｄに書き換えて、位置データｄｄを更新する。
【００７５】
以上説明したように、本実施形態では、被検体ｈの指紋ｆｐを撮像する指紋センサ部１１と、指紋センサ部１１が撮像した指紋データｄ＿ｆｐを基に、指紋ｆｐの位置データｄｄを生成する位置データ生成部１７４と、位置データ生成部１７４が生成した位置データｄｄと被検体の登録データｄ＿ｆｐｒとを関連付けて記憶するメモリ１４と、指紋センサ部１１が新たに撮像した指紋データｄ＿ｆｐに対応する位置データｄｄ、およびメモリ１４が記憶する位置データｄｄに基づいて、新たに撮像された画像データｄ＿ｄｐが残留指紋を示す画像データか否かを判別する残留指紋判別部１７２ａとを設けたので、残留指紋を誤検出することなく高精度に指紋の照合を行うことができる。
【００７６】
また、第１実施形態と比べて、データサイズが小さい位置データｄｄを比較することで、新たに撮像された指紋データｄ＿ｆｐが残留指紋か否かを判別することができ、処理負担が軽減される。
また、被検体（ユーザ）毎に登録指紋データｄ＿ｆｐｒと位置データｄｄとを関連付けて記憶し、照合処理の結果、一致していた場合に位置データｄｄを更新し、その被検体毎に指紋照合処理の後、位置データの比較処理を行うので、残留指紋を誤検出することなく、第１実施形態と比べてより高精度に指紋の照合を行うことができる。
【００７７】
図１８は、本発明に係る第３実施形態の画像照合装置のメモリが記憶するデータを説明するための図である。
第３実施形態に係る画像照合装置１ｂは、第２実施形態に係る画像照合装置１ａとハードウェア的に同じ構成である。
【００７８】
相違点としては、メモリ１４が記憶する被検体ｈの登録指紋データｄ＿ｆｐｒおよび位置データｄｄが、例えば被検体（ユーザ）毎に、複数の登録指紋データｄ＿ｆｐｒおよび位置データｄｄを関連付けて記憶している点である。
画像照合装置１ｂは、照合時には、被検体の登録指紋データｄ＿ｆｐｒすべてに対して位置データｄｄの比較処理を行う。
【００７９】
メモリ１４は、例えば詳細には、図１８に示すように、被検体Ａの人差し指の登録指紋データｄ＿ｆｐｒＡ１と、その登録時の位置データｄｄＡ１とを関連付けて記憶し、被検体Ａの人差し指の登録指紋データｄ＿ｆｐｒＡ２と、その登録時の位置データｄｄＡ２とを関連付けて記憶し、被検体Ａの人差し指の登録指紋データｄ＿ｆｐｒＡ３と、その登録時の位置データｄｄＡ３とを関連付けて記憶し、被検体Ｂの人差し指の登録指紋データｄ＿ｆｐｒＢ１と、その登録時の位置データｄｄＢ１とを関連付けて記憶し、…、以下同様に被検体の指の登録指紋データｄ＿ｆｐｒと、その登録時の位置データｄｄとを関連付けて記憶する。
この際、位置データｄｄそれぞれは異なる位置を示す。
【００８０】
図１９は、本発明に係る画像照合装置の第３実施形態の動作を説明するためのフローチャートである。図１８，１９を参照しながら、画像照合装置１ｂの動作をＣＰＵ１７の動作を中心に説明する。第１実施形態および第２実施形態との相違点のみ説明する。
【００８１】
ステップＳＴ１〜ＳＴ３は、第１実施形態と同様な処理なので説明を省略する。
ステップＳＴ２１において、照合部１７３は、パターンマッチング部１６に、撮像された指紋データｄ＿ｆｐとメモリ１４が記憶する複数の登録指紋データｄ＿ｆｐｒとを順次パターンマッチング処理および集計処理を行わせる。
【００８２】
ステップＳＴ２２において、照合処理結果をメモリ１４に記憶する。
ステップＳＴ２３において、位置データ生成部１７４は、パターンマッチング処理および集計処理の結果を基に、新たに撮像された指紋データｄ＿ｆｐの位置データｄｄを生成する。
残留指紋判別部１７２は、位置データ生成部１７４が生成した位置データｄｄと、そのメモリ１４が記憶する登録データｄ＿ｆｐｒとを比較し、比較の結果をメモリ１４に記憶する。
【００８３】
ステップＳＴ２４において、照合回数の判定が、被検体ｈの指の指紋ｆｐの登録回数であるか否かが判別される。例えば本実施形態では、被検体Ａにおいては指紋データを、図１８に示すように３つの登録指紋データｄ＿ｆｐｒＡ１〜ｄ＿ｆｐｒＡ３を記憶するので、被検体Ａにつき登録指紋データの照合を３回行ったか否かが判別され、登録回数でない場合には、次の登録指紋データの照合を行う（ＳＴ２５，ステップＳＴ２１）。
【００８４】
一方、ステップＳＴ２４の判別において、照合回数が、被検体ｈの指の指紋ｆｐの登録回数であると判別されると、指紋データｄ＿ｆｐの照合判定が登録回数すべてにおいて一致していないか否かが判別される（ＳＴ２６）。すべて一致していない場合には、次の被検体の登録指紋データｄ＿ｆｐｒの照合を行う（ＳＴ２５，２１）。
【００８５】
一方、ステップＳＴ２６において、照合判定の結果が少なくとも１回、一致している場合には、メモリ１４が記憶する位置データｄｄと、同じ位置データｄｄがあるか否かが判別され（ＳＴ２７）、同じものがある場合には、その指紋データｄ＿ｆｐは残留指紋データであると判別し、一連の処理を終了する。
【００８６】
一方、メモリ１４が記憶する位置データｄｄと、同じ位置データｄｄがない場合には、その指紋データｄ＿ｆｐは残留指紋データでないと判別する。
また、残留指紋判別部１７２は、照合が一致した指紋データｄ＿ｆｐに関連付けられている位置データｄｄを更新する。
【００８７】
以上説明したように、本実施形態では、メモリ１４に被検体毎に、複数の登録指紋データｄ＿ｆｐｒおよびそれ似関連付けて位置データｄｄを記憶し、照合時に、新たに撮像された指紋データｄ＿ｆｐと、メモリ１４が記憶する、被検体毎の登録指紋データｄ＿ｆｐｒすべてと照合処理および位置データｄｄの比較処理を行うので、メモリ１４に被検体毎に複数の指紋データを登録した場合であっても、残留指紋を誤検出することなく高精度に指紋の照合を行うことができる。
【００８８】
また、１つの指で数枚の指紋を登録する場合は、同じような位置での指紋データｄ＿ｆｐを登録することを防止することができる。これは、それぞれ異なった位置での指紋データｄ＿ｆｐを登録することで、照合時の位置ずれの許容範囲を大きくすることができるからである。また、指紋センサ部１１を小型化した場合には、異なった位置での登録データを基に照合処理を行うので、高精度に照合処理を行うことができる。
【００８９】
なお、本発明は本実施の形態に限られるものではなく、任意好適な種々の改変が可能である。
本実施形態では、指紋センサ部として、静電容量型の指紋センサを説明したがこの形態に限られるものではない。例えば指紋センサ部は、被検体の指による圧力を基に指紋を検出する圧力型指紋センサや、被検体の指の熱を基に指紋を検出する熱型指紋センサであってもよい。
【００９０】
また、照合毎に、位置データｄｄの履歴データをメモリに記憶しておき、その履歴データを基に、照合処理を行ってもよい。例えば履歴データを基に被検体が指を置く位置が、通常と異なっている場合に、その際に撮像した指紋データｄ＿ｆｐの信用度は低いとして照合処理を行ってもよい。
【００９１】
【発明の効果】
本発明によれば、残留指紋を誤検出することなく高精度に指紋の照合を行うことができる画像照合装置および画像照合方法を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像照合装置の第１実施形態の機能ブロック図である。
【図２】図１に示した画像照合装置のセンサ部を説明するための概念図である。
【図３】図２に示したセンサ部を拡大した図である。
【図４】図３に示した指紋センサ部を説明するための図である。
【図５】図１に示したセンサ部の正面図である。
【図６】図１に示した画像照合装置の処理機能を説明するための機能ブロック図である。
【図７】図６に示した指置き検出部の動作を説明するための図である。
【図８】図６に示した指置き検出部の動作を説明するための図である。
【図９】図１に示した残留指紋判別部の動作を説明するための図である。
【図１０】パターンマッチング処理を説明するための模式図である。
【図１１】パターンマッチング処理の集計結果を説明するための図である。
【図１２】パターンマッチング処理の集計結果を説明するための図である。
【図１３】指の位置がずれている場合のパターンマッチング処理を説明するための図である。
【図１４】図１に示した画像照合装置の動作を説明するためのフローチャートである。
【図１５】本発明に係る画像照合装置の第２実施形態の機能ブロック図である。
【図１６】第２実施形態に係るメモリが記憶するデータを説明するための図である。
【図１７】図１５に示した画像照合装置の動作を説明するためのフローチャートである。
【図１８】本発明に係る第３実施形態の画像照合装置のメモリが記憶するデータを説明するための図である。
【図１９】本発明に係る画像照合装置の第３実施形態の動作を説明するためのフローチャートである。
【符号の説明】
１，１ａ，１ｂ…画像照合装置、１１…指紋センサ部（Sensor）、１２…アナログ／デジタルコンバータ（ＡＤＣ）、１３…２値化部（Binary変換）、１４…メモリ、１５…インタフェース（Ｉ／Ｆ）、１６…パターンマッチング部、１７…ＣＰＵ、１１１…行駆動回路、１１２…検出回路、１４１…ＤＲＡＭ、１４２…フラッシュメモリ１４２、１７１…指置き検出部、１７２，１７２ａ…残留指紋判別部、１７３…照合部、１７４…位置データ生成部、１１０１…基板、１１０２…絶縁膜、１１０３…検出電極、１１０４…保護膜。

Claims (4)

1. 被検体の指紋の画像データの照合を行う画像照合装置であって、
   前記被検体の指紋を撮像する指紋撮像手段と、
   前記指紋撮像手段が撮像した指紋の画像データを基に、前記指紋の位置データを生成する位置データ生成手段と、
   前記被検体の指紋の画像データと、前記位置データ生成手段が生成した当該被検体の指紋の画像データに対応する第１の位置データとを関連付けて記憶する記憶手段と、
   新たに前記指紋撮像手段が撮像した前記被検体の指紋の画像データと、前記記憶手段が記憶する前記被検体の指紋の前記画像データとを照合して、一致していると判断した場合に、前記指紋撮像手段が新たに撮像した指紋の画像データに対応する第２の位置データ、および前記記憶手段が記憶する第１の位置データに基づいて、前記新たに撮像された画像データが残留指紋を示す画像データか否かを判別する残留指紋判別手段と
   を有する画像照合装置。
2. 前記位置データ生成手段は、前記記憶手段が記憶する画像データと、前記新たに指紋撮像手段が撮像した画像データとのパターンマッチング処理の結果を基に前記位置データを生成する
   請求項１に記載の画像照合装置。
3. 被検体の指紋の画像データの照合を行う画像照合方法であって、
   指紋撮像手段が、前記被検体の指紋を撮像し、
   位置データ生成手段が、前記指紋撮像手段が撮像した指紋の画像データを基に、前記指紋の位置データを生成し、
   記憶手段が、前記被検体の指紋の画像データと、当該被検体の指紋の画像データに対応する第１の位置データとを関連付けて記憶し、
   残留指紋判別手段が、新たに前記指紋撮像手段が撮像した前記被検体の指紋の画像データと、前記記憶手段が記憶する前記被検体の指紋の前記画像データとを照合して、一致していると判断した場合に、前記指紋撮像手段が新たに撮像した指紋の画像データに対応する第２の位置データ、および前記記憶手段が記憶する第１の位置データに基づいて、前記新たに撮像された画像データが残留指紋を示す画像データか否かを判別する
   画像照合方法。
4. 前記位置データ生成手段は、前記記憶手段が記憶する画像データと、前記新たに指紋撮像手段が撮像した画像データとのパターンマッチング処理の結果を基に、前記位置データを生成する
   請求項３に記載の画像照合方法。

Images