JP5206218B2 - 指紋画像取得装置、指紋認証装置、指紋画像取得方法及び指紋認証方法 - Google Patents

指紋画像取得装置、指紋認証装置、指紋画像取得方法及び指紋認証方法 Download PDF

Info

Publication number
JP5206218B2
JP5206218B2 JP2008211407A JP2008211407A JP5206218B2 JP 5206218 B2 JP5206218 B2 JP 5206218B2 JP 2008211407 A JP2008211407 A JP 2008211407A JP 2008211407 A JP2008211407 A JP 2008211407A JP 5206218 B2 JP5206218 B2 JP 5206218B2
Authority
JP
Japan
Prior art keywords
fingerprint
image
resolution
feature
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008211407A
Other languages
English (en)
Other versions
JP2010049379A (ja
Inventor
茂史 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2008211407A priority Critical patent/JP5206218B2/ja
Priority to EP09008509.3A priority patent/EP2157531A3/en
Priority to US12/494,953 priority patent/US8224043B2/en
Publication of JP2010049379A publication Critical patent/JP2010049379A/ja
Application granted granted Critical
Publication of JP5206218B2 publication Critical patent/JP5206218B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1335Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • G06V40/1353Extracting features related to minutiae or pores
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • G06V40/1359Extracting features related to ridge properties; Determining the fingerprint type, e.g. whorl or loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、指紋情報により個人認証等を行うための指紋画像の取得、その指紋画像による指紋認証に供される装置及び方法に関する。
近年、情報システムやその一部を構成するパーソナルコンピュータ(PC)等の情報端末機器、或いは、携帯電話機やPDA(Personal DigitalAssistant)等の小型情報機器では、より信頼性の高い個人認証(機器のユーザが、予め登録されたユーザ本人であることの認証)を求められる傾向にある。一方、生体情報(バイオメトリクス)による個人認証は信頼性が高く、特に、生体情報として指紋を用いることは利便性が高い。
指紋を用いる個人認証では、静電容量式指紋センサや光学式指紋センサを用いて被認証者の指から指紋(指紋センサの採取面に接触し得る隆線と同採取面に接触しない谷線とから成る紋様)を画像情報(指紋画像)として採取する。この指紋画像から特徴情報(例えば、隆線形状、分岐点や端点の位置情報)を抽出し、その特徴情報と予め登録されている被認証者の登録情報(登録特徴情報)とを照合し、その照合結果から、被認証者が本人であるか否かの判定即ち、個人認証を行っている。特徴情報には、隆線の形状からなる隆線パターンと、隆線の端点の分岐点との位置情報からなる特徴点とが主として用いられている。前者は" レベル1の特徴量" と、後者は" レベル2の特徴量" と呼ばれている。
PC等の情報端末機器、或いは、携帯電話機やPDA等の小型情報機器に搭載する指紋センサでは、その小型化が進められている。このような小型の指紋センサでは、センサ面積が指より小さく、単純な1回の撮像では指紋全体の画像が得られない。
そこで、小面積の指紋センサでは、そのセンサ面を通じて連続的に採取された複数の部分画像を統合して指紋全体の画像を得ることが行われている。斯かる状況に対応する指紋センサとして、スウィープ型指紋センサがある(例えば、特許文献1、2参照)。このスウィープ型指紋センサは、指の長さよりも十分に短く、小面積の矩形採取面(センサ面/撮像面)を有しているので、指を採取面に対して移動させるか、又は、採取面(指紋センサ)を指に対して移動させるかしながら、指紋について複数の部分画像を連続的に採取し、複数の部分画像から指紋画像の全体を再構成することが行われている。このように再構成された指紋画像から、特徴点(隆線の分岐点や端点)の情報を抽出・生成し、その情報に基づいて個人認証が行われる。なお、採取面に対する指の相対的移動のことを「スウィープ(sweep )又はスライド(slide )」と呼ぶ。また、小型の平面型指紋センサにおいても、同様に複数の部分画像を統合して、指紋全体の画像を得る取り組みが行われている(非特許文献1参照)。
この指紋認証に関し、特許文献3には、携帯電話で読み取った指紋画像を十分な認証精度で登録指紋画像と照合可能にすることが開示されている。特許文献4には、部分的な指紋画像しか得られない場合でも、十分な認証精度で登録指紋画像と照合可能にすることが開示されている。また、特許文献5には、複数の指紋画像のそれぞれから抽出した特徴点の再現性を評価して、利用する特徴点を取捨選択することが開示されている。
他人との弁別性能を高めるため、指紋隆線の輪郭や汗腺孔の位置情報を用いる方式が検討されており、これらの特徴量は前述の特徴量と比べて、レベル3の特徴量と呼ばれている(非特許文献2参照)。
また、デジタルカメラ等では、連写された複数枚の低解像度の画像を合成することにより、高解像度の画像を生成する画像処理方法、いわゆる超解像処理が提案されている(特許文献6)。
特開平10−91769号号公報 特開2003−208620号公報 特開2002−024831号公報 特開2004−005619号公報 特開2001−344605号公報 特開2007−271690号公報 A. Jain and A. Ross, "Fingerprint mosaicking", in Proceedings ofIEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 4, pp. 4064 {4067, (Orlando, FL), May 2002. Anil Jain, Yi Chen and Meltem Demirkus, "Pores and Ridges: High-Resolution Fingerprint Matching Using Level 3 Features", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL29, NO.1, JANUARY 2007.
ところで、指紋画像の入力にスウィープ型指紋センサを用いた場合には、指紋を入力する際に指とセンサ面とを相対的に移動させる操作が必要である。従って、指紋の取得が操作方法に依存するため、ユーザの操作方法によっては指紋全体の画像が得られないことがある。その場合には、複数枚の画像を統合したとしても、全体の画像が得られず、指紋の一部の領域(例えば、指先のみ)の画像しか得られない。指紋画像の入力に平面型指紋センサを用いた場合にも、例えば、ユーザの指が十分な面積でセンサ面に接しない等、ユーザの押捺の仕方によっては一部の領域の画像しか得られない。従って、複数枚の画像を統合したとしても、指紋の一部の領域の画像しか得られないことがある。つまり、小型の指紋センサが用いられた場合は、ユーザの操作方法によっては他人との弁別性能を十分に得られない場合があるという欠点があった。
指紋隆線の輪郭や汗腺孔の位置情報を用いる方式では、既述の通り、レベル3の特徴量を取得するため、高解像度(約1,000dpi以上)の指紋センサが必要であるし、価格と実装サイズの問題で、小型情報機器に搭載するのは困難である。
また、デジタルカメラ等によるいわゆる超解像処理(特許文献6)では、低解像度画像間の位置ずれ量を1画素未満の精度で検出し、その位置ずれ量に従って低解像度画像の合成を行う。指紋画像には皮膚の伸縮により全体的に位置ずれが生じ、画像間の一部の領域では位置合せに成功しても、他の領域では位置合せに失敗するため、指紋画像には、デジタルカメラで用いられる超解像処理をそのまま適用することができない。
斯かる要求や課題について、特許文献1ないし6、非特許文献1、2にはその開示や示唆はなく、それを解決する構成等についての開示や示唆はない。
そこで、本発明の目的は、指紋画像を用いた指紋認証に関し、低解像度の指紋画像を用いて特徴量の抽出を高めることにある。
また、本発明の他の目的は、指紋画像を用いた指紋認証に関し、低解像度の指紋画像を高解像度化により、指紋認証の認証精度を高めることにある。
上記目的を達成するため、本発明は、低解像度の指紋センサで得られる指紋画像から抽出できる特徴量を用いることにより、指紋画像の領域毎に高解像度化が可能か否かを判定し、高解像度化の可能な領域について高解像度化処理を行うことにより解像度を高め、指紋画像に存在する特徴量を抽出している。また、高解像度化処理により解像度が高められた指紋画像から特徴量を抽出し、その特徴量を用いて指紋認証を行っている。このような構成により、上記目的を達成している。
上記目的を達成するため、本発明の第1の側面は、指紋画像取得装置であって、指紋画像が連続的に入力される指紋画像入力手段と、前記指紋画像入力手段により入力された複数の指紋画像の対応付けをするとともに位置合せをする画像対応付け手段と、画像対応付けの結果、指紋画像間の重複している領域を検出し、該重複領域における指紋画像間の類似性を評価することにより、前記重複領域に高解像度化が可能な領域があるか否かを判定する高解像度化判定手段と、前記画像対応付け手段による前記位置合せの結果に基づき、前記指紋画像を合成する画像合成手段と、前記重複領域中の高解像度化が可能な前記領域を高解像度化する高解像度化手段とを備え、前記指紋画像入力手段に入力される前記指紋画像を部分的に高解像度化した指紋画像を生成させることである。
斯かる構成によれば、連続して入力される低解像度の複数の指紋画像から高解像度化が可能な領域の高解像度化処理を行い、部分的又は全体的に高解像度化された指紋画像が得られ、斯かる指紋画像から特徴量の抽出が可能となるので、特徴量の抽出精度が高められる。
上記目的を達成するには、上記指紋画像取得装置において、好ましくは、前記高解像度化判定手段が、指紋画像から特徴量を抽出する特徴量抽出手段と、抽出された特徴量を用いて、指紋画像間で比較する特徴量比較手段を備え、指紋画像から抽出された特徴量に基づいて再現性を評価し、高解像度化が可能であるか判定することとしてもよい。また、上記指紋画像取得装置において、好ましくは、前記特徴量は、隆線の形状、隆線の端点、分岐点情報の何れかを含むこととしてもよいし、また、前記高解像度化判定手段が重複領域をさらに小領域に分割する領域分割手段を備え、小領域毎に指紋画像間の再現性を評価し、高解像度化が可能な領域があるか否かを判定し、該判定により高解像度化可能であると判定された小領域を高解像度化することとしてもよい。斯かる構成により、上記目的が達成される。
上記目的を達成するため、本発明の第2の側面は、指紋認証装置であって、指紋画像が連続的に入力される指紋画像入力手段と、複数の指紋画像の位置合せをする画像対応付け手段と、画像対応付けの結果、指紋画像間の重複している領域を検出し、該重複領域における指紋画像間の類似性を評価することにより、前記重複領域に高解像度化が可能な領域があるか否かを判定する高解像度化判定手段と、前記画像対応付け手段による前記位置合せの結果に基づき、前記指紋画像を合成する画像合成手段と、前記重複領域中の高解像度化が可能な前記領域を高解像度化する高解像度化手段と、前記高解像度化手段で高解像度化された指紋画像から特徴情報を生成する特徴情報生成手段と、取得した特徴情報と予め登録した特徴情報とを照合する指紋照合手段とを備えたことである。
斯かる構成によれば、連続して入力される低解像度の複数の指紋画像から高解像度化が可能な領域の高解像度化処理を行い、部分的又は全体的に高解像度化された指紋画像が得られ、斯かる指紋画像から特徴量を抽出し、指紋照合を行うことができ、指紋の照合精度が高められる。
上記目的を達成するため、本発明の第3の側面は、指紋画像取得方法であって、指紋画像を連続して取り込むステップと、複数の指紋画像の位置合せをするステップと、画像対応付けの結果、指紋画像間の重複している領域を検出し、該重複領域における指紋画像間の類似性を評価することにより、前記重複領域に高解像度化が可能な領域があるか否かを判定するステップと、前記位置合せの結果に基づき、前記指紋画像を合成するステップと、前記重複領域中の高解像度化が可能な前記領域を高解像度化するステップとを含み、連続して入力される前記指紋画像を部分的に高解像度化した指紋画像を生成させることである。斯かる指紋画像取得方法によれば、前記第1の側面で述べた通り、解像度を高めた指紋画像を取得することができる。
上記目的を達成するため、本発明の第4の側面は、指紋認証方法であって、指紋画像を連続して取り込むステップと、複数の指紋画像の位置合せをするステップと、画像対応付けの結果、指紋画像間の重複している領域を検出し、該重複領域における指紋画像間の類似性を評価することにより、前記重複領域に高解像度化が可能な領域があるか否かを判定するステップと、前記位置合せの結果に基づき、前記指紋画像を合成するステップと、前記重複領域中の高解像度化が可能な前記領域を高解像度化するステップと、前記高解像度化された前記合成画像から特徴情報を生成するステップと、取得した特徴情報と予め登録した特徴情報とを照合するステップとを含むことである。斯かる指紋認証方法によれば、前記第2の側面で述べた通り、解像度を高めた指紋画像から抽出された特徴量を用いるので、指紋認証の精度が高められる。
本発明によれば、次のような効果が得られる。
(1) 所定の解像度を有し、連続して入力された複数の指紋画像間の重複領域について、該所定の解像度よりも高い解像度を有する高解像度画像を生成し、部分画像と高解像度画像を合成して部分的又は全体的に高解像度化された指紋画像を生成することができる。
(2) 部分的又は全体的に高解像度化された指紋画像を指紋認証に用いることができ、再現性(類似性)の評価に利用することができる。
(3) 所定の解像度を有する複数の部分的な指紋画像から、所定の解像度よりも高い解像度を有する指紋画像からのみ抽出可能な特徴量を利用できる。
(4) 指紋画像の重複領域をさらに小領域に分割し、小領域毎に高解像度化が可能であるか判定することで、指紋画像が部分的に歪んでいたとしても、歪んでいない領域のみを抽出して、高解像度画像を生成できる。
(5) このような複数の指紋画像間の重複領域を求めて部分的又は全体的に高解像度化された指紋画像を用いて指紋照合の照合精度を高めることができる。
そして、本発明の他の目的、特徴及び利点は、添付図面及び各実施の形態を参照することにより、一層明確になるであろう。
〔第1の実施の形態〕
第1の実施の形態について、図1、図2、図3、図4、図5、図6及び図7を参照する。図1は、指紋画像取得装置を示すブロック図、図2及び図3は、スウィープ型指紋センサの一例を示す図、図4は、指紋の特徴量を表す図、図5は、指紋画像の部分画像の重複領域の検出及び分割を示す図、図6は、合成画像を示す図、図7は、高解像度化判定部の構成例を示す図である。図1〜図7に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。
この指紋画像取得装置2Aは、指紋画像の取得にスウィープ型指紋センサを用いたものであって、図1に示すように、指紋画像入力部4と、画像対応付け部6と、高解像度化判定部8と、高解像度化部10と、画像合成部12とが備えられ、この実施の形態では、指紋画像入力部4にスウィープ型指紋センサ14を用いている。
指紋画像入力部4は、ユーザが入力する指紋を映像化し、複数の部分画像を断続的に検出する指紋画像入力手段の一例である。なお、生体情報入力手段である指紋センサとして例えば、スウィープ型指紋センサ14の指紋検出方法には、静電容量式、感熱式、電界式、光学式があるが、何れの方法であってもよい。指紋の読取りは、図2に示すように、ユーザが、スウィープ型指紋センサ14のセンサ面16上を指18でれながら、指18の根元側、より具体的には、第一関節付近から指先側等、例えば、矢印aの方向に指を移動させる構成でもよい。また、スウィープ型指紋センサ14は、図3に示すように、指18に対してセンサ部20側を移動させる移動機構部22を備えた構成としてもよく、センサ部20が矢印bで示す方向に移動させればよく、ユーザは指18を移動させる必要はない。スウィープ型指紋センサ14には既存のものを使用できるので、その詳細な説明は省略する。この指の動きに対し、スウィープ型指紋センサ14は2次元画像の読取り動作を連続的に行い、複数枚の部分画像を取得することができる。
このようにしてスウィープ型指紋センサ14には指18のスウィープによって複数の部分画像が得られ、これら部分画像は指紋画像入力部4にバッファされ、保持される。
画像対応付け部6は、部分画像間の移動量の算出手段であるとともに、指全体の画像を再構成する画像対応付け手段である。この画像対応付け部6では、指紋画像入力部4に入力された複数の部分画像から隣接する部分画像間で比較を行い、部分画像間の重複領域が最も類似する相対的な位置関係を求め、移動量を算出する。各部分画像の隣接する境界部分において画像が重複する領域が存在する場合には、画像合成により指紋全体の画像を再構成することができる。しかしながら、指の操作方向におけるスウィープ型指紋センサ14の幅に対する読取り動作速度に対し、指の操作速度が速すぎる場合には重複領域が生じず、それらの部分画像を合成することができない。部分画像間の比較には、画像自体を利用してもよいし、画像から抽出した特徴量として図4に示すように、隆線パターン24や、特徴点26、28を利用してもよい。特徴点26は端点であり、特徴点28は分岐点である。スウィープ型指紋センサ14は、縦方向の幅が短いため、特徴点を取得するのが困難である。従って、スウィープ型指紋センサ14を用いて指紋全体の画像を再構成する際には、画像自体又は隆線パターンを組み合わせて利用するのが望ましい。
高解像度化判定部8は、対応付けの結果、重複する領域を検出し、この重複領域をブロック状の小領域に分割し(図5)、小領域毎に部分画像間の類似度を算出し、所定の閾値と比較して高解像度化が可能であるか否かを判定する高解像度化判定手段である。例えば、類似度が高い方が類似している場合には、所定の閾値以上であれば、高解像度化が可能であると判定する。
この高解像度化判定部8の重複領域の検出、その重複領域の小領域への分割等の処理は、図5に示すように、n枚目の部分画像30と、(n+1)枚目の部分画像32との間に重複領域34が生じているとすれば、その重複領域34が検出されるので、この重複領域34を重複領域34より小さい複数の領域(小領域)36に分割する。
高解像度化部10は、移動量と高解像度化が可能であると判定された領域の情報(各部分画像における左上の座標、縦方向の幅、横方向の幅)を受け取り、各部分画像における処理範囲を決定する手段である。処理範囲について、小数画素精度で位置ずれ量を求める。小数画素精度で位置ずれ量を求めるには、各画素中の小数画素位置の画素値を線形補間等で生成してから類似度を求める方法や、整数画素位置で求めた類似度を元に小数画素精度の位置ずれ量を推定する方法等がある。小数画素精度で求められた位置ずれ量を考慮して、各部分画像の対応する処理範囲の画像を重ね合わせ、画素値の内挿処理を行い、物体毎の高解像度画像を生成する。内挿処理は、公知の処理を用いることができるので、その説明を省略する。以上の処理を、高解像度化が可能であると判定された全領域に対して行う。
画像合成部12は、移動量に基づいて、各部分画像を合成する。合成画像の解像度を変換し、高解像度画像の解像度を合わせる。移動量と領域情報に基づいて高解像度画像を合成画像に配置し、部分的に高解像度化された合成画像38(図6)を生成する。この合成画像38には、図6に示すように、高解像度の領域40が形成されている。
このような処理を、指紋画像入力部4にバッファしている部分画像の順番に繰り返すことで、指紋全体の合成画像を生成することができる。
次に、高解像度化判定部8について、図7を参照すると、この高解像度化判定部8は、重複領域検出部82と、領域分割部84と、特徴量抽出部86と、特徴量比較部88とを備えている。
重複領域検出部82は、画像対応付け部6から対応付け出力を受け、隣接する指紋画像間の重複している領域即ち、重複領域を検出する検出手段である。領域分割部84は、重複領域検出部82から重複領域の検出結果を受け、その重複領域を更に小領域に分割する領域分割手段である。また、特徴量抽出部86は、その重複領域にある特徴量を抽出する特徴量抽出手段であり、特徴量比較部88は、抽出された特徴量を比較する手段である。そこで、この高解像度化判定部8では、指紋画像の重複領域を小領域に分割し、その小領域毎に指紋画像間の再現性を評価し、その結果として解像度を高めることが可能であるか否かを判定する。そして、高解像度化部10は、その結果を高解像度化判定部8から受け、指紋画像の高解像度化可能な領域について高解像度化処理をする。
このように、指紋画像を領域毎に分割する手段として、領域分割手段を備えることにより、指紋画像間の重複領域を更に小領域に分割すれば、小領域毎に高解像度化が可能であるか否かを判定することができ、指紋画像が部分的に歪んでいたとしても、歪んでいない領域のみを抽出して高解像度画像を生成でき、後述の指紋認証の精度を高めることができる。
次に、指紋画像の取得及び画像構成の処理について、図8及び図9を参照する。図8及び図9は、指紋画像取得の処理手順を示すフローチャートである。図8及び図9に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。
この処理手順は、指紋画像取得方法又は指紋画像取得プログラムの一例であって、図8に示すように、指紋画像入力部4による指紋画像入力ステップ(ステップS1)、画像対応付け部6による対応付けステップ(ステップS2)、高解像度化判定部8による高解像度化判定ステップ(ステップS3)、高解像度化部10による高解像度化ステップ(ステップS4)、画像合成部12による画像合成ステップ(ステップS5)により実行される。
また、この処理手順は、図9に示すように、指の先頭の部分画像を読み込み(ステップS11)、次の部分画像を読み込む(ステップS12)。これら部分画像間を対応付けて移動量を算出し(ステップS13)、重複領域を小領域に分割する(ステップS14)。小領域毎に部分画像間で高解像度化が可能であるか否かを判定する(ステップS15)。その判定結果(ステップS16)が可能であれば、高解像度画像を生成し(ステップS17)、判定結果(ステップS16)が不可能であれば、部分画像を連結して生成した高解像度画像を合成する(ステップS18)。そして、全部分画像が処理済みであるか否かが判定され(ステップS19)、全部分画像が処理済みでなければ(ステップS19のNO)、ステップS12に戻り、全部分画像の処理を行い、全部分画像が処理済みであれば(ステップS19のYES)、処理を終了する。
次に、高解像度化処理について、図10を参照する。図10は、指紋画像の超解像の処理を示す図である。
この高解像度化処理は、高解像度化の処理方法又はその処理プログラムの一例であって、複数の画像を用いて画像を補完する例えば、超解像の処理を用いることができる。この例では、二値の画像を用いているが、多値の画像であってもよい。複数枚(例では2枚)の画像間で位置合わせを行う。そこで、指紋画像の一部の領域を例として、図10Aに示す指紋画像102(画像1)と、図10Bに示す指紋画像104(画像2)とを位置合わせすると、図10Cに示すように、位置合わせの結果としての画像106が得られる。図10A、10B及び10Cにおいて、108は汗腺孔である。この位置合わせの処理は、指紋認証で用いられる照合処理(特徴点方式、パターンマッチング方式等)を用いてもよい。この位置合わせでは、元の画像が持つ解像度より細かい値で画像間の位置ずれを求める。超解像後の解像度の画像における各画素において、元の2枚の画像で対応する画素値から、画素値を算出する。この例では、どちらかの画像の画素値が1(色付き)であれば、超解像後の画素値を1にしている。この結果、図10Dに示すように、超解像後の画像110が得られる。
他の方法としては、両画像の画素値の平均を用いてもよい。超解像後の画像の全画素について画素値を算出することにより、元の画像の解像度より高解像度の画像を得ることができる。
次に、部分的な高解像度化の処理について、図11を参照する。図11は、指紋画像の部分的な高解像度化処理を示す図である。
指紋画像では、押捺による歪みが必ず生じるため、位置合わせの結果の重複領域全てに超解像処理の適用が困難であるため、超解像可能な領域か否かを判断し、超解像可能な領域について超解像処理を行う。
図11Aに示すように、指紋画像112(画像1)と指紋画像114(画像2)との重複領域116内で類似度の高い領域を選別し、その領域のみについて、指紋画像112(画像1)と指紋画像114(画像2)の画像合成(超解像)により解像度変換をし、その他の領域については、一般の内挿処理により解像度変換する。図11Bに示すように、合成後の画像118では、120が超解像処理により解像度変換される領域、122が一般的な内挿処理により画像変換された領域である。画像1、画像2の類似度の高い領域の選別については、領域を分割し、分割した領域毎に照合処理を行って、類似度を算出する。その類似度に対し、所定の閾値を設定し、その類似度が閾値に比較して大きい場合に、超解像可能な領域と判定する。超解像可能と判定された領域は、超解像により解像度変換する。また、重複領域内の超解像不可能と判定された領域については、2枚の画像を用いて、対応する画素値を算出(平均値等)してもよいし、一方の画像により対応する画素値を決定してもよい。2枚の画像の対応画素値から変換後の画素値を算出する場合、画像パターンは変わる。重複していない領域については、解像度変換のみを行う。この場合、解像度は高くなるが、画像パターンは拡大されるだけであって、変わりはない。
次に、移動量について、図12を参照する。図12は、指紋画像間の移動量を説明するための図である。
図12に示すように、例えば、2つの画像として例えば、画像124(画像1)と画像126(画像2)とを位置合わせした場合に、画像124、126(画像1、2)間で対応する点P1、P2について、画像124と画像126との間の位置ずれの量を移動量とする。この移動量は、横方向(X軸方向)の移動量x、縦方向(Y軸方向)の移動量y及び回転角θで定義される。これらの値は、画像合成時に画素の対応付けに用いる。
〔第2の実施の形態〕
第2の実施の形態として、図13、図14、図15及び図16を参照する。図13は、指紋画像取得装置を示すブロック図、図14は、平面型指紋センサの一例を示す図、図15は、特徴点の対応付けを示す図、図16は、部分画像の重複領域の検出及び分割を示す図である。図13〜図16に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。図13及び図14において、図1と同一部分には同一符号を付してある。
この指紋画像取得装置2Bは、指紋画像の取得に平面型指紋センサを用いたものであって、図13に示すように、第1の実施の形態と同様に、指紋画像入力部4と、画像対応付け部6と、高解像度化判定部8と、高解像度化部10と、画像合成部12とが備えられ、この実施の形態では、指紋画像入力部4に平面型指紋センサ42を用いている。
指紋画像入力部4は指紋画像の入力手段であるが、平面型指紋センサ42を用いているので、第1の実施の形態とは指の操作方法が異なる。指紋を読み取る際には、図14に示すように、ユーザは平面型指紋センサ42のセンサ面44に指を押し当てる。この操作により、一枚の部分画像が取得される。本発明では、複数枚の指紋画像が必要となることから、ユーザは指紋の読取り操作を複数回行う。このようにして入力された部分画像は、指紋画像入力部4にバッファされる。
ところで、この指紋画像の入力に関し、ユーザが平面型指紋センサ42のセンサ面44に指を何度も押しつけるか、又は押しつけたままで複数回の読取り操作が行われるのかの何れであってもよい。ユーザがセンサ面44に意識的に指を何度も押しつけなくても、指を置いたままの状態で複数の指紋画像を入力することが可能であるから、この実施の形態は、斯かる態様も包含する。即ち、ユーザの指がセンサ面44に触れたままの状態で、センサ面44全体に対する画像取得(走査)を複数回行うことにより、複数の指紋画像を入力することが可能である。このような動作を行うための構成として、ユーザは指紋入力の際に、一定の状態を保とうとしても、センサ面44に対するユーザの指の圧力や位置等は時間経過によって微妙に変化し、入力時刻の異なる複数の指紋画像は微妙に異なってくる。このような複数の指紋画像を使って位置合わせを行えば、十分に大きな比率で共通領域を含んだ指紋画像を得ることができ、言い換えれば、精度の高い個人認証に適した指紋画像を生成することが可能である。
指紋センサ42のセンサ面44の領域は一定形状かつ一定面積であるため、ユーザの指全体に対し、一部分に偏った指紋画像を採取することになる。ユーザの指に対してセンサ面44が十分な面積を有する場合には、大部分が高解像度化された指紋画像を一度に得ることができ、より高レベルの特徴点を含んだ指紋画像を効率的に取得することが可能である。
画像対応付け部6は例えば、2枚の部分画像を受け取り、部分画像間で比較を行い、重複領域が最も類似する相対的な位置関係を求め、移動量を算出する手段である。2枚の画像の選択は、入力順に選択してもよいし、他の選択基準に従って選択してもよい。重複領域が最も類似する相対的な位置関係を求め、移動量を算出する。部分画像間の比較には、画像自体を利用してもよいし、画像から抽出した特徴量である隆線パターンや特徴点を利用してもよい。平面型指紋センサ42では、スウィープ型指紋センサ14と異なり、移動方向を絞れず、全探索が必要である。部分画像の比較には、計算量の軽い特徴点を利用するのが望ましい。特徴点を用いた画像対応付け方法としては、特徴点を用いた指紋照合と同様の処理である。各部分画像から抽出した特徴点を用いて照合し、一致する特徴点数が多くなる移動量を求める。
高解像度化判定部8は、平面型指紋センサ42の場合、指紋の読取り操作毎に異なる皮膚の伸縮による歪みの影響を減少させるため、特徴点と隆線パターンの両方を利用し、高解像度化の判定を行う。この判定には、重複領域内にある特徴点を取得する。この場合、特徴点は、画像対応付け部6で抽出した特徴点を流用してもよいし、新たに抽出してもよい。各部分画像から取得した特徴点を用いて、画像対応付け手順と同様に、指紋照合処理を行い、一致する特徴点を対応付ける(図15)。
この特徴点の対応付けは、図15に示すように、指紋画像46(部分画像1)の特徴点A1、A2、A3、A4と、指紋画像48(部分画像2)の特徴点a1、a2、a3、a4とを対比し、一致する特徴点A1−a1、A2−a2、A3−a3を対応付け、重複領域50を求める。この重複領域50について、小領域52、54、56は特徴点A1−a1、A2−a2、A3−a3の対応付け領域であり、一致した特徴点A1−a1、A2−a2、A3−a3を基準として円形の小領域52、54、56に分割する。この場合、円の半径は、固定でもよいし、可変でもよい。円のサイズはセンサ面44より小さいサイズであることが望ましい。例えば、円の半径を固定とし、各部分画像における小領域52、54、56内の隆線パターン24(図4)を抽出する。対応した小領域52、54、56の基準(円の中心)で位置合せを行い、隆線パターンの比較により類似度を算出する。所定の閾値と比較して高解像度化が可能であるか否かを判定する。この判定処理では、重複領域50全体を対象とするのではなく、特徴的な領域を示す特徴点A1−a1、A2−a2、A3−a3の近傍のみを対象としている。
高解像度化部10は、移動量と高解像度化が可能であると判定された領域の情報(各部分画像における円の中心座標、半径)を受け取り、各部分画像における処理範囲を決定する。処理範囲について、小数画素精度で位置ずれ量を求める。小数画素精度で位置ずれ量を求める場合には、各画素中の小数画素位置の画素値を線形補間等で生成してから類似度を求める方法や、整数画素位置で求めた類似度を元に小数画素精度の位置ずれ量を推定する方法等がある。小数画素精度で求められた位置ずれ量を考慮して、各部分画像の対応する処理範囲の画像を重ね合わせ、画素値の内挿処理を行い、物体毎の高解像度画像を生成する。内挿処理に関しては、公知であるため省略する。以上の処理を高解像度化が可能であると判定された全領域に対して行う。
画像合成部12は、移動量に基づいて、各部分画像を合成する。合成画像の解像度を変換し、高解像度画像の解像度を合わせる。移動量と領域情報に基づいて、高解像度画像を合成画像に配置し、部分的に高解像度化された合成画像を生成する。
このような処理を、指紋画像入力部4にバッファしている部分画像の順番に繰り返すことで、指紋全体の合成画像を生成することができる。
また、図16に示すように、特徴点の位置を基準に所定の形状で領域を分割してもよい。この場合、所定の形状の内部を対象に判定を行い、指紋画像の分割方法は、指紋画像入力手段である指紋センサの種別又は照合方式に適した方法を選択すればよい。
次に、高解像度化判定の処理について、図17を参照する。図17は、高解像度化判定の処理手順を示すフローチャートである。図17に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。
この実施の形態においても、指紋画像の取得や画像構成の各処理は第1の実施の形態と同様に実行され、既述の指紋画像取得の処理手順(図8及び図9)が用いられる。
この実施の形態の高解像度化が可能であるか否かの判定の処理手順は、その判定処理方法又は判定処理プログラムの一例であって、図17に示すように、部分画像間の重複領域を検出し(ステップS21)、重複領域内の特徴点を取得し(ステップS22)、特徴点の対応付けを行う(ステップS23)。対応付けのある特徴点を基準に、小領域内の隆線パターンを取得し(ステップS24)、対応付けられた小領域間で隆線パターンを比較して判定を行う(ステップS25)。対応付けのある特徴点の全てが処理済みであるか否かが判定され(ステップS26)、全てが処理済みでなければ(ステップS26のNO)、ステップS24に戻り、全てが処理済みであれば(ステップS26のYES)、この処理を終了する。
〔第3の実施の形態〕
第3の実施の形態について、図18、図19、図20、図21、図22、図23、図24、図25、図26及び図27を参照する。図18は、指紋認証装置を示すブロック図、図19は、指紋認証の処理手順を示すフローチャート、図20は、特徴情報生成部及び指紋照合部の構成例を示す図、図21は、特徴情報の構成例を示す図、図22は、特徴情報生成部及び他の指紋照合部の構成例を示す図、図23は、特徴情報の構成例を示す図、図24は、領域分割部(図7)の構成例を示す図、図25は、特徴情報生成部の他の構成例を示す図、図26は、クライアント装置の構成例を示す図、図27は、クライアント装置及びサーバ装置の構成例を示す図である。図18〜図27に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。図18、図22、図24〜図27において、図1、図13と同一部分には同一符号を付してある。
この指紋認証装置60は、既述の指紋画像取得装置2A(図1)又は指紋画像取得装置2B(図13)の何れか一方を用いて構成され、図18に示すように、指紋画像取得装置2A又は2Bと、特徴情報生成部62と、指紋照合部64とを備えている。
指紋画像取得装置2A又は2Bは、指紋画像入力部4、画像対応付け部6、高解像度化判定部8、高解像度化部10及び画像合成部12を備えており、これらは第1又は第2の実施の形態(図1、図13)と同一であるため、同一符号を付し、その説明を省略する。
特徴情報生成部62は、画像合成部12より合成された指紋画像(合成画像)を取得する。この合成画像は、部分的に高解像度化されているにすぎないので、レベル3に分類される特徴量抽出処理を画像全体に適用することはできない。適用しても、十分な認証精度が得られない特徴量が抽出されることになる。そこで、抽出する特徴量は、低解像度の指紋画像から取得できるレベル1と、レベル2との特徴量とする。ここでは、レベル2の特徴量である特徴点を例に説明する。合成画像から特徴点を抽出する。抽出された特徴点で構成される特徴情報を生成する。
指紋照合部64では、初期設定となる登録モードにおいて、生成された特徴情報を登録している。従って、初期設定が済んだ後の使用状態にあっては、特徴情報生成部62で得られた特徴情報を入力して、予め登録している登録特徴情報と照合することで、本人か否かの判定を行う。指紋照合部64は、特徴点を用いた比較手段又は斯かる機能を備えており、両特徴情報にある特徴点を用いて比較照合する。その結果である類似度から、所定の閾値と比較して本人か否かを判定する。
この指紋認証装置60における指紋認証の処理手順は、指紋認証方法又は指紋認証プログラムの一例であって、図19に示すように、指紋画像入力部4による指紋画像入力ステップ(ステップS31)、画像対応付け部6による対応付けステップ(ステップS32)、高解像度化判定部8による高解像度化判定ステップ(ステップS33)、高解像度化部10による高解像度化ステップ(ステップS34)、画像合成部12による画像合成ステップ(ステップS35)が実行され、これらの処理は第1及び第2の実施の形態と同様である。そして、画像合成の後、特徴情報生成部62による特徴情報生成ステップ(ステップS36)、指紋照合部64による指紋照合ステップ(ステップS37)により実行される。
この実施の形態から抽出される特徴事項、具体的な構成例や他の構成例を以下に列挙する。
(1) この指紋認証装置60では、複数枚の指紋画像を合成するために位置合せを行い、画像内の重複領域について高解像度化が可能であるか否かを判定し、指紋画像を合成するとともに、可能である領域について解像度を高めた指紋画像を生成する(図1、図7、図8、図9)。即ち、指紋画像を取得する指紋画像入力部4と、指紋画像内の重複領域を検出する重複領域検出部82(図7)と、重複領域について画像間で再現性があるか否かを評価して、十分に再現性がある場合に高解像度化が可能であると判定する高解像度化判定部8と、可能であると判定された領域について、解像度を高める高解像度化部10とを備えている。高解像度化判定部8には、特徴量抽出部86と、特徴量比較部88とを有し(図7)、各指紋画像から特徴量を抽出し、特徴量を用いて画像同士を比較して類似度を算出することで、再現性(類似性)があるか否かを評価する。特徴量としては、低解像度の指紋センサで取得可能である隆線パターン、特徴点を用いればよい。
このように指紋認証装置60によれば、連続的に入力された指紋画像間で重複している領域について、高解像度画像を生成し、部分画像と高解像度画像を合成することにより、部分的に高解像度化された指紋画像を生成することができる。そして、指紋認証で用いられている指紋照合方式を再現性の評価に利用できる。
(2) 指紋画像入力部4には、スウィープ型指紋センサ14(図1)、平面型指紋センサ42(図13)の何れを使用してもよく、スウィープ型指紋センサ14が使用されている場合に、ブロック状に分割することで、より多くの領域について高解像度画像が生成できる。また、平面型指紋センサ42が使用されている場合に、特徴点の位置を基準に円形や四角形で分割することで、特徴点の近傍の認証性能に重要な領域について、高解像度画像が生成できる。そして、部分的に高解像度化された指紋画像を用いて、指紋照合することができる。
(3) この指紋認証装置60では、重複領域をさらに小さな領域に分割し、分割した領域毎に高解像度化が可能であるか否かを判定することにより、指紋画像特有の伸縮が高解像度化に与える影響を減少させる。即ち、局所的に解像度を高めることを可能にする。例えば、指紋画像を図5に示すようにブロック状に分割し、又は、図16に示すように特徴点の位置を基準に所定の形状で領域を分割する。図5に示す場合には、ブロック毎に判定を行い、可能なブロックのみ高解像度化する。また、図16に示す場合には、所定の形状の内部を対象に判定を行う。指紋画像の分割方法は、指紋画像入力手段である指紋センサの種別又は照合方式に適した方法を選択する。また、部分的に高解像度化された画像について 図6を参照すると、図6に示す画像では、高解像度の領域40が元の解像度に比べて解像度が2倍に変換されている。実際には、高解像度化されていない領域については、拡大もしくは線形補間等の画像処理により、高解像度化された領域と同じ解像度に変換され、一枚の画像にされる。
(4) この指紋認証装置60では、画像合成部12により生成された指紋画像から特徴量を抽出し、照合に用いる特徴情報を生成し、予め登録した特徴情報との照合により本人か否かを判定する(図18、図19)。この場合、特徴情報生成部62は、図20に示すように、特徴量抽出手段として複数種類の特徴量抽出部6201、6202、6203・・・を備え、複数種類の特徴量で構成される特徴情報130(図21)を生成する。この特徴情報130は、図21に示すように、隆線パターン(レベル1の特徴量)132、特徴点(レベル2の特徴量)134、特徴点(レベル3の特徴量1)1361、特徴点(レベル3の特徴量2)1362・・・を含んでいる。また、指紋照合部64は、特徴量抽出部6201、6202、6203・・・に対応する特徴量比較手段として複数の特徴量比較部6421、642、6423・・・と、照合判定部644とを備える。特徴量比較部6421、642、6423・・・は、特徴量の種類毎に比較を行い、照合判定部644は、特徴量比較部6421、642、6423・・・の各比較結果から照合判定を行い、本人か否かを判定する。斯かる構成とすれば、精度の高い画像認証が行える。
(5) この指紋認証装置60では、連続して入力された部分画像を処理した結果、生成された高解像度画像の面積を取得し、取得した面積が十分に大きい場合に、レベル3の特徴量を抽出し、照合に用いる特徴情報を生成する。具体的には、画像合成部12は、生成された高解像度画像を受け取り、部分画像と高解像度画像を合成するとともに、合成後の画像における高解像度画像の面積を更新する。特徴情報生成部62は、合成画像と面積を受け取り、所定の閾値と比べて大きい場合に、レベル3に分類される特徴量を抽出し、特徴情報を生成する。指紋照合部64は、特徴情報を構成する特徴量の種類を確認し、複数の特徴量比較部6421、6422、6423・・・から使用すべき特徴量比較部を選択し、各特徴量について比較照合を行う。照合判定部644は、それらの結果から本人か否かを判定する。
(6) この指紋認証装置60において、特徴量比較部6421、6422、6423・・・から使用すべき特徴量比較部を選択するには、特徴量比較部6421、6422、6423・・・の前段に比較選択手段として比較選択部646(図22)を設置すればよい。斯かる構成では、図22に示すように、特徴量抽出部6201、6202、6203・・・と、これらに対応する特徴量比較部6421、6422、6423・・・と、特徴量の種類に応じて比較手段を切り替えて照合させる特徴量比較部6421、6422、6423・・・を選択するための比較選択部646とを備える。斯かる構成とすれば、複数の特徴量比較手段による指紋照合の結果を参照して判定するので、認証性能、認証精度を高めることができる。
(7) この指紋認証装置60は、特徴点近傍の画像から生成された高解像度画像より抽出されたレベル3の特徴量とその特徴点を関連付けて特徴情報を生成し、特徴点とレベル3の特徴量を用いて指紋照合を行う。具体的には、高解像度化判定部8は、重複領域内の特徴点を抽出し、その近傍の領域について再現性を評価する。高解像度化が可能であると判定された場合には、高解像度化部10が高解像度画像を生成する。画像合成部12は、入力された部分画像を合成するとともに、高解像度画像の生成に用いられた特徴点の位置を合成画像における位置に更新し、特徴点と高解像度画像を関連付けてデータ記録手段として例えば、データ記憶部906(図34)に格納する。既に格納されている特徴点についても逐次合成画像における位置に更新する。特徴情報生成部62は、特徴点と関連付けられた高解像度画像を受け取り、高解像度画像から汗腺孔の位置情報と隆線の輪郭形状を取得し、特徴点とレベル3の特徴量から構成される特徴情報140(図23)を生成する。この特徴情報140は、特徴点141、142、143・・・で構成され、この場合、特徴点141は特徴点1としてレベル3の特徴量1、特徴点142は特徴点2としてレベル3の特徴量2、特徴点143は特徴点3としてレベル3の特徴量3である。指紋照合部64は、まず特徴情報に含まれる特徴点を用いて照合し、一致と見做された特徴点の組について、レベル3の特徴量を用いて照合する。このように特徴点近傍の高解像度画像を生成し、レベル3に分類される特徴量を抽出すれば、特徴点とレベル3の特徴量の両方を用いた指紋照合方式を実現できる。
(8) 指紋画像の領域分割について、高解像度化判定部8にある領域分割部84(図7)は、図24に示すように、センサ情報取得部842と領域形状選択部844とを備えることにより、指紋画像入力部4に用いられる指紋センサの種類や出力に応じて領域形状を選択する構成とすることができる。センサ情報取得部842は、指紋画像入力部4に用いられる指紋センサの種類をその指紋センサの出力(即ち、指紋画像入力部4の出力)から得られるセンサ情報、又は設置される指紋センサを表す識別情報等のセンサ情報を取得する手段である。領域形状選択部844は、そのセンサ情報を受け、指紋画像を分割する領域形状をセンサ情報に応じて選択する領域形状選択手段である。このような構成によれば、指紋画像入力部4に用いられる指紋センサの種類や出力に応じた領域形状に指紋画像を分割することができ、指紋画像の高解像度化や指紋認証の認証精度を向上させることができる。
(9) 特徴情報生成部62(図18)について、図25に示すように、特徴量抽出部622と、画像面積取得部624と、特徴量抽出選択部626とを備えることにより、取得された高解像度画像の面積に基づいて特徴量を選択する構成としてもよい。斯かる構成において、特徴量抽出部622は指紋画像入力部4から入力された指紋画像から複数種類の特徴量を抽出する特徴量抽出手段である。その構成は例えば、図20に示す構成としてもよい。画像面積取得部624は、高解像度化部10(図18)で高解像度化された指紋画像から高解像度画像の面積を取得する画像面積取得手段である。そして、特徴量抽出選択部626は、取得された面積に基づいて特徴量を選択する特徴量抽出選択手段である。このような構成とすれば、高解像度化された領域の大小(面積の大小)により例えば、レベル3に分類される特徴量を抽出し、判定することができ、レベル3の特徴量による指紋照合、指紋認証の安定性や認証精度を向上させることができる。
(10) この指紋認証装置60では、指紋画像から抽出された隆線の輪郭情報を特徴量として利用でき、隆線上に存在する汗腺孔の位置を特徴量として利用してもよい。
(11) この指紋認証装置60では、図26に示すように、クライアント装置66として、指紋画像入力から指紋照合まで行うローカル認証を行う構成としてもよく、また、図27に示すように、クライアント装置68と、サーバ装置70とで構成し、この場合、クライアント装置68では、指紋画像入力から特徴情報生成まで行う構成とし、サーバ装置70では、クライアント装置68から特徴情報を送信し、サーバ装置70側に登録している特徴情報と照合するサーバ認証の運用形態としてもよい。図26及び図27において、図18と同一部分には同一符号を付し、その説明を省略する。
〔第4の実施の形態〕
次に、第4の実施の形態について、図28、図29及び図30を参照する。図28は、指紋画像入力手段にスウィープ型指紋センサを用いた指紋認証装置、図29は、生成される合成画像の一例を示す図、図30は、生成される合成画像の一例を示す図である。図28、図29及び図30に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。図28において、図1、図18と同一部分には同一符号を付してある。
この実施の形態の指紋認証装置60A(図28)において、スウィープ型指紋センサ14を用いた指紋画像入力部4、画像対応付け部6、高解像度化判定部8、高解像度化部10は、第1の実施の形態(図1)と同じであるため、同一符号を付してその説明を省略する。
この第4の実施の形態では、画像合成部12は、高解像度化部10により生成された高解像度画像を受け取り、部分画像と高解像度画像を合成するとともに、合成後の画像における高解像度画像の範囲を取得する。スウィープ型指紋センサ14の場合、縦方向に指を操作するため、重複する領域は四角形になることが多く、高解像度画像も四角形になることが多い。合成後の画像における高解像度画像の範囲としては、合成後の画像における左上の座標、縦方向の幅、横方向の幅を取得する。高解像度画像が四角形等の単純な画像ではない場合、高解像度画像が占める面積(画素の数)を取得してもよい。部分画像が合成される度に、逐次同様の処理を繰り返し、合成後の画像において高解像度画像が占める面積を取得する。
特徴情報生成部62は、合成画像と高解像度画像が占める面積を取得し、面積の値が所定の閾値を比較する。所定の閾値より大きい場合には、レベル3に分類される特徴量抽出手段(図22の特徴量抽出部6201、6202、6203・・・)を適用し、特徴量を取得する。所定の閾値より小さい場合、レベル1又はレベル2に分類される特徴量のみを取得する。
この場合、図29に示すように、合成画像72に高解像度画像74が連続して生成されている場合には、照合するのに問題はないが、図30に示すように、合成画像76に高解像度画像78が分離して生成されている場合には、認証に用いられる特徴情報間で異なる領域でレベル3の特徴量を取得されていると照合できないことになる。高解像度画像が占める面積は、分離された高解像度画像毎に面積を取得し、全体の面積で判定するのではなく、それぞれの面積で判定してもよい。
また、指紋照合部64は、登録特徴情報及び認証時に生成された特徴情報を構成する特徴量の種類を確認する。共にレベル3の特徴量を持つ場合、レベル3の特徴量を用いた特徴量比較手段(図22の特徴量比較部6421、6422、6423・・・)により比較照合する。レベル3に分類される特徴量を用いた指紋照合方式の一例が、非特許文献2に記載されている。共にレベル3の特徴量を持たない場合、レベル1又はレベル2の特徴量を用いた特徴量比較手段(図22の特徴量比較部6421、6422、6423・・・)により比較照合する。その結果である類似度から、所定の閾値を超えているか否かで本人か否かを判定する。また、この実施の形態では、レベル3の特徴量か、レベル1又はレベル2の特徴量の何れか一方のみを用いるように記載しているが、同時に両方式を用いてもよい。
なお、この指紋画像入力手段にスウィープ型指紋センサ14を用いた指紋認証装置60Aにおいても、第3の実施の形態と同様に、ローカル認証(図26)とサーバ認証(図27)の運用形態であってもよい。
〔第5の実施の形態〕
次に、第5の実施の形態について、図31及び図32を参照する。図31は、指紋画像入力手段に平面型指紋センサを用いた指紋認証装置を示す図、図32は、指紋照合の処理手順を示すフローチャートである。図31及び図32に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。図31において、図13、図18と同一部分には同一符号を付してある。
この実施の形態の指紋認証装置60B(図31)において、平面型指紋センサ42を用いた指紋画像入力部4、画像対応付け部6、高解像度化判定部8、高解像度化部10は、第2の実施の形態(図13)と同じであるため、説明を省略する。
この実施の形態では、画像合成部12は、入力された部分画像と高解像度画像を合成するとともに、高解像度画像の生成に用いられた特徴点の位置を合成画像における位置に更新し、特徴点と高解像度画像を関連付けて格納する。既に格納されている特徴点についても逐次合成画像における位置に更新する。異なる合成時に生成された高解像度画像と関連付けられている特徴点が同じである場合、後から生成された高解像度画像と特徴点を優先して格納する。特徴点が同じであるか否かの判定は、合成画像における特徴点の位置を比較し、2点間の距離が所定の閾値内である場合、同じであると判定する。判定には、特徴点の位置だけでなく、特徴点の種類を用いてもよい。
特徴情報生成部62は、特徴点と関連付けられた高解像度画像を受け取り、高解像度画像から汗腺孔の位置情報と隆線の輪郭形状を取得し、特徴点とレベル3の特徴量から構成される特徴情報を生成する。
指紋照合部64は、特徴情報に含まれる特徴点により照合する手段であって、一致と見なされた特徴点の組について、さらに関連付けられたレベル3の特徴量により比較照合する。不一致と判定された場合には、その特徴点の組を不一致とする。最終的な一致特徴点数により、本人か否かを判定する。
この指紋照合の処理手順は、照合処理方法又は照合処理プログラムの一例であって、図32に示すように、特徴点により比較照合し(ステップS41)、一致特徴点を取得し(ステップS42)、レベル3の特徴点により比較を行う(ステップS43)。この比較結果が不一致であれば、その特徴点を不一致とし(一致特徴点数が減少)(ステップS44)、比較結果が一致していれば、一致特徴点の全てが処理済みであるか否かが判定され(ステップS45)、処理済みでなければ(ステップS45のNO)、ステップS43に戻り、全てが処理済みであれば(ステップS45のYES)、最終的な一致特徴点数により判定を行い(ステップS46)、この指紋照合処理を終了する。
なお、このように指紋画像入力部4に平面型指紋センサ42を用いた指紋認証装置60Bにおいても、第3の実施の形態と同様に、ローカル認証(図26)とサーバ認証(図27)の運用形態が考えられる。
〔第6の実施の形態〕
次に、第6の実施の形態について、図33を参照する。図33は、第6の実施の形態に係る特徴量抽出の処理手順を示すフローチャートである。図33に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。
この第6の実施の形態では、各指紋画像から抽出したマニューシャから共通したものを選択しているが、特徴情報としては、低解像度のセンサで取得可能な隆線パターンやマニューシャを用いればよい。この実施の形態では、既述した実施の形態と同様に、複数枚の指紋画像を用いて特徴量を抽出する際に、低解像度の指紋センサで抽出可能な特徴量を用いて、画像の領域毎に再現性を評価し、再現性の高い領域では高解像化を行ってレベル3の特徴量を抽出する。具体的には、指紋特有の伸縮の影響を少なくするため、マニューシャ近傍の領域のみに着目しており、その領域の隆線パターンの再現性により高解像化が可能か否かを判定する処理を含んでいる。この処理手順においても、第1〜第5の実施の形態の構成を用いる。
この処理手順は、特徴量抽出の処理方法又は処理プログラムの一例であって、図33に示すように、各指紋画像から隆線パターンを抽出し(ステップS51)、各指紋画像からマニューシャを抽出する(ステップS52)。指紋画像間でマニューシャの対応関係を調べ(ステップS53)、共通して取得されたマニューシャを用いて画像間の位置合せを行い(ステップS54)、共通のマニューシャ近傍における隆線パターンを比較し、再現性を評価する(ステップS55)。
そこで、再現性の高い(一致度が高い)領域のみに高解像化処理を適用し(ステップS56)、この高解像化処理では、画像間で対応する画素を比較し、中間画素を補間して求め、解像度を高める。そして、解像度を高めた領域から、レベル3の特徴量を抽出し(ステップS57)、この処理を終了する。
斯かる構成によれば、低解像度の指紋センサで抽出できる特徴量を用いて、画像の領域毎に高解像化が可能か否かを判定し、解像度を高めてレベル3の特徴量を抽出することにより、低解像度のセンサで指紋の一部の領域しか認証に利用できない場合においても本人か他人かを弁別することができ、認証精度の高い指紋認証が行える。
〔第7の実施の形態〕
次に、第7の実施の形態について、図34及び図35を参照する。図34は、指紋認証装置のハードウェア構成を示す図、図35は、指紋認証装置を搭載した携帯装置を示す図である。図34及び図35に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。図34及び図35において、図1、図18と同一部分には同一符号を付してある。
この指紋認証装置60(図18)、60A(図28)又は60B(図31)は、図34に示すように、画像取得や指紋認証の情報処理手段としてコンピュータを備えて構成されており、CPU(Central Processing Unit )902、プログラム記憶部904、データ記憶部906、RAM(Random-Access Memory)908、入出力部910、表示部912、指紋画像入力部4が設置され、これらはバス914によって連携されている。
CPU902はOS(Operating System)及び認証プログラム等のアプリケーションプログラムの実行により、指紋画像の取得、高解像度化処理、照合処理、その他、各種データの格納や演算等を行う制御手段であって、RAM908とともに既述の画像対応付け部6、高解像度化判定部8、高解像度化部10、画像合成部12、特徴情報生成部62、指紋照合部64等を構成する。
RAM908はワークエリアであり、表示部912は情報提示手段であって、例えば、LCD(Liquid Crystal Display)で構成される。入出力部910は、情報の入力、出力等に用いられ、情報入力にはキーボード等が使用される。
指紋画像入力部4は、低解像度の指紋センサとしてスウィープ型指紋センサ14又は平面型指紋センサ42で構成され、指紋画像の取込手段である。
プログラム記憶部904は、プログラムを記録する記録手段の一例であって、コンピュータによって読み書き可能な記録媒体によって構成する。このプログラム記憶部904には、OSやアプリケーションプログラムとして既述の画像取得プログラム、高解像度化処理プログラム、画像照合プログラム等のルーチン等が格納される。
データ記憶部906は、データを格納する格納手段の一例であって、指紋画像、高解像度画像、合成画像等が格納され、上記実施の形態に応じて必要なデータ格納を設定してもよい。
この指紋認証装置60、60A、60Bは例えば、携帯装置920(図35)に搭載され、この携帯装置920は図35に示すように、筐体部922と筐体部924とをヒンジ部926で開閉可能に構成したものであり、筐体部922には、キーボード928(入出力部910の入力部の一例)が設置されているとともに、スウィープ型指紋センサ14が設置され、筐体部94には表示部912が搭載されている。
斯かる構成によれば、携帯装置920において、低解像度のスウィープ型指紋センサ14から取り込まれた指紋画像により、既述の通り、高解像度化を行い、信頼性の高い指紋認証が行える。
〔各実施の形態の特徴事項、他の実施の形態等〕
(1) 上記実施の形態において、携帯装置920(図35)には指紋画像入力部4にスウィープ型指紋センサ14を用いているが、平面型指紋センサ42(図14)を用いてもよい。
(2) 上記実施の形態では、指紋画像取得装置を搭載した指紋認証装置の搭載例として携帯装置920(図35)を例示したが、パーソナルコンピュータ(PC)の情報端末機器、携帯情報端末機(PDA:Personal Digital Assistant)等の小型情報機器に搭載してもよいし、他の電子機器に搭載してもよい。
次に、以上述べた本発明の実施の形態から抽出される技術的思想を請求項の記載形式に準じて付記として列挙する。本発明に係る技術的思想は上位概念から下位概念まで、様々なレベルやバリエーションにより把握できるものであり、以下の付記に本発明が限定されるものではない。
(付記1) 指紋画像が連続的に入力される指紋画像入力手段と、
前記指紋画像入力手段により入力された複数の指紋画像の対応付けをするとともに位置合せをする画像対応付け手段と、
画像対応付けの結果、指紋画像間の重複している領域を検出し、指紋画像間の類似性を評価することにより、高解像度化が可能な領域があるか否かを判定する高解像度化判定手段と、
前記画像対応付け手段による前記位置合せの結果に基づき、前記指紋画像を合成する画像合成手段と、
前記指紋画像中の高解像度化が可能な前記領域を高解像度化する高解像度化手段とを備え、
前記指紋画像入力手段に入力される前記指紋画像を部分的に高解像度化した指紋画像を生成させることを特徴とする指紋画像取得装置。
(付記2) 付記1記載の指紋画像取得装置において、
前記高解像度化判定手段が、
指紋画像から特徴量を抽出する特徴量抽出手段と、
抽出された特徴量を用いて、指紋画像間で比較する特徴量比較手段を備え、
指紋画像から抽出された特徴量に基づいて再現性を評価し、高解像度化が可能であるか判定することを特徴とする指紋画像取得装置。
(付記3) 付記2記載の指紋画像取得装置において、
前記特徴量は、隆線の形状(隆線パターン)、隆線の端点、分岐点情報(特徴点)の何れかを含むことを特徴とする指紋画像取得装置。
(付記4) 付記1記載の指紋画像取得装置において、
前記高解像度化判定手段が重複領域をさらに小領域に分割する領域分割手段を備え、
小領域毎に指紋画像間の再現性を評価し、解像度を高めることが可能か判定し、高解像度化可能である領域について、解像度を高めることを特徴とする指紋画像取得装置。
(付記5) 付記4記載の指紋画像取得装置において、
前記領域分割手段が、
前記指紋画像入力手段に用いられる指紋センサを表すセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報取得手段から前記センサ情報を受け、前記指紋画像を分割する領域形状を前記センサ情報に応じて選択する領域形状選択手段を備え、
前記指紋センサに応じた領域形状に前記画像情報を分割することを特徴とする指紋画像取得装置。
斯かる構成によれば、指紋センサの種類に適した領域形状で分割することができる。
(付記6) 付記5記載の指紋画像取得装置において、
前記指紋画像入力手段にスウィープ型指紋センサが使用されている場合に、前記重複領域をブロック状に分割することを特徴とする指紋画像取得装置。
斯かる構成によれば、指紋画像入力手段にスウィープ型指紋センサが使用されている場合には、ブロック状に分割することにより、多くの領域について高解像度画像を生成できる。
(付記7) 付記5記載の指紋画像取得装置において、
前記指紋画像入力手段に平面型指紋センサが使用されている場合に、特徴点の位置を基準に所定の形状で分割することを特徴とする指紋画像取得装置。
斯かる構成によれば、平面型指紋センサが使用されている場合には、特徴点の位置を基準に円形や四角形で分割することで、特徴点の近傍の認証性能に重要な領域について、高解像度画像を生成できる。
(付記8) 指紋画像が連続的に入力される指紋画像入力手段と、
複数の指紋画像の位置合せをする画像対応付け手段と、
画像対応付けの結果、指紋画像間の重複している領域を検出し、指紋画像間の類似性を評価することにより、高解像度化が可能な領域があるか否かを判定する高解像度化判定手段と、
前記画像対応付け手段による前記位置合せの結果に基づき、前記指紋画像を合成する画像合成手段と、
前記指紋画像中の高解像度化が可能な前記領域を高解像度化する高解像度化手段と、
前記高解像度化手段で高解像度化された指紋画像から特徴情報を生成する特徴情報生成手段と、
取得した特徴情報と予め登録した特徴情報とを照合する指紋照合手段と、
を備えたことを特徴とする指紋認証装置。
(付記9) 付記2、3、4、5、6又は7記載の指紋画像取得装置を備え、
前記画像合成手段により生成された指紋画像から特徴情報を生成する特徴情報生成手段と、
取得した特徴情報と予め登録した特徴情報との照合する指紋照合手段と、
を備えたことを特徴とする指紋認証装置。
(付記10) 付記8記載の指紋認証装置において、
前記特徴情報生成手段が、
複数種類の特徴量を抽出する特徴量抽出手段と、
前記高解像度化手段で高解像度化された前記指紋画像から高解像度画像の面積を取得する画像面積取得手段と、
取得された前記面積に基づいて、特徴量を選択する特徴量抽出選択手段と、
を備えたことを特徴とする指紋認証装置。
斯かる構成によれば、高解像度化された領域の大小によりレベル3に分類される特徴量を抽出するか否かを判定し、レベル3の特徴量による指紋照合の安定性を向上させることができる。
(付記11) 付記8又は9記載の指紋認証装置において、
隆線の輪郭情報を特徴量として抽出することを特徴とする指紋認証装置。
斯かる構成によれば、隆線の輪郭情報を特徴量として利用できる。
(付記12) 付記8又は9記載の指紋認証装置において、
隆線上に存在する汗腺孔の位置を特徴量として抽出することを特徴とする指紋認証装置。
斯かる構成によれば、隆線上に存在する汗腺孔の位置を特徴量として利用できる。
(付記13) 付記8又は9記載の指紋認証装置において、
前記指紋照合手段が、
前記指紋画像から抽出された複数種類の特徴量を比較する複数の特徴量比較手段と、
前記特徴量の種類に応じて、前記特徴量比較手段を選択する比較選択手段と、
前記比較選択手段で選択された前記特徴量比較手段の比較結果から、前記特徴量を照合する照合判定手段と、
を備えることを特徴とする指紋認証装置。
斯かる構成によれば、複数の指紋照合方式の結果から本人か否かを判定することで、認証性能を向上させることができる。
(付記14) 付記13記載の指紋認証装置において、
特徴点を基準として所定の形状の領域について、高解像度画像を生成する高解像度化手段と、
部分画像を合成する毎に、特徴点の位置情報を合成画像における位置情報に更新し、特徴点とその高解像度画像を関連付けて格納する画像合成手段と、
隆線の輪郭情報もしくは汗腺孔の位置の何れか一方、もしくは両方を高解像度画像から抽出し、特徴点と関連付けて特徴情報を生成する特徴情報生成手段と、
各特徴情報に含まれる特徴点により照合し、一致と判定された特徴点について、さらに隆線の輪郭情報又は汗腺孔の位置の何れか一方又は双方により照合し、その特徴点が一致するか否かを判定し、一致特徴点数に応じた判定結果を出力する指紋照合手段と、
を備えたことを特徴とする指紋認証装置。
斯かる構成によれば、特徴点近傍の高解像度画像を生成し、レベル3に分類される特徴量を抽出することで、特徴点とレベル3の特徴量の両方を用いた指紋照合方式を実現できる。
(付記15) コンピュータに実行させる指紋画像取得プログラムであって、
指紋画像を連続して取り込むステップと、
複数の指紋画像の位置合せをするステップと、
画像対応付けの結果、指紋画像間の重複している領域を検出し、指紋画像間の類似性を評価することにより、高解像度化が可能な領域があるか否かを判定するステップと、
前記位置合せの結果に基づき、その指紋画像を合成するステップと、
前記指紋画像中の高解像度化が可能な前記領域を高解像度化するステップと、
を含み、コンピュータにより連続して入力される前記指紋画像を部分的に高解像度化した指紋画像を生成させることを特徴とする指紋画像取得プログラム。
(付記16) コンピュータに実行させる指紋認証プログラムであって、
指紋画像を連続して取り込むステップと、
複数の指紋画像の位置合せをするステップと、
画像対応付けの結果、指紋画像間の重複している領域を検出し、指紋画像間の類似性を評価することにより、高解像度化が可能な領域があるか否かを判定するステップと、
前記位置合せの結果に基づき、その指紋画像を合成するステップと、
前記指紋画像中の高解像度化が可能な前記領域を高解像度化するステップと、
前記高解像度化された前記合成画像から特徴情報を生成するステップと、
取得した特徴情報と予め登録した特徴情報とを照合するステップと、
をコンピュータに実行させる指紋認証プログラム。
(付記17) コンピュータに実行させる指紋画像取得プログラムを記録したコンピュータに読取り可能な記録媒体であって、
指紋画像を連続して取り込むステップと、
複数の指紋画像の位置合せをするステップと、
画像対応付けの結果、指紋画像間の重複している領域を検出し、指紋画像間の類似性を評価することにより、高解像度化が可能な領域があるか否かを判定するステップと、
前記位置合せの結果に基づき、その指紋画像を合成するステップと、
前記指紋画像中の高解像度化が可能な前記領域を高解像度化するステップと、
を含み、コンピュータにより連続して入力される前記指紋画像を部分的に高解像度化した指紋画像を生成させる指紋画像取得プログラムが記録されたコンピュータ読取り可能な記録媒体。
(付記18) コンピュータに実行させる指紋認証プログラムを記録した記録媒体であって、
指紋画像を連続して取り込むステップと、
複数の指紋画像の位置合せをするステップと、
画像対応付けの結果、指紋画像間の重複している領域を検出し、指紋画像間の類似性を評価することにより、高解像度化が可能な領域があるか否かを判定するステップと、
前記位置合せの結果に基づき、その指紋画像を合成するステップと、
前記指紋画像中の高解像度化が可能な前記領域を高解像度化するステップと、
前記高解像度化された前記合成画像から特徴情報を生成するステップと、
取得した特徴情報と予め登録した特徴情報とを照合するステップと、
を含む指紋認証プログラムを記録されたコンピュータ読取り可能な記録媒体。
(付記19) 指紋画像を連続して取り込むステップと、
複数の指紋画像の位置合せをするステップと、
画像対応付けの結果、指紋画像間の重複している領域を検出し、指紋画像間の類似性を評価することにより、高解像度化が可能な領域があるか否かを判定するステップと、
前記位置合せの結果に基づき、前記指紋画像を合成するステップと、
前記指紋画像中の高解像度化が可能な前記領域を高解像度化するステップと、
を含み、連続して入力される前記指紋画像を部分的に高解像度化した指紋画像を生成させることを特徴とする指紋画像取得方法。
(付記20) 指紋画像を連続して取り込むステップと、
複数の指紋画像の位置合せをするステップと、
画像対応付けの結果、指紋画像間の重複している領域を検出し、指紋画像間の類似性を評価することにより、高解像度化が可能な領域があるか否かを判定するステップと、
前記位置合せの結果に基づき、前記指紋画像を合成するステップと、
前記指紋画像中の高解像度化が可能な前記領域を高解像度化するステップと、
前記高解像度化された前記合成画像から特徴情報を生成するステップと、
取得した特徴情報と予め登録した特徴情報とを照合するステップと、
を含むことを特徴とする指紋認証方法。
以上説明したように、本発明の最も好ましい実施の形態等について説明したが、本発明は、上記記載に限定されるものではなく、特許請求の範囲に記載され、又は発明を実施するための最良の形態に開示された発明の要旨に基づき、当業者において様々な変形や変更が可能であることは勿論であり、斯かる変形や変更が、本発明の範囲に含まれることは言うまでもない。
本発明は、指紋画像を用いた指紋認証に関し、低解像度の指紋画像を用いて特徴量の抽出を高め、指紋認証の認証精度を高めることができる等、有用である。
第1の実施の形態に係る指紋画像取得装置を示すブロック図である。 スウィープ型指紋センサの一例を示す図である。 他のスウィープ型指紋センサを示す図である。 指紋の特徴量を表す図である。 指紋画像の部分画像の重複領域の検出及び分割を示す図である。 複数の指紋画像の合成画像を示す図である。 高解像度化判定部の構成例を示す図である。 指紋画像取得の処理手順を示すフローチャートである。 指紋画像取得の処理手順の一例を示すフローチャートである。 指紋画像の高解像度化の処理を示す図である。 指紋画像の部分的な高解像度化処理を示す図である。 指紋画像間の移動量を説明するための図である。 第2の実施の形態に係る指紋画像取得装置を示すブロック図である。 平面型指紋センサの一例を示す図である。 指紋画像の特徴点の対応付けを示す図である。 指紋画像における部分画像の重複領域の検出及び分割を示す図である。 高解像度化判定の処理手順をフローチャートである。 第3の実施の形態に係る指紋認証装置を示す図である。 指紋認証の処理手順を示すフローチャートである。 特徴情報生成部及び指紋照合部の構成例を示す図である。 特徴情報の構成を示す図である。 指紋照合部の他の構成例を示す図である。 特徴情報の構成を示す図である。 領域分割部の構成例を示す図である。 特徴情報生成部の構成例を示す図である。 指紋認証装置のローカル認証の構成例を示す図である。 指紋認証装置のサーバ認証の構成例を示す図である。 第4の実施の形態に係る指紋認証装置を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 第5の実施の形態に係る指紋認証装置である。 指紋認証の処理手順を示すフローチャートである。 第6の実施の形態に係る特徴量の抽出処理を示すフローチャートである。 第7の実施の形態に係る指紋画像取得装置又は指紋画像取得装置を用いた指紋認証装置のハードウェアの一例を示す図である。 携帯装置を示す図である。
符号の説明
2A、2B 指紋画像取得装置
4 指紋画像入力部
6 画像対応付け部
8 高解像度化判定部
82 重複領域検出部
84 領域分割部
842 センサ情報取得部
844 領域形状選択部
86 特徴量抽出部
88 特徴量比較部
10 高解像度化部
12 画像合成部
14 スウィープ型指紋センサ
16 センサ面
18 指
20 センサ部
22 移動機構
24 隆線パターン
26、28 特徴点
30 n枚目の部分画像
32 (n+1)枚目の部分画像
34 重複領域
36 領域(小領域)
38 合成画像
40 領域
42 平面型指紋センサ
44 センサ面
46、48 指紋画像
50 重複領域
52、54、56 小領域
60、60A、60B 指紋認証装置
62 特徴情報生成部
6201、6202、6203・・・ 特徴量抽出部
622 特徴量抽出部
624 画像面積取得部
626 特徴量抽出選択部
64 指紋照合部
6421、6422、6423・・・ 特徴量比較部
644 照合判定部
646 比較選択部
66、68 クライアント装置
70 サーバ装置
72 合成画像
74 高解像度画像
76 合成画像
78 高解像度画像
130 特徴情報
132 隆線パターン(レベル1の特徴量)
134 特徴点(レベル2の特徴量)
1361 特徴点(レベル3の特徴量1)
1362 特徴点(レベル3の特徴量2)
140 特徴情報
141、142、143 特徴点
902 CPU
904 プログラム記憶部
906 データ記憶部
908 RAM
910 入出力部
912 表示部
914 バス
920 携帯装置
922、924 筐体部
926 ヒンジ部
928 キーボード

Claims (7)

  1. 指紋画像が連続的に入力される指紋画像入力手段と、
    前記指紋画像入力手段により入力された複数の指紋画像の対応付けをするとともに位置合せをする画像対応付け手段と、
    画像対応付けの結果、指紋画像間の重複している領域を検出し、該重複領域における指紋画像間の類似性を評価することにより、前記重複領域に高解像度化が可能な領域があるか否かを判定する高解像度化判定手段と、
    前記画像対応付け手段による前記位置合せの結果に基づき、前記指紋画像を合成する画像合成手段と、
    前記重複領域中の高解像度化が可能な前記領域を高解像度化する高解像度化手段とを備え、
    前記指紋画像入力手段に入力される前記指紋画像を部分的に高解像度化した指紋画像を生成させることを特徴とする指紋画像取得装置。
  2. 請求項1記載の指紋画像取得装置において、
    前記高解像度化判定手段が、
    指紋画像から特徴量を抽出する特徴量抽出手段と、
    抽出された特徴量を用いて、指紋画像間で比較する特徴量比較手段を備え、
    指紋画像から抽出された特徴量に基づいて再現性を評価し、高解像度化が可能であるか判定することを特徴とする指紋画像取得装置。
  3. 請求項2記載の指紋画像取得装置において、
    前記特徴量は、隆線の形状、隆線の端点、分岐点情報の何れかを含むことを特徴とする指紋画像取得装置。
  4. 請求項1記載の指紋画像取得装置において、
    前記高解像度化判定手段が重複領域をさらに小領域に分割する領域分割手段を備え、
    小領域毎に指紋画像間の再現性を評価し、高解像度化が可能な領域があるか否かを判定し、該判定により高解像度化可能であると判定された小領域を高解像度化することを特徴とする指紋画像取得装置。
  5. 指紋画像が連続的に入力される指紋画像入力手段と、
    複数の指紋画像の位置合せをする画像対応付け手段と、
    画像対応付けの結果、指紋画像間の重複している領域を検出し、該重複領域における指紋画像間の類似性を評価することにより、前記重複領域に高解像度化が可能な領域があるか否かを判定する高解像度化判定手段と、
    前記画像対応付け手段による前記位置合せの結果に基づき、前記指紋画像を合成する画像合成手段と、
    前記重複領域中の高解像度化が可能な前記領域を高解像度化する高解像度化手段と、
    前記高解像度化手段で高解像度化された指紋画像から特徴情報を生成する特徴情報生成手段と、
    取得した特徴情報と予め登録した特徴情報とを照合する指紋照合手段と、
    を備えたことを特徴とする指紋認証装置。
  6. 指紋画像を連続して取り込むステップと、
    複数の指紋画像の位置合せをするステップと、
    画像対応付けの結果、指紋画像間の重複している領域を検出し、該重複領域における指紋画像間の類似性を評価することにより、前記重複領域に高解像度化が可能な領域があるか否かを判定するステップと、
    前記位置合せの結果に基づき、前記指紋画像を合成するステップと、
    前記重複領域中の高解像度化が可能な前記領域を高解像度化するステップと、
    を含み、連続して入力される前記指紋画像を部分的に高解像度化した指紋画像を生成させることを特徴とする指紋画像取得方法。
  7. 指紋画像を連続して取り込むステップと、
    複数の指紋画像の位置合せをするステップと、
    画像対応付けの結果、指紋画像間の重複している領域を検出し、該重複領域における指紋画像間の類似性を評価することにより、前記重複領域に高解像度化が可能な領域があるか否かを判定するステップと、
    前記位置合せの結果に基づき、前記指紋画像を合成するステップと、
    前記重複領域中の高解像度化が可能な前記領域を高解像度化するステップと、
    前記高解像度化された前記合成画像から特徴情報を生成するステップと、
    取得した特徴情報と予め登録した特徴情報とを照合するステップと、
    を含むことを特徴とする指紋認証方法。
JP2008211407A 2008-08-20 2008-08-20 指紋画像取得装置、指紋認証装置、指紋画像取得方法及び指紋認証方法 Expired - Fee Related JP5206218B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008211407A JP5206218B2 (ja) 2008-08-20 2008-08-20 指紋画像取得装置、指紋認証装置、指紋画像取得方法及び指紋認証方法
EP09008509.3A EP2157531A3 (en) 2008-08-20 2009-06-30 Fingerprint image acquiring device, fingerprint authenticating apparatus, fingerprint image acquiring method, and fingerprint authenticating method
US12/494,953 US8224043B2 (en) 2008-08-20 2009-06-30 Fingerprint image acquiring device, fingerprint authenticating apparatus, fingerprint image acquiring method, and fingerprint authenticating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008211407A JP5206218B2 (ja) 2008-08-20 2008-08-20 指紋画像取得装置、指紋認証装置、指紋画像取得方法及び指紋認証方法

Publications (2)

Publication Number Publication Date
JP2010049379A JP2010049379A (ja) 2010-03-04
JP5206218B2 true JP5206218B2 (ja) 2013-06-12

Family

ID=41347664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008211407A Expired - Fee Related JP5206218B2 (ja) 2008-08-20 2008-08-20 指紋画像取得装置、指紋認証装置、指紋画像取得方法及び指紋認証方法

Country Status (3)

Country Link
US (1) US8224043B2 (ja)
EP (1) EP2157531A3 (ja)
JP (1) JP5206218B2 (ja)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050267520A1 (en) * 2004-05-12 2005-12-01 Modesitt D B Access and closure device and method
US8300980B2 (en) * 2008-03-18 2012-10-30 Sony Corporation System, method and computer program product for providing a high resolution texture within an image
US8833657B2 (en) * 2010-03-30 2014-09-16 Willie Anthony Johnson Multi-pass biometric scanner
US8971588B2 (en) * 2011-03-30 2015-03-03 General Electric Company Apparatus and method for contactless high resolution handprint capture
CN102270297B (zh) * 2011-07-21 2012-12-19 中国人民解放军国防科学技术大学 一种指纹图像增强方法
RU2475185C1 (ru) * 2011-08-10 2013-02-20 Общество С Ограниченной Ответственностью "Абилма" Система регистрации папиллярных узоров
WO2013056195A1 (en) * 2011-10-13 2013-04-18 Biogy, Inc. Biometric apparatus and method for touch-sensitive devices
JP5862413B2 (ja) * 2012-03-28 2016-02-16 富士通株式会社 情報変換規則生成プログラム、情報変換規則生成装置および情報変換規則生成方法
JP2013206187A (ja) * 2012-03-28 2013-10-07 Fujitsu Ltd 情報変換装置、情報検索装置、情報変換方法、情報検索方法、情報変換プログラム、情報検索プログラム
WO2014077024A1 (ja) * 2012-11-19 2014-05-22 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8953853B2 (en) * 2013-03-15 2015-02-10 Google Technology Holdings LLC Sensing characteristics of adjacent fingers for user authentication
US9501631B2 (en) 2014-04-10 2016-11-22 Ib Korea Ltd. Biometric sensor for touch-enabled device
WO2015190535A1 (ja) * 2014-06-10 2015-12-17 株式会社 東芝 無線通信用集積回路、無線通信端末及び無線通信方法
US9400914B2 (en) * 2014-10-24 2016-07-26 Egis Technology Inc. Method and electronic device for generating fingerprint enrollment data
CN105989349B (zh) * 2014-10-24 2019-11-01 神盾股份有限公司 指纹的注册数据产生方法和电子装置
US20170372124A1 (en) * 2014-12-24 2017-12-28 Sciometrics Llc Unobtrusive identity matcher: a tool for real-time verification of identity
US9721142B2 (en) * 2015-06-26 2017-08-01 Synaptics Incorporated Multi-resolution fingerprint sensor
US10678896B2 (en) 2015-06-30 2020-06-09 Samsung Electronics Co., Ltd. Methods and apparatuses for updating user authentication data
KR101774746B1 (ko) * 2015-08-13 2017-09-05 주식회사 슈프리마 지문 인증 방법 및 그 지문 인증 방법을 이용한 장치
US10002285B2 (en) * 2015-09-25 2018-06-19 Qualcomm Incorporated Fast, high-accuracy, large-scale fingerprint verification system
CN107025419B (zh) * 2016-01-29 2020-11-10 北京小米移动软件有限公司 指纹模板录入方法及装置
US10656255B2 (en) 2016-05-04 2020-05-19 Invensense, Inc. Piezoelectric micromachined ultrasonic transducer (PMUT)
US10445547B2 (en) 2016-05-04 2019-10-15 Invensense, Inc. Device mountable packaging of ultrasonic transducers
US10315222B2 (en) 2016-05-04 2019-06-11 Invensense, Inc. Two-dimensional array of CMOS control elements
US10670716B2 (en) 2016-05-04 2020-06-02 Invensense, Inc. Operating a two-dimensional array of ultrasonic transducers
DE112017002345T5 (de) * 2016-05-06 2019-01-17 Sony Corporation Anzeigesteuereinrichtung und Bildgebungseinrichtung
US10441975B2 (en) 2016-05-10 2019-10-15 Invensense, Inc. Supplemental sensor modes and systems for ultrasonic transducers
US10539539B2 (en) 2016-05-10 2020-01-21 Invensense, Inc. Operation of an ultrasonic sensor
US10706835B2 (en) 2016-05-10 2020-07-07 Invensense, Inc. Transmit beamforming of a two-dimensional array of ultrasonic transducers
US10452887B2 (en) 2016-05-10 2019-10-22 Invensense, Inc. Operating a fingerprint sensor comprised of ultrasonic transducers
US10562070B2 (en) 2016-05-10 2020-02-18 Invensense, Inc. Receive operation of an ultrasonic sensor
US10632500B2 (en) 2016-05-10 2020-04-28 Invensense, Inc. Ultrasonic transducer with a non-uniform membrane
US11673165B2 (en) 2016-05-10 2023-06-13 Invensense, Inc. Ultrasonic transducer operable in a surface acoustic wave (SAW) mode
CN106096354B (zh) 2016-05-27 2017-10-24 广东欧珀移动通信有限公司 一种指纹解锁方法及终端
KR102359556B1 (ko) * 2016-11-11 2022-02-08 삼성전자주식회사 지문 영상을 이용한 사용자 인증 방법 및 사용자 인증을 위한 부호화 모델 생성 방법
EP3542307B1 (en) * 2016-11-15 2024-08-07 Fingerprint Cards Anacatum IP AB Method and electronic device for fingerprint enrollment
EP3355239A1 (en) * 2017-01-27 2018-08-01 Nxp B.V. Fingerprint verification device
KR102668332B1 (ko) 2017-02-24 2024-05-23 삼성디스플레이 주식회사 지문 인식 장치 및 지문 인식 방법
KR102320024B1 (ko) * 2017-04-24 2021-11-01 삼성전자 주식회사 생체 인증 정보에 기반한 인증 방법 및 장치
US10474862B2 (en) 2017-06-01 2019-11-12 Invensense, Inc. Image generation in an electronic device using ultrasonic transducers
US10643052B2 (en) 2017-06-28 2020-05-05 Invensense, Inc. Image generation in an electronic device using ultrasonic transducers
JP6978665B2 (ja) * 2017-07-25 2021-12-08 富士通株式会社 生体画像処理装置、生体画像処理方法及び生体画像処理プログラム
JP7011152B2 (ja) * 2017-08-30 2022-01-26 富士通株式会社 生体画像処理装置、生体画像処理方法、及び生体画像処理プログラム
CN113837939A (zh) * 2017-10-09 2021-12-24 华为技术有限公司 一种图像处理方法及设备
US10984209B2 (en) 2017-12-01 2021-04-20 Invensense, Inc. Darkfield modeling
WO2019109010A1 (en) 2017-12-01 2019-06-06 Invensense, Inc. Darkfield tracking
US10997388B2 (en) 2017-12-01 2021-05-04 Invensense, Inc. Darkfield contamination detection
US11151355B2 (en) * 2018-01-24 2021-10-19 Invensense, Inc. Generation of an estimated fingerprint
US10755067B2 (en) 2018-03-22 2020-08-25 Invensense, Inc. Operating a fingerprint sensor comprised of ultrasonic transducers
JP2020107969A (ja) * 2018-12-26 2020-07-09 オリンパス株式会社 画像取得装置、判定方法、及び判定プログラム
US10936843B2 (en) 2018-12-28 2021-03-02 Invensense, Inc. Segmented image acquisition
CN110136456A (zh) * 2019-05-12 2019-08-16 苏州科技大学 基于深度强化学习的交通信号灯防堵塞控制方法和系统
BR112021022779A2 (pt) * 2019-05-28 2022-01-11 Nec Corp Dispositivo de processamento de informações, método de processamento de informações e mídia de registro
WO2020263875A1 (en) 2019-06-24 2020-12-30 Invensense, Inc. Fake finger detection using ridge features
WO2020264046A1 (en) 2019-06-25 2020-12-30 Invensense, Inc. Fake finger detection based on transient features
US11176345B2 (en) 2019-07-17 2021-11-16 Invensense, Inc. Ultrasonic fingerprint sensor with a contact layer of non-uniform thickness
US11216632B2 (en) 2019-07-17 2022-01-04 Invensense, Inc. Ultrasonic fingerprint sensor with a contact layer of non-uniform thickness
US11232549B2 (en) 2019-08-23 2022-01-25 Invensense, Inc. Adapting a quality threshold for a fingerprint image
US11392789B2 (en) 2019-10-21 2022-07-19 Invensense, Inc. Fingerprint authentication using a synthetic enrollment image
JP7322980B2 (ja) * 2020-02-10 2023-08-08 日本電気株式会社 画像処理装置、画像処理方法、及び、プログラム
EP4100176B1 (en) 2020-03-09 2024-10-09 InvenSense, Inc. Ultrasonic fingerprint sensor with a contact layer of non-uniform thickness
US11243300B2 (en) 2020-03-10 2022-02-08 Invensense, Inc. Operating a fingerprint sensor comprised of ultrasonic transducers and a presence sensor
US11328165B2 (en) 2020-04-24 2022-05-10 Invensense, Inc. Pressure-based activation of fingerprint spoof detection
TWI773991B (zh) * 2020-05-19 2022-08-11 財團法人工業技術研究院 指紋辨識方法及電子互動裝置
US11995909B2 (en) 2020-07-17 2024-05-28 Tdk Corporation Multipath reflection correction
CN112926389B (zh) * 2021-01-25 2024-04-05 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) 一种手指静脉识别系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2749955B1 (fr) 1996-06-14 1998-09-11 Thomson Csf Systeme de lecture d'empreintes digitales
JPH11134494A (ja) * 1997-10-30 1999-05-21 Nippon Telegr & Teleph Corp <Ntt> 画像の高品質化方法およびその装置およびその方法を記録した記録媒体
JP2001344605A (ja) 2000-05-31 2001-12-14 Ricoh Co Ltd 個人認証方法、その装置及びそのシステム
US6898301B2 (en) 2000-07-10 2005-05-24 Casio Computer Co., Ltd. Authentication system based on fingerprint and electronic device employed for the system
JP2002024831A (ja) 2000-07-10 2002-01-25 Casio Comput Co Ltd 指紋認証装置及び指紋認証システム
JP3780830B2 (ja) * 2000-07-28 2006-05-31 日本電気株式会社 指紋識別方法及び装置
US7203347B2 (en) * 2001-06-27 2007-04-10 Activcard Ireland Limited Method and system for extracting an area of interest from within a swipe image of a biological surface
US7043061B2 (en) * 2001-06-27 2006-05-09 Laurence Hamid Swipe imager with multiple sensing arrays
AU2002346107A1 (en) * 2001-07-12 2003-01-29 Icontrol Transactions, Inc. Secure network and networked devices using biometrics
JP3902473B2 (ja) 2002-01-17 2007-04-04 富士通株式会社 生体情報を用いた本人認証方法
JP4262471B2 (ja) * 2002-11-12 2009-05-13 富士通株式会社 生体特徴データ取得装置
DE10261665B3 (de) * 2002-12-20 2004-03-25 Smiths Heimann Biometrics Gmbh Einrichtung und Verfahren zur störungsarmen Aufnahme von hochaufgelösten zweidimensionalen Bildern
JP2004005619A (ja) 2003-04-28 2004-01-08 Casio Comput Co Ltd 指紋認証装置及び指紋認証方法
WO2005001753A1 (en) 2003-06-21 2005-01-06 Aprilis, Inc. Acquisition of high resolution boimetric images
JP4592341B2 (ja) * 2004-06-29 2010-12-01 セコム株式会社 生体情報認証装置
US20060026427A1 (en) * 2004-07-30 2006-02-02 Jefferson Stanley T Method and system for entity authentication using an untrusted device and a trusted device
JP4339221B2 (ja) * 2004-09-30 2009-10-07 Necインフロンティア株式会社 画像構成方法、指紋画像構成装置およびプログラム
JP2007271690A (ja) 2006-03-30 2007-10-18 Matsushita Electric Ind Co Ltd 撮像装置
JP4851240B2 (ja) * 2006-06-05 2012-01-11 株式会社トプコン 画像処理装置及びその処理方法
JP2010519860A (ja) * 2007-02-21 2010-06-03 ピクセル ベロシティー,インク. 広域監視のための拡張可能なシステム
US20090060286A1 (en) * 2007-09-04 2009-03-05 General Electric Company Identification system and method utilizing iris imaging

Also Published As

Publication number Publication date
EP2157531A2 (en) 2010-02-24
EP2157531A3 (en) 2016-08-03
US20100046810A1 (en) 2010-02-25
US8224043B2 (en) 2012-07-17
JP2010049379A (ja) 2010-03-04

Similar Documents

Publication Publication Date Title
JP5206218B2 (ja) 指紋画像取得装置、指紋認証装置、指紋画像取得方法及び指紋認証方法
EP2128817B1 (en) Image reading device, image reading program, and image reading method
Lee et al. Partial fingerprint matching using minutiae and ridge shape features for small fingerprint scanners
KR100775409B1 (ko) 생체 정보 입력 장치, 생체 인증 장치, 생체 정보 처리방법, 생체 정보 처리 프로그램을 기록한 컴퓨터 판독가능한 기록 매체
JP4169185B2 (ja) 画像連結方法、プログラム及び装置
KR101857287B1 (ko) 제스처 기반 바이오메트릭 시스템의 방법 및 장치
Ito et al. A fingerprint recognition algorithm using phase-based image matching for low-quality fingerprints
JP3780830B2 (ja) 指紋識別方法及び装置
EP3107037B1 (en) Electronic device comprising minimum sensing area and fingerprint information processing method therefor
JP5482803B2 (ja) 生体情報処理装置、生体情報処理方法及び生体情報処理プログラム
JP5229050B2 (ja) 画像からの文書領域抽出装置、方法、及びプログラム
JP2010526385A (ja) 順次的画像位置合わせ
KR20040025568A (ko) 슬라이스 데이터의 이동량 및 기울기에 기초한 재구성화상 데이터의 생성
CN111201537A (zh) 在指纹分析中通过机器学习来区分活体手指与欺骗手指
WO2006009319A1 (ja) 画像処理システム
KR102558736B1 (ko) 지문 인식 방법 및 장치
JP3902473B2 (ja) 生体情報を用いた本人認証方法
JP2019028490A (ja) 生体画像処理装置、生体画像処理方法及び生体画像処理プログラム
Galy et al. A full fingerprint verification system for a single-line sweep sensor
JP4188342B2 (ja) 指紋照合装置、方法およびプログラム
Khokher et al. Footprint-based personal recognition using dactyloscopy technique
KR20170041593A (ko) 지문 등록 및 인증 속도 향상을 위한 방법 및 장치
Grafilon et al. A signature comparing android mobile application utilizing feature extracting algorithms
CN114026614B (zh) 用于登记指纹的方法和系统
Wang et al. Investigating correlation-based fingerprint authentication schemes for mobile devices using the J2ME technology

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees