JP4075458B2 - 指紋照合装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はユーザの指紋画像を用いて本人認証を行う、指紋照合装置に関する。
【０００２】
【従来の技術】
近年、携帯電話装置やパーソナルコンピュータ等の情報装置において、ネットワークの進展に伴い、その活用に際しての個人に関わる情報の保護を目的としたユーザ認証に関する技術が重要になってきている。
【０００３】
このユーザ認証の方法として、従来から用いられてきたユーザそれぞれのパスワードによる方法に代わり、バイオメトリクスを用いた認証方法が広く用いられてきている。その中でも、もっとも広く使用されているのは、ユーザの指紋画像を採取して、これをあらかじめ登録された指紋画像と照合して本人認証を行う、指紋照合装置である。
【０００４】
このような指紋照合装置を用いた認証方式の場合、指先の状態が時と場合によって変動するので、常に良好な指紋画像を採取することは難しかった。例えば、手を洗った直後で指が濡れていたり、逆に異常に乾いている場合には、良好な指紋画像が取得できない。また、指を光学プリズムや、静電容量素子等の検出手段に押し当てる際の押圧力が不足したり、過剰であったり、指紋画像取得時に指がぶれたりした場合にも良好な指紋画像を取得できず、安定した指紋画像の取得が指紋照合装置の大きな課題となっていた。
【０００５】
このため、従来の指紋照合装置においては、入力された指紋画像の画質の良否判定を照合や登録に先立って行い、その画質が悪い場合には、照合や登録を行わず、ユーザに再入力を要求して、改めて指紋画像を入力するように構成されていた。これにより、画質が悪いと判定された指紋画像は、照合や登録等に用いられることがないので、本人認証の照合精度を向上することが可能であった。
【０００６】
【発明が解決しようとする課題】
このような指紋照合装置を実現するために、従来から、指紋画像の画質を判定する技術として、例えば、指紋画像から分岐、点、または切れ等の識別情報となる特徴点を検出し、その数によって、指紋のつぶれ、あるいはかすれを判定する方法が提案されている（例：特開平８−１２９６４４号公報）。このような方法によれば、例えば隆線が完全につぶれて、輝度の差が殆ど無い場合には特徴点を抽出することがきわめて困難となり、往々にして、指紋画像のつぶれそのものを正確に判定することができないことがあった。また、このような方法を、識別情報として、周波数分布等の、特徴点や特徴量以外の情報を用いた指紋照合装置に用いた場合には、特徴点を算出するという演算量の大きな演算を別途行う必要があり、これが装置の負荷を大きくし、ひいては装置の大型化につながっていた。
【０００７】
また、指紋画像を小領域に分割し、小領域の輝度がある値に偏っている場合、その領域では隆線がつぶれていると判定する方法が提案されている（例：特開平１０−１８７９８３号公報）。この方法によれば、現実には小領域内の隆線が完全につぶれていない場合でも、その輝度分布が偏っている場合にはつぶれていると判定されてしまうことがあり、ユーザにとっては必要以上に再入力が要求され、負担が増えてしまうという課題があった。さらに、この方法では指紋がかすれている場合の判定をすることができないという課題もあった。
【０００８】
さらに、これら従来の技術では、適切な指紋画像を得ることができない場合に、なぜ適切な画像を得ることができないのかという画質悪化要因が明確化されず、またユーザに対して適切に誘導が行われないために、ユーザはなんら有効な対策を講じないまま、指紋照合装置の指示通り、単に何度も入力を繰り返すこととなり、結局ユーザの負担が大きくなってしまう、という課題が生じた。
【０００９】
本発明は以上の点を考慮してなされたもので、再入力の要求を最小限に抑えるべく、高い認証率の本人認証を行える良好な指紋画像を取得することができる指紋照合装置を提供すると共に、その指紋画像の画質悪化要因の特定が可能で、再入力の際に、ユーザに対して次はどのように入力するべきかを適切に誘導、指示することができ、ユーザの負担を少なくすることができる指紋照合装置を提供することを目的とする。また、識別情報として、周波数分布等の特徴点や特徴量以外の情報を用いる構成においても好適な、演算量の少ない指紋照合装置を提供することも本発明の目的とする。
【００１０】
【課題を解決するための手段】
本発明の指紋照合装置は、登録すべき指紋画像が入力される画像入力部と、指紋画像を複数の小領域に分割し、有効な情報を含む小領域を検出して指紋領域とし、指紋領域を構成する小領域毎に隆線方向を算出すると共に、指紋画像の画質を判定し、良画像であると判定された場合に、指紋画像を出力する画質判定部と、画質判定部で算出された隆線方向を、小領域毎に記憶する記憶部と、記憶部に記憶された隆線方向にもとづいて、画質判定部から出力された指紋画像の中心点を算出し、中心点周辺の所定領域を切り出した画像情報を出力する画像切出部と、画像切出部から出力された画像情報に対して、輝度補正、および、隆線方向にもとづいた平滑化補正を行い、出力する画像補償部と、画像補償部から出力された画像情報から、照合に用いるべき識別情報を算出して、出力する演算部と、演算部から出力された識別情報を格納する識別情報格納部とを備え、画質判定部は、指紋領域の内で、隆線の方向を求めることが不可能な小領域を、方向検出不可能領域として検出し、画質判定部は、さらに、方向検出不可能領域の画像を二値化し、方向検出不可能領域を構成する小領域毎に、値が０の画素数が小領域を構成する全画素数に対して占める割合が所定の比率以上の場合に、小領域を隆線がつぶれている隆線つぶれ領域として検出し、画質判定部は、さらに、隆線つぶれ領域の数が、指紋領域を占める小領域の数に対して所定の比率以上を占める場合に、指紋画像が不良情報であると判定することを特徴としている。
【００１１】
このような構成により、画質判定部によって良画像と判定された画像について、輝度補正や平滑化補正した指紋画像を用いて識別情報格納部に登録することができるので、本人認証率の高い指紋照合装置を得ることができる。
また、一度算出した小領域毎の隆線方向を記憶部に格納し、それを用いて指紋領域の中心点の算出や、平滑化補正を行うので、全体の演算量が少なくて済む。
また、画質判定をより効率的に定量的に行うことが可能になると共に、輝度補正等の画質調整を行う際に、小領域毎に選択的に処理を行うことができる。
【００１２】
また、簡易な演算によって隆線つぶれ領域を検出することが可能である。
また、指紋を入力する際の指の濡れや、押圧力が大きすぎる場合に、指紋画像がつぶれた際の不良画像を効率的に検出することが可能である。
【００１３】
次に、本発明の指紋照合装置は、登録すべき指紋画像が入力される画像入力部と、指紋画像を複数の小領域に分割し、有効な情報を含む小領域を検出して指紋領域とし、指紋領域を構成する小領域毎に隆線方向を算出すると共に、指紋画像の画質を判定し、良画像であると判定された場合に、指紋画像を出力する画質判定部と、画質判定部で算出された隆線方向を、小領域毎に記憶する記憶部と、記憶部に記憶された隆線方向にもとづいて、画質判定部から出力された指紋画像の中心点を算出し、中心点周辺の所定領域を切り出した画像情報を出力する画像切出部と、画像切出部から出力された画像情報に対して、輝度補正、および、隆線方向にもとづいた平滑化補正を行い、出力する画像補償部と、画像補償部から出力された画像情報から、照合に用いるべき識別情報を算出して、出力する演算部と、演算部から出力された識別情報を格納する識別情報格納部とを備え、画質判定部は、指紋領域の内で、隆線の方向を求めることが不可能な小領域を、方向検出不可能領域として検出し、画質判定部は、さらに、方向検出不可能領域の画像を二値化し、方向検出不可能領域を構成する小領域毎に、値が１の画素数が小領域を構成する全画素数に対して占める割合が所定の比率以上の場合に、小領域を隆線がかすれている隆線かすれ領域として検出し、画質判定部は、さらに、隆線かすれ領域の数が、指紋領域を占める小領域の数に対して所定の比率以上を占める場合に、指紋画像が不良情報であると判定することを特徴としている。
【００１４】
このような構成により、画質判定部によって良画像と判定された画像について、輝度補正や平滑化補正した指紋画像を用いて識別情報格納部に登録することができるので、本人認証率の高い指紋照合装置を得ることができる。
また、一度算出した小領域毎の隆線方向を記憶部に格納し、それを用いて指紋領域の中心点の算出や、平滑化補正を行うので、全体の演算量が少なくて済む。
また、画質判定をより効率的に定量的に行うことが可能になると共に、輝度補正等の画質調整を行う際に、小領域毎に選択的に処理を行うことができる。
【００１５】
また、簡易な演算によって隆線かすれ領域を検出することが可能である。
また、指紋を入力する際の指が異常に乾いていたり、撮像時に指が動いてぶれたりしたような場合に、指紋画像がかすれた際の不良画像を効率的に検出することが可能である。
【００１６】
次に、本発明の指紋照合装置は、照合すべき指紋画像が入力される画像入力部と、指紋画像を複数の小領域に分割し、有効な情報を含む小領域を検出して指紋領域とし、指紋領域を構成する小領域毎に隆線方向を算出すると共に、指紋画像の画質を判定し、良画像であると判定された場合に、指紋画像を出力する画質判定部と、画質判定部で算出された隆線方向を、小領域毎に記憶する記憶部と、記憶部に記憶された隆線方向にもとづいて、画質判定部から出力された指紋画像の中心点を算出し、中心点周辺の所定領域を切り出した画像情報を出力する画像切出部と、画像切出部から出力された画像情報に対して、輝度補正、および、隆線方向にもとづいた平滑化補正を行い、出力する画像補償部と、あらかじめ登録された、照合に用いるべき識別情報が格納された識別情報格納部と、画像補償部から出力された画像情報から識別情報を算出し、識別情報格納部に格納された識別情報と比較し、照合を行う演算部とを備え、画質判定部は、指紋領域の内で、隆線の方向を求めることが不可能な小領域を、方向検出不可能領域として検出し、画質判定部は、さらに、方向検出不可能領域の画像を二値化し、方向検出不可能領域を構成する小領域毎に、値が０の画素数が小領域を構成する全画素数に対して占める割合が所定の比率以上の場合に、小領域を隆線がつぶれている隆線つぶれ領域として検出し、画質判定部は、さらに、隆線つぶれ領域の数が、指紋領域を占める小領域の数に対して所定の比率以上を占める場合に、指紋画像が不良情報であると判定することを特徴としている。
【００１７】
このような構成により、指紋画像を用いて認証を行う前に画質判定を行って、良画像と判定された指紋画像を用いて本人認証を行うので、認証率の高い指紋照合装置を得ることができる。
さらに、輝度補正や平滑化等の画像補償を本人認証より先に行うことにより、認証率の高い指紋照合装置を得ることができる。
さらにまた、一度算出した領域毎の隆線方向を記憶部に格納し、それを用いて指紋領域の中心点の算出や、平滑化補正を行うので、全体の演算量が少なくて済む。
また、画質判定をより効率的に定量的に行うことが可能になると共に、輝度補正等の画質調整を行う際に、小領域毎に選択的に処理を行うことができる。
【００１８】
また、簡易な演算によって隆線つぶれ領域を検出することが可能である。
また、指紋を入力する際の指の濡れや、押圧力が大きすぎる場合に、指紋画像がつぶれた際の不良画像を効率的に検出することが可能である。
【００１９】
次に、本発明の指紋照合装置は、照合すべき指紋画像が入力される画像入力部と、指紋画像を複数の小領域に分割し、有効な情報を含む小領域を検出して指紋領域とし、指紋領域を構成する小領域毎に隆線方向を算出すると共に、指紋画像の画質を判定し、良画像であると判定された場合に、指紋画像を出力する画質判定部と、画質判定部で算出された隆線方向を、小領域毎に記憶する記憶部と、記憶部に記憶された隆線方向にもとづいて、画質判定部から出力された指紋画像の中心点を算出し、中心点周辺の所定領域を切り出した画像情報を出力する画像切出部と、画像切出部から出力された画像情報に対して、輝度補正、および、隆線方向にもとづいた平滑化補正を行い、出力する画像補償部と、あらかじめ登録された、照合に用いるべき識別情報が格納された識別情報格納部と、画像補償部から出力された画像情報から識別情報を算出し、識別情報格納部に格納された識別情報と比較し、照合を行う演算部とを備え、画質判定部は、指紋領域の内で、隆線の方向を求めることが不可能な小領域を、方向検出不可能領域として検出し、画質判定部は、さらに、方向検出不可能領域の画像を二値化し、方向検出不可能領域を構成する小領域毎に、値が１の画素数が小領域を構成する全画素数に対して占める割合が所定の比率以上の場合に、小領域を隆線がかすれている隆線かすれ領域として検出し、画質判定部は、さらに、隆線かすれ領域の数が、指紋領域を占める小領域の数に対して所定の比率以上を占める場合に、指紋画像が不良情報であると判定することを特徴としている。
【００２０】
このような構成により、指紋画像を用いて認証を行う前に画質判定を行って、良画像と判定された指紋画像を用いて本人認証を行うので、認証率の高い指紋照合装置を得ることができる。
さらに、輝度補正や平滑化等の画像補償を本人認証より先に行うことにより、認証率の高い指紋照合装置を得ることができる。
さらにまた、一度算出した領域毎の隆線方向を記憶部に格納し、それを用いて指紋領域の中心点の算出や、平滑化補正を行うので、全体の演算量が少なくて済む。
また、画質判定をより効率的に定量的に行うことが可能になると共に、輝度補正等の画質調整を行う際に、小領域毎に選択的に処理を行うことができる。
【００２１】
また、簡易な演算によって隆線かすれ領域を検出することが可能である。
また、指紋を入力する際の指が異常に乾いていたり、撮像時に指が動いてぶれたりしたような場合に、指紋画像がかすれた際の不良画像を効率的に検出することが可能である。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。本発明の実施の形態として、指紋照合装置の構成の一例を詳細に説明する。
【００３４】
図１は本発明の実施の形態における、指紋照合装置１０の構成を表すブロック図である。
【００３５】
本実施の形態の指紋照合装置１０は、ユーザの指紋画像が入力される、静電容量式や光学式のデバイスからなる画像入力部１、画像入力部１から出力された指紋画像を小領域に分割し、その小領域毎の隆線方向の算出を行うと共に、指紋画像の画質を判定する画質判定部２、画質判定部２で算出された、小領域毎の隆線方向に関する情報を記憶する記憶部８、指紋画像のうち、有効な情報を含む指紋領域を切り出した画像情報を出力する画像切出部３、画像切出部３から出力された画像情報に対して輝度補正および平滑化処理等を行い、登録や照合処理に適するように画像情報の前処理を行う画像補償部４、指紋画像から算出された照合に用いるべき識別情報を格納した識別情報格納部７、および、識別情報格納部７と接続され、識別情報格納部７に格納された識別情報と、画像補償部４から出力された画像情報から算出された識別情報とを照合して本人認証を行う演算部５、ならびに、画質判定部２および演算部５とに接続された、ＬＣＤ、ＥＬ等の表示装置で構成される表示部６を有する。
【００３６】
次に本実施の形態の指紋照合装置１０における、処理フローについて説明する。図２は本発明の実施の形態による、指紋照合装置１０の処理フローを表すフローチャートである。
【００３７】
まずユーザが静電容量式や、光学式等のセンサからなる画像入力部１に触れることによって図３に示すような多階調（多値）の指紋画像４１が取得される（ステップＳＰ１）。指紋画像４１においては、指紋がセンサに触れている部分即ち隆線部分がより暗く、それ以外の指紋が触れていない部分はより明るい画像に撮像されている。なお、本発明の指紋照合装置においては、その画像入力部１の入力方式を限定するものではない。
【００３８】
次に、画質判定部２では画像入力部１によって得られた指紋画像４１を小領域に分割して、その小領域毎の隆線方向を算出して、その結果を記憶部８に記憶すると共に、指紋画像４１の画質を判定する（ステップＳＰ２）。画質判定部２において、画質が良いと判断されれば、画像切出部３による、画像情報の切り出し処理（ステップＳＰ３）へ進む。一方、画質判定部２において画質が悪いと判定された場合には、表示部６に画質不良である旨を表示し、ユーザに再入力を促す（ステップＳＰ７）。画質判定部２における処理の詳細については、後述する。
【００３９】
画質判定部２において、画質が良いと判断されれば、画像切出部３は、記憶部８に格納された、小領域毎の隆線方向に関する情報を用いて、指紋画像４１の中心点を検出し、中心点を中心として所定の範囲に位置する小領域の画像情報を、指紋画像４１から切り出す（ステップＳＰ３）。同一ユーザの同じ指でも、指紋画像４１を取得する際に、毎回同じ場所が画像として得られるわけではなく、認証のために使用する都度、その指先を当てる位置がばらついてしまうことは避けられない。このため、中心点を中心として切り出すことで、同じ指紋であれば常に同じ範囲の画像情報だけを切り出すことができ、指紋の照合精度が向上する。
【００４０】
続いて、画像補償部４は、画像切出部３によって切り出された画像情報に対して、指紋の隆線の描くパターンを強調するため、輝度補正や画像の平滑化補正等を行う（ステップＳＰ４）。画像補償部４における処理内容の詳細については後述する。
【００４１】
次に、演算部５は、画像補償部４から出力された画像情報から、照合に用いるべき、識別情報の算出を行う（ステップＳＰ５）。
【００４２】
本発明は、このステップＳＰ５において算出される識別情報の種類を限定するものではないが、例えば、切れ、分岐、点等の特徴点の位置または数（特徴量）、周波数分析を行った結果算出される周波数スペクトル分布、または、ケプストラム解析等を行った結果等の公知の識別情報を用いることができる。
【００４３】
続いて、ユーザの登録を行う際には、登録されるべきユーザの指紋画像４１を基に算出された識別情報が、演算部５から識別情報格納部７に対して送信され、識別情報格納部７に格納される。一方、ユーザの本人照合（認証）を行う際には、演算部５において、照合されるべきユーザの指紋画像４１をもとに算出された識別情報と、識別情報格納部７にあらかじめ格納された識別情報とを照合し、入力された指紋画像４１が登録されたユーザのものであるか否かを判定する（ステップＳＰ６）。演算部５での判定結果は、表示部６に表示されて、ユーザに伝達される。
【００４４】
次に、画質判定部２における処理について、詳細に説明する。
【００４５】
図４は画質判定部２での処理を示したフローチャートである。図４において、まず画質判定部２は、画像入力部１から出力された指紋画像４２を、図５（ａ）に示したように複数の小領域４３に分割する（ステップＳＰ８）。なお、ここで、説明を簡単にするために、指紋画像４２は簡略化し、概念的にしたものを示している。また、小領域４３への分割についても、実際には、縦×横＝５１２×２５６画素の画像を、８×８画素毎の縦×横＝６４×３２個の小領域に分割して処理を行うが、ここでは説明を簡単にするために、縦×横＝８０×６４画素の画像を、８×８画素毎の縦×横＝１０×８個の小領域４３に分割した例を示している。
【００４６】
次に、先程分割された各小領域４３について、隆線が撮像されていると検知された小領域４３を抽出する（ステップＳＰ９）。この結果、図５（ｂ）に示したように、斜線で囲まれた領域を、隆線が撮像されている指紋領域４４であると判定する。
【００４７】
次に、ステップＳＰ９で抽出された、指紋領域４４を構成する小領域４３毎に、隆線方向を求める。これは、任意の方向を向いたフィルタを８方向分作成し、各小領域４３を構成する画素に対し、画素毎に各フィルタを用いてフィルタリングすることによって行う（ステップＳＰ１０）。その結果、画素毎に隆線方向を８方向のうちのどの方向であるかを算出し、領域内で最も多い画素数を占める方向をその小領域４３の方向として決定する（ステップＳＰ１１）。
【００４８】
この処理について、図６および図７を用いて説明する。図６は、小領域４３毎に隆線方向を決定するための、８方向のフィルタ２１〜２８の構成の一例を示す図である。
【００４９】
図６に示したフィルタ２１〜２８は、中心にある注目画素に対して、ハッチングした画素（２画素）間の輝度値の差分の絶対値をとるようにフィルタリングを行うデジタルフィルタである。
【００５０】
以下、図５（ａ）の小領域Ｓについて、隆線方向を算出する場合を例として説明する。
【００５１】
図７に示したように、小領域Ｓを画素毎に見た場合の拡大図が図７（ａ）であるとした場合、この小領域Ｓを構成する全画素の輝度情報に対して、１画素ずつ、前述のフィルタ２１〜２８を順次用いたフィルタリング演算を行って、隆線方向を決定する。
【００５２】
例えば、ある注目画素Ｔおよび周辺画素（縦×横＝３画素×３画素の領域）の輝度値が図７（ｂ）に示すような関係にある場合、注目画素Ｔについて、まずは図６に示した８種類のフィルタ２１〜２８を順次用いてフィルタリングを行って、フィルタ毎に、それぞれの方向に対応した値を算出する。
【００５３】
例えば、フィルタ２１を用いた場合には、フィルタ２１は注目画素Ｔの両隣の画素の輝度値の差分の絶対値をとるフィルタであるので、フィルタリングの結果は、
｜１４１−６８｜＝７３
となり、この値が方向Ｄ１、即ち水平方向についての演算値となる。
【００５４】
方向Ｄ１（水平方向：０°） ：１４１−６８＝７３ （フィルタ２１）
同様に、フィルタ２２〜２８を順次用いて演算を行うと、
方向Ｄ２（２２．５°） ：６８−２０＝４８ （フィルタ２２）
方向Ｄ３（４５°） ：２２−２０＝２ （フィルタ２３）
方向Ｄ４（６７．５°） ：２２−１３＝９ （フィルタ２４）
方向Ｄ５（垂直方向：９０°）：１３０−１３＝１１７ （フィルタ２５）
方向Ｄ６（１１２．５°） ：１３０−１２３＝７ （フィルタ２６）
方向Ｄ７（１３５°） ：１５６−１２３＝３３ （フィルタ２７）
方向Ｄ８（１５７．５°） ：１５６−６８＝８８ （フィルタ２８）
となり、方向Ｄ３の演算値、即ちフィルタ２３を用いてフィルタリングした値（この場合は“２”となる）が最も小さいので、この注目画素Ｔについての方向を方向Ｄ３（４５°）と決定する。なお、どの方向にも輝度変化が少ない場合には、方向を算出しないでその画素については隆線方向が算出不可能として終了する。
【００５５】
このようにして、小領域Ｓを構成する全画素について隆線方向を算出する。図７（ｃ）はその算出された隆線方向を全画素についてプロットしたものである。次に、この算出された隆線方向のうち、小領域Ｓ内で最も多い隆線方向を用いて、その小領域Ｓの隆線方向として決定する。
【００５６】
例えば、図７（ｃ）に示したような結果の場合、算出された隆線方向と画素数との関係が、
方向Ｄ１（０°） １０画素
方向Ｄ２（２２．５°） １０画素
方向Ｄ３（４５°） １６画素であり、
この結果、この小領域Ｓの隆線方向を、方向Ｄ３（４５°）である、と決定することができる（ステップＳＰ１１）。
【００５７】
ただし、最も多く得られた方向成分でも、その方向成分となる画素の絶対数が所定の数以下である場合は、その小領域４３を方向検出不可能領域として、出力する（ステップＳＰ１１）。
【００５８】
以上のようにして得られた各小領域４３の方向成分、および方向検出不可能領域４５の一例を図８に示す。ここでは隆線方向は前述のように８方向に分類され、紙面に対して水平方向（０°）、水平方向に対して２２．５°、４５°、６７．５°、９０°、１１２．５°、１３５°、１５７．５°のうちいずれか一つの方向を示している。また、方向検出不可能領域４５を斜線で示している。
【００５９】
このように算出された各小領域４３毎の隆線方向データは、指紋照合装置１０における記憶部８に送られ、記憶部８内部に記憶され、以降の処理にも随時用いられる。これによって、指紋照合装置１０全体の演算量を少なくすることができる。
【００６０】
再び図４に戻って、画質判定部２は、方向検出不可能領域４５の指紋領域４４に占める割合が所定の割合以上か否かを判断し（ステップＳＰ１２）、所定の割合以上であれば、不良画像と判定して、ユーザに指紋画像の再入力を促す（ステップＳＰ１７）。一方、所定の割合以下の場合には、良画像と判定して、画質判定部２での処理を終了して、次の画像切出部３での処理が行われる（ステップＳＰ１５）。
【００６１】
なお、ステップＳＰ１２において、画質の判定に用いる方向検出不可能領域４５の指紋領域４４に占める所定の割合は、画像入力部１に用いるセンサの種類や、湿度等によっても異なるが、大体１０％から３０％までの範囲に設定しておくことにより、良好に良画像および不良画像の判別ができることが分かった。
【００６２】
さらに、図９に、画質判定部２における別の処理フローを示す。この処理フローでは、方向検出不可能領域４５を検出（ステップＳＰ１１）した後、画質判定部２は、方向検出不可能領域４５の各小領域毎に指紋の状態を判定（ステップＳＰ１３）し、方向検出不可能領域４５毎に、その方向検出が不可能になった原因を特定（ステップＳＰ１４）する。
【００６３】
具体的には、方向検出不可能領域４５の画像が、黒くつぶれているのか、あるいは白くかすれているのかを検出する。
【００６４】
このため、例えば図１０に示したような、指紋画像４２の二値化画像４６を作成し、各方向検出不可能領域４５毎に二値化画像４６の同じ位置の小領域４３と比較して、その同じ小領域４３内において、全画素数に対する、二値化画像４６の黒画素（出力：“０”）の割合を算出し、その割合が所定の比率より大きければその方向検出不可能領域４５を黒つぶれ領域と判定し、逆に全画素数に対する白画素（出力：“１”）の割合が、所定の比率より大きければ、その方向検出不可能領域４５をかすれ領域と判定することで、各方向検出不可能領域４５毎に、その状態を検出する。
【００６５】
また、この黒つぶれ領域、およびかすれ領域のどちらにも含まれないと判断される場合もあり、これはその方向検出不可能領域４５内で極端に隆線の方向が曲がっていたり、点となっている場合のためであると要因を決定できる。
【００６６】
つぶれ、かすれの判別は、例えば本実施の形態の場合、各小領域４３を形成する画素数は、８×８の計６４画素であるが、このうち８０％以上が黒ならば、黒つぶれ領域と判断し、逆に８０％以上が白ならば、かすれ領域と判断し、そのどちらでもないものは、その他、その小領域４３内で極端に隆線の方向が曲がっていたり、点であったりする場合であると判定を行う。画像入力部１を構成するセンサや、外部の環境等によって、この所定の割合は、７０％から９０％までの値に設定することにより、良好につぶれ画像およびかすれ画像を検出できる。
【００６７】
次に、これらの手順を全ての方向検出不可能領域４５を構成する小領域について行うことにより、黒くつぶれている小領域、および白くかすれている小領域の数をカウントして画質悪化要因を特定する（ステップＳＰ１４）。
【００６８】
即ち、これらの黒くつぶれている小領域、または白くかすれている小領域の数と、指紋領域４４を構成する小領域の数との比率が所定以上の場合、指紋画像をつぶれ画像、またはかすれ画像と判定することができる。この所定の比率は、実験によれば、おおよそ、黒つぶれ領域、またはかすれ領域が指紋領域４４に対して占める割合が、１０％以上の場合に、つぶれ画像、またはかすれ画像として不良画像であると判定することが好適である（ステップＳＰ１６）。この割合も、画像入力部１を構成するセンサの特性や、環境等の要因によって、５％から２０％までの値に設定することにより、良画像と不良画像を良好に判別することが可能となる。
【００６９】
ステップＳＰ１６でつぶれ画像と判定された場合、表示部６に、指紋画像がつぶれていることをユーザに警告するメッセージを表示すると共に、再度入力を促す際に、どのように入力するべきかのガイド（「指を拭いて再度入力してください」や「もう少し指を弱く当ててください」等）を表示することによってユーザが適切な入力を行うことが可能となり、確実な認証を行うことができる（ステップＳ１７）。
【００７０】
同様に、かすれ画像と判定された場合も表示部６にかすれていることをユーザに警告するメッセージを表示すると共に、再度入力を促す際に、どのように入力すべきかのガイド（「もう少し指を強く当ててください」等）を表示することも可能となる。
【００７１】
一方、画質判定部２で画像が良画像であると判定された場合（ステップＳＰ１６）、図９の画像切出部３処理（ステップＳ１５）に進み、画質判定部２での処理を終了する。画像切出部３では、次に述べるステップで指紋画像の切り出し処理が行われる。
【００７２】
画像切出部３においては、まず、図１１に示したように、指紋画像４２の中心位置を求める。図１１に示した例では、先程、画質判定部２で算出され、記憶部８に格納された、各小領域４３毎の隆線方向の情報を用いる。各小領域４３の隆線方向の、垂直成分、および水平成分を算出して、それぞれを垂直方向に隣り合う小領域４３同士、および水平方向に隣り合う小領域４３同士加算して、各列、各行毎に分布を算出する。次に各分布のピーク点を算出し、それぞれのピーク点を結んだ点を指紋画像の中心位置ＰＰとして決定する。
【００７３】
次に、画像切出部３では、図１２に示したように、決定された中心位置ＰＰを中心として所定の範囲の画像情報４７を切り出す。ここでは、指紋画像４２を構成する画素数が縦×横＝５１２×２５６画素に対して、３００×２００画素を切り出す例を示す。このように切り出しを行うことによって、同じ指紋画像４２であれば、情報が取得されたときの条件等に関わらず、照合に用いる画像情報４７の大きさを揃えることが可能である。
【００７４】
再度図２に戻って、画像切出部３による画像切り出し（ステップＳＰ３）が終了すると、画像補償部４による輝度補正（隆線強調）および平滑化補正処理に移る（ステップＳＰ４）。次に、この画像補償部４における処理について、詳細に説明する。
【００７５】
画像補償部４では、例えば、図１２に示した画像情報４７を、図１３に示したような複数の中領域４８に分割する（便宜上、中領域と呼ぶが、前述の小領域との大きさの相関を限定するものではなく、いかなる大きさの領域に分割してもよい）。ここでは、縦方向のみについて分割しているが、どのような分割の仕方であってもよい。各中領域４８について、輝度ヒストグラムをとり、その分布が一定分布になるように輝度を補正する。
【００７６】
即ち、ある中領域４８における、輝度に対する画素数の関係、即ち輝度ヒストグラムが図１４（ａ）に示したような関係である場合、これを輝度の階調を落して（例えば２５６階調→６４階調）、図１４（ｂ）に示したような関係、即ち輝度ヒストグラムがほぼ一定になるように補正することで、輝度補正（コントラスト調整）を行う。
【００７７】
より具体的に説明する。図１４（ａ）に示した輝度ヒストグラムを全積分すると、中領域４８を構成する画素数と等しくなる。例えば、中領域４８を構成する画素がＮ画素の場合、図１４（ａ）に示した輝度ヒストグラムを全積分した値は、Ｎとなる。
【００７８】
輝度補正は、図１４（ａ）の輝度ヒストグラム（２５６階調）を階調０から順に積分して、面積が、（Ｎ／６４）になる階調Ｔを算出し、階調０〜階調Ｔまでの画素について、階調を１に補正する。以後、面積（Ｎ／６４）毎にこれを繰り返して、図１４（ｂ）の輝度ヒストグラムになるように輝度補正を行う。
【００７９】
このような輝度補正を行うことにより、図１５（ａ）に示したような画像情報４９を、図１５（ｂ）に示したような、全領域において、良好なコントラストの画像情報５０になるように輝度補正することができる。
【００８０】
このような輝度補正は、中領域４８を構成する全小領域について行ってもよいし、各中領域４８中で、画質判定部２によって指紋領域４４と判定された小領域についてのみ輝度補正を行ってもよい。この場合、指紋領域４４と判定されない領域、即ち背景等の輝度値の影響を受けることの少ない輝度補正が行える。
【００８１】
また、この輝度補正を、各中領域４８内の、画質判定部２によって方向検出不可能領域４５と判定された小領域を除いた小領域について行う構成であってもよい。この場合、方向検出不可能領域４５の黒つぶれや、かすれ等の影響を受けることの少ない輝度補正を行うことができる。
【００８２】
さらに、この輝度補正を、各中領域４８で、画質判定部２によって、隆線方向が検出された小領域のみに対して行う構成であってもよい。この場合、背景等の指紋領域４４と判定されない部分、および、つぶれ、かすれ等の方向検出不可能領域４５双方の影響を受けることの少ない輝度補正を行うことができる。
【００８３】
さらに、ある中領域４８について輝度補正を行う際に、その周辺の中領域４８も含めて輝度ヒストグラムをとって、その結果を目的とする中領域４８の輝度補正に反映させる構成であってもよい。即ち、図１３において、領域Ｐの輝度補正を行う場合に、領域Ｐに加えて、領域Ｏおよび領域Ｑも含めた領域の輝度ヒストグラムを取り、その結果を領域Ｐの輝度補正に反映する。
【００８４】
この構成によれば、中領域４８毎の輝度のバラツキが少ない、より画像全体の輝度の連続性の高い輝度補正を行うことが可能である。
【００８５】
これらの輝度補正処理を全ての中領域４８について行うことで、画像情報全体の輝度のムラが補正され、全体的に隆線の濃淡がはっきりした画像になる。
【００８６】
次に、画像情報の平滑化処理について説明する。同じく図２のステップＳＰ４に戻って、画像補償部４が、輝度補正された画像情報５０の平滑化処理を行う。この平滑化処理は、指紋パターンを用いて本人認証を行う際に、周波数解析法やケプストラム解析法等、特徴点を識別情報として用いない照合方法を用いた指紋照合装置において、最も高い効果を奏する。
【００８７】
画像情報の平滑化処理を行う時は、通常、縦横一定にぼかす方法が用いられることが多いが、本発明においては、画質判定部２で算出した各小領域４３の隆線方向の情報を用いて、その方向に平行な方向にぼかす手法を用いる。ただし、方向検出不可能領域４５では縦横一定にぼかす。このようにすることで、隆線の構造を失うことなくノイズの除去を行うことが可能となる。
【００８８】
平滑化処理は、各小領域４３の隆線方向に応じて、図１６にその一例を示したような、縦×横＝５×５画素の８種類の方向毎のフィルタ３１〜３８から、記憶部８に格納された各小領域４３の隆線方向に応じてフィルタを選択し、選択されたフィルタを用いて、各小領域４３を構成する全画素にフィルタリングすることによって行う。
【００８９】
図１６に示したフィルタ３１〜３８において、それぞれのフィルタの中心の画素が注目画素であり、注目画素の輝度値について、周辺画素も含めて各画素毎に付与された係数にもとづいて重み付けし、注目画素の値を決定する。なお、図１６において、係数が記載されていない画素には、係数“０”が格納されているものとする。
【００９０】
具体的には、例えば、フィルタ３１（方向Ｄ１）においては、図１６に示したように、中心の注目画素Ｅの輝度値に係数“８”を積算し、周辺の画素にも画素毎にそれぞれ、係数“２”、“８”、または“０”を積算して、合計した数を、フィルタを構成する各係数の総和、即ちこの例では（８＋４×２＋２×６＝２８）で除算して、中心の注目画素Ｅの輝度値として決定する。
【００９１】
このような平滑化処理を、小領域４３を構成する全ての画素について行う。
【００９２】
さらに、方向検出不可能領域４５については、全方向に一定にぼかすことのできる縦×横＝３×３画素のフィルタ３９を用いる。
【００９３】
このような平滑化処理を行うことによって、画像情報の隆線方向の情報を失うことなく、急激な輝度変化のない、ノイズの少ない画像情報に平滑化することができる。
【００９４】
図１７に平滑化補正した画像情報の一例（一つの小領域について示したもの）を示す。画像情報５１が平滑化補正前の画像情報であり、画像情報５２が平滑化補正後の小領域の画像情報である。図１７に示した例では、画像情報５１の小領域の隆線方向が方向Ｄ２（２２．５°）であり、フィルタ３２を用いて平滑化補正を行った。この結果、図１７の画像情報５２に示したように、画像情報５１の隆線の情報を失うことなく、ノイズ成分を低減することができた。
【００９５】
これにより、以降の演算部５における照合、または登録の際（ステップＳＰ６）に、高い認証率を実現できる、ノイズ等の少ない画像情報５２を提供することができる。この平滑化補正は、周波数解析法やケプストラム解析法等、特徴点を識別情報として用いない照合方法を用いた指紋照合装置において、特に有効である。
【００９６】
次に、図２に戻って、以上のようにして得られた画像情報５２が演算部５に入力されて、照合に用いるべき特徴量や、周波数分布等の識別情報の算出が公知の方法で行われる（ステップＳＰ５）。
【００９７】
次に、演算部５では、識別情報格納部７に格納された、あらかじめ登録された周波数分布や特徴量等の認証情報と、ステップＳＰ５において算出された識別情報とを比較して、本人認証を行う（ステップＳＰ６）。
【００９８】
上述したような輝度補正および平滑化補正等の前処理が行われていることによって、演算部５には質が良く、同じ指紋からの画像情報なら常に同じ領域の画像情報を含む情報が切り出され、さらに適切な輝度調整を行われた画像情報が入力されるため、演算部５での照合の精度を従来と比較して飛躍的に向上させることが可能である。
【００９９】
さらに、上述したような前処理を、認証時のみならず、ユーザの指紋画像を登録する際にも行って、その識別情報を識別情報格納部７に格納することにより、指紋照合による本人認証に用いる基準となる識別情報を、精度良いものにすることが可能である。このように、登録時、認証時に本実施の形態で述べたような、画質悪化要因の特定や、輝度補正、および平滑化処理を行うことにより、認証率の高い、高精度な指紋認証装置を得ることが可能である。
【０１００】
なお、本発明は、実施の形態に示したフィルタの係数、階調数、輝度値、および隆線方向の数等の具体的な数値に限定されるものではない。
【０１０１】
また、本発明の実施の形態においては、指紋パターンの隆線方向を算出し、その結果にもとづいて平滑化等の演算処理を行う構成を示したが、本発明はこれに限定されず、例えば指紋パターンの隆線以外の部分、即ち谷部がなす谷線の方向を算出し、その結果にもとづいて各演算処理を行う構成であっても、本発明の指紋照合装置に含まれることはいうまでもない。
【０１０２】
【発明の効果】
以上述べたように、本発明の指紋照合装置は、画質判定部によって良画像と判定された画像について、輝度補正や平滑化補正した指紋画像を用いて識別情報格納部に登録したり、照合を行ったりすることができるので、本人認証率の高い指紋照合装置を得ることができる。また、一度算出した小領域毎の隆線方向を記憶部に格納し、それを用いて指紋領域の中心点の算出や、平滑化補正を行うので、全体の演算量が少なくて済む。
【図面の簡単な説明】
【図１】本発明の実施の形態における、指紋照合装置の構成を表すブロック図
【図２】本発明の実施の形態の指紋照合装置における、全体の処理の流れを表すフローチャート
【図３】本発明の実施の形態における、取得された指紋画像の一例を示す図
【図４】本発明の実施の形態の画質判定部での処理の流れを表すフローチャート
【図５】本発明の実施の形態における、小領域および指紋領域を説明する概念図
【図６】本発明の実施の形態における、方向検出フィルタの例を示す図
【図７】本発明の実施の形態における、隆線方向算出ステップを説明する概念図
【図８】本発明の実施の形態における、処理フローの一部を説明するための図
【図９】本発明の実施の形態の画質判定部での別の処理の流れを表すフローチャート
【図１０】本発明の実施の形態における、二値化画像を説明する概念図
【図１１】本発明の実施の形態における、指紋画像の中心点算出ステップを説明する概念図
【図１２】本発明の実施の形態における、切り出された画像情報を説明する概念図
【図１３】本発明の実施の形態における、輝度補正の際の中領域の分割を説明する概念図
【図１４】本発明の実施の形態における、輝度補正を説明する概念図
【図１５】本発明の実施の形態における、画像情報の輝度補正の一例を示す概念図
【図１６】本発明の実施の形態における、平滑化方向フィルタの一例を示す図
【図１７】本発明の実施の形態における、画像情報の平滑化補正の一例を示す概念図
【符号の説明】
１ 画像入力部
２ 画質判定部
３ 画像切出部
４ 画像補償部
５ 演算部
６ 表示部
７ 識別情報格納部
８ 記憶部
１０ 指紋照合装置
２１〜２８，３１〜３９ フィルタ
４１，４２ 指紋画像
４３ 小領域
４４ 指紋領域
４５ 方向検出不可能領域
４６ 二値化画像
４７，４９，５０，５１，５２ 画像情報
４８ 中領域

Claims (4)

1. 登録すべき指紋画像が入力される画像入力部と、
   前記指紋画像を複数の小領域に分割し、有効な情報を含む小領域を検出して指紋領域とし、前記指紋領域を構成する小領域毎に隆線方向を算出すると共に、前記指紋画像の画質を判定し、良画像であると判定された場合に、前記指紋画像を出力する画質判定部と、
   前記画質判定部で算出された前記隆線方向を、前記小領域毎に記憶する記憶部と、
   前記記憶部に記憶された前記隆線方向にもとづいて、前記画質判定部から出力された前記指紋画像の中心点を算出し、前記中心点周辺の所定領域を切り出した画像情報を出力する画像切出部と、
   前記画像切出部から出力された画像情報に対して、輝度補正、および、前記隆線方向にもとづいた平滑化補正を行い、出力する画像補償部と、
   前記画像補償部から出力された画像情報から、照合に用いるべき識別情報を算出して、出力する演算部と、
   前記演算部から出力された前記識別情報を格納する識別情報格納部とを備え、
   前記画質判定部は、前記指紋領域の内で、隆線の方向を求めることが不可能な小領域を、方向検出不可能領域として検出し、
   前記画質判定部は、さらに、前記方向検出不可能領域の画像を二値化し、前記方向検出不可能領域を構成する小領域毎に、値が０の画素数が前記小領域を構成する全画素数に対して占める割合が所定の比率以上の場合に、前記小領域を隆線がつぶれている隆線つぶれ領域として検出し、
   前記画質判定部は、さらに、前記隆線つぶれ領域の数が、前記指紋領域を占める小領域の数に対して所定の比率以上を占める場合に、前記指紋画像が不良情報であると判定することを特徴とする指紋照合装置。
2. 登録すべき指紋画像が入力される画像入力部と、
   前記指紋画像を複数の小領域に分割し、有効な情報を含む小領域を検出して指紋領域とし、前記指紋領域を構成する小領域毎に隆線方向を算出すると共に、前記指紋画像の画質を判定し、良画像であると判定された場合に、前記指紋画像を出力する画質判定部と、
   前記画質判定部で算出された前記隆線方向を、前記小領域毎に記憶する記憶部と、
   前記記憶部に記憶された前記隆線方向にもとづいて、前記画質判定部から出力された前記指紋画像の中心点を算出し、前記中心点周辺の所定領域を切り出した画像情報を出力する画像切出部と、
   前記画像切出部から出力された画像情報に対して、輝度補正、および、前記隆線方向にもとづいた平滑化補正を行い、出力する画像補償部と、
   前記画像補償部から出力された画像情報から、照合に用いるべき識別情報を算出して、出力する演算部と、
   前記演算部から出力された前記識別情報を格納する識別情報格納部とを備え、
   前記画質判定部は、前記指紋領域の内で、隆線の方向を求めることが不可能な小領域を、方向検出不可能領域として検出し、
   前記画質判定部は、さらに、前記方向検出不可能領域の画像を二値化し、前記方向検出不可能領域を構成する小領域毎に、値が１の画素数が前記小領域を構成する全画素数に対して占める割合が所定の比率以上の場合に、前記小領域を隆線がかすれている隆線かすれ領域として検出し、
   前記画質判定部は、さらに、前記隆線かすれ領域の数が、前記指紋領域を占める小領域の数に対して所定の比率以上を占める場合に、前記指紋画像が不良情報であると判定することを特徴とする指紋照合装置。
3. 照合すべき指紋画像が入力される画像入力部と、
   前記指紋画像を複数の小領域に分割し、有効な情報を含む小領域を検出して指紋領域とし、前記指紋領域を構成する小領域毎に隆線方向を算出すると共に、前記指紋画像の画質を判定し、良画像であると判定された場合に、前記指紋画像を出力する画質判定部と、
   前記画質判定部で算出された前記隆線方向を、前記小領域毎に記憶する記憶部と、
   前記記憶部に記憶された前記隆線方向にもとづいて、前記画質判定部から出力された前記指紋画像の中心点を算出し、前記中心点周辺の所定領域を切り出した画像情報を出力する画像切出部と、
   前記画像切出部から出力された画像情報に対して、輝度補正、および、前記隆線方向にもとづいた平滑化補正を行い、出力する画像補償部と、
   あらかじめ登録された、照合に用いるべき識別情報が格納された識別情報格納部と、
   前記画像補償部から出力された画像情報から識別情報を算出し、前記識別情報格納部に格納された識別情報と比較し、照合を行う演算部とを備え、
   前記画質判定部は、前記指紋領域の内で、隆線の方向を求めることが不可能な小領域を、方向検出不可能領域として検出し、
   前記画質判定部は、さらに、前記方向検出不可能領域の画像を二値化し、前記方向検出不可能領域を構成する小領域毎に、値が０の画素数が前記小領域を構成する全画素数に対して占める割合が所定の比率以上の場合に、前記小領域を隆線がつぶれている隆線つぶれ領域として検出し、
   前記画質判定部は、さらに、前記隆線つぶれ領域の数が、前記指紋領域を占める小領域の数に対して所定の比率以上を占める場合に、前記指紋画像が不良情報であると判定することを特徴とする指紋照合装置。
4. 照合すべき指紋画像が入力される画像入力部と、
   前記指紋画像を複数の小領域に分割し、有効な情報を含む小領域を検出して指紋領域とし、前記指紋領域を構成する小領域毎に隆線方向を算出すると共に、前記指紋画像の画質を判定し、良画像であると判定された場合に、前記指紋画像を出力する画質判定部と、
   前記画質判定部で算出された前記隆線方向を、前記小領域毎に記憶する記憶部と、
   前記記憶部に記憶された前記隆線方向にもとづいて、前記画質判定部から出力された前記指紋画像の中心点を算出し、前記中心点周辺の所定領域を切り出した画像情報を出力する画像切出部と、
   前記画像切出部から出力された画像情報に対して、輝度補正、および、前記隆線方向にもとづいた平滑化補正を行い、出力する画像補償部と、
   あらかじめ登録された、照合に用いるべき識別情報が格納された識別情報格納部と、
   前記画像補償部から出力された画像情報から識別情報を算出し、前記識別情報格納部に格納された識別情報と比較し、照合を行う演算部とを備え、
   前記画質判定部は、前記指紋領域の内で、隆線の方向を求めることが不可能な小領域を、方向検出不可能領域として検出し、
   前記画質判定部は、さらに、前記方向検出不可能領域の画像を二値化し、前記方向検出不可能領域を構成する小領域毎に、値が１の画素数が前記小領域を構成する全画素数に対して占める割合が所定の比率以上の場合に、前記小領域を隆線がかすれている隆線かすれ領域として検出し、
   前記画質判定部は、さらに、前記隆線かすれ領域の数が、前記指紋領域を占める小領域の数に対して所定の比率以上を占める場合に、前記指紋画像が不良情報であると判定することを特徴とする指紋照合装置。

Images