JP5725012B2

JP5725012B2 - 異物判定装置、異物判定方法および異物判定プログラム

Info

Publication number: JP5725012B2
Application number: JP2012503212A
Authority: JP
Inventors: 中村　陽一; 陽一中村
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2010-03-04
Filing date: 2011-03-02
Publication date: 2015-05-27
Anticipated expiration: 2031-03-02
Also published as: CN102782724A; JPWO2011108582A1; EP2544148A1; EP2544148A4; KR101413413B1; US9295415B2; KR20120123525A; WO2011108582A1; US20120314918A1

Description

本発明は、異物判定装置、異物判定方法および異物判定プログラムに関する。

近年、個人を識別する認証方式の一つとして指紋認証が注目されている。指紋は人によって異なり、年月が経過しても変化しないという特徴があるため、指紋認証は、現在普及しているパスワード認証等よりも信頼性が高いとされている。指紋認証の方法として、例えば、載置面に載置された指に光を照射し、指紋の凸凹によって散乱する反射光を光学系で集光して結像することにより得られる指紋の隆線パターン像を用いて、指紋認証を行う方法がある（下記特許文献１参照）。

特許第３１００４５６号公報

ところで、上記特許文献１に記載された指紋認証では、例えばテープ等の異物が指先に付着している場合には、正しい隆線パターン像を得ることができず、指紋認証を適切に行うことができなくなる。

本発明は、上述した課題を解決するためになされたものであり、指紋認証の精度を向上させることができる異物判定装置、異物判定方法および異物判定プログラムを提供することを目的とする。

本発明の異物判定装置は、指紋認証の対象となる認証対象物を撮影した画像を取得する画像取得部と、前記画像取得部により取得された前記画像を、色の相違を判定する際の所定の判定基準を用いて色が互いに異なる領域に分割する領域分割部と、前記領域分割部により分割された前記領域の色および／または面積を用いて前記認証対象物に異物が含まれるか否かを判定する異物判定部と、を備える。

本発明の異物判定方法は、指紋認証の対象となる認証対象物を撮影した画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得された前記画像を、色の相違を判定する際の所定の判定基準を用いて色が互いに異なる領域に分割する領域分割ステップと、前記領域分割ステップにおいて分割された前記領域の色および／または面積を用いて前記認証対象物に異物が含まれるか否かを判定する異物判定ステップと、
を含む。

本発明の異物判定プログラムは、上記異物判定方法に含まれる各ステップをコンピュータに実行させる。

本発明によれば、指紋認証の精度を向上させることができる。

実施形態における異物判定装置の概略構成を例示するブロック図である。認証対象物における異物の有無を判定する際の処理手順を例示するフローチャートである。変形例における異物判定装置の概略構成を例示するブロック図である。

以下、添付図面を参照して、本発明に係る異物判定装置、異物判定方法および異物判定プログラムの好適な実施形態について説明する。

まず、図１を参照して、実施形態における異物判定装置の概略構成について説明する。図１は、異物判定装置の構成を模式的に示した図である。異物判定装置１は、指紋認証の対象となる認証対象物に異物が含まれるか否かを判定する装置である。異物判定装置１は、認証対象物に異物が含まれていない場合に、指紋認証を行う。認証対象物となる指は、例えば異物判定装置１の天面に設ける所定の載置領域に載置する。

図１に示すように、異物判定装置１は、撮像部１０と、光源部２０と、制御部３０とを有する。撮像部１０は、載置領域に載置された認証対象物を撮影する。撮像部１０としては、例えばカメラやイメージセンサが該当する。本実施形態における撮像部１０は、カメラとイメージセンサとを備える。カメラは、指紋認証に用いる指紋上に異物が存在する場合に、指と異物の双方を含む画像（以下、「異物判定用画像」ともいう。）を撮影可能な位置に配置する。イメージセンサは、指紋認証に必要な指紋部分を含む指の画像（以下、「指紋認証用画像」ともいう。）を撮影可能な位置に配置する。

なお、撮像部１０は、必ずしもカメラとイメージセンサとの双方を備える必要はない。例えば、撮像部１０は、１台のカメラまたはイメージセンサを備えることとしてもよい。この場合に、撮像部１０は、異物判定用画像と指紋認証用画像とを併せた画像を１台のカメラまたはイメージセンサで撮影すればよい。

光源部２０は、例えばＬＥＤ（Light-Emitting Diode）であり、撮像部１０によって認証対象物が撮影される際に、認証対象物に光を照射する。

なお、異物判定装置１が有する撮像部１０、光源部２０および制御部３０の各構成要素は、原則として、従来の指紋認証装置が有する撮像部、光源部および制御部と同じである。ただし、異物判定装置１の制御部３０が異物の有無を判定する際の各種機能を有する点で従来の指紋認証装置とは異なる。

また、異物判定装置１は、物理的には、ＣＰＵと、メモリと、撮像部と、光源部とを含んで構成される。メモリには、例えば、ＣＰＵで処理されるプログラムやデータを記憶するＲＯＭや、主として制御処理のための各種作業領域として使用されるＲＡＭが含まれる。これらの要素は、互いにバスを介して接続されている。ＣＰＵが、ＲＯＭに記憶されたプログラムを実行し、撮像部によって撮影された画像データや、ＲＡＭに展開された各種のデータを用いて処理することで、後述する異物判定装置１における各部の機能を実現することができる。

制御部３０は、各種制御処理を実行することで、異物判定装置１全体を制御する。制御部３０は、例えば、画像取得部３１と、指領域特定部３２と、領域分割部３３と、異物判定部３４と、を有する。

画像取得部３１は、撮像部１０のカメラによって撮影された２枚の異物判定用画像を撮像部１０から取得する。２枚の異物判定用画像は、撮像部１０のカメラが、同一の認証対象物を撮影する際に、撮影タイミングをずらして２回撮影することで得られる画像である。

撮影タイミングは、例えば、１回目の撮影を、指紋認証を行うために認証対象物が載置面に載置されたときに行い、２回目の撮影を、1回目の撮影が終了してから認証対象者の姿勢の変化等に起因して認証対象物が少し移動したときに行うように設定する。この２回目の撮影は、例えば、１回目の撮影が終了してから所定時間が経過したときに行うこととすればよい。所定時間は、１回目の撮影が終了した認証対象物が、その後に移動を開始すると想定される時間を実験等により求め、その値を考慮して適宜設定することができる。これにより、移動前後の認証対象物を撮影した異物判定用画像を撮影することが可能となる。

指領域特定部３２は、２枚の異物判定用画像を用いて指領域を特定する。指領域特定部３２は、例えば、以下の手順で指領域を特定する。

最初に、指領域特定部３２は、２枚の異物判定用画像の色を画素単位で比較する。具体的には、両画像の同じ座標に位置する画素の色同士を比較する処理を、全ての座標について行う。

続いて、指領域特定部３２は、色の変化の度合いが所定値以上である画素を差分画素として特定する。所定値は、指が移動した際に取り得る値を実験等により求め、その値を考慮して適宜設定することができる。ここで、異物判定用画像間で移動するのは指および指に付着した異物であるという前提が成立する。したがって、例えば、背景色から肌色や他の色（異物の色）に変化した画素や、肌色や他の色から背景色に変化した画素を特定することで、異物判定用画像の中に存在する指および異物のおおよその位置を特定することができる。

続いて、指領域特定部３２は、１回目に撮影した異物判定用画像から、皮膚の色に相当する肌色画素群を特定する。皮膚の色としては、例えば、ＨＳＶ（Hue、Saturation、Value）空間の場合に、Ｈが０以上４０以下または３２０以上３６０以下であり、かつ、Ｖが１５０以上となる色を採用することができる。この場合、Ｈの基準となる０（３６０）には赤を設定し、Ｖは０から２５５までの値で表すこととする。

続いて、指領域特定部３２は、特定した差分画素群および肌色画素群を用いて、指領域を特定する。このように、肌色画素群に加え、差分画素群を用いて指領域を特定することで、皮膚の色とは異なる色の異物が指に付着している場合であっても、指と異物の双方を異物判定用画像からより高い精度で特定することが可能となる。また、背景に皮膚の色に近い領域が含まれる場合に、この領域をノイズとして除去することができる。

領域分割部３３は、異物判定用画像から特定した指領域を、指領域に含まれる各画素の色を用いて、色が互いに異なる領域に分割する。

ここで、指領域は、指を撮影した領域にあたるため、通常は全領域が皮膚の色になるはずである。ところが、指に異物が付着している場合には、指領域に異物の色が混入することになる。したがって、指に異物が付着している場合には、指領域を異なる色ごとに分割することで、指領域を複数の領域に分割することができる。一方、指に異物が付着していない場合には、指領域が分割される可能性は低くなる。

色が互いに異なる領域に指領域を分割する方法としては、例えば、周知のクラスタリングやヒストグラムを利用して分割することができる。クラスタリングは、階層的クラスタリングであっても、非階層的クラスタリングであってもよい。階層的クラスタリングとしては、例えば、最短距離法や、最長距離法、群平均法、重心法等がある。非階層的クラスタリングとしては、例えば、ｋ−ｍｅａｎｓ法（ｋ−平均法）やｋ−ｍｅｄｏｉｄｓ法等がある。

領域分割部３３は、上記各種の分割方法を利用して指領域を分割する際に、所定の判定基準を用いて色が互いに異なる領域に分割する。所定の判定基準として、色の相違を判定する際の基準を用いる。以下に、所定の判定基準を用いて分割する際の具体例を、代表的な分割方法ごとに説明する。

階層的クラスタリングとして最短距離法を利用する場合には、例えば、分類した複数のクラスタのうち、要素数が最大となるクラスタと他のクラスタとの間の距離を算出する。算出した距離が所定距離以上となる他のクラスタが存在する場合に、色が互いに異なると判定し、当該他のクラスタに属する画素群と、それ以外のクラスタに属する画素群とで指領域を分割する。

ここで、要素数が最大のクラスタを基準にするのは、以下の理由による。指領域の大部分は指の画像になると考えられるため、指領域の大部分の色はその指に特有の色になるはずである。したがって、要素数が最大となるクラスタを基準にして分割することで、指部分と指以外の部分とに分割することが可能となるためである。

非階層的クラスタリングとしてｋ−ｍｅａｎｓ法を利用して２個のクラスタに分類する場合には、例えば、分類された２個のクラスタ間の距離が、所定距離以上となる場合に、色が互いに異なると判定し、それぞれのクラスタに属する画素群で指領域を分割する。

ヒストグラムを利用する場合には、例えば、指領域に含まれる色のヒストグラムから重心位置を求める。そして、この重心位置からの距離が所定距離以上となる画素群が存在する場合に、この画素群と、重心位置からの距離が所定距離未満となる画素群とが、色が互いに異なると判定し、それぞれの画素群で指領域を分割する。

なお、上記各所定距離は、指と異物との間で取り得る距離を実験等により求め、その値を考慮して適宜設定することができる。

異物判定部３４は、領域分割部３３によって分割された分割領域の色および面積を用いて、認証対象物に異物が含まれるか否かを判定する。異物判定部３４は、例えば、以下の手順で異物の有無を判定する。

最初に、異物判定部３４は、指領域に含まれる色のヒストグラムから重心位置を求める。続いて、異物判定部３４は、分割領域の画素ごとに、重心位置との色の違いを示すスコアを算出する。スコアは、例えば、ヒストグラムにおいて、重心位置からの距離が大きいほど大きな値になるように算出する。これにより、スコアは、重心位置との色の違いが大きいほど大きな値となる。

ここで、重心位置は、通常は認証対象物である指の色になるはずである。したがって、指部分の画素のスコアは０に近い値となる。一方、指に付着している異物部分の画素のスコアは、肌色からかけ離れた色であるほど大きなスコアとなる。

なお、スコアを算出する際に基準とする色は上記重心位置に限らない。例えば、指領域に含まれる色の平均値であってもよい。また、分割領域の全画素のスコアを算出せずに、分割領域の代表画素のスコアのみを算出することとしてもよい。代表画素としては、例えば、分割領域の色の重心位置や色の平均値に対応する画素を用いることができる。

続いて、異物判定部３４は、算出した画素ごとのスコアを、分割領域ごとに積算する。分割領域ごとにスコアを積算することで、分割領域の代表画素のスコアのみを算出する場合に比べて、異物の判別精度をより向上させることが可能となる。これは、異物の色が指の色に似ていると、異物部分の代表画素のスコアと、指部分の代表画素のスコアとの差が小さくなるが、分割領域ごとにスコアを積算することで、分割領域の面積に応じて両者の差を拡大させることが可能となるためである。つまり、異物の有無を判定する際に、分割領域の色と面積とを考慮することで、分割領域の面積が大きいほど、分割領域ごとの色の差異をより顕著に現すことが可能となる。

続いて、異物判定部３４は、分割領域ごとに積算したスコアのいずれかが、異物であると想定される所定値よりも大きい場合に、認証対象物に異物が含まれていると判定する。所定値は、異物として算出され得る値を実験等により求め、その値を考慮して適宜設定することができる。

なお、異物の有無を判定する際に、必ずしも分割領域の色および面積の双方を用いる必要はない。分割領域の色または面積のいずれか一方を用いて異物の有無を判定することとしてもよい。分割領域の色を用いる場合には、例えば、分割領域ごとに色の重心位置を求め、それぞれの重心位置間の距離が所定距離よりも大きいときに、認証対象物に異物が含まれていると判定することができる。

一方、分割領域の面積を用いる場合には、例えば、分割領域の面積のうち、異物が存在する際に想定され得る最小面積よりも大きな面積が複数存在する場合に、認証対象物に異物が含まれていると判定することができる。また、認証対象物に異物が含まれていなければ、指領域が分割されないことを前提にすることで、例えば、面積を有する分割領域が複数存在する場合に、認証対象物に異物が含まれていると判定することもできる。

また、本発明では指に異物が含まれていることを判別できればよいため、複数ある分割領域のうち、どの分割領域が指に該当し、どの分割領域が異物に該当するのかということまでを区別する必要はない。例えば、指の大部分が異物に覆われている場合には、上述した指領域に含まれる色のヒストグラムの重心位置は、異物の色となる。この場合に、異物部分の画素のスコアは０に近い値となり、指部分の画素のスコアは大きな値となる。そして、指部分の画素の積算スコアが所定値よりも大きくなることで、認証対象物に異物が含まれると判定されることになる。

次に、図２を参照して実施形態における異物判定装置１で実行される異物判定処理について説明する。図２は、認証対象物における異物の有無を判定する際の処理手順を示すフローチャートである。

最初に、異物判定装置１の載置領域に認証対象物が載置されると、光源部２０は認証対象物に光を照射し、撮像部１０は、撮影タイミングをずらして認証対象物を２回撮影する（ステップＳ１０１）。

続いて、画像取得部３１は、上記ステップＳ１０１で撮影された２枚の画像を取得する（ステップＳ１０２）。

続いて、指領域特定部３２は、上記ステップＳ１０２で取得された２枚の画像の色を画素単位で比較し、差分画素群を特定する（ステップＳ１０３）。

続いて、指領域特定部３２は、上記ステップＳ１０１で１回目に撮影された画像から、皮膚の色に相当する肌色画素群を特定する（ステップＳ１０４）。

続いて、指領域特定部３２は、上記ステップＳ１０３で特定された差分画素群と、上記ステップＳ１０４で特定された肌色画素群とを用いて、指領域を特定する（ステップＳ１０５）。

続いて、領域分割部３３は、上記ステップＳ１０５で特定された指領域を、当該指領域に含まれる各画素の色を用いて、色が互いに異なる領域に分割する（ステップＳ１０６）。

続いて、異物判定部３４は、分割領域の画素ごとに、重心位置との色の違いを示すスコアを算出し、算出したスコアを分割領域ごとに積算することで、分割領域ごとのスコアを算出する（ステップＳ１０７）。

続いて、異物判定部３４は、分割領域ごとに積算したスコアが、異物であると想定される所定値よりも大きいか否かを判定する（ステップＳ１０８）。この判定がＮＯである場合（ステップＳ１０８；ＮＯ）に、異物判定部３４は、認証対象物に異物が含まれないと判定する（ステップＳ１１０）。

一方、上記ステップＳ１０８の判定で分割領域ごとに積算したスコアが所定値よりも大きいと判定された場合（ステップＳ１０８；ＹＥＳ）に、異物判定部３４は、認証対象物に異物が含まれると判定する（ステップＳ１０９）。

上述してきたように、実施形態における異物判定装置１によれば、指紋認証の対象となる認証対象物を撮影した画像から指領域を特定し、この指領域を色が互いに異なる領域に分割し、分割した領域の色と面積とを用いて認証対象物に異物が含まれるか否かを判定することができる。したがって、認証対象物に異物が含まれている場合には、指紋認証を中止し、認証対象物に異物が含まれていない場合には、指紋認証を行うことが可能となる。これにより、異物が付着していない指に基づいて指紋認証を適切に行うことができるため、指紋認証の精度を向上させることが可能となる。

なお、上述した各実施形態は、単なる例示に過ぎず、実施形態に明示していない種々の変形や技術の適用を排除するものではない。すなわち、本発明は、その趣旨を逸脱しない範囲で様々な形態に変形して実施することができる。

例えば、上述した実施形態における画像取得部３１は、認証対象物を２回撮影しているが、撮影回数は２回に限定されず、１回であっても、３回以上であってもよい。例えば、撮影回数を１回にする場合には、画像取得部３１は、カメラとしてステレオカメラを備えることとすればよい。ステレオカメラで異物判定用画像を撮影することで、指領域特定部３２は、１枚の異物判定用画像から指領域を特定することが可能となる。この場合に、指領域を特定する方法について、その一例を挙げて説明する。例えば、指の形状や異物が付着した状態の指の形状等を予めモデル化してデータベースに記憶させておく。指領域特定部３２は、異物判定用画像から肌色画素群を特定し、この肌色画素群と、データベースに記憶されているモデルとをパターンマッチングすることで、指領域を特定する。

また、上述した実施形態における異物判定装置１は、指領域特定部３２を備えているが、これに限定されない。例えば、撮像部１０が、背景を含まない認証対象物の画像を撮影する場合には、指領域を特定する必要がないため、指領域特定部３２が不要となる。この場合には、指と指に付着した異物との双方が撮影画像に含まれ、背景が撮影画像に含まれないように撮像部１０を配置する。

また、上述した実施形態における異物判定装置１は、撮像部１０と、光源部２０と、画像取得部３１と、指領域特定部３２と、領域分割部３３と、異物判定部３４と、を備えているが、必ずしもこれら全ての要素を備える必要はない。図３に示すように、異物判定装置１は、少なくとも、画像取得部３１と、領域分割部３３と、異物判定部３４と、を備えていればよい。この場合に、例えば、画像取得部３１は、撮像部１０と光源部２０とを有する指紋認証装置から、背景を含まない認証対象物の画像を取得することとすればよい。

この出願は、２０１０年３月４日に出願された日本出願特願２０１０−４７５８５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明に係る異物判定装置、異物判定方法および異物判定プログラムは、指紋認証の精度を向上させることに適している。

１…異物判定装置、１０…撮像部、２０…光源部、３０…制御部、３１…画像取得部、３２…指領域特定部、３３…領域分割部、３４…異物判定部。

Claims

指紋認証の対象となる認証対象物を撮影した画像を取得する画像取得部と、
前記画像取得部により取得された前記画像を、色の相違を判定する際の所定の判定基準を用いて色が互いに異なる領域に分割する領域分割部と、
前記領域分割部により分割された前記領域の色および／または面積を用いて前記認証対象物に異物が含まれるか否かを判定する異物判定部と、
を備えることを特徴とする異物判定装置。
前記画像取得部により取得された前記画像から色を用いて指領域を特定する指領域特定部を、さらに備え、
前記領域分割部は、前記指領域特定部により特定された前記指領域を、前記領域ごとに分割することを特徴とする請求項１記載の異物判定装置。
前記画像取得部は、同一の前記認証対象物を撮影する複数の撮影タイミングに撮影された複数の前記画像を取得し、
前記指領域特定部は、前記画像取得部により取得された複数の前記画像の差分をさらに用いて前記指領域を特定することを特徴とする請求項２記載の異物判定装置。
前記異物判定部は、前記領域分割部により分割された前記領域の画素の色と、当該分割元の画像の基準となる色との違いを示すスコアを算出し、当該スコアを用いて、前記認証対象物に異物が含まれるか否かを判定することを特徴とする請求項１〜３のいずれか１項に記載の異物判定装置。
前記異物判定部は、前記領域の画素ごとに前記スコアを算出して前記領域ごとに前記スコアを積算し、異物であると想定される所定値よりも積算値が大きい場合に、前記認証対象物に異物が含まれると判定することを特徴とする請求項４記載の異物判定装置。
指紋認証の対象となる認証対象物を撮影した画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記画像を、色の相違を判定する際の所定の判定基準を用いて色が互いに異なる領域に分割する領域分割ステップと、
前記領域分割ステップにおいて分割された前記領域の色および／または面積を用いて前記認証対象物に異物が含まれるか否かを判定する異物判定ステップと、
を含むことを特徴とする異物判定方法。
請求項６に記載の各ステップをコンピュータに実行させるための異物判定プログラム。