初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。
一実施形態に係る画像処理装置100は、画像入力部101と、芯線画像抽出部102と、芯線追加部103と、を備える。画像入力部101は、隆線により曲線縞模様が形成されている画像を入力する。芯線画像抽出部102は、当該画像から芯線を抽出した芯線画像を生成する。芯線追加部103は、芯線画像から、予め定めた、安定して特徴量を算出できない何らかの特徴を有する隆線又は領域を検出し、検出された隆線又は領域に芯線を追加する。
詳細については、後述するが、コア領域やデルタ領域には稀に特徴点が存在しない場合がある。また、コア領域やデルタ領域はノイズ等の影響を受けやすいという特徴がある。このような事情により、サーチ側とファイル側の指紋画像において、一方のコア領域等には特徴点が存在し、他方のコア領域等には特徴点が存在しないという状況が生じうる。このような状況が発生すると、高い照合精度が期待できない。そこで、一実施形態に係る画像処理装置100は、芯線画像からコア領域にて現れる隆線(後述の中核蹄線)やデルタ領域を検出し、これらの検出対象に芯線を追加する。その結果、2つの指紋画像(芯線画像)において、一方には特徴点が存在し、他方には特徴点が存在しないという状況を回避し、照合精度の劣化を抑制できる。
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
図2は、第1の実施形態に係る指紋照合システムの構成の一例を示す図である。図2を参照すると、指紋照合システムは、特徴量生成装置10と、データベース20と、入力装置30と、照合装置40と、を含んで構成される。
特徴量生成装置10は、指紋画像に係るデータ及びそのID(Identifier)情報を入力し、当該入力した指紋画像を特徴付ける特徴量(特徴量ベクトル)を生成する。特徴量生成装置10は、生成した特徴量を指紋画像のID情報と共に、データベース20に出力する。
データベース20は、指紋画像の特徴量とそのID情報を関連付けて記憶する。
入力装置30は、例えば、鑑識官が使用する装置である。入力装置30は、例えば、マウスやタブレット等のポインティングデバイスによる操作を受け付け、鑑識官が特徴量を入力する装置である。入力装置30は、鑑識官が入力した特徴量を、指紋画像のID情報と共に照合装置40に出力する。
照合装置40は、鑑識官が入力した特徴量(入力装置30が出力する特徴量)を用いた照合処理を実行する。具体的には、照合装置40は、鑑識官が入力した特徴量とデータベース20にアクセスすることで得られる特徴量を比較することで、鑑識官が入力した特徴量と同じ、又は、類似する特徴量を持つ指紋画像を特定する。
ここで、押捺指紋は、データベース等へ登録する目的で採取される指紋であり、隆線領域の面積は広く品質は良いという特徴を有する。対して、遺留指紋は、犯罪現場等に遺留された指紋であり、明瞭な隆線領域の面積は狭く、品質が低いことが多いという特徴を持つ。遺留指紋に関しては、信頼度の高い特徴量を得るために、鑑識官が特徴量を入力することが多い。
このような事情を鑑み、第1の実施形態では、特徴量生成装置10は押捺指紋に係る画像を入力し、入力装置30にて鑑識官が特徴量を入力する指紋画像は遺留指紋に係る画像とする。但し、各装置が扱うことができる指紋画像を限定する趣旨ではない。特徴量生成装置10が遺留指紋から特徴量を生成し、その特徴量を照合装置40に提供しても良いし、鑑識官が押捺指紋から特徴量を抽出してもよい。換言するならば、照合の対象となる指紋は、押捺指紋同士でも良いし、遺留指紋同士でも良い。但し、犯罪捜査の用途では、遺留指紋と押捺指紋の照合が行われることが多いことを考慮して、第1の実施形態では上記の構成としている。
[特徴量生成装置の構成及び動作]
図3は、特徴量生成装置10の内部構成の一例を示す図である。図3を参照すると、特徴量生成装置10は、指紋画像入力部11と、芯線画像抽出部12と、特徴量算出部13と、特徴量出力部14と、記憶部15と、を含んで構成される。なお、指紋画像入力部11等の各部は相互にデータの授受が可能に構成されると共に、記憶部15に格納されたデータにアクセス可能である。
指紋画像入力部11は、外部から指紋画像(隆線により曲線縞模様が形成されている画像)に係るデータと、当該指紋画像のID情報と、を入力する手段である。例えば、指紋画像入力部11は、USB(Universal Serial Bus)メモリ等の外部記憶媒体に格納された指紋画像のデジタルデータ(画像ファイル)を取り込み、芯線画像抽出部12に当該データを引き渡す。又は、指紋画像入力部11は、ネットワークを介して指紋画像に係るデータ等を入力してもよい。あるいは、スキャナ等によりデジタル化された指紋画像を入力する構成ではなく、指紋画像入力部11にスキャナ機能を搭載することで、デジタル化された指紋画像を取得してもよい。
指紋画像には標準化された規格が存在する。具体的には、米国National Institute of Standards and Technologyにより標準化されたANSI/NIST-ITL-1-2000 Data Format for the Interchange of Fingerprint、Facial、& Scar Mark & Tattoo (SMT) Informationが存在する。指紋画像入力部11は、上記規格に基づきデジタル化された指紋画像(例えば、解像度が500dpiの指紋画像)を取り扱えることが望ましい。
記憶部15は、例えば、RAM(Random Access Memory)やROM(Read Only Memory)、HDD(Hard Disk Drive)等の媒体により構成され、芯線画像抽出部12等の各部が作業領域やデータを格納領域として使用する。
芯線画像抽出部12は、取得した指紋画像から芯線画像を抽出する手段である。例えば、芯線画像抽出部12は、図4に示すような芯線画像を抽出する。なお、芯線画像抽出部12は、非特許文献1の「3 Fingerprint Analysis and Representation」に開示された芯線画像抽出手法を用いることができる。そのため、芯線画像の抽出に関する詳細な説明は省略するが、芯線画像抽出部12は、概略以下の手順にて、芯線画像を抽出する。
芯線画像抽出部12は、初めに、指紋画像の隆線の方向を抽出する。その後、芯線画像抽出部12は、当該隆線方向に沿って各隆線を強調し、二値画像を生成する。その後、芯線画像抽出部12は、二値画像を芯線化することで、芯線画像(芯線データ)を抽出する。
特徴量算出部13は、芯線画像から特徴点を抽出し、当該特徴点を特徴付ける特徴量を算出する手段である。特徴量算出部13が算出する特徴量には、特徴点(端点、分岐点)の位置と、当該特徴点を方向により特徴付ける特徴点方向と、が含まれる。
特徴量算出部13は、芯線画像抽出部12が抽出した芯線画像から、芯線の分岐点及び端点を抽出することで、特徴点を抽出する。なお、芯線画像から特徴点を抽出する際の手順には、非特許文献1の「3 Fingerprint Analysis and Representation」に開示された特徴点抽出手法を用いることができる。そのため、特徴点抽出に関する詳細な説明は省略する。また、特徴量算出部13は、特徴点の抽出の際に、指紋画像の特異点(コア型特異点、デルタ型特異点)を抽出し、特徴量の1つとして利用する。
例えば、特徴量算出部13は、図4に示すような分岐点201、202や、端点211、212を特徴点として抽出し、各特徴点の位置及びその種別(分岐点、端点)を記憶部15に登録する。
以下、特徴量算出部13による特徴点方向の算出に先立ち、通常行われる特徴点方向の算出処理と、その問題点を説明する。
初めに、分岐点に関する特徴点方向の算出について説明する。その際、図5(a)に示す分岐点203の特徴点方向221の算出を説明する。初めに、分岐点203を形成する3つの隆線(芯線)のそれぞれを分岐点203から一定距離トレースする(隆線上を遡る)ことで、3つの終端点231〜233が決定される(図5(b)参照)。
次に、分岐点203と3つの終端点231〜233により定まる3本の直線が形成する3つの角度a1〜a3それぞれが計算される(図5(c)参照)。次に、計算された3つの角度のうち、最も角度の小さい角度が決定され、当該角度を2分する方向が、特徴点方向221として算出される(図5(b)参照)。
なお、本願開示において、1つの点を始点とする2本の直線により形成される2つの角度のうち、角度の小さい方を内角、大きい方を外角と定める。また、1つの点を始点とする3本の直線により形成される3つの角度のうち、最小の角度をもつものを最小内角、2番目に小さい角度をもつものを第2最小内角、角度の最も大きいものを最大内角と定める。図5(c)の例では、角度a1が最小内角、角度a2の方が角度a3よりも小さければ、角度a2が第2最小内角となる。
次に、図6を参照しつつ、端点に関する特徴点方向の算出について説明する。初めに、端点213から、その端点を形成する隆線(芯線)上を一定距離トレースし、終端点234が算出される。端点213から終端点234に向けた方向が、端点213の特徴点方向として算出される。なお、後述する第1及び第2特徴点方向を含む特徴点方向は、図7に示すように、指紋画像内の2次元座標系におけるX軸と、特徴点方向による直線と、により形成される角度θを用いて特徴量として表記される。
分岐点及び端点を算出する際のトレース距離は、算出される特徴点方向に大きな影響を与える重要なパラメータである。第1の実施形態では、隆線間隔の2本分を上記トレース距離に設定している。しかし、トレース距離はこれに限られない。
図5及び図6を参照しつつ説明した方法により、特徴点の特徴点方向が算出されるが、コア領域(指紋中心点の近傍)やデルタ領域(三角州の領域)では、算出された特徴点方向が不安定になるという問題がある。その理由を、図8を参照しつつ、説明する。なお、図8(a)に示す指紋画像はコア領域を抜粋した図である。
上記方法に従い、図8(a)に示された分岐点204を形成する隆線を3方向に所定の距離、トレースすると、3点の終端点235〜237が得られる(図8(b)参照)。次に、分岐点204と3つの終端点235〜237のそれぞれを結ぶ3本の直線により形成される3つの内角a1〜a3のうち、最小内角a1を2分する方向が分岐点204の特徴点方向として算出される(図8(c)参照)。
ここで、図8(b)を参照すると、3つの内角のうち、最小内角a1と第2最小内角a2の角度差が小さいことが理解される。このことは、3つの内角を定める種々の要因が僅かでも変動すると、最小内角と第2最小内角の関係が逆転し得ることを意味する。例えば、同一の指紋画像であっても、当該指紋画像に適用する二値化や芯線化処理の些細な違いにより特徴点方向が大きく変動する可能性がある。
図9は、遺留指紋画像の一例を示す図である。図9に示す指紋画像の分岐点205の周辺を拡大した図が、図10(a)及び図10(d)である。図10(a)及び図10(d)では、指紋画像に対し異なる方式の芯線化処理を施し、その結果を重ねて表示している。図10(b)は図10(a)から芯線を抽出した図であり、図10(e)は図10(d)から芯線を抽出した図である。図10(b)と図10(e)それぞれに示す芯線画像に対して、上述の特徴点方向の算出に係る処理(最小内角を2分する方向を算出する処理)を適用すると、図10(c)と図10(f)に示す特徴点方向242、243が得られる。
図10を参照すると、同一の遺留指紋であっても、コア領域に存在する分岐点の特徴点方向は、芯線の些少な違いにより、大きく変動することが確認できる。このように、コア領域では特徴点方向を安定して一意に決定することが困難であり、同じ人物から採取した指紋画像であっても、サーチ側とファイル側にて異なる特徴点方向を算出してしまうことがある。その結果、サーチ側とファイル側にて対となる特徴点間の特徴点方向の差が大きくなり、照合スコアが低下する要因やペアリングが失敗する要因となり得る。
上記の説明は芯線処理の方式が異なる場合であるが、コア領域にて特徴点方向が一意に定まらないという現象は、遺留指紋に顕著な画像歪みや汚れ等により容易に発生し得る。
さらに、デルタ領域では、分岐点と3つの終端点を結ぶ直線からなる3つの内角の角度差は、コア領域の分岐点よりも小さいものと言える。つまり、デルタ領域では3本の隆線が3方向に延伸するため、3つの内角はほぼ120度前後となる。そのため、デルタ領域では、算出された特徴点方向はより不安定であるという傾向がある。
また、上述したように、遺留指紋の品質は低いことが多く、コンピュータを利用した情報処理による特徴点の自動的な抽出には不向きである。そのため、遺留指紋専門官(Latent Examiner)が、手動にて特徴点の位置とその特徴点方向を入力することが多い。このような入力作業は、「特徴点マニュアル入力」と呼ばれる。専門的な知見を有する遺留指紋専門官であっても、コア領域やデルタ領域の分岐点における最小内角を一意に決定することは困難であり、遺留指紋専門官が異なれば異なる特徴点方向が指定されることも多い。その結果、サーチ側とファイル側の特徴量が異なることになり、照合精度の劣化要因の1つとなっている。
以上の状況を鑑みて、第1の実施形態に係る特徴量生成装置10では、上記図5及び図6を参照しつつ説明した特徴点方向の算出方法による特徴点方向と、当該方法とは異なる方法による特徴点方向と、を算出する。
なお、以降の説明において、図5及び図6を参照しつつ説明した特徴点方向の算出方法を第1の算出方法と表記し、当該方法により算出された特徴点方向を第1特徴点方向と表記する。また、以降説明する第1の算出方法とは異なる方法を第2の算出方法と表記すると共に、当該方法により算出された特徴点方向を第2特徴点方向(Secondary Direction)と表記する。
図11は、特徴量算出部13の動作の一例を示すフローチャートである。図11を参照しつつ、主に特徴点方向に関する第2の算出方法を説明する。
ステップS101において、特徴量算出部13は、取得した芯線画像から特徴点を抽出し、その位置及び種別を記憶部15に登録する。その後、特徴量算出部13は、ステップS102以降の処理を実行することで、芯線画像に散在する各特徴点について、その特徴点方向を算出する。
ステップS102において、特徴量算出部13は、特徴点方向算出の対象となっている特徴点が分岐点か端点かを確認する。
分岐点の場合(ステップS102、Yes分岐)には、特徴量算出部13は、ステップS103〜S105に係る処理を実行する。端点の場合(ステップS102、No分岐)には、特徴量算出部13は、ステップS106〜S116に係る処理を実行する。
ステップS103において、特徴量算出部13は、第1の算出方法により、分岐点の第1特徴点方向を算出する。ここでは、第1の算出方法により、図8(b)に示す芯線画像と3つの内角a1〜a3が得られ、図8(c)に示す第1特徴点方向が算出されたものとする。
第1特徴点方向の算出が終了すると、特徴量算出部13は、第2最小内角と最小内角の差分値(角度差)を計算し、当該差分値が所定の閾値以下か否かを判定する(ステップS104)。図8(b)に示す例では、第2最小内角a2から最小内角a1の角度を減算し、上記差分値が計算される。
上記差分値が閾値以下(ステップS104、Yes分岐)であれば、特徴量算出部13は、分岐点の第2特徴点方向を算出する(ステップS105)。具体的には、特徴量算出部13は、第2最小内角を2分する方向を第2特徴点方向として算出する。例えば、図12に示すように、第1特徴点方向301に加え、第2最小内角a2を2分する第2特徴点方向311が算出される。なお、特徴量算出部13が第2特徴点方向を算出するか否かの判断に用いる閾値(ステップS104の閾値)は、例えば、20度〜30度程度とすることができる。
ここで、本願開示において、第1特徴点方向を図示する場合には膨らみを持たせた実線を使用し、第2特徴点方向を図示する場合には膨らみのない実線を使用する。
特徴量算出部13は、第2最小内角と最小内角の角度差が小さい(例えば、角度差が30度以下)場合に、第2最小内角を2分する方向を第2特徴点方向として算出する。差分値が閾値より大きい場合(ステップS104、No分岐)には、特徴量算出部13は、分岐点についての第2特徴点方向を算出せず、処理を終了する。
図13(a)は、図10(a)に示す指紋画像から算出した第1特徴点方向と第2特徴点方向の一例を示す図であり、図13(b)は図10(d)に示す指紋画像から算出した第1特徴点方向と第2特徴点方向の一例を示す図である。図13を参照すると、図13(a)に示す第1特徴点方向302と図13(b)に示す第2特徴点方向313は一致(実質的に一致;2つの方向のずれが所定の範囲内)し、図13(a)の第2特徴点方向312と図13(b)の第1特徴点方向303が一致(実質的に一致)することが分かる。
これらの特徴点方向を用いた照合については後述するが、第2特徴点方向を新たな特徴量として導入することで、コア領域等における特徴点方向の変動に起因する照合精度の劣化を抑制できる。即ち、2つの特徴点において、第1特徴点方向が異なるとしても、一方の第1特徴点方向と他方の第2特徴点方向が一致すれば、2つの特徴点は対となる特徴点(対特徴点)と定めることができる。
上述の第2の算出方法は、コア領域に存在する分岐点を例に取った場合であるが、デルタ領域に存在する分岐点に関しても、コア領域に存在する分岐点から第2特徴点方向を算出する場合と同じ方法で算出できる。
例えば、図14を参照すると、最小内角a1により第1特徴点方向304が、第2最小内角a2により第2特徴点方向315がそれぞれ、デルタ領域に存在する分岐点321を特徴付ける特徴点方向として算出される。
上記説明したように、特徴量算出部13は、抽出された特徴点が分岐点である場合、当該分岐点をなす3本の隆線が形成する3つの内角のうちの1つの内角(例えば、図8(b)に示す最小内角a1)に基づき、第1特徴点方向を算出する。さらに、特徴量算出部13は、当該3つの内角のうち少なくとも2つの内角間の関係(例えば、図8(b)に示す最小内角a1と第2最小内角a2との間の大小関係)に基づき、第2特徴点方向を算出する。具体的には、特徴量算出部13は、3つの内角のうち、角度が最小である内角と角度が2番目に小さい内角との間の角度差が閾値よりも小さい場合に、第2特徴点方向を算出する。より詳細には、特徴量算出部13は、最小内角を2分する方向であって、隆線をトレースして得られる終端点に向かう方向を第1特徴点方向とし、第2最小内角を2分する方向であって、隆線をトレースして得られる終端点に向かう方向を第2特徴点方向とする。
特徴点が端点の場合(図12のステップS102、No分岐)、特徴量算出部13は、第1の算出方法により、端点の第1特徴点方向を算出する(ステップS106)。
次に、特徴量算出部13は、端点の第2特徴点方向の候補を算出する(ステップS107)。具体的には、特徴量算出部13は、端点から通常のトレース距離(第1の算出方法時のトレース距離;以下、第1トレース距離と表記する)よりも長い距離(以下、第2トレース距離)、隆線上をトレースし2つのトレース距離による2つの終端点を算出する。なお、第2のトレース距離は、第1のトレース距離の倍程度とするのが望ましい。例えば、図15を参照すると、第1の算出処理により終端点341が算出され、端点331から第2のトレース距離に位置する終端点342が算出される。特徴量算出部13は、端点331から第2のトレース距離による終端点342に向かう方向を、第2特徴点方向の候補に設定する。
図11のステップS108において、特徴量算出部13は、端点331と終端点341を結ぶ直線と、端点331と終端点342を結ぶ直線と、から形成される内角b1を計算する。
その後、特徴量算出部13は、当該計算した角度(図15に示す内角b1)と閾値(例えば、45度)を比較する(ステップS109)。
計算した内角が閾値よりも大きい場合には(ステップS109、Yes分岐)、特徴量算出部13は、ステップS107にて設定した第2特徴点方向の候補を、そのまま第2特徴点方向に定める(ステップS110)。即ち、特徴量算出部13は、2つのトレース距離それぞれに対応して計算した2つの終端点から得られる内角が閾値よりも大きい場合には、端点から第2のトレース距離により得られる終端点に向かう直線の方向を第2特徴点方向とする。
図16を参照すると、例えば、第1トレース距離によるトレースにより終端点343が得られ、第2のトレース距離によるトレースにより終端点344が得られるとする。この場合、端点332から終端点343に向けた方向が第1特徴点方向となり、端点332から終端点344に向けた方向が第2特徴点方向となる。
上記説明したように、特徴量算出部13は、抽出された特徴点が端点である場合、端点から、端点をなす隆線上を第1の距離トレースすることで得られる第1の終端点に向かう方向を第1特徴点方向とする。また、特徴量算出部13は、端点をなす隆線上を第1の距離よりも長い第2の距離トレースすることで得られる第2の終端点を計算し、端点と第1の終端点を結ぶ直線と、端点と第2の終端点を結ぶ直線と、により端点において形成される内角が、所定の条件(例えば、2本の直線による内角が閾値以上)を満たす場合に、端点から第2の終端点に向かう方向を第2特徴点方向として算出する。
特徴量算出部13は、ステップS110の方法により第2特徴点方向を定めることができない場合(ステップS109、No分岐)には、ステップS111以降の方法により、第2特徴点方向の算出を試みる。
図17は、特徴量算出部13による第2特徴点方向の算出を説明するための図である。図17を参照しつつ、ステップS111以降の特徴量算出部13の動作を説明する。
ステップS111において、特徴量算出部13は、端点333から第1のトレース距離による第1特徴点方向351に相対する方向(反対方向;180度反転した方向)に所定の長さ(例えば、隆線間隔1本分)を有する仮想線361を設定する。
次に、特徴量算出部13は、当該仮想線361と隆線の交点が存在するか否かを判定する(ステップS112)。図17の例では、交点371が検出される。
仮想線と隆線の交点が検出された場合(ステップS112、Yes分岐)には、特徴量算出部13は、検出された交点から、隆線上を2方向に一定距離(例えば、隆線間隔2本分)トレースし、2つの終端点345、346を計算する(ステップS113)。
次に、特徴量算出部13は、交点371と端点333を結ぶ直線(仮想線361の一部)と、交点371と終端点345を結ぶ直線と、交点371と終端点346を結ぶ直線と、からなる3本の直線により交点371にて形成される3つの内角a4〜a6を計算する(ステップS114;図17(b)参照)。
その後、特徴量算出部13は、3つの内角のうち角度が最も大きい内角a6を除く、2つの内角a4、a5のうち、大きい方の内角(図17の例では、内角a5;第2最小内角)が閾値(例えば、145度)以下か否かを判定する(ステップS115)。
第2最小内角が閾値以下である場合(ステップS115、Yes分岐)には、特徴量算出部13は、交点371から終端点345に向く方向を、第2特徴点方向に定める(ステップS116)。
図17(c)を参照すると、端点333に対応する特徴点方向として、第1特徴点方向351と、第2特徴点方向352と、が算出される。なお、図17(c)において、交点371を端点333の位置に移動させ、第2特徴点方向352の始点が端点333と重なるように図示している。
第2最小内角が閾値より大きい場合(ステップS115、No分岐)には、特徴量算出部13は、当該端点に対応する第2特徴点方向は存在しないと決定する(処理を終了する)。
上記の計算を実行すると、コア領域やデルタ領域以外の領域では、3本の直線により形成される角度のうち、第2最小内角(図17(b)の例では、内角a5)は180度に近い値となる(閾値として定めた145度を超える)。そのため、コア領域やデルタ領域以外の領域では、第2特徴点方向が算出される端点は少ない。
なお、図11のフローチャートを参照しつつ説明した端点の第2特徴点方向の算出では、所定の条件に応じて、ステップS110による第2特徴点方向の算出と、ステップS116による第2特徴点方向の算出と、が実行されるがいずれか一方に限り実行され、端点に関する第2特徴点方向の算出が行われても良いことは勿論である。
図16及び図17を参照して説明した端点の第2特徴点方向の算出方法は、コア領域における説明であるが、デルタ領域の端点についても同様の方法にて第2特徴点方向を算出できる。
例えば、図18を参照すると、端点334がデルタ領域に存在している。特徴量算出部13は、端点334から第1のトレース距離により終端点347を計算する(第1特徴点方向を算出する)。この場合、端点と第1のトレース距離による終端点を結ぶ直線と、端点と第2のトレース距離による終端点を結ぶ直線と、からなる内角は閾値より小さく(ステップS109、No分岐)、ステップS111以降の処理が実行される。
特徴量算出部13は、第1特徴点方向とは逆の方向に仮想線362を設定し、仮想線362と隆線との交点372を得る(ステップS111)。次に、特徴量算出部13は、交点372から隆線上を2方向に一定距離トレースし、2つの終端点348、349を計算する(ステップS113)。次に、特徴量算出部13は、交点372と端点334を結ぶ直線と、交点372と終端点348を結ぶ直線と、交点372と終端点349を結ぶ直線と、からなる3本の直線により形成される3つの内角a4〜a6を計算する(ステップS114;図18(b)参照)。この場合、第2最小内角a5は、閾値以下と言えるので、交点372から終端点348に向かう方向が、第2特徴点方向353として算出される(ステップS116;図18(c)参照)。なお、図18(c)においても、交点372を端点334の位置に移動させ、第2特徴点方向353の始点が端点334と重なるように図示している。
上記説明したように、特徴量算出部13は、ステップS110により第2特徴点方向を算出できない場合に、端点から第1特徴点方向とは反対方向に延伸する、端点を始点とする仮想線を設定する。そして、特徴量算出部13は、仮想線が所定の範囲内にて隆線と交点を持ち、且つ、所定の条件を満たす場合に、第2特徴点方向を算出する。
以上により、特徴量算出部13による特徴点の特徴量算出処理が終了する。
特徴量算出部13による特徴量算出処理が終了すると、図19に示すような特徴量が得られる。図19を参照すると、特徴量算出部13は、指紋画像ごとに当該指紋画像に存在する特徴点に関する特徴量(特徴点の種別、位置、第1特徴点方向、第2特徴点方向)を算出する。上述のように、コア領域やデルタ領域では、第1特徴点方向に加え第2特徴点方向が算出されるが、他の領域では第2特徴点方向が算出されないことが多い。図19では、算出されなかった第2特徴点方向を記号「−」を用いて表記している。
特徴量算出部13は、算出した特徴量(図19に示すような結果)を特徴量出力部14に引き渡す。
特徴量出力部14は、特徴量算出部13が算出した特徴量を、特徴量算出部13により抽出された特徴量としてデータベース20に出力する。その際、特徴量出力部14は、特徴量と、当該特徴量に対応する指紋画像のID情報と、を関連付けて、データベース20に出力する。なお、特徴量出力部14は、算出された特徴量に加え、指紋画像の特異点(コア型特異点、デルタ型特異点)をデータベース20に出力しても良い。
[入力装置の構成及び動作]
次に、入力装置30の構成及び動作について説明する。
図20は、入力装置30の内部構成の一例を示す図である。図20を参照すると、入力装置30は、データ入力部31と、データ出力部32と、記憶部33と、を含んで構成される。
データ入力部31は、遺留指紋等に係る画像データと当該遺留指紋のID情報を、外部記憶装置(USBメモリ等)やネットワークにより入力する。また、データ入力部31は、鑑識官による操作を受け付けると共に、当該操作に応じた操作画面を生成し、当該操作画面を液晶ディスプレイ等の表示装置(図示せず)に表示する。即ち、データ入力部31は、ユーザ(オペレータ)の操作に供する画面を表示装置に表示し、ユーザによる特徴点の特徴量を入力する操作を受け付ける。
鑑識官は、表示装置に写る操作画面により、指紋画像(主に遺留指紋画像)から特異点(コア型特異点、デルタ型特異点)や特徴点を見つけ出し、その位置に関する情報や特徴量を入力する。例えば、鑑識官は、第1特徴点方向や第2特徴点方向のような特徴点方向を入力する場合には、入力する特徴点方向に沿ってドラッグ操作を行うことにより、特徴点方向を入力する。その後、鑑識官によるドラッグ操作が終了すると、データ入力部31は、図21に示すようなプルダウンメニューを表示させ、鑑識官が、「第1特徴点方向の設定」や「第2特徴点方向の設定」を選択することに応じて、特徴点方向を入力する。
なお、入力装置30は、鑑識官により入力された特徴点方向を表示する場合には、図13等に示すように、第1特徴点方向と第2特徴点方向の表示態様を互いに異なるものとするのが望ましい(例えば、一方は膨らみを持たせる、他方は膨らみを持たせない、あるいは点線を用いる、表示色を変更する等)。そのような操作インターフェイスを鑑識官に提供することで、鑑識官は直感的な操作にて特徴量の入力を行えるようになる。
データ入力部31は、このようにして入力された各特徴点の特徴量を記憶部33に格納する。その際、データ入力部31は、ドラッグ操作により示された特徴点方向を、図7に示す角度に変換する等の処理を実行し、特徴量生成装置10がデータベース20に登録する特徴量と同様のフォーマットによる特徴量を記憶部33に格納する。ここで、入力装置30は、上述した指紋画像入力部11、芯線画像抽出部12、特徴量算出部13、特徴量出力部14を備えており、遺留指紋に係る画像データの特徴量とID情報を表示装置に表示するような構成にしてもよい。このような構成により、鑑識官は、表示された遺留指紋に係る特徴量に誤りがあった場合に修正するだけでよく、鑑識官の処理工数を削減できる。
データ出力部32は、鑑識官によるデータ入力操作が終了すると、記憶部33に格納された特徴量を読み出して、当該特徴量を遺留指紋画像のID情報と共に照合装置40に出力する。
[照合装置の構成及び動作]
次に、照合装置40の構成及び動作について説明する。
図22は、照合装置40の内部構成の一例を示す図である。図22を参照すると、照合装置40は、特徴量入力部41と、特徴点照合部42と、照合結果出力部43と、記憶部44と、を含んで構成される。
特徴量入力部41は、指紋照合における探索側(サーチ側)となる指紋画像に係る特徴量とID情報を入力装置30から入力する。また、特徴量入力部41は、特徴点照合部42からの依頼に応じて、データベース20にアクセスし、指紋照合における被探索側(ファイル側)となる指紋画像に係る特徴量とID情報を取得する。特徴量入力部41は、取得した特徴量とID情報(サーチ側とファイル側の特徴量及びID情報)を特徴点照合部42に引き渡す。
特徴点照合部42は、サーチ側の指紋(遺留指紋)画像に係る特徴量と、ファイル側の指紋(押捺指紋)画像に係る特徴量と、に基づきサーチ側とファイル側の指紋画像の照合を行い、照合結果を示す照合スコアを計算する。特徴点照合部42は、与えられた2つの特徴量の照合を行う際、位置及び第1特徴点方向の照合に関しては、非特許文献1の「4 Fingerprint Matching」に開示された特徴点照合処理を用いることができる。
ここでは、図23以降の図面を参照しつつ、特徴点照合部42による第2特徴点方向を利用した照合処理を主に説明する。なお、図23(a)の左側に図示した指紋画像は遺留指紋に係る画像であり、図示された特徴点及びその特徴量は、鑑識官が入力したものである。また、図23(a)の右側に図示した指紋画像は、左側の指紋画像に対応する人物の押捺指紋に係る画像であって、図示された特徴点及びその特徴量は、特徴量生成装置10が算出したものである。
特徴点照合部42は、図23(a)の左側に図示された複数の特徴点401〜405と、右側に図示された複数の特徴点(特徴点411〜415を含む10個の特徴点)と、の間の対応関係を検出する。例えば、左側(サーチ側;遺留指紋側)の特徴点401と右側(ファイル側;押捺指紋側)の特徴点411と、の間の対応関係や、左側の特徴点402と右側の特徴点412の間の対応関係が、検出される。
特徴点同士の対応関係算出にあたり、特徴点照合部42は、第2特徴点方向を考慮して対応関係の検出を行う。より具体的には、特徴点照合部42は、以下に示す照合規則(1)〜(3)にて特徴点間の対応関係を検出する。その際、特徴点照合部42は、2つの指紋画像の位置合わせ(位置決め)処理を実施し、特徴点座標を変換する。2つの指紋画像の位置合わせには種々の方法を採用することができる。例えば、特異点(コア型特異点、デルタ型特異点)を利用して2つの指紋画像の位置合わせを行ってもよい。特徴点照合部42は、位置合わせ処理にて座標変換された後のサーチ側とファイル側の2つの特徴点座標が所定の範囲内にあれば、当該2つの特徴点は対特徴点の候補として扱う。その上で、特徴点照合部42は、対特徴点の候補それぞれの特徴量(第1及び第2特徴点方向)を比較し、最終的な判定(対特徴点、非対特徴点)を行う。
照合規則(1)2つの特徴点の位置関係が所定の範囲内にある場合おいて、2つの特徴点が共に第2特徴点方向を有さない場合には、それぞれの特徴点が有する第1特徴点方向が実質的に一致するか否かに応じて、対応関係が検出される(対特徴点と判定される)。つまり、位置合わせ処理で座標変換された後のサーチ側とファイル側の2つの特異点座標が所定の範囲内にある場合に、当該2つの特徴点は同じ位置に存在すると判定される。その後、各特徴点の有する第1特徴点方向が一致すれば、2つの特徴点は対特徴点であると判定される。
照合規則(2)2つの特徴点の位置関係が所定の範囲内にある場合において、一方の特徴点が第1特徴点方向に限り有し、他方の特徴点が第1及び2特徴点方向を有する場合には、以下の条件に従い対応関係が検出される。
(2−1)特徴点種別(分岐点、端点)が同一の場合には、第1特徴点方向を有する特徴点の第1特徴点方向が、他方の特徴点の第1及び第2特徴点方向のいずれか一方と実質的に一致する場合、対応関係が検出される。
(2−2)特徴点種別が異なる場合には、第1特徴点方向を有する特徴点と、第1及び第2特徴点方向を有する特徴点それぞれの特徴点方向が、以下の関係のいずれかを満たす場合に、2つの特徴点の間に対応関係が検出される。
第1の関係は、第1特徴点方向を有する特徴点の第1特徴点方向が、他方の特徴点が有する第1及び第2特徴点方向のいずれか一方と実質的に一致する場合である。第1の関係を満たす2つの特徴点の間には、対応関係が検出される。
第2の関係は、第1特徴点方向を有する特徴点の第1特徴点方向が、他方の特徴点が有する第1及び第2特徴点方向による直線からなる内角を2分する方向と実質的に一致する場合である。なお、以降の説明において、第1及び第2特徴点方向による直線からなる内角を2分する方向を、第1照合用方向と表記すると共に図面では点線を用いて図示する。第2の関係を満たす2つの特徴点の間にも、対応関係が検出される。即ち、第1特徴点方向を有する特徴点が分岐点であれば、当該分岐点が有する第1特徴点方向と、位置関係が所定の範囲内にある端点の第1照合用方向と、の比較により、2つの特徴点間の対応関係が判定される。同様に、第1特徴点方向を有する特徴点が端点であれば、当該端点が有する第1特徴点方向と、位置関係が所定の範囲内にある分岐点の第1照合用方向と、の比較により、2つの特徴点間の対応関係が判定される。
図24を参照して特徴点種別が同一の場合を具体的に説明すると、特徴点406が第1特徴点方向を有し、特徴点416は2つの特徴点方向を有する。図24(a)に示す場合は、特徴点406の第1特徴点方向と、特徴点416の第1特徴点方向が一致するので、2つの特徴点には対応関係が検出される。図24(b)に示す場合は、特徴点406の第1特徴点方向と、特徴点416の第2特徴点方向が一致するので、2つの特徴点には対応関係が検出される。一方、図24(c)に示す場合には、特徴点406の第1特徴点方向は、特徴点416の第1及び第2特徴点方向のいずれとも一致しないので、2つの特徴点には対応関係がないと判定される(対応関係は検出されない)。
次に、図25を参照して、特徴点種別が異なる場合を具体的に説明する。図25を参照すると、第1特徴点方向を有する特徴点407は分岐点である。また、第1及び第2特徴点方向を有する特徴点417は端点である。従って、図25の例では、2つの特徴点407、417が上記(2−2)の第1の関係、又は、第2の関係を有するか否かに基づき、2つの特徴点間の対応関係が判定される。図25(a)の場合には、特徴点407の第1特徴点方向と、特徴点417の第1特徴点方向と、が実質的に一致するので、上記第1の関係を満たす。従って、2つの特徴点間に対応関係が検出される。図25(b)の場合には、特徴点407の第1特徴点方向と、特徴点417の第1照合用方向(第1及び第2特徴点方向を2分する方向)と、が実質的に一致するので、上記第2の関係を満たす。従って、2つの特徴点間に対応関係が検出される。対して、図25(c)を参照すると、特徴点407の第1特徴点方向は、特徴点417の第1及び第2特徴点方向のいずれとも一致せず、且つ、第1照合用方向とも一致しない。即ち、2つの特徴点は、上記第1及び第2の関係のいずれも満たさないので、2つの特徴点の間に対応関係は検出されない。
照合規則(3)2つの特徴点の位置関係が所定の範囲内にあり、且つ、2つの特徴点が共に、第1及び2特徴点方向を有する場合には、以下の条件に従い対応関係が検出される。
(3−1)同種の特徴点の位置関係が所定の範囲内にあり、且つ、2つの特徴点それぞれが第1及び第2特徴点方向を有する場合には、下記に示す4つの特徴点方向の組み合わせのうち、1つが実質的に一致する場合に、2つの特徴点の間には対応関係が検出される。第1の組み合わせは、一方の第1特徴点方向と、他方の第1特徴点方向と、からなる組み合わせである。第2の組み合わせは、一方の第1特徴点方向と、他方の第2特徴点方向と、からなる組み合わせである。第3の組み合わせは、一方の第2特徴点方向と、他方の第1特徴点方向と、からなる組み合わせである。第4の組み合わせは、一方の第2特徴点方向と、他方の第2特徴点方向と、からなる組み合わせである。同種の特徴点それぞれが第1及び第2特徴点方向を有する場合には、上記第1〜第4の組み合わせのうち少なくとも1つにて、特徴点方向が実質的に一致するか否かにより、2つの特徴点間の対応関係が判定される。
(3−2)2つの特徴点の種別が異なり、且つ、2つの特徴点のうちいずれか1つの特徴点が有する2つの特徴点方向による直線からなる内角が所定の閾値(例えば、100度)以下の場合には、2つの特徴点それぞれから上記の第1照合用方向(第1特徴点方向と第2特徴点方向の内角を2分する方向)を計算し、当該第1照合用方向も考慮して、2つの特徴点間の対応関係が検出される。具体的には、2つ特徴点それぞれが有する、第1特徴点方向、第2特徴点方向及び第1照合用方向からなる9通りの組み合わせのうち、少なくとも1つにおいて2つの方向(特徴点方向、照合用方向)が実質的に一致すれば、2つの特徴点間には対応関係が検出される。
(3−3)2つの特徴点の種別が異なり、且つ、2つの特徴点のうちいずれか1つの特徴点が有する2つの特徴点方向による直線からなる内角が所定の閾値(上記閾値;例えば、100度)を越える場合には、第1照合用方向に加え、2つの特徴点それぞれの2つの特徴点方向による直線からなる外角を2分する方向(以下、第2照合用方向;図面では一点鎖線を用いて図示する)が比較対象に追加される。即ち、2つの特徴点それぞれが有する、第1特徴点方向、第2特徴点方向、第1照合用方向及び第2照合用方向からなる16通りの組み合わせのうち、少なくとも1つにおいて2つの方向が実質的に一致すれば、2つの特徴点間には対応関係が検出される。2つの特徴点方向による直線からなる内角が所定の閾値(例えば、100度)を越える場合として、デルタ領域に特徴点が存在する場合が想定される。つまり、特徴点がデルタ領域に存在する場合には、第1及び第2特徴点方向の値によらず、2つの特徴点には一定の評価が与えられる。
図26及び図27を参照し、上記の照合規則(3)を具体的に説明する。
例えば、図26を参照すると、特徴点408と特徴点418は共に分岐点であり、第1及び第2特徴点方向を有する。従って、図26の例では、2つの特徴点間の対応関係の検出に上記(3−1)の規則が用いられる。図26(a)に示す場合は、特徴点408の第1及び第2特徴点方向と、特徴点418の第1及び第2特徴点方向が共に一致するので、2つの特徴点同士には対応関係が検出される。また、図26(b)に示す場合は、特徴点408の第1特徴点方向と特徴点418の第2特徴点方向、特徴点408の第2特徴点方向と特徴点418の第1特徴点方向、それぞれが一致するので、この場合にも2つの特徴点には対応関係が検出される。
図27を参照すると、特徴点409と特徴点419は特徴点種別が異なる関係にある。従って、図27の例では、2つの特徴点間の対応関係の検出に上記(3−2)又は(3−3)の規則が用いられる。図27(a)の場合は、各特徴点が有する第1及び第2特徴点方向による直線からなる内角が閾値(例えば、100度)以下であるので、第1照合用方向も考慮にいれ、各特徴点の3つの方向からなる9通りの組み合わせのうち、1つでも2つの方向が実質的に一致する場合に、2つの特徴点に対応関係があると判定される。図27(a)の場合には、特徴点409の第2特徴点方向と、特徴点419の第1照合用方向が実質的に一致するので、2つの特徴点には対応関係が検出される。
図27(b)に示す場合は、各特徴点が有する第1及び第2特徴点による直線からなる内角が閾値(例えば、100度)を越えるので、第1及び第2照合用方向も考慮にいれ、各特徴点の4つの方向からなる16通りの組み合わせのうち、1つでも2つの方向が実質的に一致する場合に、2つの特徴点に対応関係があると判定される。図27(b)の場合では、特徴点409の第1照合用方向と、特徴点419の第2照合用方向と、が少なくとも一致するので、2つの特徴点には対応関係があると判定される。つまり、図27(b)に示すように、2つの特徴点それぞれが有する第1及び第2特徴点方向に一致する特徴点方向が見出せない場合にも、当該特徴点がデルタ領域に存在する(内角が100度を超える)場合には、2つの特徴点には対応関係があると判定され得る。
上記(1)〜(3)の照合規則を、図23(a)に示す2つの指紋画像に適用すると、5つの対特徴点が検出される。
図23(a)を参照すると、左側の特徴点402と、右側の特徴点412は、それぞれ第2特徴点方向を有する特徴点である。図23(b)は、特徴点402を抽出した図であり、図23(c)は特徴点412を抽出した図である。図23(b)及び(c)を参照すると、特徴点402と特徴点412の間には、図26(b)の関係が認められ、対応関係が検出される。
図23(b)及び(c)において、第2特徴点方向を考慮しなければ、2つの特徴点が有する第1特徴点方向は互いに異なるため、2つの特徴点に対応関係が検出されない。従って、図23(a)に示す2つの指紋画像の照合精度は悪化する。しかし、第1の実施形態に係る特徴点照合部42は、第2特徴点方向も合わせて、特徴点同士の対応関係を算出することで、両者はペアとなる特徴点であると検出可能である。
ここで、コア領域やデルタ領域の近傍では、押捺時のプレッシャーや遺留指紋画像の汚れ等が要因となって、端点の位置が変化(伸び縮み)し易い傾向にある。コアの近傍領域において、端点位置が変化してしまうと、第1特徴点方向も変動してしまうが、第2特徴点方向を導入することで、このような端点位置の変動による影響が緩和できる。つまり、上記(3)の照合規則により、2つの特徴点が所定の範囲内にあり、且つ、それぞれの特徴点が第1及び第2特徴点方向を有する場合には、2つの特徴点には対応関係が検出されることが多くなる。あるいは、端点位置が変化することにより第1及び第2特徴点方向のいずれかが変化したとしても、2つの特徴点方向が同時に変化する事は稀であると考えられるため、第1及び第2特徴点方向のうち少なくとも一方は一致するとも考えられる。そのような場合には、照合精度の劣化は最小限に抑制される。
また、コア領域やデルタ領域の近傍では、押捺時のプレッシャーや遺留指紋画像の汚れなどにより、特徴点種別の変化(分岐点から端点、あるいはその逆)が起きることがある。このような場合であっても、第1及び第2特徴点方向を照合に利用することで、照合精度の劣化を抑制できる。
例えば、図28(a)に示す指紋画像(芯線データ)が押捺指紋としてファイル側に登録され、図28(a)の指紋画像に対応する人物の遺留指紋が図28(b)〜(d)のいずれか1つであるとする。図28(b)〜(d)の場合、ノイズ等の影響により、分岐点が端点に遷移している。図28(a)に示す指紋画像からは、2つの特徴点方向が算出される。また、図28(b)、(c)の指紋画像からは第1特徴点方向が算出される。図28(a)と図28(b)に示す指紋画像の照合では、上記(2−2)の照合規則に従って特徴点の対応関係が検出される。この場合、図28(a)の第1特徴点方向と図28(b)の第1特徴点方向が実質的に一致するので、2つの特徴点には対応関係があると判定される。同様に、図28(a)と図28(c)の照合では、図28(a)の第2特徴点方向と図28(c)の第1特徴点方向が実質的に一致するので、2つの特徴点には対応関係があると判定される。
図28(a)の分岐点が図28(d)に示す端点に遷移することもある。図28(a)と図28(d)に示す指紋画像の照合では、上記(3−2)又は(3−3)の照合規則に従って、特徴点の対応関係が検出される。図28は、コア領域近傍の特徴点を図示するので、第1及び第2特徴点方向による直線からなる内角は閾値(例えば、100度)以下である。従って、図28(a)と図28(d)に示す指紋画像の照合は、上記(3−2)の照合規則に従う。この場合、図28(a)に示す第1照合用方向と、図28(d)に示す第1特徴点方向が実質的に一致するので、2つの特徴点には対応関係が検出される。
また、例えば、図18の例では、端点334が伸張し、交点372と端点334が結合してしまうと、図18(a)に示す指紋画像はデルタ領域の分岐点と判断されてしまう。分岐点と端点では、第1特徴点方向の算出方法が異なるため、単に第1特徴点方向だけを特徴点照合に利用したのでは、2つの特徴点の間に対応関係が算出されることは稀である(対特徴点とはならない)。しかし、端点が伸張することで分岐点に変化することがあっても、第2特徴点方向を導入することで、照合精度を向上させることができる。
図29(a)及び(b)に示す2つの特徴点(端点、分岐点)の照合を考える。図29では、各特徴点は2つの特徴点方向を有し、且つ、デルタ領域近傍に存在するので(第1及び第2特徴点方向による内角が閾値(例えば、100度)を越えるので)、上記(3−3)の照合規則に従う。2つの特徴点から第1及び第2照合用方向が計算され、16通りの組み合わせに関し、各方向の一致・不一致を判定すると、少なくとも図29(a)の第1照合用方向と図29(b)の第1特徴点方向が実質的に一致する。従って、2つの特徴点には対応関係が検出される。このように、2つの特徴点の位置が所定の範囲内あり、第1及び第2特徴点方向を持つ2つの特徴点には、最低限、対応関係が検出され得るため、デルタ領域の2つの特徴点は対特徴点と判定されることが多い。即ち、第2特徴点方向を導入することで、照合精度が向上する。
なお、第1の実施形態に係る特徴点照合部42は、2つの特徴点の対応関係を検出する際、第1及び第2特徴点方向の内角が所定の閾値(例えば、100度)を超える場合に、第2照合用方向を計算しているが、当該方向を計算するのは特徴量算出部13であってもよい。つまり、第1及び第2特徴点方向の内角が所定の閾値(例えば、100度)を超える場合には、特徴量算出部13は、第1及び第2特徴量とは異なる第3特徴点方向を、特徴点を特徴付ける特徴量として算出してもよい。
特徴点照合部42は、対応関係が検出された特徴点(図23の場合は5個)それぞれについての対応確信度と、対応関係が検出されなかった特徴点の数に基づいて照合スコアを計算する。
特徴点照合部42は、第2特徴点方向を有する特徴点に関する対応確信度の算出に際し、図24〜図27に示す各種の態様に応じて対応確信度を変更することで、特徴点間の対応関係を差別化してもよい。
例えば、図26及び図27を参照すると、図26及び図27に示す対応関係のうち、図27に示す2つの特徴点間の対応関係は、図26(a)、(b)に示す特徴点間の対応関係よりも弱いと考えられる。つまり、図26(a)、(b)では少なくとも1つの特徴点方向が一致しているのに対し、図27(a)、(b)に示す2つの特徴点には特徴点方向が一致するものが存在しないためである。そこで、特徴点照合部42は、図27に示すような対応関係の2つの特徴点には低い対応確信度を与える。
一方、図26(a)では、2つの特徴点それぞれの第1及び第2特徴点方向が共に一致する。このような場合、2つの特徴点407と特徴点417の対応関係は、図26(b)に示す2つの特徴点間の対応関係よりも強いと考えられるため、特徴点照合部42は、図26(a)に示す2つの特徴点には、図26(b)に示す2つの特徴点の対応関係よりも高い対応確信度を与える。
特徴点照合部42は、照合スコアを照合結果として照合結果出力部43に引き渡す。あるいは、特徴点照合部42は、照合スコアに加えて、対応関係が検出された特徴点のリストを対応特徴点リストとして照合結果出力部43に引き渡してもよい。なお、対応特徴点リストには、対応関係が検出されたサーチ側(遺留指紋側)の特徴点の座標と、その特徴点と対になるファイル側(押捺指紋側)の特徴点の座標とが関連付けられて記録される。
照合結果出力部43は、照合対象となった遺留指紋画像のID情報と、照合スコアが算出された押捺指紋画像のID情報と、照合スコアと、を対応付けて、照合結果として外部装置(図示せず)等に出力する(図30参照)。
なお、コア領域やデルタ領域において特徴点方向が安定して算出できないという問題に対処する方法として、コア領域やデルタ領域での照合基準を緩めるという対応が考えられる。つまり、コア領域やデルタ領域の特徴点を照合する際、特徴点方向の差に関する許容範囲を拡大するという対応である。しかし、このような許容範囲の拡大は、対ではない指紋(非対指紋)の照合スコアを増加させるという現象を伴うと言う新たな問題を生じさせる。一方、第1の実施形態では、上記のような許容範囲の拡大は行わないので、非対指紋の照合スコアを増加させるという問題を抑制することができる。
第1の実施形態に係る指紋照合システムの全体動作をまとめると、図31に示すシーケンス図のとおりとなる。
特徴量生成装置10は、指紋画像を入力し(ステップS01)、当該指紋画像から芯線画像を抽出する(ステップS02)。その後、特徴量生成装置10は、芯線画像から特徴量を算出する(ステップS03)。その際、特徴量生成装置10は、コア領域やデルタ領域等、安定して特徴点方向が算出できない領域の特徴点からは第2特徴点方向も算出する。特徴量生成装置10は、算出した特徴量をデータベース20に登録する(ステップS04)。
入力装置30は、鑑識官による操作を受け付けて、指紋画像の特徴量を入力する(ステップS11)。入力装置30は、入力した特徴量を照合装置40に向けて出力する(ステップS12)。
照合装置40は、入力装置30が出力する特徴量と、データベース20に登録された特徴量と、を取得し(ステップS21)、入力装置30が出力する特徴量に対応した指紋画像(例えば、遺留指紋画像)の照合処理を行う(ステップS22)。その際、照合装置40は、各特徴点に付された第2特徴点方向も考慮しつつ、指紋画像の照合を行う。照合装置40は、照合結果を照合スコアとして出力する(ステップS23)。
以上のように、第1の実施形態に係る特徴量生成装置10は、第1特徴点方向に加え、第2特徴点方向を必要に応じて算出する。この第2特徴点方向を考慮して、2つの特徴点の対応関係の検出や照合スコアを計算することで、照合精度が向上する。第2特徴点方向を導入することで、例えば、2つの特徴点において、第1特徴点方向が異なるとしても、一方の第1特徴点方向と他方の第2特徴点方向が一致すれば、2つの特徴点は対となる特徴点と判定する等の運用が可能なためである。
[第2の実施形態]
続いて、第2の実施形態について図面を参照して詳細に説明する。
第1の実施形態では、コア領域やデルタ領域に特徴点が存在することを前提としたが、稀にこれらの領域に特徴点が存在しない場合がある。具体的には、コア領域が単純ループ状の中核蹄線で構成されている場合には、特徴点が存在せず、例えば、遺留指紋の主要領域がコア領域であった場合に、当該遺留指紋に対する高い照合精度が期待できない。
なお、中核蹄線とは、指紋画像において最も内側に位置するループ状(蹄状)の隆線(芯線)であって、その頂点付近(例えば、隆線間隔1本分以内)に特徴点が存在しない芯線を意味する。例えば、図32(a)を参照すると、曲線501は中核蹄線であるが、曲線502は中核蹄線ではない。曲線502は、指紋画像の最も内側に位置する隆線ではないからである。あるいは、図32(b)に示す曲線503、504も中核蹄線ではない。これらの曲線は、ループ状に形成された隆線ではないためである。
デルタ領域においても、デルタ中心付近に特徴点が存在しない場合があり、例えば、遺留指紋の主要領域がデルタ領域である場合に、このような小領域指紋を用いた指紋照合では高い照合精度が期待できない。例えば、図33(a)を参照すると、デルタ付近に突起隆線が認められるが、この突起隆線は十分な長さ(例えば、隆線間隔1本分)を有さないので、ノイズとして除去され、芯線として扱われない。また、図33(b)を参照すると、ドット状の隆線が存在するが、この隆線も十分な長さを有さないので、ノイズとして除去され、芯線として扱われない。
さらに、コア領域やデルタ領域に相当する指紋画像はノイズに弱く、容易に特徴点の遷移(端点が分岐点に遷移又はその逆)が生じたり、隆線が断絶することで新たな端点が生じたりする。例えば、押捺指紋側ではコア領域に特徴点が存在しないにも関わらず、ノイズ等の影響により遺留指紋側には特徴点が存在するとすれば、第2特徴点方向を考慮しても2つの指紋画像の照合精度は劣化する。そもそも押捺指紋側には特徴点が存在せず、遺留指紋側の特徴点に対応する照合対象が存在しないためである。
以上のような状況を鑑みて、第2の実施形態では、コア領域やデルタ領域における特徴点の有無に関わらず、指紋照合精度を向上させる指紋照合システムを説明する。
図34は、第2の実施形態に係る特徴量生成装置10aの内部構成の一例を示す図である。第1の実施形態に係る特徴量生成装置10との相違点は、芯線追加部16が追加されている点である。そのため、芯線追加部16の詳細について説明し、特徴量算出部13等の各機能ブロックの説明を省略する。
芯線追加部16は、予め定めた、安定して特徴量を算出できない何らかの特徴を有する隆線又は領域を検出し、検出された隆線又は領域に芯線を追加する手段である。より具体的には、芯線追加部16は、芯線を追加する必要のある芯線又は領域を検出し、当該領域が検出された場合に、予め定めた芯線追加処理を実行する。
例えば、芯線追加部16は、芯線画像抽出部12が抽出した芯線画像から、中核蹄線を検出する。具体的には、芯線追加部16は、指紋画像において最も内側に位置するループ状の芯線であって、その頂点付近に特徴点が存在しない芯線を抽出する。さらに、芯線追加部16は、当該検出された中核蹄線の頂点に擬似的な突起状の芯線を付加する。
図35(a)及び(b)に示すような領域を有する指紋画像が、特徴量生成装置10aに入力されたとする。この場合、芯線画像抽出部12が抽出した芯線画像だけを抜き出すと、図35(c)となる。芯線追加部16は、図35(c)から中核蹄線601を検出し、当該中核蹄線601の頂点に短い突起状の芯線(以下、突起芯線と表記する)611を追加する(図35(d)の円で囲まれた領域内の芯線)。なお、芯線追加部16が追加する、擬似的な突起芯線の方向は、中核蹄線の方向(図35(c)の中核蹄線601の頂点から中核蹄線の中心に向かう方向)と逆向きとし、長さは隆線間隔の半分程度とすることが好ましい。
また、芯線追加部16は、芯線画像抽出部12が抽出した芯線画像から、例えば、パターンマッチング等の手法を用いてデルタ(三角)形状を形成する3本の芯線と、当該3本の芯線を含む領域(デルタ領域)と、を検出する。さらに、芯線追加部16は、検出されたデルタの中心付近に特徴点が存在しない場合に、擬似的なドット状の芯線(以下、デルタドット芯線と表記する)を追加する。例えば、図36(a)及び(b)に示すような領域を有する指紋画像が、特徴量生成装置10aに入力されたとする。この場合、芯線追加部16は、芯線602〜604を、デルタを形成する芯線として検出する。
次に、芯線追加部16は、芯線602〜604の中心付近に、デルタドット芯線612を追加する(図36(c)の円で囲まれた領域)。なお、芯線追加部16が追加するデルタドット芯線の方向は、指頭方向(指先の方向)に対して水平とし、デルタドット芯線の長さは隆線間隔の半分程度とすることが好ましい。
芯線追加部16の処理により、コア領域及びデルタ領域ともに、2つの特徴点が生成されることになる。具体的には、図35(d)を参照すると、中核蹄線601と突起芯線611からなる分岐点と、突起芯線611の端点と、が生成される。また、図36(c)を参照すると、デルタドット芯線612の両端がそれぞれ端点として生成される。
芯線追加部16による処理が終了すると、特徴量算出部13は、第1の実施形態にて説明した方法と同様の方法にて、特徴点の抽出と特徴量(位置、第1及び第2特徴点方向)の算出を行う。
ここで、第1の実施形態にて説明した入力装置30も、コア領域やデルタ領域に芯線を追加する操作(鑑識官による操作)に対応している必要がある。
鑑識官が、コア領域にて突起芯線を追加する場合には、中核蹄線の頂点にてコアの方向(中核蹄線の方向)にドラッグ操作を行う。その後、第2の実施形態に係る入力装置30aは、図37に示すようなメニュー(プルダウンメニュー)を表示する。鑑識官は、表示されたプルダウンメニューから「突起芯線の追加」を選択する事で、中核蹄線に突起芯線を追加する操作を終了する。なお、中核蹄線の突起芯線追加時には、当該中核蹄線の頂点をコア(コア特異点)としてデータ入力できるように入力装置30aを構成することで、鑑識官(オペレータ)の入力工数を削減できる。
また、鑑識官は、入力装置30aを用いて、デルタドット芯線の入力も可能である。鑑識官が、デルタ領域にデルタドット芯線を追加する際には、デルタ位置(デルタの中心)より、1つ目のデルタ方向にドラッグ操作を行う。なお、デルタ方向とは、デルタから放射される3つの方向を意味する。図38(a)に、デルタ方向の例を示す。
鑑識官が、1つ目のデルタ方向を入力するためのドラッグ操作を終了すると、図38(b)に示すようなプルダウンメニューが入力装置30aより表示される。鑑識官が、表示されたプルダウンメニューの「デルタドット芯線の追加」を選択すると、入力装置30aは、鑑識官に対し、残り2つのデルタ方向の入力操作を指示する。なお、入力装置30aは、3つ目のデルタ方向を入力する操作の終了(3つ目のデルタ方向を入力するためのドラッグ操作の終了)を契機に、デルタドット芯線をデルタの中心に追加しても良いし、鑑識官に対してデルタドット芯線の方向を入力する指示を行っても良い。
また、デルタドット芯線の追加時に、当該操作が行われた領域をデルタ(デルタ型特異点)としてデータ入力できるように入力装置30aを構成することで、鑑識官(オペレータ)の入力工数を削減できる。
照合装置40は、特徴量生成装置10aが生成した特徴量と、鑑識官が入力装置30aを使って入力した特徴量と、を用いて、指紋画像の照合処理を行い、照合結果を生成し出力する。
次に、コア領域に突起芯線、デルタ領域にデルタドット芯線を追加する効果について説明する。
上述のように、押捺時のプレッシャー、掠れ、汚れ等の影響により、中核蹄線の頂点近傍の画像が変化し、結果的に、単純中核蹄線が断線することや、外側の隆線と接続してしまうことがある。具体的には、本来、図39(a)に示すような中核蹄線が、図39(b)に示すように途中で断線したり、図39(c)に示すように外側の隆線と接続したりすることがある。
図39(b)、(c)に示すような遷移(変化)が生じると、同一方向の特徴点が2個生成されることとなる。その際、押捺指紋画像が図39(a)に示す指紋画像(芯線画像)であり、遺留指紋画像が図39(b)又は(c)に示すような指紋画像であれば、コア領域における特徴点の個数が大きく異なることになる。すると、遺留指紋のコア領域から2つの特徴点が抽出されるが、押捺指紋には当該2つの特徴点に対応する特徴点は存在せず、2つの特徴点は非対特徴点と扱われる。その結果、押捺指紋と遺留指紋に係る指紋画像における照合スコアは低下する。
一方、第2の実施形態に係る特徴量生成装置10aは、中核蹄線の頂点に突起芯線を追加することで、汚れ等の影響で生じやすい2つの特徴点に対応する特徴点を作り出している。その結果、サーチ側とファイル側のいずれか一方に、他方の指紋画像に存在する特徴点が存在しないという事態が発生せず、対応する特徴点が存在しないことによる照合スコアの低下が抑制される。
加えて、第1の実施形態にて説明したように、コア領域では安定して特徴点方向を算出するのが困難であるため、第1特徴点方向を補完する第2特徴点方向が算出される。2つの特徴点方向を有すると共に互いの位置が近接する2つの特徴点は、対応関係が検出され得る(第1の実施形態にて説明した照合規則(3))ので、突起芯線が追加された指紋画像と汚れ等の影響により特徴点が作り出された指紋画像それぞれが有する2個の特徴点をペアリングすることが可能であり、照合精度の劣化が抑制される。
また、上述のように、デルタ領域から特徴点が抽出されないことがある。あるいは、コア領域と同様に、押捺時のプレッシャー、掠れ、汚れの影響により、デルタ近傍の画像が変化し、結果的にデルタ付近に短い隆線(ドットや突起)が抽出されることもある。つまり、デルタ領域では特徴点の抽出が不安定であり、サーチ側の指紋画像には特徴点がなく、ファイル側の指紋画像には特徴点が存在するといった事態が生じやすい。例えば、ファイル側の指紋画像には、図40(a)に示すように特徴点が抽出されず、サーチ側の指紋画像には、図40(b)に示すように短い隆線による特徴点が抽出されることがある。
このような場合、2つの指紋画像の間に対応する2個の特徴点がなく、図40(b)の2つの特徴点は非対特徴点として扱われ、照合スコアの低下要因となる。しかし、第2の実施形態では、例えば、図40(a)に示す指紋画像に対し、デルタドット芯線を追加することで、2個の特徴点を作り出す。そのため、2枚の指紋画像それぞれの特徴点を容易にペアリングすることが可能であり、照合スコアが増加する。
以上のように、第2の実施形態では、コア領域やデルタ領域に特徴点が存在しない場合には、これらの領域に芯線を追加する処理を施す。これらの追加された芯線により、第1の実施形態にて説明した第2特徴点方向が算出されるので、コア領域やデルタ領域に存在する特徴点の対応関係がより確実に検出される。その結果、指紋画像の照合精度が向上する。なお、第2の実施形態では、第1の実施形態にて説明した第2特徴点方向を利用する前提で説明を行ったが、第2特徴点方向を利用しなくとも良い。つまり、第2の実施形態では、コア領域やデルタ領域に特徴点が存在しなければ、これらの領域に特徴点が生成されるように突起芯線やデルタドット芯線を追加する。これらの芯線が追加されることにより、一方の指紋画像(芯線画像)のコア領域、デルタ領域には特徴点が存在せず、他方の指紋画像のコア領域、デルタ領域には特徴点が存在するという、状況を回避し、照合精度の劣化を抑制できる(照合精度が向上する)。
なお、第1及び第2の実施形態にて説明した指紋照合システムの構成(図2)は例示であって、システムの構成を限定する趣旨ではない。例えば、特徴量生成装置10、入力装置30及び照合装置40が有する各種機能の全部又は一部が他の装置に組み込まれていてもよい。あるいは、特徴量生成装置10、入力装置30及び照合装置40の各種機能が1つの装置に組み込まれていてもよい。特徴量生成装置10等の機能を1つの装置にて実現する場合には、図41に示す画像処理装置50を使用することができる。なお、図41に示す指紋画像入力部11等の機能ブロックは、第1及び第2の実施形態にて説明した機能ブロックと同様のため説明を省略する。但し、データベース20にアクセスする手段が必要であるので、画像処理装置50はデータベースアクセス部51を備える。特徴量算出部13は、データベースアクセス部51を介して、生成した特徴量をデータベース20に登録する。特徴点照合部42は、データベースアクセス部51を介して、データベース20に登録された特徴量を取得する。なお、データベース20を記憶部15に構築しても良いことは当然である。
上記第1及び第2の実施形態では、隆線により曲線縞模様が形成されている画像として指紋画像を用いて特徴量生成装置10等の構成及び動作を説明したが、扱う画像は指紋画像に限定されない。特徴量生成装置10は、例えば、掌紋等に係る画像から特徴量を算出しても良い。
第1及び第2の実施形態にて説明した特徴量算出処理は、第1特徴点方向に加え、第2特徴点方向を算出するものであるが、その考えを拡張し第3特徴点方向を算出することも可能である。即ち、1つの特徴点を特徴付ける特徴量として、第1〜第3特徴点方向を算出することも可能である。例えば、図14を参照すると、デルタ領域の分岐点では、3つの内角の差が小さいので、最小内角a1、第2最小内角a2による特徴点方向ではなく、内角a3(最大内角)を2分する特徴点方向が第1又は第2特徴点方向として算出されることも想定される。このような場合、照合スコアの劣化が予想されるので、最大内角a3を2分する方向を第3特徴点方向として算出し、特徴点の照合に利用することも可能である。
但し、上記のような不都合は、照合処理時の対応によっても解消することができる。例えば、サーチ側(遺留指紋側)にて、図14に示す第1特徴点方向304、第2特徴点方向315が抽出され、ファイル側(押捺指紋側)では最大内角a3を2分する方向が第1特徴点方向として登録されている場合を考える。このような場合には、デルタ領域における特徴点では、第1特徴点方向と第2特徴点方向の差分が120度程度であることを考慮し、第1特徴点方向304と第2特徴点方向315により形成される2つの角度のうち、大きい方の角度を2分する方向をサーチ側の第3特徴点方向として算出してもよい。即ち、サーチ側の第3特徴点方向とファイル側の第1特徴点方向を比較することで、第3特徴点方向を導入しなくとも、照合精度の劣化を抑制することができる。
また、第1及び第2の実施形態では、第1及び第2特徴点方向の算出にあたり内角を2分する方向を特徴点方向に定めているが、角度を分割する値は他の値であってもよい。特徴点方向を算出する際の角度を分割する比率は、1:1の比率に限定されない。
また、特徴量生成装置10、入力装置30及び照合装置40の各部が行う処理は、これらの装置(特徴量生成装置10、入力装置30及び照合装置40)に搭載されたコンピュータに、そのハードウェアを用いて、上述した各処理を実行させるコンピュータプログラムにより実現できる。特徴量算出部13等が行う機能を何らかのハードウェア、及び/又は、ソフトウェアで実行する手段があればよい。即ち、特徴量生成装置10、入力装置30及び照合装置40の各部が行う処理は、図42〜図44に示すように、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)等の回路によって実現されても良い。回路は、一つまたは複数で良い。また、複数の回路は、同一の装置内で協働しても良いし、別の装置内に存在しても良い。特徴量生成装置10aも図42の特徴量生成装置10と同様である。
さらに、コンピュータの記憶部に、上述したコンピュータプログラムをインストールすることにより、コンピュータを画像処理装置として機能させることができる。さらにまた、上述したコンピュータプログラムをコンピュータに実行させることにより、コンピュータにより特徴量算出等に係る画像処理方法を実行させることができる。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。
また、上述の説明で用いたフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。
上記の実施形態の一部又は全部は、以下のようにも記載され得るが、以下には限られない。
[形態1]
上述の第1の視点に係る画像処理装置のとおりである。
[形態2]
隆線により曲線縞模様が形成されている画像を入力する画像入力部と、前記画像から芯線を抽出した芯線画像を生成する、芯線画像抽出部と、前記芯線画像からデルタ領域を検出し、前記検出されたデルタ領域の実質的な中心位置に芯線が存在しない場合に、前記中心位置に芯線を追加する芯線追加部と、を備える、画像処理装置。
[形態3]
前記追加された芯線の両端を特徴点とし、前記特徴点を特徴付ける第1及び第2特徴点方向を算出する、特徴量算出部と、
前記算出された第1及び第2特徴点方向を、前記抽出された特徴点の特徴量として出力する特徴量出力部と、
を備える、形態1又は2に記載の画像処理装置。
[形態4]
ユーザの操作に供する画面を表示装置に表示し、前記ユーザによる特徴点の特徴量を入力する操作を受け付ける、データ入力部をさらに備え、
前記データ入力部は、前記第1及び第2特徴点方向を前記表示装置に表示させる場合には、前記第1及び第2特徴点方向の表示態様を互いに異なるものとする、形態3に記載の画像処理装置。
[形態5]
上述の第2の視点に係る画像処理方法のとおりである。
[形態6]
隆線により曲線縞模様が形成されている画像を入力するステップと、
前記画像から芯線を抽出した芯線画像を生成するステップと、
前記芯線画像からデルタ領域を検出し、前記検出されたデルタ領域の実質的な中心位置に芯線が存在しない場合に、前記中心位置に芯線を追加するステップと、
を含む、画像処理方法。
[形態7]
上述の第3の視点に係るプログラムのとおりである。
[形態8]
隆線により曲線縞模様が形成されている画像を入力する処理と、
前記画像から芯線を抽出した芯線画像を生成する処理と、
前記芯線画像からデルタ領域を検出し、前記検出されたデルタ領域の実質的な中心位置に芯線が存在しない場合に、前記中心位置に芯線を追加する処理と、
を画像処理装置に搭載されたコンピュータに実行させるプログラム。
なお、形態5〜形態8は、形態1と同様に、形態3及び形態4のように展開することが可能である。
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。