JP7251670B2 - 特徴量生成装置、システム、特徴量生成方法及びプログラム - Google Patents

特徴量生成装置、システム、特徴量生成方法及びプログラム Download PDF

Info

Publication number
JP7251670B2
JP7251670B2 JP2022026947A JP2022026947A JP7251670B2 JP 7251670 B2 JP7251670 B2 JP 7251670B2 JP 2022026947 A JP2022026947 A JP 2022026947A JP 2022026947 A JP2022026947 A JP 2022026947A JP 7251670 B2 JP7251670 B2 JP 7251670B2
Authority
JP
Japan
Prior art keywords
feature
point
feature point
image
ridge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022026947A
Other languages
English (en)
Other versions
JP2022065169A (ja
Inventor
雅範 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2022065169A publication Critical patent/JP2022065169A/ja
Application granted granted Critical
Publication of JP7251670B2 publication Critical patent/JP7251670B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • G06V40/1353Extracting features related to minutiae or pores
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • G06V40/1359Extracting features related to ridge properties; Determining the fingerprint type, e.g. whorl or loop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • G06V40/1371Matching features related to minutiae or pores

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Description

本発明は、日本国特許出願:特願2017-132441号(2017年7月6日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、特徴量生成装置、システム、特徴量生成方法及びプログラムに関する。特に、指紋画像等の曲線縞模様状の画像データを取り扱う、特徴量生成装置、システム、特徴量生成方法及びプログラムに関する。
曲線縞模様状の多数の隆線により構成される指紋、掌紋は、古くから人物確認の手段として利用されている。特に、犯罪現場に残された遺留指紋を用いる照合は、効果的な捜査手段である。多くの警察機関等には、コンピュータを利用した指紋照合システム(AFIS;Automated Fingerprint Identification System)が導入されている。
指紋照合システムでは、データベースに登録された指紋画像と犯罪現場等にて採取された遺留指紋それぞれの特徴点(Minutiaとも称される)を照合することで、遺留指紋に対応する人物の特定がなされる。指紋照合に用いられる特徴点(指紋特徴点)には、指紋隆線の端点や分岐点が用いられることが多い。例えば、非特許文献1の「4.3 Minutiae-Based Methods」にて開示されているように、指紋隆線の端点や分岐点を用いた特徴点照合が用いられている。
押捺指紋のような高品質の指紋画像同士の照合では、指紋画像の品質が高く、顕著な画像歪みが存在することは希である。従って、高品質な指紋画像同士では、対応する特徴点(所謂、ペア特徴点)が存在する場所も同じような位置となる。また、押捺指紋のような指紋画像には十分な数の特徴点が存在することが多い。これらの事情から、押捺指紋のような高品質な指紋画像の照合処理では、特別な処理を実行しなくとも高い照合精度が確保できることが多い。即ち、既存の特徴点照合技術によっても高い照合精度が保証できることが多い。
しかし、上述のように、指紋照合を捜査手段として捉えた場合、押捺指紋と遺留指紋の照合処理が必要となることが多い。遺留指紋に係る画像は、画像歪みが顕著であったり、指紋全体の一部の領域しか写っていない小領域の画像であったりすることが多い。このような遺留指紋と押捺指紋の照合処理の際、遺留指紋の画像歪みが要因となり押捺指紋と遺留指紋間で対応する特徴点(ペア特徴点)が存在する場所が大きく異なることがある。また、遺留指紋が、サイズが小さい小領域の画像であれば、当該遺留指紋から照合処理に必要な十分な数の特徴点が抽出できないこともある。
これらの事情から遺留指紋と押捺指紋の照合処理において高い精度を確保するのは困難な状況にある。
上記を鑑みて、遺留指紋と押捺指紋の照合精度を向上させるための種々の手法が提案されている。例えば、特徴点だけではなく、「特徴点間隆線数」を新たな特徴量として利用することが、非特許文献2及び3に開示されている。
非特許文献2及び3では、「特徴点間隆線数」を新たな特徴量として算出している。非特許文献2及び3の「特徴点間隆線数」の算出では、初めに、指紋画像から芯線(隆線)が抽出される。その後、抽出された芯線から特徴点が抽出され、各特徴点とその近傍に位置する特徴点の間の関係に基づいて特徴点間ネットワークが算出される。その後、特徴点の位置や方向、端点又は分岐点などの種類、特徴点ネットワークの接続関係に加え、「特徴点間隆線数」が特徴点として算出される。「特徴点間隆線数」は、特徴点ネットワークにおけるエッジ(特徴点同士を接続する線分)と隆線が交差する数として算出される。即ち、「特徴点間隆線数」とは、2つの特徴点を直線で結んだ際に、当該直線と交差する隆線の数である。より正確には、2つの特徴点を結ぶ直線と、当該直線をなす2つの特徴点とは直接接続されていない隆線とが交差する数が「特徴点間隆線数」となる。
特許文献1には、2つの近傍特徴点間の「隆線接続関係情報」を新たな特徴量として利用することが開示されている。特許文献2~4には、特徴点の抽出や特徴点を特徴付ける各種特徴量の算出等が開示されている。
特許文献1は、注目特徴点から近傍特徴点への「隆線接続関係情報」を抽出するために、芯線をトレースする手法を開示する。また、特許文献1には、芯線トレースの起点として、注目特徴点や近傍特徴点だけではなく、それぞれの特徴点から直交方向に投影特徴点を定義し、定義された投影特徴点から芯線トレースすることが開示されている。特許文献1に開示された「隆線接続関係情報」に含まれる隆線数(第n次主距離や第n次副距離のn)は、非特許文献2及び3に開示された「特徴点間隆線数」とは異なり画像歪みに対して頑健であるといえる。
しかしながら、特許文献1に開示された技術は、芯線トレースによって最初に遭遇する特徴点が近傍特徴点として抽出されるため、任意の2点間の特徴点間隆線数を抽出することはできないという問題がある。また、特許文献1では、芯線トレースを用いて近傍特徴点を抽出しているため、ノイズ(例えば、画像のかすれ)や汗腺口の存在により、芯線が途切れている場合には、途切れた先の特徴点を近傍特徴点として抽出できないという問題もある。ここでは、図37を参照しつつ、これらの問題について説明する。なお、図37は、特許文献1の図9に上記問題点を説明するための加工を加えた図である。
図37を参照すると、注目特徴点P54に接続された芯線をトレースし、特徴点P55が抽出される。特徴点P55は、注目特徴点P54と同じ芯線と接続されているため、その次数(n)は「0」となる。注目特徴点P54と特徴点P55の間の距離が特徴量として扱われる(第0次主距離)。このように特許文献1の当該特徴量(第0次主距離)は、直近に接続された近傍特徴点との間の距離を示すが、通常、特徴点と特徴点の接続形態は多種多用であり、このような特徴量では照合処理における精度向上への貢献は限定的である。
また、特許文献1では、注目特徴点P54から鉛直方向に垂直線を引き、当該垂直線と芯線との交点が「道のり計測起点」として算出される。特許文献1では、この道のり計測起点から芯線トレースを行い最初に遭遇した特徴点を近傍特徴点として抽出すると共に、道のり計測起点と近傍特徴点間の距離を特徴量として算出している。例えば、道のり計測起点Q54と特徴点P53との間の距離が、「第1次副距離」として算出される。
なお、本願開示における先行技術に関する分析は、本発明者らによってなされたものである。
特開平11-195119号公報 特公昭60-012674号公報 国際公開第2017/038695号 特開2003-274006号公報
D.Maltoni、"Handbook of Fingerprint Recognition"、Springer、2003 浅井 紘 他2名、"マニューシャネットワーク特徴による自動指紋照合-特徴抽出過程-"、電子情報通信学会誌D-II、Vol.J72-D-II、No.5、pp.724-732、1989年5月 浅井 紘 他2名、"マニューシャネットワーク特徴による自動指紋照合-照合過程-"、電子情報通信学会誌D-II、Vol.J72-D-II、No.5、pp.733-740、1989年5月
上述のように、特許文献1は、画像歪みに対して頑健な「特徴点間隆線数」を提案している。しかし、指紋画像には、図37に示す芯線401のように、注目特徴点と接続されておらず、且つ、注目特徴点から垂直方向に延伸する直線とも交差しない芯線も存在し得る。この場合、芯線401には特徴点402として端点が形成されるが、特許文献1に開示された手法では、特徴点402を近傍特徴点として抽出することができない。
本発明は、照合精度の向上に貢献する特徴量を算出する、特徴量生成装置、システム、特徴量生成方法及びプログラムを提供することを主たる目的とする。
本発明の第1の視点によれば、隆線により曲線縞模様が形成されている画像を入力する、入力部と、前記画像から芯線が抽出された芯線画像を生成する、生成部と、前記芯線画像から複数の特徴点を抽出する、抽出部と、前記複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出する、算出部と、を備え、前記算出部は、前記第1の特徴点を起点とするトレースにより得られるトレース線上の点であって前記第2の特徴点との間の直線距離が最も短い最近傍点と前記第2の特徴点を結ぶ直線が、前記最近傍点と前記第2の特徴点の間の芯線と交わる回数を前記リレーション特徴量の1つとして算出する、特徴量生成装置が提供される。
本発明の第2の視点によれば、特徴量生成装置と、前記特徴量生成装置が生成した特徴量を用いて、画像の照合を行う照合装置と、を含み、前記特徴量生成装置は、隆線により曲線縞模様が形成されている画像を入力する、入力部と、前記画像から芯線が抽出された芯線画像を生成する、生成部と、前記芯線画像から複数の特徴点を抽出する、抽出部と、前記複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出する、算出部と、を備え、前記算出部は、前記第1の特徴点を起点とするトレースにより得られるトレース線上の点であって前記第2の特徴点との間の直線距離が最も短い最近傍点と前記第2の特徴点を結ぶ直線が、前記最近傍点と前記第2の特徴点の間の芯線と交わる回数を前記リレーション特徴量の1つとして算出する、システムが提供される。
本発明の第3の視点によれば、隆線により曲線縞模様が形成されている画像を入力するステップと、前記画像から芯線が抽出された芯線画像を生成するステップと、前記芯線画像から複数の特徴点を抽出するステップと、前記複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出するステップと、を含み、前記リレーション特徴量を算出するステップは、前記第1の特徴点を起点とするトレースにより得られるトレース線上の点であって前記第2の特徴点との間の直線距離が最も短い最近傍点と前記第2の特徴点を結ぶ直線が、前記最近傍点と前記第2の特徴点の間の芯線と交わる回数を前記リレーション特徴量の1つとして算出する、特徴量生成方法が提供される。
本発明の第4の視点によれば、隆線により曲線縞模様が形成されている画像を入力する処理と、前記画像から芯線が抽出された芯線画像を生成する処理と、前記芯線画像から複数の特徴点を抽出する処理と、前記複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出する処理と、をコンピュータに実行させるプログラムであって、前記リレーション特徴量を算出する処理は、前記第1の特徴点を起点とするトレースにより得られるトレース線上の点であって前記第2の特徴点との間の直線距離が最も短い最近傍点と前記第2の特徴点を結ぶ直線が、前記最近傍点と前記第2の特徴点の間の芯線と交わる回数を前記リレーション特徴量の1つとして算出する、プログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
本発明の各視点によれば、照合精度の向上に貢献する特徴量を算出することに寄与する、特徴量生成装置、システム、特徴量生成方法及びプログラムが、提供される。
一実施形態の概要を説明するための図である。 第1の実施形態に係る指紋照合システムの構成の一例を示す図である。 第1の実施形態にて取り扱う指紋画像の一例を示す図である。 第1の実施形態に係る特徴量生成装置のハードウェア構成の一例を示すブロック図である。 第1の実施形態に係る特徴量生成装置の処理構成の一例を示す図である。 芯線画像の一例を示す図である。 隆線方向データの一例示す図である。 特徴点の一例を示す図である。 第1の実施形態に係る特徴量算出部の処理構成の一例を示す図である。 特徴点方向の算出を説明するための図である。 特徴点方向の算出を説明するための図である。 基礎特徴量の一例を示す図である。 第1の実施形態に係るリレーション特徴量算出部の動作の一例を示すフローチャートである。 隆線方向データを利用した隆線方向トレースを説明するための図である。 隆線方向データを利用した隆線方向トレースを説明するための図である。 子特徴点相対位置の算出を説明するための図である。 リレーション特徴量の算出を説明するための図である。 リレーション特徴量の一例を示す図である。 第1の実施形態に係る接続タイプ算出部の動作を説明するための図である。 第1の実施形態に係る接続タイプ算出部の動作の一例を示すフローチャートである。 第1の実施形態に係る接続タイプ算出部の動作の一例を示すフローチャートである。 接続タイプを説明するための図である。 接続タイプを説明するための図である。 接続タイプを説明するための図である。 接続タイプを説明するための図である。 接続タイプを説明するための図である。 第1の実施形態に係る接続タイプ算出部の別の動作の一例を示すフローチャートである。 第1の実施形態に係る接続タイプ算出部の別の動作の一例を示すフローチャートである。 第1の実施形態に係る特徴量出力部が出力する特徴量の一例を示す図である。 第1の実施形態に係る照合装置の処理構成の一例を示す図である。 第1の実施形態に係る照合装置が算出する特徴量の一例を示す図である。 第1の実施形態に係る照合部の動作の一例を示すフローチャートである。 ペア特徴点の一例を示す図である。 第1の実施形態に係る照合装置が出力する照合結果の一例を示す図である。 第1の実施形態に係る指紋照合システムの動作の一例を示すシーケンス図である。 非特許文献2及び3に開示された技術の問題点を説明するための図である。 特許文献1に開示された技術の問題点を説明するための図である。
初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インターフェイスも同様である。
一実施形態に係る特徴量生成装置100は、入力部101と、生成部102と、抽出部103と、算出部104と、を備える。入力部101は、隆線により曲線縞模様が形成されている画像を入力する。生成部102は、画像から芯線が抽出された芯線画像を生成する。抽出部103は、芯線画像から複数の特徴点を抽出する。算出部104は、複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出する。さらに、算出部104は、第1の特徴点を起点とするトレースにより得られるトレース線上の点であって第2の特徴点との間の直線距離が最も短い最近傍点と第2の特徴点を結ぶ直線が、最近傍点と第2の特徴点の間の芯線と交わる回数をリレーション特徴量の1つとして算出する。
特徴量生成装置100は、芯線画像から抽出された特徴点のうち、任意に2つの特徴点を選択してリレーション特徴量の算出対象とする。例えば、特徴量生成装置100は、ある特徴点(第1の特徴点、後述する親特徴点)に近接する順に所定の数の特徴点を抽出し、リレーション特徴量を算出する対象の特徴点(第2の特徴点、後述する子特徴点)とする。そのため、特許文献1では算出対象とすることができなかった特徴点であっても、特徴量算出の対象とすることができる。
また、特徴量生成装置100は、第1の特徴点と第2の特徴点の間に存在する芯線(隆線)の数をリレーション特徴量の1つとして算出する。その際、特徴量生成装置100は、第1の特徴点を起点とするトレースにより得られるトレース線上にある点であって、第2の特徴点に最も近い点(最近傍点)を利用してリレーション特徴量を算出する。つまり、特徴量生成装置100は、第1の特徴点を起点としたトレース(後述する、隆線方向トレース等)によりトレース線を算出し、当該トレース線上の点であって第2の特徴点と最短距離となる最近傍点と第2の特徴点の間の芯線を計数するので、画像の歪みに影響されることがない特徴量を算出することができる。
また、特徴量生成装置100により算出されるリレーション特徴量は、画像から抽出された特徴点を特徴付ける特徴量を増加させるものであるので、少数の特徴点しか抽出することができないような画像が照合対象となる場合であっても、照合精度を向上させることができる。
以上のように、一実施形態に係る特徴量生成装置100は、歪みが顕著な画像や小領域の画像が照合対象となる場合であっても、高い照合精度を実現可能な特徴量を生成することができる。
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
図2は、第1の実施形態に係る指紋照合システムの構成の一例を示す図である。図2を参照すると、指紋照合システムは、特徴量生成装置10と、データベース20と、照合装置30と、を含んで構成される。
特徴量生成装置10は、指紋画像に係るデータ及びそのID(Identifier)情報を入力し、当該入力した指紋画像を特徴付ける特徴量を生成する装置である。特徴量生成装置10は、入力した指紋画像、当該指紋画像から算出した特徴量及び指紋画像のID情報をデータベース20に出力する。
データベース20は、指紋画像、その特徴量及びID情報を関連付けて記憶する装置である。
照合装置30は、指紋画像を入力し、当該指紋画像に関する照合処理を行う装置である。照合装置30は、入力した指紋画像から特徴量生成装置10が生成する特徴量と同種の特徴量を算出し、当該算出された特徴量とデータベース20に格納された特徴量を用いて、指紋画像の照合処理を行う。照合装置30は、入力した指紋画像から得られる特徴量とデータベース20にアクセスすることで得られる特徴量を比較することで、取得した指紋画像と同じ又は類似する特徴量を持つ指紋画像の候補を出力する。
ここで、押捺指紋は、データベース等へ登録する目的で採取される指紋であり、隆線領域の面積は広く品質は良いという特徴を有する。対して、遺留指紋は、犯罪現場等に遺留された指紋であり、画像歪みが顕著であったり、明瞭な隆線領域の面積が狭かったりすることが多い。
通常、品質が低い遺留指紋を用いた照合は困難であることが多い。このような事情を鑑み、第1の実施形態では、特徴量生成装置10は押捺指紋に係る画像を入力し、照合装置30に入力する指紋画像は遺留指紋に係る画像とし、以下の説明を行う。
図3は、第1の実施形態にて取り扱う指紋画像の一例を示す図である。なお、図3を始めとする指紋画像の例示は、センサやスキャナで読み取られた指紋画像がデジタル化された画像とする。
図3(a)及び図3(b)に示す指紋画像は、同一人物における同一指の指紋画像の一例である。図3(a)と図3(b)の2つの指紋画像を比較すると、図3(b)に示す指紋画像は垂直方向に圧縮された画像歪みが顕著であることが分かる。
図3(c)は、図3(b)に示す指紋画像の一部を切り出した指紋画像の一例を示す。図3(c)に示す指紋画像は、図3(b)に示す指紋画像の一部領域であり、当該指紋画像は遺留指紋と扱うことができる。図3(c)に示す指紋画像は、画像歪みが顕著で、かつ、隆線領域が狭いため、その照合は容易とはいえない。
第1の実施形態では、図3(a)に示す指紋画像を押捺指紋(特徴量がデータベース20に登録される指紋画像)とし、図3(c)に示す指紋画像を照合対象となる遺留指紋として以降の説明を行う。つまり、特徴量生成装置10は、図3(a)に示す指紋画像(押捺指紋)から特徴量を算出し、照合装置30は、図3(c)に示す指紋画像(遺留指紋)から特徴量を算出する。
但し、後述するように、照合装置30の特徴量算出処理は特徴量生成装置10の特徴量算出処理と同一とすることができため、以降の説明では、押捺指紋と遺留指紋に係る画像を併記する。なお、第1の実施形態では、特徴量生成装置10が押捺指紋を扱い、照合装置30が遺留指紋を扱う場合について説明するが、図2に示す各装置が扱うことができる指紋画像を限定する趣旨ではない。例えば、照合装置30に特徴量算出機能がなく、特徴量生成装置10が遺留指紋から特徴量を生成し、その特徴量を照合装置30に提供しても良い。また、照合の対象となる指紋は、押捺指紋同士でも良いし、遺留指紋同士でも良い。但し、犯罪捜査の用途では、遺留指紋と押捺指紋の照合が行われることが多いことを考慮して、第1の実施形態では上記の構成としている。
[ハードウェア構成]
第1の実施形態に係る指紋照合システムを構成する各種装置のハードウェア構成を説明する。
図4は、第1の実施形態に係る特徴量生成装置10のハードウェア構成の一例を示すブロック図である。特徴量生成装置10は、所謂、コンピュータ(情報処理装置)により構成可能であり、図4に例示する構成を備える。例えば、特徴量生成装置10は、内部バスにより相互に接続される、CPU(Central Processing Unit)11、メモリ12、入出力インターフェイス13及び通信インターフェイスであるNIC(Network Interface Card)14等を備える。
但し、図4に示す構成は、特徴量生成装置10のハードウェア構成を限定する趣旨ではない。特徴量生成装置10は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス13を備えていなくともよい。例えば、ネットワークにより接続された操作端末により特徴量生成装置10に情報の入出力を行う場合には、入出力インターフェイス13が不要な場合もある。また、特徴量生成装置10に含まれるCPU等の数も図4の例示に限定する趣旨ではなく、例えば、複数のCPUが特徴量生成装置10に含まれていてもよい。
メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)である。
入出力インターフェイス13は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置や、USB(Universal Serial Bus)メモリ等の外部記憶装置から情報を入力する装置である。また、入力装置として指紋画像をデジタルデータに変換するセンサやスキャナ装置が含まれる。ユーザは、キーボードやマウス等を用いて、必要な情報を特徴量生成装置10に入力する。
特徴量生成装置10の機能は、後述する処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ12に格納されたプログラムをCPU11が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェア及びソフトウェアの少なくともいずれかにより実現できればよい。
また、コンピュータの記憶部に、上述したコンピュータプログラムをインストールすることにより、コンピュータを特徴量生成装置10として機能させることができる。さらにまた、上述したコンピュータプログラムをコンピュータに実行させることにより、コンピュータにより特徴量生成方法を実行することができる。
なお、特徴量生成装置10と照合装置30のハードウェア構成は同一とすることができるので、照合装置30のハードウェアに関する説明は省略する。また、データベース20のハードウェア構成や動作等は、当業者にとって明らかなものであるため、その説明を省略する。
[特徴量生成装置]
図5は、特徴量生成装置10の処理構成の一例を示す図である。図5を参照すると、特徴量生成装置10は、指紋画像入力部201と、芯線画像生成部202と、特徴点抽出部203と、特徴量算出部204と、特徴量出力部205と、を含んで構成される。
なお、指紋画像入力部201等の各部は相互にデータの授受が可能、且つ、メモリ12に格納されたデータにアクセス可能に構成される。芯線画像生成部202等の各部は、メモリ12を作業領域やデータを格納領域として使用する。
指紋画像入力部201は、指紋画像(隆線により曲線縞模様が形成されている画像)と当該指紋画像のID情報を入力する手段である。例えば、指紋画像入力部201は、USBメモリ等の外部記憶媒体に格納された指紋画像のデジタルデータ(画像ファイル)を取り込み、メモリ12に当該データを格納する。又は、指紋画像入力部201は、ネットワークを介して指紋画像に係るデータ等を入力してもよい。あるいは、外部からデジタル化された指紋画像を入力する構成ではなく、指紋画像入力部201は、特徴量生成装置10に接続された又は内蔵されたスキャナ等により指紋画像をデジタル化してもよい。
なお、指紋画像には標準化された規格が存在する。具体的には、米国National Institute of Standards and Technologyにより標準化されたANSI/NIST-ITL-1-2000 Data Format for the Interchange of Fingerprint、Facial、& Scar Mark & Tattoo (SMT) Informationが存在する。尚、この標準化ドキュメントは、出願時において、以下のURLよりダウンロード可能である。
https://www.nist.gov/sites/default/files/documents/itl/ansi/sp500-245-a16.pdf
指紋画像入力部201は、上記規格に基づきデジタル化された指紋画像(例えば、解像度が500dpiの指紋画像)を取り扱えることが望ましい。
芯線画像生成部202は、取得した指紋画像から芯線が抽出された芯線画像を生成する手段である。例えば、芯線画像生成部202は、図6に示すような芯線画像を生成する。図6(a)は、図3(a)に示す指紋画像(押捺指紋)から生成された芯線画像の一例を示す図である。図6(b)は、図3(c)に示す指紋画像(遺留指紋)から生成された芯線画像の一例を示す図である。なお、図6では、理解の容易のため指紋画像に芯線画像を重ねて表示している。
芯線画像生成部202は、非特許文献1の「3 Fingerprint Analysis and Representation」に開示された芯線画像抽出手法を用いることができる。そのため、芯線画像の生成に関する詳細な説明は省略するが、芯線画像生成部202は、概略以下の手順にて、芯線画像を生成する。
芯線画像生成部202は、初めに、指紋画像の隆線の方向を抽出する。その後、芯線画像生成部202は、当該隆線方向に沿って各隆線を強調し、二値画像を生成する。その後、芯線画像生成部202は、二値画像を芯線化することで、芯線データを抽出(芯線画像を生成)する。
なお、芯線画像生成部202は、芯線画像生成処理の過程において、「隆線方向データ」を生成し、メモリ12に格納する。より具体的には、芯線画像生成部202は、指紋画像の隆線上の各点における隆線方向を算出し、隆線方向の集合を「隆線方向データ」として作成する。例えば、芯線画像生成部202は、指紋画像の隆線方向データを算出する点(隆線上の画素)をXY座標系の原点、指紋画像の指頭をY軸正方向とした場合に、X軸と隆線からなる角度を隆線方向として算出する。その後、芯線画像生成部202は、算出した角度を、XY座標系の象限を所定の数で分割した方向(例えば、16分割)に変換(近似)し、各点における隆線方向を作成する。なお、隆線が存在しない領域が指紋画像に存在する場合には、芯線画像生成部202は、当該領域の近接する隆線方向データを用いて隆線方向データを生成する。例えば、近接する隆線方向データをそのまま用いる、又は、近接する隆線方向データの平均を当該データの隆線方向データとする等の対応が可能である。
指紋画像の隆線を含む各点の隆線方向の集合が「隆線方向データ」となる。即ち、芯線画像生成部202は、芯線画像の生成に加え、指紋画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを作成する。なお、隆線方向データ及びその活用は参考文献(特開2007-226746号公報)に記載されており、芯線画像生成部202は、同文献に開示された手法を用いることができる。
図7は、隆線方向データの一例示す図である。図7(a)は、図6(a)の芯線画像に対応する隆線方向データの一例であり、図7(b)は、図6(b)の芯線画像に対応する隆線方向データの一例である。なお、図7では図6と同様に、隆線方向データを指紋画像に重ねて表示している。
特徴点抽出部203は、芯線画像から特徴点を抽出する手段である。より具体的には、特徴点抽出部203は、芯線画像生成部202が生成した芯線画像から、芯線の分岐点及び端点を抽出することで、特徴点を抽出する。なお、芯線画像から特徴点を抽出する際の手順には、非特許文献1の「3 Fingerprint Analysis and Representation」に開示された特徴点抽出手法を用いることができる。そのため、特徴点抽出に関する詳細な説明は省略する。また、特徴点抽出部203は、特徴点の抽出の際に、指紋画像の特異点(コア型特異点、デルタ型特異点)を抽出し、特徴量の1つとして利用してもよい。
図8は、特徴点の一例を示す図である。図8(a)は、図6(a)に示す芯線画像の一部から抽出された特徴点の一例を示す。図8(b)は、図6(b)の芯線画像から抽出された特徴点の一例を示す。特徴点抽出部203は、例えば、図8(a)に示すような特徴点301~317を抽出し、各特徴点の位置及びその種別(分岐点、端点)をメモリ12に登録する。
なお、図8を含む図面において、端点を円形、分岐点を正方形にて表記する。また、後述するように、特徴量算出部204は、各特徴点に関する特徴点方向を特徴量として抽出するが、当該特徴点方向の図示は膨らみをもった直線にて表現する。例えば、図8(a)に示す特徴点(分岐点)301の特徴点方向は左下となる。
特徴量算出部204は、抽出された特徴点を特徴付ける特徴量を算出する手段である。特徴量算出部204が算出する特徴量には、基礎特徴量と、リレーション特徴量と、接続タイプと、が含まれる。
基礎特徴量は、特徴点の位置と、特徴点の種別と、特徴点を方向により特徴付ける特徴点方向と、を含む。特徴点の位置、種別及び方向は、上述のリレーション特徴量、接続タイプを算出する際の基礎となる特徴量である。
リレーション特徴量は、2つの特徴点間の関連性を示す特徴量である。なお、以降の説明では、リレーション特徴量を算出する特徴点を「親特徴点」と表記する。また、親特徴点とペアとなりリレーション特徴量の算出対象となる特徴点を「子特徴点」と表記する。
リレーション特徴量は、コンター芯線数と、子特徴点相対方向と、子特徴点相対位置の3つの特徴量を含む。
コンター芯線数は、指紋画像における芯線(隆線)を等高線(コンター)に見立て、親特徴点が存在する芯線と子特徴点が存在する芯線との間に存在する芯線の数により定まる特徴量である。
子特徴点相対方向は、詳細を後述する最近傍点を特定する際に用いられたトレース方向が、親特徴点の特徴点方向と同方向であるか又は逆方向であるかを示す特徴量である。即ち、子特徴点相対方向は、子特徴点が親特徴点の特徴点方向と同じ方向に位置するのか又は逆の方向に位置するのかを示す特徴量である。
子特徴点相対位置は、最近傍点を特定する際に用いられたトレース方向を基準とする子特徴点の存在する位置により定まる特徴量である。例えば、最近傍点をXY座標系の原点、隆線のトレース方向をY軸の正方向にそれぞれ設定した場合に、第1又は第4象限に子特徴点が位置していれば、当該子特徴点の子特徴点相対位置は「右側」となり、第2又は第3象限に子特徴点が位置していれば、当該子特徴点の子特徴点相対位置は「左側」となる。即ち、子特徴点相対位置は、最近傍点においてトレース方向を上向きとしたときに、子特徴点が左側に存在するか右側に存在するかを示す特徴量である。
接続タイプは、親特徴点と子特徴点が少なくとも1本以上の芯線により接続されている場合に、これら2つの特徴点の接続形態を示す特徴量である。
以下、上記3つの特徴量について順次説明する。
図9は、特徴量算出部204の処理構成の一例を示す図である。図9を参照すると、特徴量算出部204には、基礎特徴量算出部211と、リレーション特徴量算出部212と、接続タイプ算出部213の3つのサブモジュールが含まれる。
基礎特徴量算出部211は、芯線画像から抽出された特徴点に関し、位置、方向及び種別を抽出された特徴点を特徴付ける特徴量として算出する手段である。より具体的には、基礎特徴量算出部211は、主に特徴点方向を算出する。
初めに、分岐点に関する特徴点方向の算出について説明する。ここでは、図10(a)に示す分岐点331の特徴点方向332の算出を説明する。
初めに、基礎特徴量算出部211は、分岐点331を形成する3つの芯線のそれぞれを分岐点331から一定距離トレースする(芯線上を遡る)ことで3つの終端点333~335を決定する(図10(b)参照)。
次に、基礎特徴量算出部211は、分岐点331と3つの終端点333~335により定まる3本の直線が形成する3つの角度a1~a3それぞれを計算する(図10(c)参照)。
次に、基礎特徴量算出部211は、計算された3つの角度のうち、最も角度の小さい角度を選択し、当該角度を2分する方向を特徴点方向332として算出する(図10(b)参照)。
続いて、図11を参照しつつ、端点に関する特徴点方向の算出について説明する。
初めに、基礎特徴量算出部211は、端点341から、その端点を形成する芯線上を一定距離トレースし、終端点342を算出する。基礎特徴量算出部211は、端点341から終端点342に向けた方向を、端点341の特徴点方向として算出する。
なお、特徴点方向は、指紋画像内のXY座標系(2次元座標系)におけるX軸と、特徴点方向による直線と、により形成される角度を用いた特徴量として表記される。
基礎特徴量算出部211は、特徴点抽出部203により抽出された特徴点に関し、上記処理を実行し、基礎特徴量を算出する。例えば、基礎特徴量算出部211は、図12に示すような情報を基礎特徴量として算出する。なお、各特徴点の特徴点位置や特徴点種別に係る情報は、特徴点抽出部203により抽出された特徴点の情報を使用して算出される。
リレーション特徴量算出部212は、リレーション特徴量を算出する手段である。とりわけ、リレーション特徴量算出部212は、親特徴点が存在する芯線に対応するトレース線上の点であって子特徴点との間の直線距離が最も短い最近傍点と子特徴点を結ぶ直線が、最近傍点と子特徴点の間の芯線と交わる回数を計数し、当該回数をリレーション特徴量の1つである「コンター芯線数」として算出する。また、コンター芯線数の算出過程において、子特徴点相対方向や子特徴点相対位置に係る特徴量も算出される。なお、上記トレース線の詳細は後述する。
図13は、リレーション特徴量算出部212の動作の一例を示すフローチャートである。図13を参照しつつ、リレーション特徴量算出部212の動作を説明する。
ステップS101において、リレーション特徴量算出部212は、リレーション特徴量を算出する特徴点(親特徴点、子特徴点)を決定する。より具体的には、リレーション特徴量算出部212は、複数の特徴点から親特徴点を選択した後、親特徴点に近接する順に所定の数の特徴点を抽出し、抽出された所定の数の特徴点を子特徴点に設定する。ここでは、親特徴点に近い16個の特徴点を子特徴点とする場合を考える。この場合、図8(a)に示す例では、特徴点301を親特徴点に設定すれば、特徴点302~317が子特徴点として選択される。
なお、上記子特徴点の数は例示であって、選択する子特徴点の数を限定する趣旨ではないことは勿論である。子特徴点の数を増加させれば照合精度が向上するが、リレーション特徴量算出に係る負荷(計算量)もまた増加する。従って、リレーション特徴量の照合精度向上に対する貢献と当該特徴量算出に係る負荷を考慮し、適切な数の子特徴点を選択するのが望ましい。
親特徴点と子特徴点が決定されると、リレーション特徴量算出部212は、子特徴点のうちの1つを選択し、親特徴点を起点とする隆線方向データを利用した隆線方向トレースを実行する。リレーション特徴量算出部212は、隆線方向トレースを実行することで上述のトレース線を算出する。なお、隆線方向データを利用した隆線方向トレースの詳細は、上記参考文献に記載されており、当該文献に記載された隆線方向トレースと同様の手法を用いることができるので、以下に概略を記載するに留める。
例えば、図14に示す端点351を隆線方向トレースの起点とする。初めに、リレーション特徴量算出部212は、開始点(即ち、端点351)から予め定めた方向(初期方向;例えば、端点351の特徴点方向と同じ方向)に隆線方向をトレース(遡上)する。トレースした結果、隆線方向データが途切れていた場合には、リレーション特徴量算出部212は、トレース方向と同じ方向に所定の距離移動する(図14(a)の例では、点線352上を移動する)。移動した結果、他の隆線方向データ353に遭遇すると、リレーション特徴量算出部212は、当該隆線方向データ353をトレースする。上記のような隆線方向データ上のトレースを繰り返し、トレースした距離が予め定めた所定距離に到達すると隆線方向トレースは終了する。
なお、リレーション特徴量算出部212は、隆線方向トレースを行う際、トレースの起点となる特徴点の特徴点方向に一致する方向と特徴点方向とは逆向きの方向(180度反転した方向)の2方向にトレースを行う。リレーション特徴量算出部212により行われる2方向の隆線方向トレースにより得られる結果(軌跡)がトレース線となる。
ここで、隆線方向トレースを実行する際、トレースの初期方向が芯線上をトレースする場合には、隆線方向トレースにより得られる軌跡の一部と芯線トレースにより得られる軌跡は実質的に一致する。例えば、図15(a)を参照すると、端点421を起点とし、その特徴点方向である右上を隆線方向トレースの初期方向とすれば、隆線方向トレースにより得られる軌跡(矢印付きの細い実線)と端点421が存在する芯線422の上をトレースすることで得られる軌跡(矢印付きの点線)は実質的に一致する。対して、隆線方向トレースを実行する際、トレースの初期方向が芯線上を移動する方向ではない場合には、隆線方向トレースにより得られる軌跡と芯線との間には直接的な関係はない。例えば、図15(b)に示すように、端点421の特徴点方向とは逆方向に隆線方向トレースを実行する場合には、当該トレースにより得られる軌跡(矢印付きの細い実線)と芯線442との間に直接の関係はない。
トレース線は、2方向の隆線方向トレースによるトレースの軌跡が該当する。具体的には、図15(a)に示す矢印付きの細い実線と図15(b)に示す矢印付きの細い実線がトレース線となる。なお、上記説明から明らかなとおり、芯線上の特徴点を起点として2方向の隆線方向トレースを実行した結果であるトレース線は、その一部に上記芯線を含むことになる。例えば、図15(c)に示すように、トレース線には芯線422が実質的に含まれることになる。
図14を参照すると、図14(b)に示す地点Q1に親特徴点が存在し、その特徴点方向が右上であれば、点線で示される経路にてトレースが行われ、地点Q2にて隆線方向トレースが終了する。
なお、隆線方向トレースと芯線トレースは異なる手法である。芯線トレースとは、文字通り芯線上を所定の距離トレースするものである。従って、芯線が汗腺口等の影響で途切れている場合には、芯線の終端(即ち、端点)にて芯線トレースは終了する。従って、通常の芯線トレースでは、上記図14、図15を用いて説明したトレース線を得ることはできない。しかし、芯線トレースの最中に端点や分岐点に遭遇した場合に、その近傍に存在する谷線の分岐点(あるいは端点)を移動して谷線をトレースすることで、上記トレース線を得ることができる。なお、谷線とは、芯線画像の画素値を反転させた白黒反転画像を指す。つまり、隆線溝(白地)を隆線と見立てた画像が白黒反転画像である。このように、白黒反転画像を用いた芯線トレースを実行することで、トレース線を得ることも可能である。なお、白黒反転画像を用いた芯線トレースにより得られるトレース線であってもその一部と芯線は実質的に一致する。
ステップS102において、リレーション特徴量算出部212は、隆線方向トレースの方向を決定する。より具体的には、リレーション特徴量算出部212は、親特徴点の特徴点方向を第1のトレース方向、親特徴点の特徴点方向と逆向き(特徴点方向を180度回転させた向き)を第2のトレース方向に決定する。
ステップS103において、リレーション特徴量算出部212は、親特徴点をトレースの開始点に設定し、第1のトレース方向を初期方向とする隆線方向トレースを行う。その際、リレーション特徴量算出部212は、トレース線上の点であって子特徴点との間の距離が最短となる第1の最近傍候補点(トレース上の点(画素))を決定する。
ステップS104において、リレーション特徴量算出部212は、親特徴点をトレースの開始点に設定し、第2のトレース方向を初期方向とする隆線方向トレースを行う。その際、リレーション特徴量算出部212は、トレース線上の点であって子特徴点との間の距離が最短となる第2の最近傍候補点を決定する。
なお、親特徴点と子特徴点の位置関係により、親特徴点(開始点)が第1又は第2の最近傍候補点となることもある。また、ステップS103、104の処理におけるトレース距離は、予め制限しておくのが望ましい。例えば、トレース距離は、親特徴点と子特徴点を結ぶ単純距離の2倍程度に制限するのが望ましい。
ステップS105において、リレーション特徴量算出部212は、第1及び第2の最近傍候補点のうち、子特徴点により近い最近傍候補点を「最近傍点」として選択する。
また、リレーション特徴量算出部212は、最近傍点の算出に用いられたトレース方向により「子特徴点相対方向」を決定する。
具体的には、第1のトレース方向により最近傍点が得られた場合には、リレーション特徴量算出部212は、親特徴点の特徴点方向と同じ方向に子特徴点が存在するものとして子特徴点相対方向に「順方向」を設定する。対して、第2のトレース方向により最近傍点が得られた場合には、リレーション特徴量算出部212は、親特徴点の特徴点方向とは逆の方向に子特徴点が存在するものとして子特徴点相対方向に「逆方向」を設定する。
ステップS106において、リレーション特徴量算出部212は、最近傍点と子特徴点の間に直線を設定し、当該直線と芯線が交差する数を「コンター芯線数」として算出する。
ステップS107において、リレーション特徴量算出部212は、算出したコンター芯線数が1以上であるか否かを判定する。
コンター芯線数が「1」以上であれば(ステップS107、Yes分岐)、リレーション特徴量算出部212は、ステップS108の処理を実行する。コンター芯線数が「0」であれば(ステップS107、No分岐)、リレーション特徴量算出部212は、ステップS109以降の処理を実行する。
ステップS108において、リレーション特徴量算出部212は、「子特徴点相対位置」に関する特徴量を算出する。上述のように、リレーション特徴量算出部212は、最近傍点をXY座標軸の原点、隆線方向トレースの方向をY軸の正方向にそれぞれ設定し、子特徴点が存在する象限により「子特徴点相対位置」を決定する。
図16を参照すると、例えば、最近傍点361を原点、隆線方向トレースの方向をY軸の正方向とするXY座標系において、子特徴点362は第1象限に位置するので、子特徴点362に関する子特徴点相対位置は「右側」となる。
上述のように、コンター芯線数が「0」であれば(ステップS107、No分岐)、リレーション特徴量算出部212は、ステップS109以降の処理を実行する。
ステップS109において、リレーション特徴量算出部212は、親特徴点と子特徴点が1本以上の芯線にて直接接続されているか否かを判定する。
親特徴点と子特徴点が1本以上の芯線により直接接続されていない場合(ステップS109、No分岐)、リレーション特徴量算出部212は、処理を終了する。
親特徴点と子特徴点が1本以上の芯線により直接接続されている場合(ステップS109、Yes分岐)、リレーション特徴量算出部212は、ステップS110の処理を実行する。
ステップS110では、リレーション特徴量算出部212は、接続タイプ算出部213を起動する。具体的には、リレーション特徴量算出部212は、コンター芯線数が「0」となる親特徴点と子特徴点に関する情報(これらの特徴点を識別する識別子又は座標位置)を接続タイプ算出部213に通知すると共に、「接続タイプ」の算出を指示する。接続タイプ算出部213による「接続タイプ」の算出に関する詳細は後述する。なお、コンター芯線数が「0」の場合には、最近傍点と子特徴点の間の距離が短く、子特徴点相対位置は変動し易いので当該特徴量は「不明」とするのが望ましい。また、最近傍点と子特徴点が一致した場合にも、子特徴点相対位置を決定することができないので、この場合も当該特徴量は「不明」とする。
続いて、リレーション特徴量算出部212によるリレーション特徴量の算出に関し、図面を参照しつつ具体的に説明する。ここでは、図8(a)に示す特徴点301を親特徴点、特徴点304を子特徴点とする場合のリレーション特徴量の算出について説明する。
図17(a)を参照すると、親特徴点371(特徴点301)の特徴点方向は左下向きであるので、第1のトレース方向は左下方向、第2のトレース方向は右上方向となる。第1のトレース方向に隆線方向トレース(細い破線にて図示)すると、トレースポイントと子特徴点372(特徴点304)の間の距離は広がる一方であり、第1の最近傍候補点は親特徴点371と同じ位置となる。
次に、第2のトレース方向に隆線方向トレース(太い点線にて図示)すると、図の黒点の位置が子特徴点372との間の距離が最短となる場所として算出される。従って、第2の最近傍候補点は図の黒点となる。
第1の最近傍候補点(親特徴点371)と子特徴点372の間の距離と第2の最近傍候補点(黒点)と子特徴点372の間の距離を比較すると、後者の方が短いので黒点が最近傍点373となる。第2のトレース方向により最近傍点373が得られるので子特徴点372に関する「子特徴点相対方向」は「逆方向」となる。
また、最近傍点373と子特徴点372を結ぶ直線と交差する芯線の数は「3」であるので、子特徴点372に関するコンター芯線数は「3」となる。
なお、ノイズ(例えば、毛氈)等の影響により、本来芯線ではない線が芯線画像に現れることがある。このようなノイズの影響を排除するため、最近傍点から所定の距離以下に存在する芯線は計数(カウント)しない等の対応を行うのが望ましい。
また、子特徴点372に関する子特徴点相対位置は、図17(a)の例では、最近傍点373における隆線方向トレースの方向をY軸の正方向と設定すれば、子特徴点372は第4象限に存在するので、子特徴点372に関する子特徴点相対位置は「右側」となる。
ここで、図17(a)に示す指紋画像は図8(a)の指紋画像(押捺指紋)に対応する画像であるが、図8(b)に示す指紋画像(遺留指紋)について、照合装置30にて同様にリレーション特徴量が算出される(図17(b)参照)。
図17(b)を参照すると、親特徴点381の子特徴点382に関するコンター芯線数は「3」、子特徴点相対方向は「逆方向」、子特徴点相対位置は「右側」となる。つまり、押捺指紋と遺留指紋から算出される「リレーション特徴量」は、どちらも同じであり、当該特徴量は画像歪みの影響を受けないことがわかる。
なお、図17(a)を確認すると、押捺指紋側の親特徴点371と子特徴点374(特徴点305)は同じ芯線上に存在するので、子特徴点374に関する「コンター芯線数」は「0」となる。同様に、図17(b)を確認すると、遺留指紋側の親特徴点381と子特徴点383も同じ芯線上に存在するので、子特徴点383に関する「コンター芯線数」は同じく「0」となる。なお、上述のように、コンター芯線数が「0」の場合には、子特徴点相対位置は算出されない(不明に設定される)。
リレーション特徴量算出部212は、上記説明した処理を全ての設定された子特徴点について繰り返し、1つの親特徴点に関する子特徴点のリレーション特徴量(子特徴点相対方向、子特徴点相対位置、コンター芯線数)を算出する。また、リレーション特徴量算出部212は、親特徴点を他の特徴点に切り替えて上記の処理を繰り返し、指紋画像中の特徴点に関するリレーション特徴量を算出する。
例えば、リレーション特徴量算出部212は、図18に示すような情報をリレーション特徴量として算出する。
なお、本願開示では、芯線と隆線は同義なものと扱うこともできる。とりわけ、「リレーション特徴量」に関しては、芯線と隆線を同義なものとして扱うことができる。例えば、リレーション特徴量算出部212は、子特徴点と最近傍点の間に存在する隆線の数を計数し、「コンター隆線数」を「コンター芯線数」に替わる特徴量として算出してもよい。
次に、接続タイプ算出部213について説明する。
接続タイプ算出部213は、リレーション特徴量の算出においてコンター芯線数が「0」と算出され、且つ、親特徴点と子特徴点が1本以上の芯線により直接接続されている場合に起動する。なお、親特徴点と子特徴点が1本以上の芯線により直接接続されているということは、親特徴点と子特徴点の途中に他の特徴点が存在しないことを示す。換言すると、同じ芯線上に特徴点と子特徴点の間に別の特徴点が存在する場合には、当該子特徴点に関する接続タイプは算出されない。また、隆線方向トレースにより得られるトレース線上に子特徴点が存在する場合には、当該子特徴点に関する「コンター芯線数」は「0」となる。この場合であっても、子特徴点が親特徴点の存在する芯線上に存在し、且つ、直接接続されていなければ、当該子特徴点は接続タイプの算出対象とはならない。例えば、図17の例では、親特徴点371のトレース線(太い点線)上に子特徴点375が存在するが、当該子特徴点375は親特徴点371の芯線と直接接続されていないので、接続タイプの算出対象とはならい。
接続タイプ算出部213の詳細な動作を説明するに先立ち、分岐点を構成する3本の芯線に定義を与える。図10を用いて説明したように、特徴点が分岐点である場合には、3つの内角が定義できる。具体的には、図19(a)に示すように、分岐点を形成する3本の芯線により3つの内角a1、a2、a3が求まる。これら3つの内角のうち、最小の内角をa1として以降の説明を行う。また、分岐点をなす芯線は3本存在するが、最小の内角a1に関与しない(内角a1を形成しない;内角a1に接しない)芯線をd1、内角a2に関与しない芯線をd2、内角a3に関与しない芯線をd3とそれぞれ表記する。なお、上述のように、特徴点が分岐点である場合の特徴点方向(分岐点方向)は、最小内角a1を形成する芯線d2、d3を2分する方向である。
さらに、特徴点位置を原点とし、特徴点方向をY軸正方向とする2次元座標系を設定して360度表現で方向を定義する(図19(b)参照)。コア領域近辺等を除く指紋画像の通常領域では、芯線d2は、上記設定した2次元座標系において、0度以上90度未満の間(第1象限)に位置する。以降の説明において、上記設定した2次元座標系の第1象限に位置する芯線d2を右側芯線と表記する。また、芯線d3は、通常、90度以上180度未満の間(第2象限)に位置する。そこで、上記設定した2次元座標系の第2象限に位置する芯線d3を左側芯線と表記する。さらに、芯線d1は、通常、180度以上360度未満の間(第3、第4象限)に位置する。そこで、上記設定した2次元座標系の第3、第4象限に位置する芯線d1を逆側芯線と表記する。
なお、コア領域近辺等、通常領域とは異なる領域では、図19(b)に示すような芯線形状ではなく、図19(c)に示すような特殊な芯線形状が表れることがある。図19(c)に示すように、芯線d1が上記設定した2次元座標系の第1象限又は第2象限(0度以上180度未満)に位置する場合には、芯線d1を特殊逆側芯線と表記する。
なお、図19(b)や図19(c)に図示したような2次元座標系では特徴点方向は常に90度となる。
図20及び図21は、接続タイプ算出部213の動作の一例を示すフローチャートである。
接続タイプ算出部213は、親特徴点と子特徴点それぞれに関する方向、種別と、これらの特徴点を接続する芯線の数と、親特徴点と子特徴点のうち少なくとも一方の特徴点の種別が分岐点である場合に当該分岐点を形成する3本の芯線のうち他方の特徴点と接続された芯線の種類と、に基づいて接続タイプを決定する。より詳細には、接続タイプ算出部213は、図19を用いて説明した座標系(分岐点の位置を原点に設定し、分岐点を特徴付ける特徴点方向をY軸正方向とする2次元座標系)において、分岐点を形成する3本の芯線の存在する象限に応じて3本の芯線それぞれの種類(右側芯線、左側芯線、逆側芯線、特殊逆側芯線)を決定し、接続タイプの算出に利用する。
初めに、接続タイプ算出部213は、親特徴点の種別を判定する(ステップS201)。
親特徴点が端点であれば(ステップS201、Yes分岐)、ステップS202以降の処理が実行される。親特徴点が分岐点であれば(ステップS201、No分岐)、ステップS211以降の処理が実行される。
ステップS202において、接続タイプ算出部213は、子特徴点の種別を判定する。
子特徴点が端点であれば(ステップS202、Yes分岐)、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ1」に設定する(ステップS203)。例えば、図22(a)に示す接続形態が「タイプ1」に相当する。なお、図22以降の説明において、親特徴点をP、子特徴点をCと表記する。
子特徴点が分岐点であれば(ステップS202、No分岐)、接続タイプ算出部213は、子特徴点(分岐点)をなす3本の芯線のうちいずれのタイプの芯線が親特徴点に接続されているかを判定する(ステップS204)。
親特徴点が、子特徴点(分岐点)の逆側芯線と接続されている場合には、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ2」に設定する(ステップS205)。例えば、図22(b)に示す接続形態が「タイプ2」に相当する。
親特徴点が、子特徴点(分岐点)の左側芯線に接続されている場合には、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ3」に設定する(ステップS206)。例えば、図22(c)に示す接続形態が「タイプ3」に相当する。
親特徴点が、子特徴点(分岐点)の右側芯線に接続されている場合には、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ4」に設定する(ステップS207)。例えば、図22(d)に示す接続形態が「タイプ4」に相当する。
上述のように、親特徴点が分岐点であれば(ステップS201、No分岐)、ステップS211以降の処理が実行される。
ステップS211において、接続タイプ算出部213は、子特徴点の種別を判定する。
子特徴点の種別が端点であれば(ステップS211、Yes分岐)、接続タイプ算出部213は、親特徴点(分岐点)をなす3本の芯線のうちいずれのタイプの芯線が子特徴点と接続されているかを判定する(ステップS212)。
子特徴点が親特徴点(分岐点)の逆側芯線に接続されている場合には、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ5」に設定する(ステップS213)。例えば、図23(a)に示す接続形態が「タイプ5」に相当する。
子特徴点が親特徴点(分岐点)の左側芯線に接続されている場合には、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ6」に設定する(ステップS214)。例えば、図23(b)に示す接続形態が「タイプ6」に相当する。
子特徴点が親特徴点(分岐点)の右側芯線に接続されている場合には、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ7」に設定する(ステップS215)。例えば、図23(c)に示す接続形態が「タイプ7」に相当する。
子特徴点の種別が分岐点であれば(ステップS211、No分岐)、ステップS221以降の処理が実行される。
ステップS221以降の処理は、図21を参照して説明する。
ステップS221において、接続タイプ算出部213は、親特徴点が特殊逆側芯線を有するか否かを判定する。
親特徴点が特殊逆側芯線を有しない場合(ステップS221、No分岐)には、ステップS222以降の処理が実行される。親特徴点が特殊逆側芯線を有する場合(ステップS221、Yes分岐)には、ステップS241が実行される。
ステップS222において、接続タイプ算出部213は、親特徴点と子特徴点が1本の芯線により接続されているか、親特徴点と子特徴点が2本の芯線により接続されているかを判定する。
親特徴点と子特徴点が1本の芯線により接続されている場合(ステップS222、Yes分岐)、接続タイプ算出部213は、子特徴点(分岐点)が親特徴点の逆側芯線と接続されているか否かを判定する(ステップS223)。
子特徴点が親特徴点の逆側芯線と接続されていない場合(ステップS223、No分岐)には、接続タイプ算出部213は、子特徴点が親特徴点(分岐点)の左側芯線に接続されているのか否かを判定する(ステップS224)。
子特徴点が親特徴点の左側芯線に接続されている場合(ステップS224、Yes分岐)には、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ8」に設定する(ステップS225)。例えば、図24(a)に示す2つの形態が「タイプ8」に相当する。
子特徴点が親特徴点の右側芯線に接続されている場合(ステップS224、No分岐)には、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ9」に設定する(ステップS226)。例えば、図24(b)に示す2つの形態が「タイプ9」に相当する。
子特徴点が親特徴点の逆側芯線と接続されている場合(ステップS223、Yes分岐)には、接続タイプ算出部213は、子特徴点(分岐点)をなす3本の芯線のうちいずれのタイプの芯線が親特徴点に接続されているかを判定する(ステップS227)。
親特徴点が子特徴点(分岐点)の左側芯線と接続されている場合には、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ10」に設定する(ステップS228)。例えば、図25(a)に示す接続形態が「タイプ10」に相当する。
親特徴点が子特徴点(分岐点)の右側芯線と接続されている場合には、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ11」に設定する(ステップS229)。例えば、図25(b)に示す接続形態が「タイプ11」に相当する。
親特徴点が子特徴点(分岐点)の逆側芯線と接続されている場合には、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ12」に設定する(ステップS230)。例えば、図25(c)に示す接続形態が「タイプ12」に相当する。
親特徴点と子特徴点が2本の芯線により接続されている場合(ステップS222、No分岐)、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ13」に設定する(ステップS231)。例えば、図25(d)に示す接続形態が「タイプ13」に相当する。
上述のように、親特徴点が特殊逆側芯線を有する場合(ステップS221、Yes分岐)には、ステップS241の処理が実行される。
ステップS241において、接続タイプ算出部213は、2つの特徴点を接続する芯線の数により子特徴点の接続タイプを決定する。
親特徴点と子特徴点が1本の芯線により接続されていれば、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ14」に設定する。例えば、図26(a)に示す接続形態が「タイプ14」に相当する。
親特徴点と子特徴点が2本の芯線により接続されていれば、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ15」に設定する。例えば、図26(b)に示す接続形態が「タイプ15」に相当する。
親特徴点と子特徴点が3本の芯線により接続されていれば、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ16」に設定する。例えば、図26(c)に示す接続形態が「タイプ16」に相当する。
上述の図17(a)の例では、特徴点301を親特徴点371、特徴点305を子特徴点374にそれぞれ設定した場合に、当該子特徴点374のコンター芯線数は「0」となる。従って、親特徴点371と子特徴点374の接続形態が判定される。
この場合、親特徴点371が分岐点であり(ステップS201、No分岐)、子特徴点374も分岐点である(ステップS221、No分岐)。また、親特徴点は特殊逆側芯線を有さず(ステップS221、No分岐)、2つの特徴点は1本の芯線により接続(ステップS222、Yes分岐)されている。さらに、子特徴点374は親特徴点371の逆側芯線に接続され(ステップS223、Yes分岐)、親特徴点は子特徴点の逆側芯線に接続されている。従って、親特徴点371と子特徴点374の接続形態は、「タイプ12」と判定される(ステップS230)。
上記説明したように、接続タイプ算出部213は、接続タイプを特徴点(親特徴点、子特徴点)の種別、分岐点をなす芯線の種類(左側芯線、右側芯線、逆側芯線、特殊逆側芯線)、親特徴点と子特徴点を接続する芯線の本数により決定する。但し、接続タイプ算出部213は、芯線のタイプ等による接続タイプの決定だけでなく、親特徴点と子特徴点それぞれの位置、特徴点方向、種別(即ち、基礎特徴量)と、2つの特徴点を接続する芯線の数に応じて、接続タイプを決定してもよい。
図27及び図28は、接続タイプ算出部213の別の動作の一例を示すフローチャートである。
初めに、接続タイプ算出部213は、親特徴点の種別を判定する(ステップS301)。
親特徴点が端点であれば(ステップS301、Yes分岐)、ステップS302以降の処理が実行される。親特徴点が分岐点であれば(ステップS301、No分岐)、ステップS311以降の処理が実行される。
ステップS302において、接続タイプ算出部213は、子特徴点の種別を判定する。
子特徴点が端点であれば(ステップS302、Yes分岐)、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ31」に設定する(ステップS303)。例えば、図22(a)に示す接続形態が「タイプ31」に相当する。
子特徴点が分岐点であれば(ステップS302、No分岐)、接続タイプ算出部213は、親特徴点の特徴点方向と子特徴点の特徴点方向が同じ向きか否かを判定する(ステップS304)。なお、特徴点方向が同じ向きか否かの判定は、2つの特徴点方向の角度差Δが所定範囲内(0度≦Δ≦90度、-90度≦Δ<0度)である場合を同じ方向とし、上記所定範囲外(90度<Δ≦180度、-90度<Δ<180度)の場合には、逆方向とする。
2つの特徴点方向が同方向であれば(ステップS304、Yes分岐)、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ32」に設定する(ステップS305)。例えば、図22(b)に示す接続形態が「タイプ32」に相当する。
2つの特徴点方向が逆方向であれば(ステップS304、No分岐)、接続タイプ算出部213は、子特徴点の特徴点方向が親特徴点の特徴点方向からみて左側(第1象限)を向いているか右側(第4象限)を向いているか判定する(ステップS306)。
左側を向いていれば(ステップS306、Yes分岐)、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ33」に設定する(ステップS307)。例えば、図22(c)に示す接続形態が「タイプ33」に相当する。
右側を向いていれば(ステップS306、No分岐)、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ34」に設定する(ステップS308)。例えば、図22(d)に示す接続形態が「タイプ34」に相当する。
上述のように、親特徴点が分岐点であれば(ステップS301、No分岐)、ステップS311以降の処理が実行される。
ステップS311において、接続タイプ算出部213は、子特徴点の種別を判定する。
子特徴点の種別が端点であれば(ステップS311、Yes分岐)、接続タイプ算出部213は、親特徴点の特徴点方向と子特徴点の特徴点方向が同じ向きか否かを判定する(ステップS312)。2つの特徴点方向が同方向であれば(ステップS312、Yes分岐)、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ35」に設定する(ステップS313)。例えば、図23(a)に示す接続形態が「タイプ35」に相当する。
2つの特徴点方向が逆方向であれば(ステップS312、No分岐)、接続タイプ算出部213は、親特徴点をXY座標系における原点に設定し、親特徴点の特徴点方向をX軸の正方向とした場合に、子特徴点が第1象限及び第4象限のどちらに存在するかを判定する(ステップS314)。子特徴点が第1象限に存在(つまり、親特徴点から見て左側に存在)すれば接続タイプ算出部213は、子特徴点の接続タイプを「タイプ36」に設定する(ステップS315)。例えば、図23(b)に示す接続形態が「タイプ36」に相当する。
子特徴点が第4象限に存在(つまり、親特徴点から見て右側に存在)すれば、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ37」に設定する(ステップS316)。例えば、図23(c)に示す接続形態が「タイプ37」に相当する。
子特徴点の種別が分岐点であれば(ステップS311、No分岐)、ステップS321以降の処理が実行される。
ステップS321以降の処理は、図28を参照して説明する。
ステップS321において、接続タイプ算出部213は、親特徴点と子特徴点が1本の芯線により接続されているか否かを判定する。
親特徴点と子特徴点が1本の芯線により接続されていれば(ステップS321、Yes分岐)、接続タイプ算出部213は、親特徴点の特徴点方向と子特徴点の特徴点方向が同じ向きか否かを判定する(ステップS322)。
2つの特徴点方向が同方向であれば(ステップS322、Yes分岐)、接続タイプ算出部213は、親特徴点をXY座標系の原点に設定し、親特徴点の特徴点方向をX軸の正方向とした場合に、子特徴点が第1及び第4象限のどちらに存在するか判定する(ステップS323)。
子特徴点が第1象限に存在(つまり、親特徴点からみて左側に存在)すれば、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ38」に設定する(ステップS324)。例えば、図24(a)の右側に示す接続形態が「タイプ38」に相当する。
子特徴点が第4象限に存在(つまり、親特徴点からみて右側に存在)すれば、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ39」に設定する(ステップS325)。例えば、図24(b)の右側に示す接続形態が「タイプ39」に相当する。
2つの特徴点方向が逆方向であれば(ステップS322、No分岐)、接続タイプ算出部213は、2つの特徴点方向が対向するか否かを判定する(ステップS326)。なお、2つの特徴点方向が対向するか否かは、例えば、親特徴点をXY座標系の原点、当該親特徴点の特徴点方向をY軸の正方向にそれぞれ設定した場合に、子特徴点をX軸方向に平行移動することにより子特徴点が正の領域のY軸上に移動可能か否かにより判定できる。
特徴点方向が対向しない場合(ステップS326、No分岐)、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ40」に設定する(ステップS327)。例えば、図25(c)に示す接続形態が「タイプ40」に相当する。
特徴点方向が対向する場合(ステップS326、Yes分岐)、接続タイプ算出部213は、親特徴点をXY座標系の原点に設定し、親特徴点の特徴点方向をX軸の正方向とした場合に、子特徴点が第1、第4象限のどちらに存在するか判定する(ステップS328)。子特徴点が第1象限に存在(つまり、親特徴点から見て左側に存在)すれば、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ41」に設定する(ステップS329)。例えば、図24(a)の左側に示す接続形態が「タイプ41」に相当する。
子特徴点が第4象限に存在(つまり、親特徴点から見て右側に存在)すれば、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ42」に設定する(ステップS330)。例えば、図24(b)の左側に示す接続形態が「タイプ42」に相当する。
親特徴点と子特徴点が2本以上の芯線により接続されている場合には(ステップS321、No分岐)、接続タイプ算出部213は、2つの特徴点を接続する芯線の数により子特徴点の接続タイプを決定する(ステップS331)。
具体的には、2本の芯線により2つの特徴点が接続されていれば、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ43」に設定する。例えば、図25(d)や図26(b)に示す接続形態が「タイプ43」に相当する。
3本の芯線により2つの特徴点が接続されていれば、接続タイプ算出部213は、子特徴点の接続タイプを「タイプ44」に設定する。例えば、図26(c)に示す接続形態が「タイプ44」に相当する。
上述の図17(a)の例では、特徴点301を親特徴点371、特徴点305を子特徴点374にそれぞれ設定した場合に、当該子特徴点374のコンター芯線数は「0」となる。従って、親特徴点371と子特徴点374の接続形態が判定される。
この場合、親特徴点371が分岐点であり(ステップS301、No分岐)、子特徴点374も分岐点である(ステップS311、No分岐)。また、これらの特徴点は1本の芯線により接続され(ステップS321、Yes分岐)、特徴点方向は逆向き(ステップS322、No分岐)である。さらに、2つの特徴点方向は対向していない(ステップS326、No分岐)。従って、親特徴点371と子特徴点374の接続形態は、「タイプ40」と判定される。
なお、接続タイプ算出部213は、上記図20及び図21による接続タイプの判定処理(芯線の接続タイプを利用した判定処理)と図27及び図28による接続タイプの判定処理(2つの特徴点子それぞれの位置や特徴点方向を利用した判定処理)を組み合わせて接続タイプの算出を行っても良い。例えば、前者の判定では、図24(a)に示す2つの接続形態は共に「タイプ8」と判定される。そこで、前者の判定処理にて「タイプ8」と判定された場合には、後者の判定を実行し、2つの接続タイプを区別してもよい。より詳細には、後者の判定処理を用いることで、図24(a)の右側は「タイプ38」と判定され、左側は「タイプ41」と判定される。
以上が特徴量算出部204の動作の説明である。
図5に説明を戻すと、特徴量出力部205は、特徴量算出部204が算出した各種特徴量(基礎特徴量、リレーション特徴量、接続タイプ)を指紋画像のID情報及び指紋画像と共に、データベース20に出力する。例えば、特徴量出力部205は、図29に示すような特徴量をデータベース20に出力する。
[照合装置]
続いて、照合装置30の構成及び動作を説明する。
図30は、第1の実施形態に係る照合装置30の処理構成の一例を示す図である。図30を参照すると、照合装置30は、指紋画像入力部221と、芯線画像生成部222と、特徴点抽出部223と、特徴量算出部224と、データベース(DB;Data Base)アクセス部225と、照合部226と、照合結果出力部227と、を含んで構成される。
指紋画像入力部221、芯線画像生成部222、特徴点抽出部223、特徴量算出部224の各部は、特徴量生成装置10の対応する各処理モジュールと同一とすることができるので説明を省略する。
なお、上述のとおり、照合装置30に入力する指紋画像は、図3(c)の指紋画像(遺留指紋)とする。照合装置30は、特徴量算出部224等を動作させ、図3(c)に示す指紋画像(遺留指紋)から図31に示す特徴量を算出したものとする。
データベースアクセス部225は、データベース20にアクセスし、当該データベースに格納されている指紋画像、特徴量及びID情報を取得する手段である。ここでは、図3(a)に示す指紋画像(押捺指紋)と、図29に示す特徴量が取得されたものとする。
照合部226は、入力した指紋画像(遺留指紋)とデータベース20に特徴量が登録された指紋画像(押捺指紋)の照合処理を行う手段である。
図32は、照合部226の動作の一例を示す図である。
初めに、照合部226は、サーチ側の指紋画像(遺留指紋)とファイル側の指紋画像(押捺指紋)に含まれる特徴点からペア特徴点候補を算出する(ステップS401)。具体的には、照合部226は、2つの指紋画像の位置合わせ(位置決め)処理を実施し、特徴点座標を変換する。
2つの指紋画像の位置合わせには種々の方法を採用することができる。例えば、特異点(コア型特異点、デルタ型特異点)を利用して2つの指紋画像の位置合わせを行ってもよい。
照合部226は、位置合わせ処理にて座標変換された後のサーチ側とファイル側の2つの特徴点座標が所定の範囲内にあれば、当該2つの特徴点はペア特徴点の候補として扱う。その上で、照合部226は、ペア特徴点の候補それぞれの特徴量を比較し、最終的な判定(ペア特徴点、非ペア特徴点)を行う。
例えば、図8を参照すると、照合部226は、図8(b)に示すサーチ側の特徴点321とペアとなる特徴点の候補を、図8(a)に示すファイル側の特徴点301~317のなかから探索する。図8の例では、特徴点301が特徴点321のペア特徴点候補として算出される。
次に、照合部226は、特徴点321の特徴量(図31の1行目~5行目の特徴量)と特徴点301の特徴量(図29の1行目~7行目の特徴量)を比較する。照合部226は、比較結果に基づき、これらの特徴点がペア特徴点であるか非ペア特徴点であるかを判定する。具体的には、照合部226は、2つの特徴点を特徴付ける特徴量(基礎特徴量、リレーション特徴量、接続タイプ)の各要素を比較し、一致すれば判定スコアを上昇させる。一方、照合部226は、2つの特徴点に対応する特徴量が存在しない、あるいは、対応する特徴量の各要素が一致しなければ、判定スコアを下降させる。あるいは、照合部226は、各要素に重みをつけて判定スコアの変動を行っても良い。
照合部226は、上記のようにして算出した判定スコアに対して閾値処理を実行し、2つの特徴点がペア特徴点か否かを判定する。図29及び図31の例では、サーチ側の指紋画像(遺留指紋)が一部の領域しかないため、特徴点307~317を子特徴点とする場合のリレーション特徴量等がサーチ側の指紋画像(遺留指紋;図31)には存在しない。しかし、子特徴点302~306と当該子特徴点に対応する子特徴点322~326に関するリレーション特徴量が一致するため、2つの特徴点311と特徴点301がペアである判定スコア(信頼度)は高く算出される。特徴点301と特徴点321はペア特徴点であると判定される。
このような判定を他の特徴点についても繰り返すと、図33に示すペア特徴点が算出される。図33では、ファイル側(押捺指紋;図6(a)に示す指紋画像)とサーチ側(遺留指紋;図6(b)に示す指紋画像)のペア特徴点を実線にて接続し、明記している。
ペア特徴点の算出が終了すると、照合部226は、データベース20から取得した指紋画像(照合処理を行った対象)に関する照合スコアを算出する(図32のステップS402)。照合スコアは、サーチ側の指紋画像(遺留指紋)とファイル側の指紋画像(押捺指紋)の類似度(一致度)を示す指標である。
照合部226は、照合スコアの算出においても、それぞれの指紋画像から算出された特徴量を用いて、照合スコアを算出する。例えば、照合部226は、ペア特徴点と判定された特徴点数が多ければ、当該指紋画像(ファイル側の指紋画像、押捺指紋)の照合スコアを高くする。あるいは、一方の指紋画像には特徴点が存在するが、他方の指紋画像には対応する特徴点が存在しない場合には、照合部226は、当該指紋画像の照合スコアを低くする。
照合部226は、このような処理をデータベース20から取得した指紋画像(押捺指紋)について繰り返し、ファイル側の各指紋画像(押捺指紋)に関する照合スコアを算出する。
照合結果出力部227は、照合部226が算出した照合スコアの高い指紋画像を所定のルールに応じて選択し、出力する。例えば、照合結果出力部227は、照合スコアが高い順に所定の数の指紋画像を選択する。あるいは、照合結果出力部227は、照合スコアに対して閾値処理を施し、所定の値もよりも高い照合スコアを有する指紋画像を選択する。
照合結果出力部227は、上記選択した指紋画像のID情報と照合スコアの組み合わせを照合結果として出力する。例えば、照合結果出力部227は、図34に示すような照合結果を印刷する、モニタに表示する、USB等の外部記憶装置に出力する。あるいは、照合結果出力部227は、照合スコアだけでなく、照合スコア算出の基礎(根拠)となった特徴量(図29、図31に示す特徴量)を外部装置(プリンタ、モニタ、外部記憶装置等)に出力してもよい。
図35は、第1の実施形態に係る指紋照合システムの動作の一例を示す図である。
特徴量生成装置10は、押捺指紋等の特徴量算出の対象となる指紋画像を入力する(ステップS01)。その後、特徴量生成装置10は、指紋画像から芯線画像を生成(ステップS02)し、特徴点の抽出を行う(ステップS03)。その後、特徴量生成装置10は、芯線画像及び隆線方向データ等を用いて各種特徴量(基礎特徴量、リレーション特徴量、接続タイプ)を算出する(ステップS04)。その後、特徴量生成装置10は、特徴量を算出した指紋画像、当該指紋画像の特徴量及びID情報をデータベース20に出力する(ステップS05)。
データベース20は、特徴量生成装置10からの特徴量等を記憶媒体に格納する(ステップS11)。
照合装置30は、指紋照合の対象となる指紋画像(遺留指紋)を入力する(ステップS21)。その後、照合装置30は、特徴量生成装置10と同様に各種特徴量を算出する(ステップS22~S24)。その後、照合装置30は、データベース20に格納された情報(指紋画像、特徴量、ID情報)を取得(ステップS25)し、照合処理を行う(ステップS26)。その後、照合装置30は、照合結果を外部装置に出力する(ステップS27)。
なお、上記実施形態にて説明した指紋照合システムの構成は例示であって、システムの構成を限定する趣旨ではない。例えば、照合装置30の機能が特徴量生成装置10に組み込まれていてもよい。あるいは、特徴量生成装置10が照合装置30の機能の一部として実装されていてもよいし、データベース20の機能が照合装置30の機能の一部として実装されていてもよい。
あるいは、照合装置30が、押捺指紋と遺留指紋に係る2枚の画像を入力し、これらの指紋画像に関する照合を行っても良い(一致、不一致を判定してもよい)。
上記実施形態では、2つの特徴点間の芯線数をコンター芯線数として算出しているが、コンター芯線数に加え、非特許文献2及び3に開示されたような従来型の特徴点間隆線数(芯線数)も特徴量として算出し、照合処理に利用してもよい。
上記実施形態では、最近傍点にXY座標系の原点を設定し、子特徴点相対位置を算出している。当該特徴量に加え(あるいは替えて)、親特徴点をXY座標系の原点に設定し、最近傍点を特定する際に用いられたトレース方向を基準とする子特徴点の存在する位置により定まる特徴量を算出してもよい。より具体的には、子特徴点がトレース方向の延長線上の右側に位置しているか又は左側に位置しているかを示す特徴量を算出してもよい。具体的には、親特徴点をXY座標系の原点、隆線のトレース方向をX軸の正方向にそれぞれ設定した場合に、第1象限に子特徴点が位置していれば、当該子特徴点の特徴量は「左側」となり、第4象限に子特徴点が位置していれば、当該子特徴点の特徴量は「右側」となる。
上記実施形態では、隆線により曲線縞模様が形成されている画像として指紋画像を用いて特徴量生成装置10等の構成及び動作を説明したが、扱う画像は指紋画像に限定されない。特徴量生成装置10は、例えば、掌紋等に係る画像から特徴量を算出しても良い。
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上記実施形態の各開示は、内容が相反しない範囲で組み合わせることができる。
以上のように、第1の実施形態に係る特徴量生成装置10は、特徴点の位置や方向等の特徴量に加え、2つの特徴点間の関連性に関するリレーション特徴量を算出する。このリレーション特徴量には、「コンター芯線数」が含まれる。当該コンター芯線数は、非特許文献2等に開示された特徴点間隆線数とは異なる性質を有する。
以下、非特許文献2及び3に開示された「特徴点間隆線数」の詳細を説明する。
なお、「特徴点間隆線数」は全ての特徴点に対して算出されるのが通常である。具体的には、指紋画像に写る全ての特徴点のうち1つの特徴点が選択され、当該選択された特徴点とその近傍に位置する特徴点を直線で結び、当該直線と交差する隆線の数が「特徴点間隆線数」として算出される。
「特徴点間隆線数」は、通常、ペア特徴点の位置ほどには画像歪みの影響を受けないが、特徴点間の隆線の湾曲が大きいと画像歪みの影響が顕著となる。例えば、図36に示す2つの指紋画像から「特徴点間隆線数」を算出する場合を考える。なお、図36に示す2つの指紋画像は同一人物の同一指から得られる指紋画像(例えば、押捺指紋と遺留指紋に係る指紋画像)とする。図36(a)の特徴点391と図36(b)の特徴点392、図36(a)の特徴点393と図36(b)の特徴点394がそれぞれペア特徴点である。
図36を参照すると、各図の特徴点間における隆線の曲がり具合(曲率)の差が大きいことが分かる。より具体的には、図36(a)では2つの特徴点を結ぶ隆線を含む隆線は、斜め右上に向かってほぼ直線であるのに対し、図36(b)では隆線が大きく湾曲している。図36(a)において、特徴点391と特徴点393に関する「特徴点間隆線数」を算出すると、2つの特徴点を結ぶ直点と交差する隆線は存在しないので「特徴点間隆線数」は「0」となる。対して、図36(b)において「特徴点間隆線数」を算出すると、2つの特徴点を結ぶ直線と交差する隆線は6本(6箇所;図の丸印が交差点)となるので、「特徴点間隆線数」は「6」となる。
このように、同一人物から得られる指紋画像であるにも関わらず、「特徴点間隆線数」が大きく異なることがある。また、上記の不都合を解消するため、同一隆線を2回カウントしないといった対応をしたとしても図36(b)における直線と交差する隆線数は3本となり、依然として「特徴点間隆線数」は大きく異なる。
非特許文献2及び3に開示された「特徴点間隆線数」は画像歪み等のノイズに弱く、「特徴点間隆線数」を用いた照合処理では高い照合精度が得られない。即ち、「特徴点間隆線数」は、画像歪みが顕著な場合の頑健性(ロバスト性)が乏しく、照合精度向上への貢献には限界がある(照合精度劣化の要因となることもある)。以上のように、画像歪みが顕著な遺留指紋を照合対象とする場合、非特許文献2及び3に開示されたような「特徴点間隆線数」を特徴量として用いると、遺留指紋とその対指紋である押捺指紋との間で、「特徴点間隆線数」の差が生じ得る。従って、そのような「特徴点間隆線数」を用いた照合処理では、高い精度の照合は期待できない。また、小領域の遺留指紋からは、十分な数の特徴点を抽出できず、特徴点数が少ない場合は、「特徴点間隆線数」を算出するための情報が少ないため高い精度の照合が期待できない。
対して、第1の実施形態に係る特徴量生成装置10は、芯線を等高線として扱い2つの特徴点間に存在する等高線(芯線、隆線)の数を特徴点間隆線数として算出している。また、上記のように芯線が等高線として扱われて算出された特徴点間隆線数(コンター芯線数)は画像歪みの影響を受けづらい(画像歪みに対して頑健である)という特徴がある。その結果、当該特徴量を2つの指紋画像の照合処理に利用することで、ペア特徴点の決定やファイル側の照合スコア算出を精度良く行うことができる。
また、特許文献1は、2つの近傍特徴点間の「隆線接続関係情報」を新たな特徴量として開示している。より具体的には、特許文献1では、特徴点近辺に存在する隆線上に存在する他の特徴点の情報を「隆線接続関係情報」と称している(特許文献1の段落[0049]参照)。
ここで、指紋画像では、ノイズ等の影響により芯線が途切れてしまう場合がある。図37において、特徴点P58と道のり計測起点Q54’’’の間に途切れ(空白)がある場合を考える。この場合、特許文献1に開示された手法では、道のり計測起点Q54’’’から芯線トレースした最初の特徴点403が近傍特徴点として抽出されるが、その先の特徴点P58は近傍特徴点として抽出されない。しかし、注目特徴点P54と特徴点P58は十分近傍に位置しており、特徴点P58を近傍特徴点として抽出せず、特徴量を算出しなければ照合精度の向上は期待できない。つまり、特許文献1に開示された「隆線接続関係情報」のような特徴量では、特徴点の近傍に位置する特徴点を網羅的に抽出できず、「隆線接続関係情報」の照合精度の向上における貢献は限定的である。
対して、第1の実施形態に係る特徴量生成装置10は、親特徴点の近傍に位置する特徴点の抽出に特段の制限はなく、親特徴点の近傍に位置する特徴点を網羅的に抽出するため、リレーション特徴量を用いた照合処理の精度向上が期待できる。
さらに、特徴量生成装置10は、コンター芯線数を算出する際に、芯線トレースではなく隆線方向トレースを採用している。隆線方向トレースは、トレース途上に存在するノイズによる特徴点に頑健であるので、コンター芯線数が精度良く算出することができる。
さらにまた、特徴量生成装置10は、親特徴点からみて子特徴点が存在する方向(子特徴点相対方向)や最近傍点からみた子特徴点の位置(子特徴点相対位置)も合わせてリレーション特徴量として算出している。これらの特徴量も画像歪みに対して頑健であるので、2枚の指紋画像を照合する際の特徴量として有効利用が可能である。
さらに、特徴量生成装置10は、2つの特徴点が芯線により直接接続されている場合には、当該2つの特徴点による接続形態を特定している。このような接続タイプを照合処理に使用する特徴量とすることで、より正確な照合処理が可能となる。例えば、接続タイプにより特徴量を導入しなければ、図24(a)や図24(b)に示す2つの特徴点と図25(d)に示す2つの特徴点をコンター芯線数により区別することが困難な場合もある。しかし、接続タイプを特徴量として利用することで、図24(a)と図25(d)に示すような特徴点間の照合がより正確に行うことができる。あるいは、図26(c)に示すタイプ16や図26(a)に示すタイプ14は特殊な芯線形状であり、コア(指紋中心)以外に出現することは通常考えられないので、このような接続タイプに関する特徴量を照合処理に利用することで精度の良い照合結果が得られる。特に、特徴量生成装置10により算出される接続タイプは、特徴点のペアリング処理において有効である。具体的には、ペアリング決定過程の特定の時点で、ある特徴点がペアリングされたとき、それと同一種類の接続タイプを持つ子特徴点同士もまたペア特徴点であると決定することができる。例えば、図17において、特定のタイミングにて、親特徴点371と親特徴点381がペア特徴点である決定されれば、各親特徴点に接続タイプ12で接続されている子特徴点374と子特徴点383はペア特徴点として直ちに決定することができる。
上記の実施形態の一部又は全部は、以下のようにも記載され得るが、以下には限られない。
[形態1]
上述の第1の視点に係る特徴量生成装置のとおりである。
[形態2]
前記算出部は、前記複数の特徴点から前記第1の特徴点を選択した後、前記第1の特徴点に近接する順に所定の数の特徴点を抽出し、前記抽出された所定の数の特徴点を前記第2の特徴点に設定する、好ましくは形態1の特徴量生成装置。
[形態3]
前記生成部は、前記画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを生成し、
前記算出部は、前記隆線方向データを用いた隆線方向トレースを行うことで前記トレース線を算出し、前記最近傍点を特定する、好ましくは形態1又は2の特徴量生成装置。
[形態4]
前記算出部は、
少なくとも前記第1の特徴点を方向により特徴付ける特徴点方向を算出し、
前記特徴点方向と同方向の第1のトレース方向に前記隆線方向トレースを行うことで前記最近傍点の候補となる第1の最近傍点候補を特定し、
前記特徴点方向と逆方向の第2のトレース方向に前記隆線方向トレースを行うことで前記最近傍点の候補となる第2の最近傍点候補を特定し、
前記第1及び第2の最近傍点候補のうち前記第2の特徴点との間の距離が短い方を前記最近傍点とする、好ましくは形態3の特徴量生成装置。
[形態5]
前記算出部は、
前記最近傍点を特定する際に用いられたトレース方向が、前記第1の特徴点の特徴点方向と同方向であるか又は逆方向であるかを、前記リレーション特徴量の1つとして算出する、好ましくは形態4の特徴量生成装置。
[形態6]
前記算出部は、
前記最近傍点を特定する際に用いられたトレース方向を基準とする前記第2の特徴点の存在する位置を、前記リレーション特徴量の1つとして算出する、好ましくは形態5の特徴量生成装置。
[形態7]
前記算出部は、前記芯線画像から抽出された特徴点に関し、位置、方向及び種別を前記抽出された特徴点を特徴付ける特徴量として算出する、好ましくは形態1乃至6のいずれか一に記載の特徴量生成装置。
[形態8]
前記算出部は、
前記第1及び第2の特徴点が少なくとも1本以上の芯線により接続されている場合に、前記第1の特徴点と前記第2の特徴点の接続形態を特徴量として算出する、好ましくは形態7の特徴量生成装置。
[形態9]
前記算出部は、
前記第1及び第2の特徴点それぞれに関する方向、種別と、前記第1及び第2の特徴点を接続する芯線の数と、前記第1及び第2の特徴点のうち少なくとも一方の特徴点の種別が分岐点である場合に当該分岐点を形成する3本の芯線のうち他方の特徴点と接続された芯線の種類と、に基づいて前記接続形態を決定する、好ましくは形態8の特徴量生成装置。
[形態10]
前記算出部は、
分岐点の位置を原点に設定し、分岐点を特徴付ける特徴点方向をY軸正方向とする2次元座標系において、分岐点を形成する3本の芯線の存在する象限に応じて前記3本の芯線それぞれの種類を決定する、好ましくは形態9の特徴量生成装置。
[形態11]
少なくとも前記算出部が算出したリレーション特徴量に関する情報を、外部装置に出力する、出力部をさらに備える、好ましくは形態1乃至10のいずれか一に記載の特徴量生成装置。
[形態12]
上述の第2の視点に係るシステムのとおりである。
[形態13]
上述の第3の視点に係る特徴量生成方法のとおりである。
[形態14]
上述の第4の視点に係るプログラムのとおりである。
なお、形態12~14は、形態1と同様に、形態2~形態11のように展開することが可能である。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得る。
(付記1)
隆線により曲線縞模様が形成されている画像を入力する、入力部と、
前記画像から芯線が抽出された芯線画像を生成する、第1生成部と、
前記画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを生成する、第2生成部と、
前記芯線画像から複数の特徴点を抽出する、抽出部と、
複数の特徴点のうちの第1の特徴点と第2の特徴点との間の関連性を示すリレーション特徴量を算出する、算出部と、
を備え、
前記算出部は、
前記第1の特徴点を方向により特徴付ける特徴点方向を算出し、
前記特徴点方向と同方向の第1のトレース方向に前記隆線方向データを用いた隆線方向トレースを行うことで、第1の最近傍点候補を特定し、
前記特徴点方向と逆方向の第2のトレース方向に前記隆線方向トレースを行うことで、第2の最近傍点候補を特定し、
前記第1の最近傍点候補と前記第2の最近傍点候補のうち、前記第2の特徴点との間の距離が短いほうの最近傍点候補を最近傍点として特定し、当該最近傍点に関連するトレース方向を、前記リレーション特徴量の1つとして算出する、
特徴量生成装置。
(付記2)
前記算出部は、前記複数の特徴点から前記第1の特徴点を選択した後、前記第1の特徴点に近接する順に所定の数の特徴点を抽出し、前記抽出された所定の数の特徴点を前記第2の特徴点に設定する、付記1の特徴量生成装置。
(付記3)
前記算出部は、
前記最近傍点を基準とする前記第2の特徴点の存在する位置を、前記リレーション特徴量の1つとして算出する、付記1または2の特徴量生成装置。
(付記4)
前記算出部は、
前記最近傍点と前記第2の特徴点を結ぶ直線が、前記最近傍点と前記第2の特徴点の間の芯線と交わる回数を前記リレーション特徴量の1つとして算出する、付記1乃至3のいずれか一つに記載の特徴量生成装置。
(付記5)
前記算出部は、前記芯線画像から抽出された特徴点に関し、位置、方向及び種別を前記抽出された特徴点を特徴付ける特徴量として算出する、付記1乃至4のいずれか一つに記載の特徴量生成装置。
(付記6)
前記算出部は、
前記第1及び第2の特徴点が少なくとも1本以上の芯線により接続されている場合に、前記第1の特徴点と前記第2の特徴点の接続形態を特徴量として算出する、付記5の特徴量生成装置。
(付記7)
前記算出部は、
前記第1及び第2の特徴点それぞれに関する方向、種別と、前記第1及び第2の特徴点を接続する芯線の数と、前記第1及び第2の特徴点のうち少なくとも一方の特徴点の種別が分岐点である場合に当該分岐点を形成する3本の芯線のうち他方の特徴点と接続された芯線の種類と、に基づいて前記接続形態を決定する、付記6の特徴量生成装置。
(付記8)
前記算出部は、
分岐点の位置を原点に設定し、分岐点を特徴付ける特徴点方向をY軸正方向とする2次元座標系において、分岐点を形成する3本の芯線の存在する象限に応じて前記3本の芯線それぞれの種類を決定する、付記7の特徴量生成装置。
(付記9)
少なくとも前記算出部が算出したリレーション特徴量に関する情報を、外部装置に出力する、出力部をさらに備える、付記1乃至8のいずれか一つに記載の特徴量生成装置。
(付記10)
特徴量生成装置と、
前記特徴量生成装置が生成した特徴量を用いて、画像の照合を行う照合装置と、
を含み、
前記特徴量生成装置は、
隆線により曲線縞模様が形成されている画像を入力する、入力部と、
前記画像から芯線が抽出された芯線画像を生成する、第1生成部と、
前記画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを生成する、第2生成部と、
前記芯線画像から複数の特徴点を抽出する、抽出部と、
前記複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出する、算出部と、
を備え、
前記算出部は、
前記第1の特徴点を方向により特徴付ける特徴点方向を算出し、
前記特徴点方向と同方向の第1のトレース方向に前記隆線方向データを用いた隆線方向トレースを行うことで、第1の最近傍点候補を特定し、
前記特徴点方向と逆方向の第2のトレース方向に前記隆線方向トレースを行うことで、第2の最近傍点候補を特定し、
前記第1の最近傍点候補と前記第2の最近傍点候補のうち、前記第2の特徴点との間の距離が短いほうの最近傍点候補を最近傍点として特定し、当該最近傍点に関連するトレース方向を、前記リレーション特徴量の1つとして算出する、
システム。
(付記11)
隆線により曲線縞模様が形成されている画像を入力するステップと、
前記画像から芯線が抽出された芯線画像を生成するステップと、
前記画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを生成するステップと、
前記芯線画像から複数の特徴点を抽出するステップと、
前記複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出するステップと、
を含み、
前記リレーション特徴量を算出するステップは、
前記第1の特徴点を方向により特徴付ける特徴点方向を算出し、
前記特徴点方向と同方向の第1のトレース方向に前記隆線方向データを用いた隆線方向トレースを行うことで、第1の最近傍点候補を特定し、
前記特徴点方向と逆方向の第2のトレース方向に前記隆線方向トレースを行うことで、第2の最近傍点候補を特定し、
前記第1の最近傍点候補と前記第2の最近傍点候補のうち、前記第2の特徴点との間の距離が短いほうの最近傍点候補を最近傍点として特定し、当該最近傍点に関連するトレース方向を、前記リレーション特徴量の1つとして算出する、
特徴量生成方法。
(付記12)
隆線により曲線縞模様が形成されている画像を入力する処理と、
前記画像から芯線が抽出された芯線画像を生成する処理と、
前記画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを生成する処理と、
前記芯線画像から複数の特徴点を抽出する処理と、
前記複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出する処理と、
をコンピュータに実行させるプログラムであって、
前記リレーション特徴量を算出する処理は、
前記第1の特徴点を方向により特徴付ける特徴点方向を算出し、
前記特徴点方向と同方向の第1のトレース方向に前記隆線方向データを用いた隆線方向トレースを行うことで、第1の最近傍点候補を特定し、
前記特徴点方向と逆方向の第2のトレース方向に前記隆線方向トレースを行うことで、第2の最近傍点候補を特定し、
前記第1の最近傍点候補と前記第2の最近傍点候補のうち、前記第2の特徴点との間の距離が短いほうの最近傍点候補を最近傍点として特定し、当該最近傍点に関連するトレース方向を前記リレーション特徴量の1つとして算出する、
プログラム。
また、上記の実施形態の一部又は全部は、以下の第二付記のようにも記載され得る。
(第二付記1)
隆線により曲線縞模様が形成されている画像を入力する、入力部と、
前記画像から芯線が抽出された芯線画像を生成する、第1生成部と、
前記画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを生成する、第2生成部と、
前記芯線画像から複数の特徴点を抽出する、抽出部と、
複数の特徴点のうちの第1の特徴点と第2の特徴点との間の関連性を示すリレーション特徴量を算出する、算出部と、
を備え、
前記算出部は、
前記第1の特徴点を起点とする、前記隆線方向データを用いた隆線方向トレースを実行し、前記隆線方向トレースにより得られるトレース線上の点であって前記第2の特徴点との間の直線距離が最も短い最近傍点を特定し、前記最近傍点を特定する際に用いられたトレース方向を基準とする前記第2の特徴点の存在する位置を、前記リレーション特徴量の1つとして算出する、
特徴量生成装置。
(第二付記2)
前記算出部は、
前記最近傍点をXY座標軸の原点とし、前記トレース方向をY軸の正方向とする座標系において、前記第2の特徴点の存在する象限に基づき前記リレーション特徴量を算出する、第二付記1に記載の特徴量生成装置。
(第二付記3)
前記第1の特徴点を方向により特徴付ける特徴点方向を算出し、
前記特徴点方向と同方向の第1のトレース方向に前記隆線方向トレースを行うことで、第1の最近傍点候補を特定し、
前記特徴点方向と逆方向の第2のトレース方向に前記隆線方向トレースを行うことで、第2の最近傍点候補を特定し、
前記第1の最近傍点候補と前記第2の最近傍点候補のうち、前記第2の特徴点との間の距離が短いほうの最近傍点候補を前記最近傍点として特定し、当該最近傍点に関連するトレース方向を、前記リレーション特徴量の1つとして算出する、第二付記1または第二付記2に記載の特徴量生成装置。
(第二付記4)
前記算出部は、前記複数の特徴点から前記第1の特徴点を選択した後、前記第1の特徴点に近接する順に所定の数の特徴点を抽出し、前記抽出された所定の数の特徴点を前記第2の特徴点に設定する、第二付記1乃至3のいずれか一つに記載の特徴量生成装置。
(第二付記5)
前記算出部は、
前記最近傍点と前記第2の特徴点を結ぶ直線が、前記最近傍点と前記第2の特徴点の間の芯線と交わる回数を前記リレーション特徴量の1つとして算出する、第二付記1乃至4のいずれか一つに記載の特徴量生成装置。
(第二付記6)
前記算出部は、前記芯線画像から抽出された特徴点に関し、位置、方向及び種別を前記抽出された特徴点を特徴付ける特徴量として算出する、第二付記1乃至5のいずれか一つに記載の特徴量生成装置。
(第二付記7)
前記算出部は、
前記第1及び第2の特徴点が少なくとも1本以上の芯線により接続されている場合に、前記第1の特徴点と前記第2の特徴点の接続形態を特徴量として算出する、第二付記6の特徴量生成装置。
(第二付記8)
前記算出部は、
前記第1及び第2の特徴点それぞれに関する方向、種別と、前記第1及び第2の特徴点を接続する芯線の数と、前記第1及び第2の特徴点のうち少なくとも一方の特徴点の種別が分岐点である場合に当該分岐点を形成する3本の芯線のうち他方の特徴点と接続された芯線の種類と、に基づいて前記接続形態を決定する、第二付記7の特徴量生成装置。
(第二付記9)
前記算出部は、
分岐点の位置を原点に設定し、分岐点を特徴付ける特徴点方向をY軸正方向とする2次元座標系において、分岐点を形成する3本の芯線の存在する象限に応じて前記3本の芯線それぞれの種類を決定する、第二付記8の特徴量生成装置。
(第二付記10)
少なくとも前記算出部が算出したリレーション特徴量に関する情報を、外部装置に出力する、出力部をさらに備える、第二付記1乃至9のいずれか一つに記載の特徴量生成装置。
(第二付記11)
特徴量生成装置と、
前記特徴量生成装置が生成した特徴量を用いて、画像の照合を行う照合装置と、
を含み、
前記特徴量生成装置は、
隆線により曲線縞模様が形成されている画像を入力する、入力部と、
前記画像から芯線が抽出された芯線画像を生成する、第1生成部と、
前記画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを生成する、第2生成部と、
前記芯線画像から複数の特徴点を抽出する、抽出部と、
前記複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出する、算出部と、
を備え、
前記算出部は、
前記第1の特徴点を起点とする、前記隆線方向データを用いた隆線方向トレースを実行し、前記隆線方向トレースにより得られるトレース線上の点であって前記第2の特徴点との間の直線距離が最も短い最近傍点を特定し、前記最近傍点を特定する際に用いられたトレース方向を基準とする前記第2の特徴点の存在する位置を、前記リレーション特徴量の1つとして算出する、
システム。
(第二付記12)
隆線により曲線縞模様が形成されている画像を入力するステップと、
前記画像から芯線が抽出された芯線画像を生成するステップと、
前記画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを生成するステップと、
前記芯線画像から複数の特徴点を抽出するステップと、
前記複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出するステップと、
を含み、
前記リレーション特徴量を算出するステップは、
前記第1の特徴点を起点とする、前記隆線方向データを用いた隆線方向トレースを実行し、前記隆線方向トレースにより得られるトレース線上の点であって前記第2の特徴点との間の直線距離が最も短い最近傍点を特定し、前記最近傍点を特定する際に用いられたトレース方向を基準とする前記第2の特徴点の存在する位置を、前記リレーション特徴量の1つとして算出する、
特徴量生成方法。
(第二付記13)
隆線により曲線縞模様が形成されている画像を入力する処理と、
前記画像から芯線が抽出された芯線画像を生成する処理と、
前記画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを生成する処理と、
前記芯線画像から複数の特徴点を抽出する処理と、
前記複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出する処理と、
をコンピュータに実行させるプログラムであって、
前記リレーション特徴量を算出する処理は、
前記第1の特徴点を起点とする、前記隆線方向データを用いた隆線方向トレースを実行し、前記隆線方向トレースにより得られるトレース線上の点であって前記第2の特徴点との間の直線距離が最も短い最近傍点を特定し、前記最近傍点を特定する際に用いられたトレース方向を基準とする前記第2の特徴点の存在する位置を、前記リレーション特徴量の1つとして算出する、
プログラム。
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択(部分的削除を含む)が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
10、100 特徴量生成装置
11 CPU(Central Processing Unit)
12 メモリ
13 入出力インターフェイス
14 NIC(Network Interface Card)
20 データベース
30 照合装置
101 入力部
102 生成部
103 抽出部
104 算出部
201、221 指紋画像入力部
202、222 芯線画像生成部
203、223 特徴点抽出部
204、224 特徴量算出部
205 特徴量出力部
211 基礎特徴量算出部
212 リレーション特徴量算出部
213 接続タイプ算出部
225 データベース(DB)アクセス部
226 照合部
227 照合結果出力部
301~317、321~326、
391~394、402、403 特徴点
331 分岐点
332 特徴点方向
333~335、342 終端点
341、351、421 端点
352 点線
353 隆線方向データ
361、373 最近傍点
362、372、374、375、382、383 子特徴点
371、381 親特徴点
401、422 芯線

Claims (13)

  1. 隆線により曲線縞模様が形成されている画像を入力する、入力部と、
    前記画像から芯線が抽出された芯線画像を生成する、第1生成部と、
    前記画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを生成する、第2生成部と、
    前記芯線画像から複数の特徴点を抽出する、抽出部と、
    複数の特徴点のうちの第1の特徴点と第2の特徴点との間の関連性を示すリレーション特徴量を算出する、算出部と、
    を備え、
    前記算出部は、
    前記第1の特徴点を起点とする、前記隆線方向データを用いた隆線方向トレースを実行し、前記隆線方向トレースにより得られるトレース線上の点であって前記第2の特徴点との間の直線距離が最も短い最近傍点を特定し、前記最近傍点を特定する際に用いられたトレース方向を基準とする前記第2の特徴点の存在する位置を、前記リレーション特徴量の1つとして算出する、
    特徴量生成装置。
  2. 前記算出部は、
    前記最近傍点をXY座標軸の原点とし、前記トレース方向をY軸の正方向とする座標系において、前記第2の特徴点の存在する象限に基づき前記リレーション特徴量を算出する、請求項1に記載の特徴量生成装置。
  3. 前記第1の特徴点を方向により特徴付ける特徴点方向を算出し、
    前記特徴点方向と同方向の第1のトレース方向に前記隆線方向トレースを行うことで、第1の最近傍点候補を特定し、
    前記特徴点方向と逆方向の第2のトレース方向に前記隆線方向トレースを行うことで、第2の最近傍点候補を特定し、
    前記第1の最近傍点候補と前記第2の最近傍点候補のうち、前記第2の特徴点との間の距離が短いほうの最近傍点候補を前記最近傍点として特定し、当該最近傍点に関連するトレース方向を、前記リレーション特徴量の1つとして算出する、請求項2に記載の特徴量生成装置。
  4. 前記算出部は、前記複数の特徴点から前記第1の特徴点を選択した後、前記第1の特徴点に近接する順に所定の数の特徴点を抽出し、前記抽出された所定の数の特徴点を前記第2の特徴点に設定する、請求項2又は3に記載の特徴量生成装置。
  5. 前記算出部は、
    前記最近傍点と前記第2の特徴点を結ぶ直線が、前記最近傍点と前記第2の特徴点の間の芯線と交わる回数を前記リレーション特徴量の1つとして算出する、請求項2乃至4のいずれか一項に記載の特徴量生成装置。
  6. 前記算出部は、前記芯線画像から抽出された特徴点に関し、位置、方向及び種別を前記抽出された特徴点を特徴付ける特徴量として算出する、請求項2乃至5のいずれか一項に記載の特徴量生成装置。
  7. 前記算出部は、
    前記第1及び第2の特徴点が少なくとも1本以上の芯線により接続されている場合に、前記第1の特徴点と前記第2の特徴点の接続形態を特徴量として算出する、請求項6の特徴量生成装置。
  8. 前記算出部は、
    前記第1及び第2の特徴点それぞれに関する方向、種別と、前記第1及び第2の特徴点を接続する芯線の数と、前記第1及び第2の特徴点のうち少なくとも一方の特徴点の種別が分岐点である場合に当該分岐点を形成する3本の芯線のうち他方の特徴点と接続された芯線の種類と、に基づいて前記接続形態を決定する、請求項7の特徴量生成装置。
  9. 前記算出部は、
    分岐点の位置を原点に設定し、分岐点を特徴付ける特徴点方向をY軸正方向とする2次元座標系において、分岐点を形成する3本の芯線の存在する象限に応じて前記3本の芯線それぞれの種類を決定する、請求項8の特徴量生成装置。
  10. 少なくとも前記算出部が算出したリレーション特徴量に関する情報を、外部装置に出力する、出力部をさらに備える、請求項2乃至9のいずれか一項に記載の特徴量生成装置。
  11. 特徴量生成装置と、
    前記特徴量生成装置が生成した特徴量を用いて、画像の照合を行う照合装置と、
    を含み、
    前記特徴量生成装置は、
    隆線により曲線縞模様が形成されている画像を入力する、入力部と、
    前記画像から芯線が抽出された芯線画像を生成する、第1生成部と、
    前記画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを生成する、第2生成部と、
    前記芯線画像から複数の特徴点を抽出する、抽出部と、
    前記複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出する、算出部と、
    を備え、
    前記算出部は、
    前記第1の特徴点を起点とする、前記隆線方向データを用いた隆線方向トレースを実行し、前記隆線方向トレースにより得られるトレース線上の点であって前記第2の特徴点との間の直線距離が最も短い最近傍点を特定し、前記最近傍点を特定する際に用いられたトレース方向を基準とする前記第2の特徴点の存在する位置を、前記リレーション特徴量の1つとして算出する、
    システム。
  12. 隆線により曲線縞模様が形成されている画像を入力するステップと、
    前記画像から芯線が抽出された芯線画像を生成するステップと、
    前記画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを生成するステップと、
    前記芯線画像から複数の特徴点を抽出するステップと、
    前記複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出するステップと、
    を含み、
    前記リレーション特徴量を算出するステップは、
    前記第1の特徴点を起点とする、前記隆線方向データを用いた隆線方向トレースを実行し、前記隆線方向トレースにより得られるトレース線上の点であって前記第2の特徴点との間の直線距離が最も短い最近傍点を特定し、前記最近傍点を特定する際に用いられたトレース方向を基準とする前記第2の特徴点の存在する位置を、前記リレーション特徴量の1つとして算出する、
    特徴量生成方法。
  13. 隆線により曲線縞模様が形成されている画像を入力する処理と、
    前記画像から芯線が抽出された芯線画像を生成する処理と、
    前記画像をなす隆線上の各点における隆線の方向に関する情報を含む隆線方向データを生成する処理と、
    前記芯線画像から複数の特徴点を抽出する処理と、
    前記複数の特徴点のうち、第1の特徴点と第2の特徴点の間の関連性を示すリレーション特徴量を算出する処理と、
    をコンピュータに実行させるプログラムであって、
    前記リレーション特徴量を算出する処理は、
    前記第1の特徴点を起点とする、前記隆線方向データを用いた隆線方向トレースを実行し、前記隆線方向トレースにより得られるトレース線上の点であって前記第2の特徴点との間の直線距離が最も短い最近傍点を特定し、前記最近傍点を特定する際に用いられたトレース方向を基準とする前記第2の特徴点の存在する位置を、前記リレーション特徴量の1つとして算出する、
    プログラム。
JP2022026947A 2017-07-06 2022-02-24 特徴量生成装置、システム、特徴量生成方法及びプログラム Active JP7251670B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017132441 2017-07-06
JP2017132441 2017-07-06
JP2021014387A JP7031762B2 (ja) 2017-07-06 2021-02-01 特徴量生成装置、システム、特徴量生成方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021014387A Division JP7031762B2 (ja) 2017-07-06 2021-02-01 特徴量生成装置、システム、特徴量生成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022065169A JP2022065169A (ja) 2022-04-26
JP7251670B2 true JP7251670B2 (ja) 2023-04-04

Family

ID=64951042

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019527966A Active JP6835224B2 (ja) 2017-07-06 2018-07-05 特徴量生成装置、システム、特徴量生成方法及びプログラム
JP2021014387A Active JP7031762B2 (ja) 2017-07-06 2021-02-01 特徴量生成装置、システム、特徴量生成方法及びプログラム
JP2022026947A Active JP7251670B2 (ja) 2017-07-06 2022-02-24 特徴量生成装置、システム、特徴量生成方法及びプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2019527966A Active JP6835224B2 (ja) 2017-07-06 2018-07-05 特徴量生成装置、システム、特徴量生成方法及びプログラム
JP2021014387A Active JP7031762B2 (ja) 2017-07-06 2021-02-01 特徴量生成装置、システム、特徴量生成方法及びプログラム

Country Status (3)

Country Link
US (4) US10943086B2 (ja)
JP (3) JP6835224B2 (ja)
WO (1) WO2019009366A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10943086B2 (en) 2017-07-06 2021-03-09 Nec Corporation Minutia features generation apparatus, system, minutia features generation method, and program
CN112508064B (zh) * 2020-11-24 2024-08-20 广州广电运通金融电子股份有限公司 指静脉身份识别方法、装置、计算机设备和存储介质
US20220253515A1 (en) * 2021-02-05 2022-08-11 Samsung Electronics Co., Ltd. Fingerprint authentication method and fingerprint authentication device
CN114926865A (zh) * 2022-05-07 2022-08-19 三星(中国)半导体有限公司 指纹识别方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076142A (ja) 1999-09-01 2001-03-23 Nippon Telegr & Teleph Corp <Ntt> 指紋画像照合方法及び装置及びこの方法を記録した記録媒体
JP2007328502A (ja) 2006-06-07 2007-12-20 Hitachi Information & Control Solutions Ltd 生体認証方法及びシステム
WO2009078117A1 (ja) 2007-12-18 2009-06-25 Nec Corporation 指紋特徴抽出装置、指紋照合装置、皮膚紋様特徴抽出装置、皮膚紋様照合装置、指紋特徴の抽出及び照合の方法
WO2010044250A1 (ja) 2008-10-15 2010-04-22 日本電気株式会社 パターン照合装置及びパターン照合方法
WO2017038695A1 (ja) 2015-08-28 2017-03-09 日本電気株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6012674B2 (ja) 1979-04-02 1985-04-02 日本電気株式会社 パタ−ン特徴抽出装置
US5878158A (en) * 1995-05-10 1999-03-02 Ferris; Stephen G. Ridge-valley minutia associator for fingerprints
JP3705938B2 (ja) 1997-10-20 2005-10-12 富士通株式会社 指紋登録装置、指紋照合装置及び指紋照合方法
KR100432491B1 (ko) * 2001-08-31 2004-05-22 (주)니트 젠 융선방향 모델을 이용한 지문 특징데이터 추출방법
US20030063782A1 (en) * 2001-09-13 2003-04-03 Tinku Acharya Method and apparatus to reduce false minutiae in a binary fingerprint image
JP2003274006A (ja) 2002-03-18 2003-09-26 Nec Commun Syst Ltd 指紋認証機能を有する携帯電話機及びその個人認証方法
US7164782B2 (en) * 2003-04-18 2007-01-16 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. System and method for time-space multiplexing in finger-imaging applications
JP6012674B2 (ja) 2014-07-25 2016-10-25 京セラドキュメントソリューションズ株式会社 画像形成装置
US10322300B2 (en) 2015-09-11 2019-06-18 Varian Medical Systems, Inc. Radiation shields for linac head and system
CN107067061B (zh) * 2017-01-04 2018-11-20 陆际文 一种物纹码编码方法及系统
US10943086B2 (en) * 2017-07-06 2021-03-09 Nec Corporation Minutia features generation apparatus, system, minutia features generation method, and program
US10503951B2 (en) * 2018-02-28 2019-12-10 Superc-Touch Corporation Rapid identification method for fingerprint
CN109147693B (zh) 2018-09-03 2020-08-04 武汉华星光电半导体显示技术有限公司 具有红外识别的发光二极管显示装置
JP7346115B2 (ja) * 2019-07-12 2023-09-19 住友化学株式会社 固体組成物

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076142A (ja) 1999-09-01 2001-03-23 Nippon Telegr & Teleph Corp <Ntt> 指紋画像照合方法及び装置及びこの方法を記録した記録媒体
JP2007328502A (ja) 2006-06-07 2007-12-20 Hitachi Information & Control Solutions Ltd 生体認証方法及びシステム
WO2009078117A1 (ja) 2007-12-18 2009-06-25 Nec Corporation 指紋特徴抽出装置、指紋照合装置、皮膚紋様特徴抽出装置、皮膚紋様照合装置、指紋特徴の抽出及び照合の方法
WO2010044250A1 (ja) 2008-10-15 2010-04-22 日本電気株式会社 パターン照合装置及びパターン照合方法
WO2017038695A1 (ja) 2015-08-28 2017-03-09 日本電気株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP2021064423A (ja) 2021-04-22
US20220130171A1 (en) 2022-04-28
JP6835224B2 (ja) 2021-02-24
US10943086B2 (en) 2021-03-09
US20200218879A1 (en) 2020-07-09
US11527099B2 (en) 2022-12-13
US20210158013A1 (en) 2021-05-27
US11238266B2 (en) 2022-02-01
US20230055453A1 (en) 2023-02-23
JP7031762B2 (ja) 2022-03-08
US11810392B2 (en) 2023-11-07
JP2022065169A (ja) 2022-04-26
JPWO2019009366A1 (ja) 2020-06-11
WO2019009366A1 (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
JP7251670B2 (ja) 特徴量生成装置、システム、特徴量生成方法及びプログラム
US20130101186A1 (en) Systems and methods for ridge-based fingerprint analysis
WO2018084715A1 (en) Method and system for transforming handwritten text to digital ink
EP1229488A2 (en) Information processing method and apparatus
TW200823773A (en) A method and apparatus for recognition of handwritten symbols
JP6569734B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7230984B2 (ja) 合成装置、合成方法及びプログラム
JP3884468B2 (ja) 高速画像探索方法
JP2015099566A (ja) 特徴算出装置、方法及びプログラム
JP3884462B2 (ja) 高速画像探索方法
EP2879079A1 (en) Biological information determination apparatus
WO2021192315A1 (ja) 縞模様画像照合装置、縞模様照合方法、及び、そのプログラムが格納されたコンピュータ可読媒体
JP7160162B2 (ja) 画像処理システム
JP7381997B2 (ja) 情報処理システム、情報処理方法及びプログラム
CN113743371A (zh) 一种指纹识别方法及指纹识别装置
JPH0729002A (ja) 手書き図形認識装置
JP2007102422A (ja) パターン照合装置
JP4004785B2 (ja) 署名照合装置、署名照合方法およびその方法をコンピュータに実行させるプログラム
Yin et al. Research on Fingerprint Recognition Algorithm Based on Minutiae Matching Pairs
CN113093972A (zh) 手势识别方法、系统、存储介质、触屏设备
JP4048716B2 (ja) オンライン文字認識装置
CN113971804A (zh) 签名伪造的检测装置、方法、计算设备及存储介质
Bohné et al. Fingerprint skeleton matching based on local descriptor
KR20100138670A (ko) 지문 패턴 분석 장치, 시스템, 방법, 및 저장매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230306

R151 Written notification of patent or utility model registration

Ref document number: 7251670

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151