JPH09167230A - 指掌紋画像処理装置 - Google Patents
指掌紋画像処理装置Info
- Publication number
- JPH09167230A JPH09167230A JP7328690A JP32869095A JPH09167230A JP H09167230 A JPH09167230 A JP H09167230A JP 7328690 A JP7328690 A JP 7328690A JP 32869095 A JP32869095 A JP 32869095A JP H09167230 A JPH09167230 A JP H09167230A
- Authority
- JP
- Japan
- Prior art keywords
- ridge
- dimensional
- candidate image
- local
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 68
- 230000001174 ascending effect Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 9
- 239000000284 extract Substances 0.000 abstract description 3
- 230000037303 wrinkles Effects 0.000 description 52
- 238000000034 method Methods 0.000 description 41
- 239000011295 pitch Substances 0.000 description 37
- 238000010586 diagram Methods 0.000 description 9
- 238000009499 grossing Methods 0.000 description 6
- 238000010187 selection method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
- G06V40/1359—Extracting features related to ridge properties; Determining the fingerprint type, e.g. whorl or loop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/478—Contour-based spectral representations or scale-space representations, e.g. by Fourier analysis, wavelet analysis or curvature scale-space [CSS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
- G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
でも皮膚紋様画像から正しく隆線画像を抽出する。 【解決手段】 局所情報抽出部11で、入力画像を分割
した局所領域毎に隆線候補画像を複数抽出する。第1隆
線候補画像選択部12では隆線らしさの度合が高い隆線
候補画像である第1隆線候補画像を局所領域毎に選択す
る。接続性評価部13で第1隆線候補画像の各局所領域
間の接続性を評価し互いに接続性が良いと評価された局
所領域をクラスタリング部14で統合し局所領域群を生
成する。クラスター評価部15で隆線らしさの度合が高
い局所領域群である初期局所領域群を決定し、最適隆線
候補画像選択部17で初期局所領域群に属さない局所領
域の各隆線候補画像の中で周囲との接続性が良い隆線候
補画像を選択する。隆線画像復元部16で初期局所領域
群に属する局所領域について第1隆線候補画像を出力
し、そうでない局所領域については最適隆線候補画像を
出力し隆線抽出結果とする。
Description
際用いられる画像処理装置に関し、特に、皮膚紋様画像
の隆線画像を抽出するための画像処理装置に関する。
する方法として、例えば、特公平5−746号公報「指
紋画像コード化法」に記載された技術が知られている。
この指紋画像コード化法では、指紋画像を小領域に分割
して、これら小領域に対してそれぞれに2次元フーリエ
変換を施し、各変換面上の情報を用いて特徴を抽出して
いる。
響を取り除くため、隆線特徴を平滑化する方法(例え
ば、特願平4−18589号号明細書「隆線方向パター
ン平滑化方法およびその装置」及び情報処理学会第22
回(昭和56年前期)全国大会(1981)において河
越らによって発表された「弛緩法による指紋パターンの
分類」)が知られている。隆線方向パターン平滑化方法
及びその装置は、エネルギー最小化原理に基づく手法で
あり、画像上に設定した2次元局所領域毎に抽出した方
向に信頼度という尺度を介して評価関数を設定し、その
評価関数を最小化することによって平滑化を施してい
る。一方、弛緩法による指紋パターンの分類では、画像
上に設定した2次元局所領域毎に抽出した方向に関する
情報を所謂弛緩法用いて平滑化する。
746号公報に記載された技術では、画像を局所領域に
分割して処理を行っている関係上、局所的に指掌紋画像
が劣化していると、その周囲の局所領域からの情報を用
いて劣化画像を補間する必要があるが、このような補間
は行われておらず、精度よく指掌紋画像が得られない。
た技術では、局所領域毎に抽出した隆線特徴の局所領域
間の差の全局所領域間にわたる和E1 と局所領域から隆
線特徴を抽出する際の信頼性の全局所領域の和E2 の重
み付きの和(数1で示す)をエネルギー関数と定義し、
そのエネルギー関数を最小化することで平滑化を行って
いる。
いに平行して広範囲にわたって存在する皺の部分に対し
て、上述の手法を用いると、次のような問題が起きる。
特徴の隣接領域との接続性が比較的良いので、皺の成分
を選択した方が全体のエネルギーが小さくなることがあ
る。また、皺がはっきりと存在する部分では、隆線特徴
抽出の信頼度が大きくなることがある。従って、このよ
うな皺を含む画像を平滑化しようとすると、皺に合わせ
て周囲の領域を平滑化してしまい、皺を強調してしまう
場合がある。そして、このような不具合を防ぐようにエ
ネルギー関数Eを構成するのは困難である。
類」に記載された技術では、局所領域ごとに抽出した方
向に関する情報を平滑化する手法として弛緩法用いてい
るが、この手法においても、掌紋に頻繁に存在する同様
のピッチで互いに平行して広範囲にわたって存在する皺
の部分に対して、皺に合わせた平滑化が行われ皺を強調
してしまう場合がある。
に平行な皺が広範囲にわたって存在するような画像に対
しても隆線を正しく抽出することができる画像処理装置
を提供することにある。
れた指掌紋画像から隆線を抽出する指掌紋画像処理装置
において、前記指掌紋画像を2次元局所領域に分割して
前記2次元局所領域の各々に存在する隆線を表現する隆
線候補画像を前記2次元局所領域毎に複数個抽出する局
所情報抽出手段と、前記2次元局所領域の各々における
複数個の隆線候補画像についてそれぞれ隆線らしさの度
合を評価して前記2次元局所領域の各々における隆線候
補画像の中で隆線らしさの度合が最も高い隆線候補画像
を表す第1隆線候補画像を前記2次元局所領域毎に一つ
ずつ選択する第1隆線候補画像選択手段と、互いに隣接
する前記2次元局所領域間において、前記第1隆線候補
画像の接続性を評価する接続性評価手段と、前記接続性
評価手段で前記第1隆線候補画像の接続性が互いに良い
と評価された前記2次元局所領域同士を統合して局所領
域群を生成するクラスタリング手段と、前記クラスタリ
ング手段で生成した前記局所領域群の各々に属する前記
2次元局所領域における前記第1隆線候補画像の隆線ら
しさの度合を評価して、隆線らしさの度合が高いと評価
された局所領域群を初期局所領域群として決定するクラ
スター評価手段と、前記初期局所領域群に属する局所領
域について前記第1隆線候補画像を隆線画像として出力
する隆線画像復元手段とを有することを特徴とする指掌
紋画像処理装置が得られる。
は、前記初期局所領域群に属する2次元局所領域の前記
第1隆線候補画像と前記初期局所領域群に属さない2次
元局所領域の複数の隆線候補画像との接続性を評価し
て、前記初期局所領域群に属さない2次元局所領域の各
隆線候補画像の中で最も接続性が良い隆線候補画像を前
記初期局所領域群に属さない2次元局所領域毎に最適隆
線候補画像として一つずつ選択し、前記初期局所領域群
に属する2次元局所領域については各2次元局所領域の
前記第1隆線候補画像を最適隆線候補画像として選択す
る最適隆線候補画像選択手段を有する。この際、前記隆
線画像復元手段は、前記最適隆線候補画像を隆線画像と
して出力する。
は、前記最適隆線候補画像を第1隆線候補画像として前
記接続性評価手段及び前記クラスター評価手段に与え、
前記接続性評価手段、前記クラスタリング手段、前記ク
ラスター評価手段、及び前記最適隆線候補画像選択手段
による処理を繰り返し実行制御する制御手段を有してい
る。
2次元局所領域の各々に2次元フーリエ変換を施して、
その結果得られたフーリエ変換面でのピークの内異なる
2次元正弦波に対応するピークをその振幅又はピーク近
傍のエネルギーの大きなものから順に複数個抽出し、各
ピークに対応する2次元正弦波を前記隆線候補画像とす
る。そして、前記第1隆線候補画像選択手段では、前記
2次元局所領域の各々の前記隆線候補画像の中でその振
幅が最大となるものを前記第1隆線候補画像と決定す
る。
際、(ア)隣接する前記2次元局所領域の各々について
前記第1隆線候補画像となる2次元正弦波の方向の差、
(イ)隣接する前記2次元局所領域の各々について前記
第1隆線候補画像となる2次元正弦波の位相の差、
(ウ)隣接する前記2次元局所領域の各々について前記
第1隆線候補画像となる2次元正弦波のピッチの差、及
び(エ)隣接する前記2次元局所領域の各々について前
記第1隆線候補画像となる2次元正弦波の前記2次元局
所領域同士が接する辺における画素値の差の内少なくと
も一つを用いて前記接続性評価を行う。
域群の各々の隆線らしさの度合を評価する際、(オ)前
記局所領域群の各々に属する2次元局所領域の数、
(カ)前記局所領域群の各々に属し互いに隣接する前記
2次元局所領域間の前記第1隆線候補画像の接続性を評
価した量の前記局所領域群毎の和、(キ)前記局所領域
群の各々に属する前記2次元局所領域の前記第1隆線候
補画像のエネルギーの前記局所領域群毎の和を前記局所
領域群の各々に属する前記2次元局所領域に対応する前
記指掌紋画像のエネルギーの前記局所領域群毎の和で割
った商、及び(ク)前記局所領域群の各々に属する前記
2次元局所領域の前記第1隆線候補画像のエネルギーの
局所領域群毎の和を前記第1隆線候補画像を除く他の前
記隆線候補画像の内でエネルギーが最大である前記隆線
候補画像のエネルギーの局所領域群毎の和で割った商の
内の少なくとも一つを用いて前記局所領域群の各々の隆
線らしさの度合を評価する。
初期局所領域群に属さない2次元局所領域の各々につい
て前記最適候補画像の選択を行う際に、前記初期局所領
域群に属する2次元局所領域との距離が小さな2次元局
所領域から順に逐時的に前記最適候補画像の選択を行
い、該最適候補画像の選択の際、(ケ)前記最適隆線候
補画像の選択を行おうとする2次元局所領域に隣接する
2次元局所領域の内、前記初期局所領域群に属する2次
元局所領域の前記第1隆線候補画像と前記最適隆線候補
画像の選択を行おうとする前記2次元局所領域の前記隆
線候補画像の各々との接続性を前記隆線候補画像の各々
を表す2次元正弦波の方向の差、ピッチの差、位相の
差、及び2次元局所領域の境界部分における画素値の差
のうち少なくとも一つを用いて評価し、(コ)前記最適
隆線候補画像の選択を行おうとする2次元局所領域に隣
接する2次元局所領域の内、前記最適隆線候補画像の選
択がすでに終了している2次元局所領域の前記最適候補
画像と前記最適隆線候補画像の選択を行おうとする2次
元局所領域の各前記隆線候補画像との接続性を各前記隆
線候補画像である2次元正弦波の方向の差、ピッチの
差、位相の差、及び2次元局所領域の境界部分における
画素値の差のうち少なくとも一つを用いて評価し、
(サ)前記最適候補画像の選択を行おうとする2次元局
所領域との距離が、予め定められた閾値よりも小さい2
次元局所領域の内で前記初期局所領域群に属する2次元
局所領域の前記第1隆線候補画像と前記最適候補画像の
選択を行おうとする2次元局所領域の前記隆線候補画像
の各々との前記隆線候補画像の各々を表す2次元正弦波
の方向の差の平均及びピッチの差の平均のうち少なくと
も一つを用いて評価され、(シ)前記最適候補画像の選
択を行おうとする2次元局所領域との距離が、予め定め
られた閾値よりも小さい2次元局所領域の内で前記最適
候補画像の選択が終了している2次元局所領域の前記最
適隆線候補画像と前記最適候補画像の選択を行おうとす
る2次元局所領域の前記隆線候補画像の各々との前記隆
線候補画像の各々を表す2次元正弦波の方向の差の平均
及びピッチの差の平均のうち少なくとも一つを用いて評
価され、該評価結果を用いて隣接するか又は近傍に存在
する2次元局所領域の隆線候補画像と前記隆線候補画像
との接続性を評価し、最も接続性が高い隆線候補画像を
前記最適隆線候補画像として選択する。
広範囲にわたって存在するような画像から皺の影響を受
けないように隆線画像を抽出する際には、まず一つ一つ
の局所領域について、その局所領域の隆線を表現する候
補となる画像(以下候補画像と呼ぶ)を複数個抽出す
る。そして、その候補画像の情報のみから最も隆線らし
い候補画像を各局所領域毎に一つ選択する。このような
候補画像のことを第1隆線候補画像と呼ぶことにする。
する局所領域を見付ける。このような局所領域の集合の
ことを初期局所領域群と呼ぶことにする。そして、この
初期局所領域群に含まれる局所領域についてのみ復元を
行なう。復元は、それぞれの局所領域の第1隆線候補画
像を用いて行なう。
初期局所領域群に属する局所領域の第1隆線候補画像
は、皺ではなく隆線を表す可能性が高い。従って、この
ような手法を用いると、隆線を表す可能性が高い部分だ
けが復元され、信頼度の高い隆線画像を得ることができ
る。
初期局所領域群を見つけその部分でだけで復元を行なう
手法について説明したが、その他の領域についても隆線
を抽出するようにしてもよい。
補画像が隆線を正しく表すものだとして、初期局所領域
群に含まれない局所領域について隆線を表す画像を隆線
候補画像から選択する。この際、初期局所領域群に近い
局所領域から順に逐次的に選択を行い、初期局所領域群
に含まれる局所領域の第1隆線候補画像及びそれ以前に
選択の済んだ局所領域の選択された候補画像との接続性
を評価して、その接続性が最も良い候補画像を選択す
る。そして、初期局所領域群に含まれる局所領域につい
てはその局所領域の第1隆線候補画像を隆線を表すもの
とし、その他の局所領域については以上のようにして選
択された隆線候補画像を隆線を表すものとする。
しでもよいから見付け、そして、その部分との接続性に
基づいてその他の部分の隆線を決定して行くという手法
である。皺と隆線との間には一般に連続性は無いから、
このような手法をとることによって、皺と隆線とが重な
って存在している領域であっても、皺を表す隆線候補画
像を選ばずに隆線を表す隆線候補画像を選択することが
できる。
像を再び検証して、より信頼性の高い復元を行うように
してもよい。
行う。その後、選択された隆線候補画像の接続性を再び
調べる。再び接続性の良い局所領域を一つにまとめるク
ラスタリングを行い、そのクラスターの隆線らしさの判
定を行って初期局所領域群を求める。そして、初期局所
領域群に属さない局所領域について、隆線候補画像の選
択を行う。再び、選択された隆線候補画像の連続性を調
べて、上述の処理を行う。このような処理を数回繰り返
し、最後に得た隆線候補画像を用いて復元画像を生成す
る。
ばれた第1隆線候補画像よりも隆線を表す画像が多く含
まれている。従って、一度選択した隆線候補画像につい
て再び初期局所領域群を求めればその面積は最初に比べ
大きくなる。そうすると、その局所領域群で選択されて
いる隆線候補画像が隆線を表している可能性が高くな
り、それを基にして選択した部分が隆線を正確に表して
いる可能性も高くなる。この結果、より信頼性の高い復
元を行うことができる。また、初期局所領域群に含まれ
ない局所領域で隆線候補画像の選択を行なう際に、元と
なる領域が広い範囲にわたって求まっているので、一度
の誤った選択が広がってしまうということが少なくな
る。
弦波で良く近似できる。そこで、各局所領域における隆
線を2次元正弦波でモデル化する。この際、局所領域の
画像から隆線の候補画像を抽出するためには、局所領域
を良く近似する幾つかの正弦波を抽出すればよい。
に局所領域の画像にフーリエ変換を施して、そのパワー
スペクトラムのピークを振幅又はピーク近傍のエネルギ
ーの大きさが大きなものから数個抽出する。そして、こ
れらのピークに対応する正弦波を隆線を表す候補画像と
する。
と、そのパターンは原点対称なものとなるので、それぞ
れのピークについて、原点対称な位置に同一の大きさの
ピークが存在することになる。その二つのピークに対し
て実数値を持つ一つの2次元正弦波画像が決まる。従っ
て、そのような原点対称な位置に存在するピークは同一
ものとして、複数のピークを抽出する際には、原点対称
な関係ならないピークを複数個抽出する。
ことによって隆線と皺が重なりあった部分でも、皺の成
分だけではなく隆線の成分も抽出することができる。ま
た、正弦波で近似することによって、隆線の方向・ピッ
チ・位相等の情報が扱いやすくなる。
は、隆線と皺以外には周期性のあるパターンは現れにく
い。従って、隆線があり皺の無い部分では、隆線を表す
振幅の大きなピークとその他のノイズに起因する多数の
小さなピークがフーリエ面で観測される。また、皺が存
在する部分では隆線と皺とが大きなピークとして観測さ
れ、その他の成分は小さなピークとしか観測されない。
は画像によるが、局所的にみると皺は隆線と似た性質を
持つから、ほぼ同様の頻度で、皺か隆線が振幅最大のも
のとなる。従って、振幅が大きなピーク程隆線である可
能性が高い。よって、振幅が最大のピークに対応する正
弦波を選べば、隆線を表す隆線候補画像を効率良く選ぶ
ことができる。
として、例えば、 (1)隣接する2次元局所領域について、それぞれの第
1隆線候補画像となる正弦波の方向の差 (2)隣接する2次元局所領域について、それぞれの第
1隆線候補画像となる正弦波の位相の差 (3)隣接する2次元局所領域について、それぞれの第
1隆線候補画像となる正弦波のピッチの差 (4)隣接する2次元局所領域について、それぞれの第
1隆線候補画像となる正弦波の2次元局所領域同士が接
する辺の画素値の差 が用いられる。
る。また、端点・分岐点といった特徴点及びコア・デル
タといった特異点付近を除けば、位相も緩やかに変化す
る。さらに、特徴点以外では、局所領域間で画素値はや
はり緩やかに変化している。これらの性質から、隣接す
る局所領域間において方向・ピッチ・位相・画素値の差
を測定することによって、それらが繋がったものなのか
あるいはそうではなくてどちらか片方が皺またはノイズ
なのかを判定することができる。
した皺が存在するので、局所領域の第1隆線候補画像が
隆線なのか皺なのかあるいはノイズなのかをその局所領
域のみの情報から正確に推定するのは困難である。局所
領域の第1隆線候補画像についてそのような推定を行う
ためには、ある程度広い範囲についてその隆線・皺をし
らべる必要がある。そこで、本発明では次のような手法
を方法をとる。
線候補画像が表現する隆線特徴の接続性を評価し、接続
しているのかいないのかを判定する。そして、接続して
いると判定された局所領域をまとめていき局所領域群を
生成する。
う。局所領域を節とし、隣接し接続性のある局所領域間
に枝があるようなグラフを考えると、同一の局所領域群
に属している任意の2つの局所領域に対応する節の間に
必ずパスがあり、同じ局所領域群に属していない2つの
局所領域に対応する節の間には必ずパスが存在しないよ
うに局所領域群を構成する。このような局所領域群を構
成することを「まとめる」という。
に属する局所領域の第1隆線候補画像が隆線を表してい
る画像であるかどうかを評価していく。隣接した局所領
域の第1隆線候補画像が隆線か連続した皺を表すものだ
とすれば、両者の隆線特徴の接続性は良くなるはずであ
る。従って、接続していると判定された局所領域群は、
それを構成している局所領域の第1隆線候補画像が全て
隆線を表しているか、又は皺を表しているかのどちらか
ということになる。一つながりの隆線または皺であると
考えられる。よって、この局所領域群について、隆線で
あるのかどうかを判定すれば良いということになる。
の接続性 (7)局所領域群に属する局所領域の第1隆線候補画像
が表現する画像のエネルギーとその局所領域に対応する
原画像のエネルギーとの比 (8)局所領域群に属する局所領域の第1隆線候補画像
の表現する画像のエネルギーの和と、その局所領域群に
属する局所領域において第1隆線候補画像を除いて、エ
ネルギーが最大となる隆線候補画像のエネルギーの和と
の比 の各特徴量を用いて評価する。以下、それぞれの特徴量
について説明する。
導かれた特徴量である。
存在する部分では、互いに同じ位の強さを持った2つの
皺が交差して存在し、更に隆線が存在することが多い。
これらの皺の成分が隆線の成分に比べ強い場合、このよ
うな部分の各局所領域の第1隆線候補画像は交差する二
つの皺のいずれかになる。
じような強さであるため、どちらの皺が第1隆線候補画
像となるかは不安定である。よって、このような部分で
は、広い範囲にわたってどちらか一方の皺が第1隆線候
補画像となることはなく、2つの皺が混ざった状態とな
る。
評価によって得られる局所領域群は大きくならず、多数
の小さい局所領域群ができることになる。
る部分では、隆線が第1隆線候補画像となり、局所領域
群は大きくなる。つまり、皺を表す候補画像は小さな局
所領域群となり、隆線を表す候補画像は大きな局所領域
群となる傾向がある。
が多いほど、その局所領域群を構成する局所領域の第1
隆線候補画像が隆線を表現している確率も高くなる。
続性に比べやや良くない。隆線は皮膚上に密に存在して
おり、その方向・ピッチといった空間的な変化は、緩や
かである。これに対して、皺は密には存在しておらず、
隣り合った皺は隆線の場合に比べると連続性に欠ける。
所領域間の接続性を評価し、方向の差及びピッチの差等
の接続性を表す量を局所領域間の数で正規化した値が小
さい程隆線である可能性が高い。
中に第1隆線候補画像の成分がどれだけ含まれているか
を表す量である。
第1隆線候補画像以外の成分が多く含まれるということ
になる。そのような局所領域は、皺が含まれているかつ
ぶれ又はかすれの影響が大きい部分であり、第1隆線候
補画像が隆線である可能性が低い。
かなりエネルギーが大きな候補となるはずである。指紋
又は掌紋が押捺されている部分では、皺が存在するとこ
ろには隆線が存在するので、このような局所領域には大
きなエネルギーをもつ候補が2つあるいは3つ存在して
いる。
1隆線候補画像以外の隆線候補画像は小さなエネルギー
しか持たない。従って、第1隆線候補画像のエネルギー
の調べようとする局所領域群にわたる総和を第1隆線候
補画像を除いてその振幅が最大となるもののエネルギー
の総和で割った結果の値が大きいほど、皺が存在しない
ということになり、第1隆線候補画像が隆線を表してい
る確率が高いと評価できる。
第1隆線候補画像が隆線を表すような局所領域の集合で
ある局所領域群を求める。
について説明する。なお、以下の説明では、クラスター
評価手段で第1隆線候補画像が隆線を表すと決定された
局所領域のことを初期局所領域と呼ぶ。
に隣接する局所領域から順に行う。個々の局所領域での
選択手法は以下の通りである。
補画像とその局所領域の近傍にある初期局所領域の第1
隆線候補画像及び選択が終了している局所領域の最適隆
線候補画像との方向・ピッチ・位相・画素値の連続性を
調べる。
・ピッチ・位相は緩やかに変化している。よって、画像
上で近傍にある2つの局所領域の間で、隆線を表す隆線
候補画像同士の方向・ピッチ・位相の差は小さなものと
なる。また、隣接する2つの局所領域の間で、隆線を表
す隆線候補画像同士の画素値は連続して変化するから、
その隣接部分の画素値の差は小さなものとなる。初期局
所領域の第1隆線候補画像又は選択が終了している局所
領域の最適隆線候補画像は、隆線を表すものが選択され
ている可能性が高い。
の第1隆線候補画像、選択が終了している局所領域の最
適隆線候補画像との方向・ピッチ・位相・隣接部分の画
素値の差が小さい隆線候補画像が隆線を表している可能
性が高いということになる。従って、このようなな選択
手法をとることによって、隆線を表す隆線候補画像を正
確に選択することができる。
て説明する。
置は、局所情報抽出部11、第1隆線候補画像選択部1
2、接続性評価部13、クラスタリング部14、クラス
ター評価部15、及び隆線画像復元部16を備えてい
る。局所情報抽出部11では、入力画像を2次元局所領
域に分割して、局所領域に存在する隆線を表現する候補
となる画像(隆線候補画像)を複数個抽出する。第1隆
線候補画像選択部12では、各局所領域で抽出された複
数個の隆線候補画像のそれぞれの隆線らしさの度合を評
価して一つ一つの局所領域における隆線候補画像の中で
隆線らしさの度合が最も高い隆線候補画像である第1隆
線候補画像を全ての局所領域ごとに一つずつ選択する。
接続性評価部13では、第1隆線候補画像の各局所領域
間の接続性を評価する。クラスタリング部14では、接
続性評価部13において互いに第1隆線候補画像の接続
性が良いと評価された局所領域を統合した局所領域群を
生成する。クラスター評価部15では、クラスタリング
部14で生成した局所領域群に属する局所領域におい
て、第1隆線候補画像の隆線らしさの度合を評価し隆線
らしさの度合が高いと評価される局所領域群である初期
局所領域群を決定する。そして、隆線画像復元部16で
は、隆線画像として初期局所領域群に属する局所領域に
ついて第1隆線候補画像を出力する。
スキャナ又はテレビカメラ等の画像入力装置を用いて撮
像された指紋又は掌紋等の皮膚紋様のデジタル画像を局
所領域に分割する。以降の説明では、図2に示すよう
に、入力する画像が20dot/mmの解像度で撮像さ
れた512×512画素の画像であり、局所領域を8×
8画素の大きさとする。なお、他の解像度、画像サイ
ズ、局所領域サイズの場合も同様に処理を行うことがで
きる。
所領域を中心として、所定の広がりを有する局所画像に
対してフーリエ変換を施す。この際の処理の一例を以下
に示す。なお、ここでは、図3に示すように、64×6
4画素の大きさの局所画像について説明する。また、各
局所画像の最も左上の画素から数えて、右に32画素
目、下に32画素目の画素を原点とし、左右方向をxで
表し、右方向を正方向とする。そして、上下方向をyで
表し、下方向を正方向とする座標系を用いて説明する。
つまり、図3に示す64×64画素の大きさの局所画像
の中心を原点とする座標系である。
y)で表し、窓関数をw(x,y)で表す。ここで窓関
数は、数2で表わされるものとする。
流成分(数3で示す)を原画像から引いた画像にw
(x,y)を乗じた画像(数4で示す)に対してフーリ
エ変換を施す。
η)の領域(数5で示す)に存在するピークの内、その
大きさ|F(ξ,η)|が大きなものから順に複数個選
ぶ。
クの存在する座標を数6とする。
ピークの番号であるとする。nは、|F(ξ,η)|が
大きなものから順に1,2,3,4,5,6とする。フ
ーリエ面での一点は画像面では、一つの正弦波に対応す
る。隆線は、局所的には2次元正弦波でよく近似するこ
とができるので、これらのピークに対応する2次元正弦
波をそれぞれの局所領域の隆線候補画像とする。
付けるパラメータをそれぞれのピークより算出し記録す
る。そのようなパラメータの一例について説明する。
3)の第n番目のピークのフーリエ面での座標値を数7
とすると、算出する振幅は数8で表わされる。
される(図4)。
像となる。
パラメータの値(数16で示す)を第1隆線候補画像選
択部12、接続性評価部13、及びクラスター評価部1
5、隆線画像復元部16に与える。
像である正弦波に関する情報から最も隆線らしいと判定
される正弦波を各局所領域ごとに一つ選択する。この
際、隣接局所領域との接続性等は考慮せず、注目してい
る局所領域単独の情報から選択を行う。このような正弦
波のことを第1隆線候補画像と呼ぶ。隆線らしさの度合
いを計るためには、例えば、正弦波の振幅を用いること
ができる。つまり、振幅が最大の正弦波が最も隆線らし
い正弦波として選択される。第1隆線候補画像選択部1
2は、各局所領域の第1隆線候補が局所情報抽出部11
で抽出した隆線候補画像のどれであるかを示す2次元配
列(数17)を接続性評価部13、及びクラスター評価
部15に与える。
7に格納されている番号に対応する隆線候補画像、即
ち、第1隆線候補画像の各情報の接続性を隣接する各局
所領域の間について評価する。以下の説明では、隣接の
定義として4連結で隣合う関係にあるものを隣接すると
した。なお、他の隣接の定義を用いても同様に装置を構
成することができる。
続性、ピッチの接続性、及び位相の接続性の4つの特徴
に着目し、それらの特徴を統合することによって行う。
ここでの評価は接続しているか否かの2値で与える。以
下、画素の接続性、方向の接続性、ピッチの接続性、及
び位相の接続性の特徴について説明する。
て説明する。この例では、画素の接続性の評価は、各領
域について図5の網点で示す部分の画素について行う。
局所領域Iijを第1隆線候補画像を用いて復元する際、
この網点の部分まで延長した際の画素値と、その隣の局
所領域を第1隆線候補画像を用いて復元する際のこの部
分の画素値とを比較し、それぞれの差の総和J1 を求め
る。その差は数18で表わすことができる。
この例では、方向の接続性の評価は、隣接する局所領域
間において、第1隆線候補画像の方向の差を用いて評価
する。差が小さければ接続しており、大きければ接続し
ていないとする。その差は、次元局所領域Iijの第1隆
線候補画像の正弦波の方向を表すパラメータ(数19)
を用いて、数20で表わすことができる。
では、ピッチの接続性の評価は、隣接する局所領域間の
第1隆線候補画像となる正弦波のピッチの差を用いて評
価する。差が小さければ接続しており、大きければ接続
していないとする。ピッチは周期の逆数で与えられるか
ら、領域Iijの第1隆線候補画像となる正弦波の周期
(数21)を用いてピッチの差は数22で表わすことが
できる。
位相とは、各局所領域の局所座標系の原点と正弦波の値
が最大となる点の集合との最短距離に2πとその正弦波
の周期を乗じたものと等しい。従って、異なる局所領域
同士を比較する際には、そのままの値では意味がなく、
どちらかの座標系に変換したもの同士を比較する必要が
ある。この例では、Iijとその隣接局所領域を比較する
際には、Iijの座標系に変換してその値の差をとること
にする。局所領域Ii+1jの第nピークの位相を数23、
Iij+1の第1ピークの位相を数24とすると、これをI
ijの座標系に変換したものは数25のようになる。
=8とする。この変換した位相とIijの位相を数24と
比較する。つまり、第1ピークの位相の差は数26で表
わすことができる。
量を統合して、局所領域の接続性を評価する。統合の仕
方としての例として数27のようなものがある。
係が良好である場合のみ接続していると判定する例であ
る。閾値の例を数28に一組挙げる。
辺に対して行い、各辺について接続しているか否かの情
報をクラスタリング部14に与える。
13での接続性の評価の結果、隣接する局所領域で接続
していると判定された局所領域をまとめて局所領域群を
作成する。
続性のある局所領域間に枝があるようなグラフを考え
る。この際、同一の局所領域群に属している任意の2つ
の局所領域に対応する節の間に必ずパスがあり、同一の
局所領域群に属していない2つの局所領域に対応する節
の間にはパスが存在しないように局所領域群を構成する
ことを、ここでは「まとめる」と呼ぶ。
して、接続性評価部13での接続性の評価の結果、接続
しないと判定された辺と画像の端の辺で囲まれ、閉領域
を成している局所領域群を抽出し、同一の閉領域の中に
ある局所領域を一つの局所領域群として抽出する方法に
ついて説明する。以下の説明では、接続性の評価の結
果、接続していないと判定された局所領域間の辺及び画
像の端の辺のことを接続不良辺と呼ぶことにする。
接続不良辺群を作成する。次に、接続不良辺群を閉領域
をなしているものとそうでないものとに分類する。そし
て、各閉領域に通し番号を付ける。この各閉領域がそれ
ぞれ局所領域群となる。各局所領域について、labe
lijが、局所領域Iijの属する局所領域群のラベル番号
となる2次元配列(数29)を生成し、クラスター評価
部15に与える。
成した各局所領域群に属する局所領域の第1隆線候補画
像の隆線らしさの度合を評価し、隆線らしさの度合が高
いと評価される局所領域群である初期局所領域群を決定
する。
領域の数を算出し、その数が多い順にいくつかの局所領
域群を初期局所領域群と決定する。この例では、多い順
に4つの局所領域群を初期局所領域群と決定するものと
する。そして、局所領域Iijが初期局所領域群を構成す
るものであれば、2次元配列(数30)に第1隆線候補
画像を表す番号を設定し、初期局所領域群を構成するも
のでなければ、2次元配列(数30)に“0”を設定し
て、隆線画像復元部16に与える。
ラスター評価部15から提供された数30に格納されて
いる番号に対応する隆線候補画像を出力する。復元画像
の生成は、数30と局所情報抽出部11が出力したパラ
メータ群とを用いて数14によって計算する。但し、p
eakijの値が0のときは、その局所領域からは隆線は
抽出できなかったとしてその部分の復元は行わない。隆
線画像復元部16はこの画像を最終結果として出力す
る。
から隆線画像が得られる。
第2の例について説明する。
出部11、第1隆線候補画像選択部12、接続性評価部
13、クラスタリング部14、及びクラスター評価部1
5までは、図1に示す指掌紋画像処理装置と同様の動作
を行う。つまり、初期局所領域群を決定するまでは図1
に示す指掌紋画像処理装置と同様の処理を行う。
期局所領域群として決定された局所領域群のラベルの番
号を最適隆線候補画像選択部17に与える。最適隆線候
補画像選択部17では、クラスター評価部15で決定し
た初期局所領域群に属さない局所領域について隆線候補
画像の選択を行う。
めに、最適隆線候補画像選択部17では、クラスター評
価部15で決定した初期局所領域群に属する局所領域に
隣接する局所領域について選択を行う。そして、隣接す
る局所領域がなくなったら、今度は選択を終えた局所領
域に隣接する局所領域について選択を行う。この処理を
全ての局所領域で選択が終わるまで繰り返す(図7)。
る。この選択は、選択を行おうとする局所領域とその局
所領域に隣接するものの内、 初期局所領域に属する局所領域の第1隆線候補画像 その時点で既に選択が終っている局所領域の最適隆線
候補画像 との間の隆線候補画像の接続性を用いて行う。
4連結で隣合う関係にあるものを隣接するとした場合に
ついて説明する。もちろん、他の隣接の定義を用いても
同様に装置を構成することができる。
配列(数30)の対応する番号の隆線候補画像である。
これは、初期局所領域に属する局所領域については第1
隆線候補画像であり、その時点で既に選択が終っている
局所領域に対しては選択された隆線候補画像である。こ
れらの隆線候補画像と選択を行おうとする局所領域の複
数個の隆線候補画像との接続性を評価し、その隆線候補
画像の中から接続性の良いものを一つだけ選択する。
合を例にとって説明する。選択した隆線候補画像の番号
を2次元配列(数30)にセットする。接続性の評価
は、以下に説明する4つの特徴量を用いて行う。第1の
特徴量は、評価の対象となる局所領域と4近傍で隣接す
る局所領域との方向の接続性である。隣接する4つの局
所領域の中で、初期局所領域群に属する局所領域、ある
いはその時点で選択が終了している局所領域の2次元配
列(数30)に格納されている番号の隆線候補画像であ
る2次元正弦波の方向を表すパラメータと、選択を行お
うとする局所領域の各隆線候補画像の方向を表すパラメ
ータとの差をその局所領域におけるすべての隆線候補画
像について算出する。選択を行う局所領域n番目の隆線
候補画像との方向の差の絶対値の和をJ1n とする。
域の4近傍の局所領域とのピッチの接続性である。隣接
する4つの局所領域の中で、初期局所領域群に属する局
所領域、あるいはその時点で選択が終了している局所領
域の2次元配列(数30)に格納されている番号の隆線
候補画像である2次元正弦波のピッチと、選択を行おう
とする局所領域の各隆線候補画像のピッチとの差の絶対
値の和をその局所領域におけるすべての隆線候補画像に
ついて算出する。ここでは、選択を行う局所領域におい
てn番目の選択を行う局所領域のn番目隆線候補画像と
のピッチの差の和をJ2n とする。
の周囲の局所領域を代表する方向との差である。選択を
行おうとする局所領域からある距離以内にある局所領域
(図7)の内、初期局所領域群に属しているか選択が終
了している局所領域について、それらの局所領域を代表
する方向を算出する(図8)。ここでは代表する方向d
(バー)を局所領域kの隆線を表すと決定された隆線候
補画像の方向を{d(k) }とすると、d(バー)は数3
1で定義される。
る方向を計算しても同様に処理を行うことができる。以
上の説明から、選択を行う局所領域のn番目の隆線候補
画像の正弦波の方向との差J3n は、数32となる。
と、その周囲の局所領域のピッチの平均との差である。
選択を行おうとする局所領域からある距離以内にある局
所領域(図6)の内、初期局所領域群に属しているか選
択が終了している局所領域について、それらの局所領域
群のピッチの平均を算出する。各局所領域の隆線を表す
と決定された隆線候補画像の正弦波のピッチを{1/f
(k) }、ある距離以内にある平均化の対象となる局所領
域の数、つまり、初期局所領域群に属しているか選択が
終了している局所領域の数をNとすると、ここでは、平
均ピッチは、数33で定義される。
ピッチとの差J4n は、数34となる。
局所領域につき、一つ選択する。統合の仕方としての例
として次のようなものがある。数35を満たす隆線候補
画像でJ3n を最小にするものを選択する。
所領域は、隆線候補画像の中に隆線を表すものがなかっ
たと判定する。
える。ここでpeakijは局所領域Iijのピークの番号
を表す。
域Iijについて、最適隆線候補画像選択部17から提供
された数30に格納されている番号に対応する隆線候補
画像を出力する。このとき、局所情報抽出部11から提
供された数37で示すパラメータ群を利用して、数14
を用いて画像を生成し出力する。
入力された指掌紋画像から隆線画像を得る。
第3の例について説明する。
理装置においては、最適隆線候補画像選択部17で隆線
候補画像から隆線を表す画像を周囲との接続性を元に選
択した後、その選択された隆線候補画像の接続性を再び
調べることにより、誤った隆線候補画像が選択された局
所領域を抽出し訂正する。他の処理については、図6に
示す指掌紋画像処理装置と同様である。
説明した処理を行う。但し、ここでは、第1隆線候補画
像選択部12からの出力は制御部18に入力される。制
御部18では、第1隆線候補画像選択部12からの出力
を受けた際には、数17をそのまま接続性評価部13と
クラスター評価部15に対して出力する。
ところまでの処理を行ったら、最適隆線候補画像選択部
17の出力である2次元配列(数30)を制御部18に
入力する。制御部18は、最適隆線候補画像選択部17
からの出力を受けた際には、数30の値を数17にコピ
ーして、数17を接続性評価部13及びクラスター評価
部15に出力する。そして、この出力に対して、接続性
評価部13、クラスタリング部14、クライスター評価
部15、及び最適隆線候補画像選択部17はそれぞれ処
理を再び行う。
理を終了するかどうかの判定を行い、続けるという判定
ならば、最適隆線候補画像選択部17の出力である2次
元配列(数30)を再び制御部18に入力し、繰り返し
処理を行う。一方、制御部18により終了の判定がなさ
れた場合には、2次元配列(数30)を隆線画像復元部
16に与え、復元画像を計算する処理に移る。
かどうかの判定は、例えば、繰り返し回数が予め定めら
れた値となったら終了する方法、又はその前の最適隆線
候補画像と比較して更新される局所領域の数が所定値よ
り少なくなったら終了する方法等がある。
紋画像処理装置と同様にして、各局所領域Iijについ
て、最適隆線候補画像選択部16から与えられた数30
に格納されている番号に対応する隆線候補画像を出力す
る。この際、局所情報抽出部11から与えられたパラメ
ータを利用して、数14を用いて画像を生成して出力す
る。
処理装置では、入力された指掌紋画像から隆線画像を得
る。
に類似した性質を持つ皺が存在する場合でも、皮膚紋様
画像から正しく隆線画像を抽出することができるという
効果がある。
構成図である。
するための図である。
示す構成図である。
るための図である。
の図である。
一例を示す構成図である。
Claims (8)
- 【請求項1】 入力された指掌紋画像から隆線を抽出す
る指掌紋画像処理装置において、 前記指掌紋画像を2次元局所領域に分割して、前記2次
元局所領域の各々に存在する隆線を表現する隆線候補画
像を前記2次元局所領域毎に複数個抽出する局所情報抽
出手段と、 前記2次元局所領域の各々における複数個の隆線候補画
像についてそれぞれ隆線らしさの度合を評価して、前記
2次元局所領域の各々における隆線候補画像の中で隆線
らしさの度合が最も高い隆線候補画像を表す第1隆線候
補画像を前記2次元局所領域毎に一つずつ選択する第1
隆線候補画像選択手段と、 互いに隣接する前記2次元局所領域間において、前記第
1隆線候補画像の接続性を評価する接続性評価手段と、 前記接続性評価手段で前記第1隆線候補画像の接続性が
互いに良いと評価された前記2次元局所領域同士を統合
して局所領域群を生成するクラスタリング手段と、 前記クラスタリング手段で生成した前記局所領域群の各
々に属する前記2次元局所領域における前記第1隆線候
補画像の隆線らしさの度合を評価して、隆線らしさの度
合が高いと評価された局所領域群を初期局所領域群とし
て決定するクラスター評価手段と、 前記初期局所領域群に属する局所領域について前記第1
隆線候補画像を隆線画像として出力する隆線画像復元手
段とを有することを特徴とする指掌紋画像処理装置。 - 【請求項2】 請求項1に記載された指掌紋画像処理装
置において、 さらに、前記初期局所領域群に属する2次元局所領域の
前記第1隆線候補画像と前記初期局所領域群に属さない
2次元局所領域の複数の隆線候補画像との接続性を評価
して、前記初期局所領域群に属さない2次元局所領域の
各隆線候補画像の中で最も接続性が良い隆線候補画像を
前記初期局所領域群に属さない2次元局所領域毎に最適
隆線候補画像として一つずつ選択し、前記初期局所領域
群に属する2次元局所領域については各2次元局所領域
の前記第1隆線候補画像を最適隆線候補画像として選択
する最適隆線候補画像選択手段を有し、 前記隆線画像復元手段は、前記最適隆線候補画像を隆線
画像として出力するようにしたことを特徴とする指掌紋
画像処理装置。 - 【請求項3】 請求項2に記載された指掌紋画像処理装
置において、 前記最適隆線候補画像を第1隆線候補画像として前記接
続性評価手段及び前記クラスター評価手段に与え、前記
接続性評価手段、前記クラスタリング手段、前記クラス
ター評価手段、及び前記最適隆線候補画像選択手段によ
る処理を繰り返し実行制御する制御手段を有することを
特徴とする指掌紋画像処理装置。 - 【請求項4】 請求項1乃至3のいずれかに記載された
指掌紋画像処理装置において、 前記局所情報抽出手段では、前記2次元局所領域の各々
に2次元フーリエ変換を施して、その結果得られたフー
リエ変換面でのピークの内異なる2次元正弦波に対応す
るピークをその振幅又はピーク近傍のエネルギーの大き
なものから順に複数個抽出し、各ピークに対応する2次
元正弦波を前記隆線候補画像とするようにしたことを特
徴とする指掌紋画像処理装置。 - 【請求項5】 請求項1乃至3のいずれかに記載された
指掌紋画像処理装置において、 前記局所情報抽出手段では、前記2次元局所領域の各々
に2次元フーリエ変換を施して、その結果得られたフー
リエ変換面でのピークの内異なる2次元正弦波に対応す
るピークをその振幅又はピーク近傍のエネルギーの大き
なものから順に複数個抽出し、各ピークに対応する2次
元正弦波を前記隆線候補画像とし、 前記第1隆線候補画像選択手段では、前記2次元局所領
域の各々の前記隆線候補画像の中でその振幅が最大とな
るものを前記第1隆線候補画像と決定するようにしたこ
とを特徴とする指掌紋画像処理装置。 - 【請求項6】 請求項1乃至3のいずれかに記載された
指掌紋画像処理装置において、 前記局所情報抽出手段では、前記2次元局所領域の各々
に2次元フーリエ変換を施して、その結果得られたフー
リエ変換面でのピークの内異なる2次元正弦波に対応す
るピークをその振幅又はピーク近傍のエネルギーの大き
なものから順に複数個抽出し、各ピークに対応する2次
元正弦波を前記隆線候補画像とし、 前記接続性評価手段では、接続性評価の際、 隣接する前記2次元局所領域の各々について前記第1隆
線候補画像となる2次元正弦波の方向の差、 隣接する前記2次元局所領域の各々について前記第1隆
線候補画像となる2次元正弦波の位相の差、 隣接する前記2次元局所領域の各々について前記第1隆
線候補画像となる2次元正弦波のピッチの差、及び隣接
する前記2次元局所領域の各々について前記第1隆線候
補画像となる2次元正弦波の、前記2次元局所領域同士
が接する辺における画素値の差の内少なくとも一つを用
いて前記接続性評価を行うようにしたことを特徴とする
指掌紋画像処理装置。 - 【請求項7】 請求項1乃至3のいずれかに記載された
指掌紋画像処理装置において、 前記クラスター評価手段では、前記局所領域群の各々の
隆線らしさの度合を評価する際、 前記局所領域群の各々に属する2次元局所領域の数、 前記局所領域群の各々に属し互いに隣接する前記2次元
局所領域間の前記第1隆線候補画像の接続性を評価した
量の前記局所領域群毎の和、 前記局所領域群の各々に属する前記2次元局所領域の前
記第1隆線候補画像のエネルギーの前記局所領域群毎の
和を前記局所領域群の各々に属する前記2次元局所領域
に対応する前記指掌紋画像のエネルギーの前記局所領域
群毎の和で割った商、及び前記局所領域群の各々に属す
る前記2次元局所領域の前記第1隆線候補画像のエネル
ギーの局所領域群毎の和を前記第1隆線候補画像を除く
他の前記隆線候補画像の内でエネルギーが最大である前
記隆線候補画像のエネルギーの局所領域群毎の和で割っ
た商の内の少なくとも一つを用いて前記局所領域群の各
々の隆線らしさの度合を評価するようにしたことを特徴
とする指掌紋画像処理装置。 - 【請求項8】 請求項2又は3に記載された記載の指掌
紋画像処理装置において、 前記局所情報抽出手段では、前記2次元局所領域の各々
に2次元フーリエ変換を施して、その結果得られたフー
リエ変換面でのピークの内異なる2次元正弦波に対応す
るピークをその振幅又はピーク近傍のエネルギーの大き
なものから順に複数個抽出して、各ピークに対応する2
次元正弦波を前記隆線候補画像とし、 前記最適隆線候補画像選択手段では、前記初期局所領域
群に属さない2次元局所領域の各々について前記最適候
補画像の選択を行う際に、前記初期局所領域群に属する
2次元局所領域との距離が小さな2次元局所領域から順
に逐時的に前記最適候補画像の選択を行い、該最適候補
画像の選択の際、 前記最適隆線候補画像の選択を行おうとする2次元局所
領域に隣接する2次元局所領域の内、前記初期局所領域
群に属する2次元局所領域の前記第1隆線候補画像と前
記最適隆線候補画像の選択を行おうとする前記2次元局
所領域の前記隆線候補画像の各々との接続性を前記隆線
候補画像の各々を表す2次元正弦波の方向の差、ピッチ
の差、位相の差、及び2次元局所領域の境界部分におけ
る画素値の差のうち少なくとも一つを用いて評価し、 前記最適隆線候補画像の選択を行おうとする2次元局所
領域に隣接する2次元局所領域の内、前記最適隆線候補
画像の選択がすでに終了している2次元局所領域の前記
最適候補画像と前記最適隆線候補画像の選択を行おうと
する2次元局所領域の各前記隆線候補画像との接続性を
各前記隆線候補画像である2次元正弦波の方向の差、ピ
ッチの差、位相の差、及び2次元局所領域の境界部分に
おける画素値の差のうち少なくとも一つを用いて評価
し、 前記最適候補画像の選択を行おうとする2次元局所領域
との距離が、予め定められた閾値よりも小さい2次元局
所領域の内で前記初期局所領域群に属する2次元局所領
域の前記第1隆線候補画像と前記最適候補画像の選択を
行おうとする2次元局所領域の前記隆線候補画像の各々
との前記隆線候補画像の各々を表す2次元正弦波の方向
の差の平均及びピッチの差の平均のうち少なくとも一つ
を用いて評価され、 前記最適候補画像の選択を行おうとする2次元局所領域
との距離が、予め定められた閾値よりも小さい2次元局
所領域の内で前記最適候補画像の選択が終了している2
次元局所領域の前記最適隆線候補画像と前記最適候補画
像の選択を行おうとする2次元局所領域の前記隆線候補
画像の各々との前記隆線候補画像の各々を表す2次元正
弦波の方向の差の平均及びピッチの差の平均のうち少な
くとも一つを用いて評価され、 該評価結果を用いて隣接するか又は近傍に存在する2次
元局所領域の隆線候補画像と前記隆線候補画像との接続
性を評価し、最も接続性が高い隆線候補画像を前記最適
隆線候補画像として選択するようにしたことを特徴とす
る指掌紋画像処理装置。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7328690A JP2739856B2 (ja) | 1995-12-18 | 1995-12-18 | 指掌紋画像処理装置 |
CA002192525A CA2192525C (en) | 1995-12-18 | 1996-12-10 | Fingerprint/palmprint image processing apparatus |
AU75349/96A AU708216B2 (en) | 1995-12-18 | 1996-12-13 | Fingerprint/palmprint image processing apparatus |
US08/764,239 US5937082A (en) | 1995-12-18 | 1996-12-16 | Fingerprint/palmprint image processing apparatus |
EP96120179A EP0780780B1 (en) | 1995-12-18 | 1996-12-16 | Fingerprint/palmprint image processing apparatus |
DE69620125T DE69620125T2 (de) | 1995-12-18 | 1996-12-16 | Gerät zur Bildverarbeitung von Fingerabdrücken |
KR1019960066834A KR100214736B1 (ko) | 1995-12-18 | 1996-12-17 | 지문/장문 화상 처리장치 |
US09/261,147 US6118891A (en) | 1995-12-18 | 1999-03-03 | Fingerprint/palmprint image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7328690A JP2739856B2 (ja) | 1995-12-18 | 1995-12-18 | 指掌紋画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09167230A true JPH09167230A (ja) | 1997-06-24 |
JP2739856B2 JP2739856B2 (ja) | 1998-04-15 |
Family
ID=18213086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7328690A Expired - Lifetime JP2739856B2 (ja) | 1995-12-18 | 1995-12-18 | 指掌紋画像処理装置 |
Country Status (7)
Country | Link |
---|---|
US (2) | US5937082A (ja) |
EP (1) | EP0780780B1 (ja) |
JP (1) | JP2739856B2 (ja) |
KR (1) | KR100214736B1 (ja) |
AU (1) | AU708216B2 (ja) |
CA (1) | CA2192525C (ja) |
DE (1) | DE69620125T2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002288641A (ja) * | 2001-03-26 | 2002-10-04 | Nec Corp | 指掌紋画像処理装置及び方法 |
WO2005086091A1 (ja) * | 2004-03-04 | 2005-09-15 | Nec Corporation | 指紋掌紋画像処理システムおよび指紋掌紋画像処理方法 |
US6961451B2 (en) | 2001-03-26 | 2005-11-01 | Nec Corporation | Fingerprint/palmprint image processor and processing method |
JP2007524143A (ja) * | 2003-06-12 | 2007-08-23 | ザ ホンコン ポリテクニック ユニヴァーシティ | 掌紋認証の方法 |
JPWO2006009319A1 (ja) * | 2004-07-22 | 2008-05-01 | 日本電気株式会社 | 画像処理システム |
US7466846B2 (en) | 2002-09-25 | 2008-12-16 | The Hong Kong Polytechnic University | Method for analyzing a palm print for the identification of an individual using gabor analysis |
US7496214B2 (en) | 2002-09-25 | 2009-02-24 | The Hong Kong Polytechnic University | Method of palm print identification |
WO2009093381A1 (ja) | 2008-01-21 | 2009-07-30 | Nec Corporation | パターン照合システム、パターン照合方法およびパターン照合用プログラム |
WO2009104429A1 (ja) | 2008-02-19 | 2009-08-27 | 日本電気株式会社 | パターン照合装置、パターン照合方法、及びプログラム |
JP2009237621A (ja) * | 2008-03-25 | 2009-10-15 | Nec Corp | 隆線方向抽出装置および隆線方向抽出プログラムと隆線方向抽出方法 |
WO2011058836A1 (ja) * | 2009-11-10 | 2011-05-19 | 日本電気株式会社 | 偽指判定装置、偽指判定方法および偽指判定プログラム |
WO2011089813A1 (ja) | 2010-01-20 | 2011-07-28 | 日本電気株式会社 | 画像処理装置 |
JP2011258231A (ja) * | 2006-04-26 | 2011-12-22 | Aware Inc | 指紋プリビュー品質ならびに細分化 |
US8195005B2 (en) | 2006-02-01 | 2012-06-05 | Nec Corporation | Image processing, image feature extraction and image matching apparatuses, methods and programs, and image matching system |
CN102782724A (zh) * | 2010-03-04 | 2012-11-14 | 日本电气株式会社 | 异物判定装置、异物判定方法及异物判定程序 |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6233348B1 (en) * | 1997-10-20 | 2001-05-15 | Fujitsu Limited | Fingerprint registering apparatus, fingerprint identifying apparatus, and fingerprint identifying method |
US6631211B1 (en) * | 1999-07-08 | 2003-10-07 | Perkinelmer Las, Inc. | Interactive system for analyzing scatter plots |
JP3725998B2 (ja) * | 1999-10-14 | 2005-12-14 | 富士通株式会社 | 指紋照合装置及び照合方法 |
JP3558025B2 (ja) | 2000-09-06 | 2004-08-25 | 株式会社日立製作所 | 個人認証装置及び方法 |
US7627145B2 (en) | 2000-09-06 | 2009-12-01 | Hitachi, Ltd. | Personal identification device and method |
US6766040B1 (en) | 2000-10-02 | 2004-07-20 | Biometric Solutions, Llc | System and method for capturing, enrolling and verifying a fingerprint |
IL141389A0 (en) * | 2001-02-12 | 2002-03-10 | Weiss Golan | A system and a method for person's identity authentication |
JP2002288642A (ja) * | 2001-03-27 | 2002-10-04 | Nec Corp | 掌紋部位分割装置とその掌紋部位分割方法、及び掌紋部位分割プログラム |
US6489149B1 (en) * | 2001-03-29 | 2002-12-03 | Pe Corporation (Ny) | Isolated human NADPH oxidase, nucleic acid molecules encoding said proteins, and uses thereof |
JP2002304561A (ja) * | 2001-04-03 | 2002-10-18 | Victor Co Of Japan Ltd | 電子サービス提供システム |
EP1288856A1 (de) * | 2001-08-01 | 2003-03-05 | Siemens Aktiengesellschaft | Rekonstruktion ungültiger Bildwerte in einem aus Bildpunkten zusammengesetzten Bild |
KR100432491B1 (ko) | 2001-08-31 | 2004-05-22 | (주)니트 젠 | 융선방향 모델을 이용한 지문 특징데이터 추출방법 |
GB2388457A (en) * | 2002-05-09 | 2003-11-12 | Central Research Lab Ltd | Fingerprint identification system |
JP4292837B2 (ja) * | 2002-07-16 | 2009-07-08 | 日本電気株式会社 | パターン特徴抽出方法及びその装置 |
US20040057606A1 (en) * | 2002-09-25 | 2004-03-25 | The Hong Kong Polytechnic University | Apparatus for capturing a palmprint image |
US20050281438A1 (en) * | 2004-06-21 | 2005-12-22 | Zhang David D | Palm print identification using palm line orientation |
JP4375308B2 (ja) * | 2005-08-30 | 2009-12-02 | 日本電気株式会社 | 隆線方向抽出装置、隆線方向抽出方法、隆線方向抽出プログラム |
CN100365646C (zh) * | 2006-09-15 | 2008-01-30 | 哈尔滨工业大学 | 基于差分运算的高精度掌纹识别方法 |
US20110262013A1 (en) * | 2010-04-21 | 2011-10-27 | Harris Corporation | Fingerprint matcher using iterative process and related methods |
JP5850341B2 (ja) | 2010-06-04 | 2016-02-03 | 日本電気株式会社 | 指紋認証システム、指紋認証方法および指紋認証プログラム |
US11373439B1 (en) | 2013-03-14 | 2022-06-28 | Telos Corporation | Touchless fingerprint matching systems and methods |
US9710691B1 (en) * | 2014-01-23 | 2017-07-18 | Diamond Fortress Technologies, Inc. | Touchless fingerprint matching systems and methods |
CN104392455B (zh) * | 2014-12-09 | 2017-03-29 | 西安电子科技大学 | 基于方向检测的在线掌纹有效区域快速分割方法 |
US10528789B2 (en) | 2015-02-27 | 2020-01-07 | Idex Asa | Dynamic match statistics in pattern matching |
US10157306B2 (en) | 2015-02-27 | 2018-12-18 | Idex Asa | Curve matching and prequalification |
US9940502B2 (en) * | 2015-02-27 | 2018-04-10 | Idex Asa | Pre-match prediction for pattern testing |
US10055661B2 (en) * | 2015-03-24 | 2018-08-21 | Intel Corporation | Skin texture-based authentication |
US11055511B2 (en) * | 2015-03-31 | 2021-07-06 | Nec Corporation | Biological pattern information processing device, biological pattern information processing method, and program |
USD776664S1 (en) * | 2015-05-20 | 2017-01-17 | Chaya Coleena Hendrick | Smart card |
JP6680812B2 (ja) * | 2018-01-30 | 2020-04-15 | ファナック株式会社 | ワーク画像生成装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5922173A (ja) | 1982-07-28 | 1984-02-04 | Nippon Telegr & Teleph Corp <Ntt> | 指紋画像コ−ド化方法 |
US4547898A (en) * | 1983-03-11 | 1985-10-15 | Siemens Corporate Research & Support, Inc. | Apparatus for determining the two-dimensional connectivity of a prescribed binary variable associated with a surface |
US4747147A (en) * | 1985-09-03 | 1988-05-24 | Sparrow Malcolm K | Fingerprint recognition and retrieval system |
AU603801B2 (en) * | 1986-05-07 | 1990-11-29 | Printscan International Inc. | Method and apparatus for verifying identity |
ES2161250T3 (es) * | 1987-02-20 | 2001-12-01 | Sagem | Procedimientos para comparar huellas digitales. |
JPH05746A (ja) * | 1991-06-24 | 1993-01-08 | Canon Inc | 画像形成装置 |
JP2765335B2 (ja) * | 1992-01-07 | 1998-06-11 | 日本電気株式会社 | 隆線方向パターン平滑化方法およびその装置 |
JP3057590B2 (ja) * | 1992-08-06 | 2000-06-26 | 中央発條株式会社 | 個人識別装置 |
JPH07105370A (ja) * | 1993-10-01 | 1995-04-21 | Nippon Denki Security Syst Kk | 指紋紋様分類方法 |
US5631971A (en) * | 1994-05-24 | 1997-05-20 | Sparrow; Malcolm K. | Vector based topological fingerprint matching |
-
1995
- 1995-12-18 JP JP7328690A patent/JP2739856B2/ja not_active Expired - Lifetime
-
1996
- 1996-12-10 CA CA002192525A patent/CA2192525C/en not_active Expired - Fee Related
- 1996-12-13 AU AU75349/96A patent/AU708216B2/en not_active Ceased
- 1996-12-16 EP EP96120179A patent/EP0780780B1/en not_active Expired - Lifetime
- 1996-12-16 DE DE69620125T patent/DE69620125T2/de not_active Expired - Lifetime
- 1996-12-16 US US08/764,239 patent/US5937082A/en not_active Expired - Lifetime
- 1996-12-17 KR KR1019960066834A patent/KR100214736B1/ko not_active IP Right Cessation
-
1999
- 1999-03-03 US US09/261,147 patent/US6118891A/en not_active Expired - Lifetime
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6961451B2 (en) | 2001-03-26 | 2005-11-01 | Nec Corporation | Fingerprint/palmprint image processor and processing method |
US7027626B2 (en) | 2001-03-26 | 2006-04-11 | Nec Corporation | System and method for processing fingerprint/palmprint image |
JP2002288641A (ja) * | 2001-03-26 | 2002-10-04 | Nec Corp | 指掌紋画像処理装置及び方法 |
US7496214B2 (en) | 2002-09-25 | 2009-02-24 | The Hong Kong Polytechnic University | Method of palm print identification |
US7466846B2 (en) | 2002-09-25 | 2008-12-16 | The Hong Kong Polytechnic University | Method for analyzing a palm print for the identification of an individual using gabor analysis |
JP2007524143A (ja) * | 2003-06-12 | 2007-08-23 | ザ ホンコン ポリテクニック ユニヴァーシティ | 掌紋認証の方法 |
WO2005086091A1 (ja) * | 2004-03-04 | 2005-09-15 | Nec Corporation | 指紋掌紋画像処理システムおよび指紋掌紋画像処理方法 |
US7769206B2 (en) | 2004-03-04 | 2010-08-03 | Nec Corporation | Finger/palm print image processing system and finger/palm print image processing method |
US7831071B2 (en) | 2004-07-22 | 2010-11-09 | Nec Corporation | Image processing system |
JP4569781B2 (ja) * | 2004-07-22 | 2010-10-27 | 日本電気株式会社 | 画像処理システム |
EP1967988A1 (en) | 2004-07-22 | 2008-09-10 | NEC Corporation | Image processing system |
JPWO2006009319A1 (ja) * | 2004-07-22 | 2008-05-01 | 日本電気株式会社 | 画像処理システム |
US8195005B2 (en) | 2006-02-01 | 2012-06-05 | Nec Corporation | Image processing, image feature extraction and image matching apparatuses, methods and programs, and image matching system |
US10083339B2 (en) | 2006-04-26 | 2018-09-25 | Aware, Inc. | Fingerprint preview quality and segmentation |
JP2018125020A (ja) * | 2006-04-26 | 2018-08-09 | アウェア, インコーポレイテッド | 指紋プリビュー品質ならびに細分化 |
US10776604B2 (en) | 2006-04-26 | 2020-09-15 | Aware, Inc. | Fingerprint preview quality and segmentation |
US10325137B2 (en) | 2006-04-26 | 2019-06-18 | Aware, Inc. | Fingerprint preview quality and segmentation |
JP2011258231A (ja) * | 2006-04-26 | 2011-12-22 | Aware Inc | 指紋プリビュー品質ならびに細分化 |
US11250239B2 (en) | 2006-04-26 | 2022-02-15 | Aware, Inc. | Fingerprint preview quality and segmentation |
US9405957B2 (en) | 2006-04-26 | 2016-08-02 | Aware, Inc. | Fingerprint preview quality and segmentation |
JP2017016682A (ja) * | 2006-04-26 | 2017-01-19 | アウェア, インコーポレイテッド | 指紋プリビュー品質ならびに細分化 |
US8452060B2 (en) | 2006-04-26 | 2013-05-28 | Aware, Inc. | Fingerprint preview quality and segmentation |
US9626548B2 (en) | 2006-04-26 | 2017-04-18 | Aware, Inc. | Fingerprint preview quality and segmentation |
US9792483B2 (en) | 2006-04-26 | 2017-10-17 | Aware, Inc. | Fingerprint preview quality and segmentation |
US9031291B2 (en) | 2006-04-26 | 2015-05-12 | Aware, Inc. | Fingerprint preview quality and segmentation |
US9152843B2 (en) | 2006-04-26 | 2015-10-06 | Aware, Inc. | Fingerprint preview quality and segmentation |
JP2015187876A (ja) * | 2006-04-26 | 2015-10-29 | アウェア, インコーポレイテッド | 指紋プリビュー品質ならびに細分化 |
US8605962B2 (en) | 2008-01-21 | 2013-12-10 | Nec Corporation | Pattern matching system, pattern matching method, and pattern matching program |
WO2009093381A1 (ja) | 2008-01-21 | 2009-07-30 | Nec Corporation | パターン照合システム、パターン照合方法およびパターン照合用プログラム |
WO2009104429A1 (ja) | 2008-02-19 | 2009-08-27 | 日本電気株式会社 | パターン照合装置、パターン照合方法、及びプログラム |
US8340370B2 (en) | 2008-02-19 | 2012-12-25 | Nec Corporation | Pattern verification apparatus, pattern verification method, and program |
JP2009237621A (ja) * | 2008-03-25 | 2009-10-15 | Nec Corp | 隆線方向抽出装置および隆線方向抽出プログラムと隆線方向抽出方法 |
US10496871B2 (en) | 2009-11-10 | 2019-12-03 | Nec Corporation | Fake-finger determination device, fake-finger determination method, and fake-finger determination program |
WO2011058836A1 (ja) * | 2009-11-10 | 2011-05-19 | 日本電気株式会社 | 偽指判定装置、偽指判定方法および偽指判定プログラム |
US11443548B2 (en) | 2009-11-10 | 2022-09-13 | Nec Corporation | Fake-finger determination device, fake-finger determination method and fake-finger determination program |
US11734951B2 (en) | 2009-11-10 | 2023-08-22 | Nec Corporation | Fake-finger determination device, fake-finger determination method, and fake-finger determination program |
US8995730B2 (en) | 2010-01-20 | 2015-03-31 | Nec Solutions Innovators, Ltd. | Image processing apparatus for analyzing and enhancing fingerprint images |
WO2011089813A1 (ja) | 2010-01-20 | 2011-07-28 | 日本電気株式会社 | 画像処理装置 |
US9295415B2 (en) | 2010-03-04 | 2016-03-29 | Nec Corporation | Foreign object determination device, foreign object determination method and foreign object determination program |
CN102782724A (zh) * | 2010-03-04 | 2012-11-14 | 日本电气株式会社 | 异物判定装置、异物判定方法及异物判定程序 |
Also Published As
Publication number | Publication date |
---|---|
KR100214736B1 (ko) | 1999-08-02 |
KR970049820A (ko) | 1997-07-29 |
EP0780780A2 (en) | 1997-06-25 |
DE69620125D1 (de) | 2002-05-02 |
AU708216B2 (en) | 1999-07-29 |
US6118891A (en) | 2000-09-12 |
CA2192525C (en) | 2000-04-25 |
US5937082A (en) | 1999-08-10 |
JP2739856B2 (ja) | 1998-04-15 |
AU7534996A (en) | 1997-06-26 |
DE69620125T2 (de) | 2002-07-18 |
EP0780780B1 (en) | 2002-03-27 |
CA2192525A1 (en) | 1997-06-19 |
EP0780780A3 (en) | 1997-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2739856B2 (ja) | 指掌紋画像処理装置 | |
JP4029412B2 (ja) | 指紋掌紋画像処理システムおよび指紋掌紋画像処理方法 | |
JP2002288641A (ja) | 指掌紋画像処理装置及び方法 | |
KR20090098894A (ko) | 화상 판독 장치, 화상 판독 프로그램을 기록한 기록 매체, 화상 판독 방법 | |
JP4517449B2 (ja) | 画像における相関演算方法 | |
EP1574985A1 (en) | Binary coding method of fingerprint image | |
JPH07105370A (ja) | 指紋紋様分類方法 | |
JP2021532453A (ja) | フィードフォワード畳み込みニューラルネットワークを使用した高速且つ堅牢な皮膚紋理の印のマニューシャの抽出 | |
KR100417013B1 (ko) | 지문/장문 화상 처리 장치 및 처리 방법 | |
US20040218790A1 (en) | Print segmentation system and method | |
Wang et al. | Representing images using points on image surfaces | |
JP5748472B2 (ja) | オブジェクト判別装置、方法、及びプログラム | |
JPH04275685A (ja) | 画像領域識別処理方法 | |
CN112435186B (zh) | 一种基于双规则矩阵方向场的指纹图像增强方法 | |
JP7316771B2 (ja) | 学習装置、パラメータの作成方法、ニューラルネットワーク及びこれを用いた情報処理装置 | |
JP5773935B2 (ja) | シーンにおけるオブジェクトを分類する方法 | |
Lin et al. | A proof of image Euler Number formula | |
JP4257264B2 (ja) | パターン照合装置、画像品質検証方法及び画像品質検証プログラム | |
Gimel'farb et al. | Markov random fields with short-and long-range interaction for modelling gray-scale textured images | |
Motwakel et al. | Fingerprint Image Enhancement and Quality Analysis–A Survey | |
JP5649943B2 (ja) | オブジェクト判別装置、方法、及びプログラム | |
WO2021166174A1 (ja) | 被写体別特徴点分離装置、被写体別特徴点分離方法及びコンピュータプログラム | |
JP3934353B2 (ja) | 画像処理装置、記録媒体およびプログラム | |
Singh et al. | level shape description by skeletonization in faded documents | |
JP3549700B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19971224 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080123 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090123 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100123 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110123 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110123 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 15 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 15 |
|
EXPY | Cancellation because of completion of term |