JP2944557B2 - 縞パターン照合装置 - Google Patents

縞パターン照合装置

Info

Publication number
JP2944557B2
JP2944557B2 JP9044043A JP4404397A JP2944557B2 JP 2944557 B2 JP2944557 B2 JP 2944557B2 JP 9044043 A JP9044043 A JP 9044043A JP 4404397 A JP4404397 A JP 4404397A JP 2944557 B2 JP2944557 B2 JP 2944557B2
Authority
JP
Japan
Prior art keywords
stripe pattern
search
feature point
feature
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP9044043A
Other languages
English (en)
Other versions
JPH10240932A (ja
Inventor
誠一 平塚
幸夫 星野
純一 国方
良英 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NIPPON DENKI SOFUTOEA KK
NEC Corp
Original Assignee
NIPPON DENKI SOFUTOEA KK
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NIPPON DENKI SOFUTOEA KK, Nippon Electric Co Ltd filed Critical NIPPON DENKI SOFUTOEA KK
Priority to JP9044043A priority Critical patent/JP2944557B2/ja
Priority to CA002230626A priority patent/CA2230626C/en
Priority to SG9800447A priority patent/SG81223A1/en
Priority to US09/030,814 priority patent/US5953443A/en
Priority to CN98100470A priority patent/CN1195830A/zh
Priority to TW087103017A priority patent/TW363174B/zh
Priority to KR1019980006434A priority patent/KR100267514B1/ko
Priority to DE69827177T priority patent/DE69827177T2/de
Priority to EP98103494A priority patent/EP0862131B1/en
Publication of JPH10240932A publication Critical patent/JPH10240932A/ja
Application granted granted Critical
Publication of JP2944557B2 publication Critical patent/JP2944557B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、採取した指紋等の
縞パターンを、ファイルに登録してある縞パターンと照
合するための縞パターン照合装置に関する。
【0002】
【従来の技術】図2は縞パターンの一例の指紋の特徴点
を示す平面図である。
【0003】指紋等の縞パターンは、照合のために用い
る特徴点として、図2に示すように、紋様を構成する盛
上った線の隆線1a〜1gの端部の点である端点2a〜
2cおよび2本の隆線の合流する点である分岐点3aを
特徴点として用い、任意の一つの特徴点(図2において
は端点2a)を原点(親特徴点)として、その特徴点か
ら隆線(図2においては隆線1a)の伸びる方向にy軸
を、y軸に対して直角方向にx軸を設け、x軸およびy
軸で形成される4っの象限のそれぞれの象限内において
原点に最も近い位置にある特徴点(図2においては端点
2bおよび端点2cおよび端点2dおよび分岐点3a)
を子特徴点とし、親特徴点と子特徴点との間の隆線の数
をリレーションR1〜R4として用いることが特公昭6
0−12674号公報において提案されている。
【0004】図2において、画像の中央の点を原点とし
てX軸方向は縞パターンの原点から右への水平方向を示
し、Y軸の正方向(図示省略)は原点からX軸に垂直な
上の方向を示す。y軸とX軸とのなす角度すなわちy軸
の方向Diは、X軸を基準として測られる。すなわち、
隆線1aは、X軸に対して角度Diの方向に伸びている
ことを示している。分岐点3aの方向は、2本の隆線1
fおよび1gの間の方向として定義される。また、第一
〜第四象限における各リレーションR1〜R4は、リレ
ーションR1は端点2aと端点2bの間にある隆線が隆
線1aの延長部と隆線2aの2本であるので、R1=2
であり、同様に、R2=1、R3=2、R4=1 で
ある。親特徴点と子特徴点との間に不明な部分がある場
合は、 Ri=× と示す。
【0005】照合すべき探索縞パターン(探索パター
ン)をファイルに登録してあるファイル縞パターン(フ
ァイルパターン)と照合するための縞パターン照合装置
としては、特公昭63−21233号公報に開示されて
いる。
【0006】指紋のような縞パターンの照合には、犯罪
捜査のときのように、採取した未知の指紋を既に登録し
てあるファイル指紋と照合してその未知の指紋を特定す
る場合と、入出門管理等のためにあらかじめ特定の個人
の指紋およびID番号を登録しておき、入出門時に指紋
およびID番号を入力して登録してある指紋およびID
番号と照合して個人を確認する場合との2通りの照合形
態がある。
【0007】図14は、これらのうちの前者の場合の動
作を示すフローチャートであり、図15は、後者の場合
の動作を示すフローチャートである。
【0008】図14においては、まず探索縞パターンの
特徴である領域パターンと特徴点リストとを入力した後
(ステップ47)、ファイル縞パターンの特徴である領
域パターンと特徴点リストとを入力し(ステップ4
8)、各特徴点リストに登録されている全特徴点につい
て、総当り的にそれらの位置および方向およびリレーシ
ョンを調べ、対応する可能性のある特徴点の組(特徴点
対)を候補対として候補対リストに登録する(ステップ
49)。次に、この候補対リストを用いて対応する特徴
点が最もよく一致する最適な座標整合量を求め(ステッ
プ50)、候補対リストにある探索縞パターンの特徴点
を、この座標整合量に従って座標の整合を行う(ステッ
プ51および52)。ステップ49およびステップ50
の動作が粗照合61である。
【0009】次に、座標の整合後の探索縞パターンの特
徴点リストとファイル縞パターンの特徴点リストによっ
てそれらの位置および方向を調べ、候補対を精選する
(ステップ53)。更に、精選した候補対を基に、リレ
ーションによる対応関係を調べ、各候補対に与えられて
いる候補対値を修正する(ステップ54)。
【0010】このようにして得られた候補対リストか
ら、1個の探索縞パターンの特徴点Siに対応する1個
のファイル縞パターンの特徴点Fjを決定してそれらを
対値と共に対リストに登録して対リストを生成する(ス
テップ55)。続いて再度リレーションによる対値の修
正を行い、更に領域パターンおよび対向特徴点を調べて
有効特徴点の数を減らして対値の最終的な値を決定する
(ステップ56)。対値の最終的な値を決定したら、対
値を集計して有効照合特徴点数で正規化した照合値を求
め(ステップ57)、このような動作をすべてのファイ
ル縞パターンに対して行って最も大きな照合値を示すフ
ァイル縞パターンの番号を出力する(ステップ58)。
ステップ51からステップ57までの動作が詳細照合6
2である。
【0011】図15においては、まずファイル縞パター
ンのID番号を入力し(ステップ59)、以下図14の
ステップ47からステップ57までID番号の動作を行
い、最後に、照合値が一定値以上のとき、探索縞パター
ンのID番号IDMを回答として出力するする(ステッ
プ60)。
【0012】図16は、多数のファイル縞パターンの特
徴点{Fj}が多数ある中から探索縞パターンの特徴点
{Si}に最も類似したものを探す犯罪捜査のときの、
上記の縞パターン照合装置の動作、すなわち図14の動
作の詳細を示すフローチャートである。
【0013】まずステップ71において、探索縞パター
ンSからその特徴点{Si}を抽出し、最大照合値SC
の値を0(SC=0)、最高類似ファイル縞パターンの
ID番号Nを0(N=0)に設定する。次にステップ7
2において、ファイル縞パターンの特徴点{Fj}と、
ファイル縞パターンのID番号mとを読み込む。2回目
以降の読み込みのとき、ファイル縞パターンがあればス
テップ73に移行し、ファイル縞パターンがなければス
テップ85に移行する。
【0014】ステップ73においては、探索縞パターン
の特徴点{Si}の各特徴点Siと類似するファイル縞
パターンの特徴点Fijの位置および方向およびリレー
ションの差がそれぞれ一定の値以下の場合に、それらの
候補値対vijを求め、それら候補対リストCij(S
i:Fij/vij)に登録する。
【0015】すなわち、S1:F11/v11,S1:
F12/v12,……S1:F1j/v1j,……S
i:Fi1/vi1,Si:Fi2/vi2,……S
i:Fij/vij,……Sn:Fn1/vn1,S
n:Fn2/vn2,……Sn:Fnj/vnj,……
を作成する。そして最大集中度を0に設定する。
【0016】次に、ステップ74において回転角rとし
て例えば−29.4度を設定し、ステップ75において
回転角rを1.4度増やす。
【0017】次に、ステップ76において、候補対Ci
j(Si:Fij/vij)のSiをr度回転させたと
きの位置(座標)および方向の各値(rXi,rYi,
rDi)とFijの位置(座標)および方向の各値(X
ij:Yij,Dij)とを比較し、方向の差ΔD=r
Di−Dijの絶対値が所定の閾値TD以下のとき、偏
差平面(ΔX,ΔY)すなわちΔX=rXi−Xijお
よびΔY=rYi−Yijの点に候補対値vijを加算
する。このようにして候補対リストの全候補対について
偏差平面上への候補対値vijを加算が終了した後、最
も多くの点が集中している極大集中部(ΔX′,Δ
Y′)と、その集中度合を示す極大集中度M′とを求
め、このときの回転角rをr′とする。
【0018】次に、ステップ77において、回転角rが
28.0度よりも小さいときはステップ75に戻り、2
8.0度よりも大きいときはステップ78に移行する。
【0019】次に、ステップ78において、最大集中度
と極大集中度とを比較し、極大集中度が最大集中度より
も大きいときは、最大集中度M″および最適回転角r″
および最適位置変位(X″,Y″)を、極大集中度M′
および回転角r′および極大集中部(ΔX′,ΔY′)
により更新する。
【0020】次に、ステップ79において、最大集中度
M″を一定の値と比較し、一定の値よりも小さいとき
は、照合値SC=0としてステップ72に戻る(ステッ
プ80)。一定の値以上のときは、ステップ81に移行
する。
【0021】ステップ81においては、最適回転角r″
および最適位置変位(X″,Y″)を座標整合量とし、
探索縞パターンの特徴点Siをこの座標整合量で変換し
て特徴点tSiとしてステップ82に移行する。
【0022】ステップ82においては、候補対Cij
(Si:Fij/vij)の 特徴点Siの代りに特徴
点tSiを用い、特徴点tSiと特徴点Fijの比較
(詳細照合)を行い、ステップ83において、探索縞パ
ターンの特徴点tSiとID番号IDMのファイル縞パ
ターンの特徴点Fjとの照合値SCを計算する。この照
合値SCが最大照合値MSCよりも大きいときは、MS
CをSCに更新し、ID番号IDMで回答ID番号Nを
nに更新し、次のファイル縞パターンの特徴点を読み出
すためにステップ72に戻る(ステップ84)。
【0023】ステップ85においては、最大照合値MS
Cが一定の閾値よりも大きいときは探索縞パターンのI
D番号はNであるとし、その閾値よりも大きくないとき
は探索縞パターンのID番号は該当するもながないとす
る。
【0024】このように、特公昭63−21233号公
報に開示されている縞パターン照合装置は、例えば探索
縞パターンが指紋の場合、探索縞パターンの特徴点{S
i}およびファイル縞パターンの特徴点{Fj}を表現
するとき、指紋の紋様の中心を原点、指の先端の方向を
Y軸、Y軸に直角の方向をX軸として座標系を決め、指
紋の各特徴点の位置や方向をこの座標系によって表現す
ることが前提となっている。従ってステップ73におけ
る位置の検査が重要な役割を担っており、ステップ74
および75および76および78においては、その原点
および座標軸を基本として特徴点Siを回転させてい
る。このため、品質の悪い片鱗遺留指紋や渦状や蹄状の
紋様がない遺留掌紋の照合の場合は、紋様の中心や軸の
方向をセットし直したり、中心と軸の方向の組を複数組
セットして照合することが必要である。
【0025】特開平2−183380号公報には、入室
管理用等を目的とする個人照合装置が開示されている。
この個人照合装置は、入力された指紋画像を二値化処理
し、この二値化データに基づいて特定個人の指紋の登録
・照合を行うため、指紋の二値化像に対応する縞催を有
するマスクを複数個設け、二値化像にこのマスクをあて
がってそれらの不一致度を求め、指紋像の方向を検出す
るようにしたことを特徴とするものであり、犯人が犯罪
現場に残した遺留指紋が探索縞パターンであるときのよ
うに、探索縞パターンが、ファイル縞パターンを登録す
るときと位置がずれたり縞パターンの方向がずれたりす
ると、照合ができなくなる方式のものである。
【0026】また、特開昭59−144982号公報に
開示されている縞状パターン照合方式は、画像入力装置
から得られた探索縞パターンとファイル(登録)縞パタ
ーンとを照合するとき、探索縞パターンの端点および分
岐点の特徴点とファイル縞パターンの特徴点とを照合す
るのではなく、二つのパターンの隆線同士が一致するか
否かを照合する方式のものであり、位置ずれや方向ずれ
が起きても照合できるようにすることには対応不可能で
ある。本号公報には、上述の特開平2−183380号
公報の個人照合装置と同様にファイル縞パターンの特徴
を記憶しておき、探索縞パターンと照合する時点でファ
イル縞パターンに登録した通りの特徴が存在するか否か
を確認するため、各ファイル縞パターン毎に探索縞パタ
ーンからその都度特徴を抽出する方法も提示されている
が、この方法でも、探索縞パターンの位置や方向がファ
イル縞パターンの登録時の位置や方向とずれている場合
は、照合ができなくなる方式である。
【0027】上述の二つの方式は、例えば登録指紋数と
して10万人分の指紋が必要な犯罪捜査用の指紋照合装
置用としては、適用が不可能なものである。なぜなら、
1指分の特徴点の数を12個(一般に、二つの指紋の間
で12個の特徴が一致するときは、これらの二つの指紋
は同一人の指紋であるとされている。)とするとき、1
0万人のそれぞれについて10本の指の指紋が登録され
ているとすると、100万個の指の指紋との照合が必要
となる。従って、1個の遺留指紋に対して100万×1
2個 の特徴点の方向抽出を行わなければならず、実用
上極めて能率が低くなるからである。
【0028】
【発明が解決しようとする課題】本発明が解決しようと
する課題、すなわち本発明の目的は、犯人が犯罪現場に
残した遺留指紋のような探索縞パターンを、極めて多数
の指紋が登録されているファイル縞パターンと照合する
とき、探索縞パターンの位置や方向に無関係に対応する
特徴点間の対値やパターン間照合値を求めることができ
るようにして、高速かつ高精度に縞パターンの照合を行
うことができる縞パターン照合装置を提供することにあ
る。
【0029】
【課題を解決するための手段】本発明は、探索縞パター
ンの方向または位置の一方または両方が特定できない場
合にも、探索縞パターンの特徴点に対応するファイル縞
パターンの特徴点を選択して候補対リストを作成できる
ようにしたものである。すなわち、対検査回路は、探索
縞パターンの特徴点とファイル縞パターンの特徴点とを
比較するとき、探索縞パターンの特徴点の周囲の子特徴
点との間の距離や方向やリレーション(隆線数)と、フ
ァイル縞パターンの特徴点の周囲の子特徴点との間の距
離や方向やリレーションとを比較することができる。従
ってファイル縞パターンに対する探索縞パターンの方向
または位置の一方または両方が不明なとき、無理に探索
縞パターンの方向や位置を推測する必要がない。
【0030】本発明はまた、探索縞パターンの方向また
は位置の一方または両方が特定できない場合にも、ファ
イル縞パターンと最もよく合致する探索縞パターンの方
向および位置を決定することができるようにしたもので
ある。すなわち、候補対リストのなかの一つの候補対を
軸候補対とし、軸候補対の二つの特徴点の方向の差で決
まる回転角だけ探索縞パターンを回転させた回転済探索
縞パターンの特徴点とファイル縞パターンの特徴点との
方向の差および座標値のX座標およびY座標の差が与え
られた条件を満たすときに、偏差平面に候補対値を加算
する作業を行い、一つの軸候補対に対するすべての加算
作業の終了後、偏差平面上において極大集中部と極大値
とを求め、順次に指定する軸候補対のすべてについて極
大集中部と極大値とを求め、それらの極大値の中の最大
値を求めることによって探索縞パターンとファイル縞パ
ターンとの最適整合値を求めることができるようにした
ものである。従ってファイル縞パターンに対する探索縞
パターンの方向または位置の一方または両方が不明なと
き、ファイル縞パターンと最もよく合致する探索縞パタ
ーンの方向および位置を自動的に決定することができる
ため、指紋の照合の専門家等が、方向決めや位置決めの
ための煩わしい作業を行なう必要がない。
【0031】本発明は更に、最適整合値を求めるために
偏差平面に候補対値を加算するとき、高速に候補対値を
加算することができるようにしたものである。すなわ
ち、探索縞パターンの任意の特徴点の座標(Xi,Y
i)を、画像の原点を中心として一定角度(例えば1.
4度)ずつ回転することによって複数個(例えば左右に
各20個)の回転済探索縞パターンの特徴点にあらかじ
め変換して記憶しておき、候補対リストのなかの一つの
候補対を軸候補対としたとき、その二つの特徴点の方向
の差で決まる回転角だけ探索縞パターンを回転させた回
転済探索縞パターンの特徴点とファイル縞パターンの特
徴点とを比較できるようにしたものである。従って、軸
候補対の二つの特徴点の方向の差を計算する度に探索縞
パターンを回転させる作業を行う必要がなくなる。
【0032】本発明においては、偏差平面に候補対値を
加算するとき、軸候補対の探索縞パターンの特徴点をフ
ァイル縞パターンの特徴点に重ね合わせるために軸候補
対の探索縞パターンを回転させてX軸方向およびY軸方
向に平行移動させるが、そのときの平行移動量は、候補
対リスト中の回転後の探索縞パターンの特徴点を、ファ
イル縞パターンの特徴点に重ね合わせるための平行移動
量とほぼ同じである。
【0033】すなわち、回転後の探索縞パターンの特徴
点とファイル縞パターンの特徴点の方向の差(rDi−
Dij)の絶対値が閾値TD以下であり、それらのX座
標値の差ΔX=(rXi−Xij)およびY座標値の差
ΔY=(rYi−Yij)がそれぞれ (rXm−Xmn−TT)≦ΔX≦(rXm−Xmn+
TT) (rYm−Ymn−TT)≦ΔY≦(rYm−Ymn+
TT) を満たすとき、すなわち、回転済探索縞パターンの特徴
点とファイル縞パターンの特徴点の方向の差がTD以下
であり、それらのX座標値の差およびY座標値の差が±
TT以下であるとき(回転済探索縞パターンの特徴点S
mと特徴点Fmnとを結んだ線が回転済探索縞パターン
の特徴点Siとファイル縞パターンの特徴点Fjとを結
んだ線とほぼ平行であるとき)、偏差平面(ΔX,Δ
Y)に候補対値を加算する作業を行い、加算終了後、極
大集中部と極大値とを求めることができる。従って探索
縞パターンがファイル縞パターンに対してどの程度の歪
まで許容できるかによっ上式のTTの値を設定すること
ができる。
【0034】本発明の縞パターン照合装置は、探索縞パ
ターンがすでに登録してある複数のファイル縞パターン
のうちの一つのファイル縞パターンと同一の縞パターン
であるか否かを両者の特徴点を照合することによって判
断するため、前記探策縞パターンを入力してその特徴点
を抽出する探策縞パターン入力特徴抽出部と、前記探策
縞パターン入力特徴抽出部が抽出した前記探策縞パター
ンの特徴点を記憶する探策縞パターン特徴記憶部と、あ
らかじめ前記ファイル縞パターンの特徴点を記憶してい
るファイル縞パターン特徴記憶部と、前記探策縞パター
ン特徴記憶部に記憶した前記探策縞パターンの特徴点と
前記ファイル縞パターン特徴記憶部に記憶してある前記
ファイル縞パターンの特徴点との一致性を検査する対検
査回路と、前記対検査回路によって前記探策縞パターン
の特徴点と前記ファイル縞パターンの特徴点との特徴点
が類似すると判断されて候補対となった特徴点の組と候
補対値とを記憶する候補対リストと、前記探策縞パター
ンの特徴点を例えば画像の中央の点の座標を中心して一
定角度ずつ回転することによって複数個の回転済探策縞
パターン特徴点を作成する座標変換回路と、前記座標変
換回路が作成した回転済探策縞パターン特徴点を記憶す
る回転済探策縞パターン特徴記憶部と、候補対リストに
記憶した候補対のうち候補対値が一定の条件を満足する
候補対を軸候補対とし、前記軸候補対となった前記探策
縞パターン特徴点の方向と同じく前記軸候補対となった
前記ファイル縞パターンとの方向との差に相当する所定
の角度だけ前記探策縞パターンの特徴点を回転させた回
転済探策縞パターン特徴点と前記ファイル縞パターン特
徴点とを用い、それらの方向の差およびX軸の値の差お
よびY軸の差がそれぞれ一定の条件を満足するとき、偏
差平面上の前記X軸の値の差および前記Y軸の差の位置
に候補対値を加える偏差平面記録部とを備え、前記対検
査回路において前記探策縞パターン特徴記憶部に記憶し
てある任意の前記探策縞パターンの特徴点が前記ファイ
ル縞パターン特徴記憶部に記憶してある任意の前記ファ
イル縞パターンの特徴点と所定の条件で合致する場合に
それらを候補対として前記候補対リストに記憶し、前記
候補対リストの中の特定の条件を満足する候補対を軸候
補対とし、前記軸候補対の方向の差によって決まる前記
回転済探策パターンの特徴点の座標値および方向と前記
ファイル縞パターンの特徴点の座標値および方向との差
が与えられた条件を満たすときに軸候補対値を前記偏差
平面記録部によって偏差平面にX軸の値の差およびY軸
の差に加算し、前記軸候補対に関するすべての加算が終
了したとき前記偏差平面記録部から極大集中部および極
大値を求め、順次に指定される前記軸候補対の回転角と
その回転角のときに決定した前記極大値のうちの最大と
なる前記極大集中部を前記探策縞パターンと前記ファイ
ル縞パターンとの間の最適位置変位とし、前記最適位置
変位の求まるときの回転角である最適回転角を最適座標
整合量として前記候補対リストの探策縞パターンの特徴
点に適用して整合後探策縞パターン特徴点とし、前記整
合後探策縞パターン特徴点と前記ファイル縞パターンの
特徴点の間で詳細照合を実行することを含むものであ
り、特に、前記探策縞パターンの特徴点と前記ファイル
縞パターンの特徴点との候補対を検出するとき、前記探
策縞パターンの任意の一つの探策縞パターンの特徴点を
親特徴点とし、その座標を第一の局所原点としその方向
を第一の局所方向としたときの前記探策縞パターンの親
特徴点の4象限の各子特徴点との間の隆線数および前記
第一の局所原点からの位置および前記第一の局所方向か
らの方向と、前記ファイル縞パターンの任意の一つのフ
ァイル縞パターンの特徴点を親特徴点とし、その座標を
第二の局所原点としその方向を第二の局所方向としたと
きの前記ファイル縞パターンの親特徴点の4象限の各子
特徴点との間の隆線数および前記第二の局所原点からの
位置および前記第二の局所方向からの方向との比較によ
って候補対を検出する、または、前記探策縞パターンの
特徴点と前記ファイル縞パターンの特徴点との候補対を
検出するとき、前記探策縞パターンの任意の一つの探策
縞パターンの特徴点を親特徴点とし、その座標を第一の
局所原点としその方向を第一の局所方向としたときの前
記探策縞パターンの親特徴点の4象限の各子特徴点およ
び孫特徴点との間の隆線数および前記第一の局所原点か
らの位置および前記第一の局所方向からの方向と、前記
ファイル縞パターンの任意の一つのファイル縞パターン
の特徴点を親特徴点とし、その座標を第二の局所原点と
しその方向を第二の局所方向としたときの前記ファイル
縞パターンの親特徴点の4象限の各子特徴点および孫特
徴点との間の隆線数および前記第二の局所原点からの位
置および前記第二の局所方向からの方向との比較によっ
て候補対を検出するものであり、更に、前記候補対リス
トの中の一つの候補対の値が一定値以上のものまたは一
定値以上のもののうちに最大のものから一定数の候補対
を軸候補対とし、前記探策縞パターンの特徴点と前記フ
ァイル縞パターンの特徴点との方向の差で決まる前記回
転済探策パターンの特徴点と前記ファイル縞パターンの
特徴点とを比較するため、前記候補対リストの中の前記
探策パターンの特徴点の代りに前記回転済探策パターン
の特徴点を利用し、前記回転済探策パターンの特徴点と
前記ファイル縞パターンの特徴点との方向の差の絶対値
が所定の閾値以下であり、かつ座標値のX座標およびY
座標の差がそれぞれ前記軸候補対のX座標およびY座標
の差とほぼ同じである条件を満たすときにX座標および
Y座標の偏差平面に候補対値を加算する作業を行い、前
記加算作業の終了後前記偏差平面上において極大集中部
と極大値とを求め、前記軸候補対のすべてについて極大
集中部と極大値とを求めた後極大値の最大値となる極大
集中部を最大集中部とし、そのときの回転角を最適回転
角とすることによって最適整合値を求め、また、最大集
中部を含む複数の極大集中部において整合後探策パター
ン特徴点を作成し、複数回の詳細照合を実行して複数の
照合値を求め、前記複数の照合値の最大値または和を前
記探策縞パターンの特徴点と前記ファイル縞パターンの
特徴点との照合値とするものである。
【0035】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
【0036】図1は本発明の一実施形態を示すブロック
図、図3は図1の実施形態の第一の動作を示すフローチ
ャート、図4は図1の実施形態の第二の動作を示すフロ
ーチャート、図5は図1の実施形態の詳細照合における
探索縞パターンの特徴点とファイル縞パターンの特徴点
の関係を示す平面図、図6は図1の実施形態に適用する
探索縞パターンの一例を線画で示した模式図、図7は図
1の実施形態に適用するファイル縞パターンの一例を線
画で示した模式図、図8は図6の探索縞パターンと図7
のファイル縞パターンの特徴点を同一画面上に重ねて図
示した模式図、図9は図6の軸候補1と図7の軸候補2
の方向を一致させたときの集中度を示す模式図、図10
は図6の軸候補2と図7の軸候補3の方向を一致させた
ときの集中度を示す模式図、図11は図6の軸候補2と
図7の軸候補7の方向を一致させたときの集中度を示す
模式図、図12は図6の軸候補3と図7の軸候補3の方
向を一致させたときの集中度を示す模式図、図13は図
6の軸候補2と図7の軸候補7の方向を一致させて最適
座標整合を行った後の状態を示す模式図である。
【0037】本装置の説明の前に、縞パターンの特徴点
とその特性値(データ)の表現形式について定義してお
く。図2において、端点2a〜2eおよび分岐点3aは
すべて特徴点であるが、一般的に探索縞パターン{S
i:i=1,2,……,I}のの特徴点をSi、ファイ
ル縞パターン{Fij:j=1,2,……,J}の特徴
点を特徴点Fijで表わす。また、探索縞パターンの特
徴点Siの位置(座標)を(Xi,Yi)、方向をD
i、特徴点Siの子特徴点をSik、特徴点Siと子特
徴点をSikとのリレーションをRik、子特徴点の座
標を(Xik,Yik)で表わす。同様に、ファイル縞
パターンの座標を(Xj,Yj)、方向をDj、特徴点
Fjの子特徴点をFjk、特徴点Fjと子特徴点をFj
kとのリレーションをRjk、子特徴点の座標を(Xj
k,Yjk)で表わす。
【0038】図1において、探索縞パターン入力特徴抽
出部11は、スキャナー等の入力装置から探索縞パター
ン(探索縞パターン)を入力してその特徴点(Si:
(Xi,Yi),Di,Sik,Dik,i=1〜I)
を抽出する。
【0039】探索縞パターン特徴記憶部12は、探索縞
パターン入力特徴抽出部11が抽出した探索縞パターン
の特徴点(探索パターン特徴点)を記憶する。記憶した
探索縞パターン特徴点は、随時読出すことができる。
【0040】ファイル縞パターン特徴記憶部13は、フ
ァイル縞パターン(ファイルパターン)の特徴点(F
j:(Xj,Yj),Dj,Fjk,Djk,,j=1
〜J)を記憶している。記憶しているファイル縞パター
ンの特徴点は、随時読出すことができる。
【0041】座標変換回路17は、探索縞パターン特徴
点を、特徴点の座標(Xi,Yi)を、画像の原点を中
心として一定角度(例えば1.4度)ずつ回転すること
によって、複数回(例えば左右に各20回)の回転済探
索縞パターンの特徴点(回転済探索縞パターン特徴点)
を作成する。回転済探索縞パターン特徴点は、探索縞パ
ターンのすべての特徴点について作成する。
【0042】回転済探索縞パターン特徴記憶部14は、
座標変換回路17が作成した回転済探索縞パターン特徴
点を記憶する。回転済探索縞パターン特徴記憶部14に
記憶した回転済探索縞パターン特徴点は、随時読出すこ
とができる。
【0043】対検査回路16は、探索縞パターン特徴記
憶部12に記憶した任意の探索縞パターンの特徴点Si
と、ファイル縞パターン特徴記憶部13に記憶した任意
のファイル縞パターンの特徴点Fjとの一致性を検査す
る。特徴点Siと対応する候補特徴点Fijとの一致の
度合が一定値以上の場合(詳細は後述する)は、それら
を候補対Cij(Si:Fij/vij)とする。
【0044】候補対リスト15は、対検査回路16が検
出した候補対Cijを記憶する。
【0045】偏差平面記録部19は、候補対リスト15
に記憶した候補対Cijのうち、候補対値vij(詳細
は後述する)が一定値以上の候補対Cmn(Sm:Fm
n/vnm)を軸候補対とし、軸候補対値vmnの探索
縞パターンの特徴点Smの方Dmと軸候補対のファイル
縞パターンFmnの方向Dmとの差Drに相当する角度
だけ探索縞パターンを回転させた回転済探索縞パターン
特徴点rSi(rXj,rYj,rDi,Rik)とS
iとの候補となるファイル縞パターン特徴点Fij(X
ij,Yij,Dij,Rijk)とを用い、それらの
方向の差(rDi−Dij)の絶対値が閾値TD以下で
あり、X軸の値の差ΔXおよびY軸の値の差ΔYがそれ
ぞれ ΔX=(rXi−Xij:rXiは回転済探索縞
パターンの特徴点rSiのX座標値)およびΔY=(r
Yi−Ym:rYiは回転済探索縞パターンの特徴点r
SiのY座標値)が与えられた条件を満たす場合、ΔX
およびΔYをそれぞれx軸およびy軸とする偏差平面
(ΔX,ΔY)に軸候補対値vijを加算する作業を行
う。指定の軸候補対についての加算が終了した後、極大
集中部(ΔX′,ΔY′)と極大値v′ijを求め(詳
細は後述)、このときの回転済探索縞パターン特徴点r
Siの回転角をr′として記憶する。
【0046】制御部10は、探索縞パターン入力特徴抽
出部11および探索縞パターン特徴記憶部12およびフ
ァイル縞パターン特徴記憶部13および対検査回路16
および候補対リスト15および回転済探索縞パターン特
徴記憶部14および偏差平面記録部19の動作を制御す
ると共に、偏差平面記録部19によって順次に指定され
る軸候補対毎に決定される極大値のうちの最大の極大値
となる極大集中部を、探索縞パターンとファイル縞パタ
ーンとの間の最適距離(ΔX″,ΔY″)とし、これが
求まるときの回転角すなわち最適回転角r″と最適位置
変位とを最適整合量とする。
【0047】この後、探索縞パターンの特徴点に対して
上記の最適整合量を適用した整合後探索縞パターンの特
徴点tSiを、候補対Cij(Si:Fij/vij)
のSiの代りに用いて後述の詳細照合を行う。
【0048】詳細照合においては、候補対Cijの中か
ら特徴点Siに対する唯一の特徴点Fijの対とその対
値を決定した後、残りの非対の特徴点について、照合相
手の縞パターンの不明領域に位置しているかあるいは探
索縞パターン内またはファイル縞パターン内で対向して
いるかを検査することにより、有効照合特徴点数を減ず
る。このことから、二つの指紋の照合値を算出する。
【0049】ファイル縞パターン特徴記憶部13に登録
されている指紋が複数個ある場合でも、IDカードやキ
ーボードから個人のID番号が指定された場合は、その
指定されたID番号に対応する一組のファイル縞パター
ンの特徴点と探索縞パターンの特徴点との照合を行うの
みでよい。個人のID番号が指定されない場合は、複数
組のファイル縞パターンの特徴点の中から最も類似した
ファイル縞パターンの特徴点を求めることになるが、こ
の場合は、複数組のファイル縞パターンの特徴点の中の
一組のファイル縞パターンの特徴点を順次に制御部10
に呼び出して探索縞パターンの特徴点との照合を行う。
【0050】対検査回路16は、探索縞パターンの特徴
点{Si:(Xi,Yi),Di,Sik,Rik}
と、ファイル縞パターンの特徴点{Fj:(Xj,Y
j),Dj,Fjk,Rjk}とにおいて、方向の差の
絶対値|Di−Dj|が |Di−Dj|≦Rot(Rotは指定された角度で、
例えば28度) を満足し、かつ、探索縞パターンの特徴点のリレーショ
ンRik(k=1〜4)とファイル縞パターンの特徴点
のリレーションRjk(k=1〜4)との差の絶対値|
Rik−Rjk|が |Rik−Rjk|≦TR(TR
は指定された値:閾値)を満たす回数SPCが所定の値
の閾値TS以上であるときは、これを特徴点Siとそれ
に対する特徴点Fijとの間の候補対値vijとして成
功回数SPCを特徴点Siおよび特徴点Fijと共に制
御部10に出力する。
【0051】探索縞パターンの特徴点の座標および方向
を変換する座標変換回路17は、制御部10を介して逐
次与えられる探索縞パターンの特徴点の座標(Xi,Y
i)および方向(角度)Diを、予め与えられいる値
(a,b,c)を用いて、次式によって変換する。
【0052】hXi=(Xi−a)Cos(Di−c)+
(Yi−b)Sin(Di−c) hXi=(Yi−b)Cos(Di−c)+(Xi−a)
Sin(Di−c) hDi=Di−c 変換後の探索縞パターンの特徴点の座標値として(hX
i,hYi)を、方向(角度)として hDi を出力
する。上式のhをrに置換すると回転済探索縞パターン
の特徴点が得られ、hをtに置換すると整合後探索縞パ
ターンの特徴点が得られる。
【0053】次に、図3のフローチャートを参照して、
上述のように構成した縞パターン照合装置の動作につい
て説明する。図3には、図16の動作と対比するため、
回転済探索縞パターン特徴点を用意しない場合の動作に
ついて示してある。
【0054】まずステップ31において、探索縞パター
ン入力特徴抽出部11によって、スキャナー等の入力装
置から入力した探索縞パターンのI個の特徴点Si(i
=1〜I)を抽出し、最大照合値MSC=0、最高類似
パターンのID番号=0とする。探索縞パターン特徴記
憶部12は、探索縞パターン入力特徴抽出部11によっ
て抽出したそれらの特徴点を記憶する。探索縞パターン
は、スキャナー等によって直接に入力される場合の他
に、遠隔地に設置されている機器から通信回線を介して
電子的に送られてくる場合もある。
【0055】次にステップ32において、ファイル縞パ
ターン特徴記憶部13に記憶しているファイル縞パター
ンのJ個の特徴点Fj(j=1〜J)とそのID番号I
DMとを読み出す。
【0056】次にステップ33において、特徴点Siと
特徴点Fij(Siに対応する候補として判るようにF
ijと表現する)との位置は比較せず、それらの方向の
差が指定値以下(図16の動作と対比のために±28.
0度以下とするが、基本的には方向の比較がなくても不
都合はない)であり、リレーション同士の候補対値vi
jが一定値以上の場合に、それらを候補対Cij(S
i:Fij/vij)として候補対リストに登録する。
また最大集中度を0とする。
【0057】ステップ33においては、探索縞パターン
特徴記憶部12に記憶した任意の特徴点Siが、指定さ
れた制限内で、ファイル縞パターン特徴記憶部13に記
憶しているファイル縞パターンのJ個の特徴点のうちの
いずれか一つの特徴点Fjと合致するか否かを判定する
ため、対検査回路16に閾値TXおよびTYおよびTD
およびTRおよびTSをセットしておき、探索縞パター
ンの特徴点{Si:(Xi,Yi),Di,Sik,R
ik(k=1〜4)}を1個セットする度に、ファイル
縞パターンのJ個の特徴点{Fj:(Xj,Yj),D
j,Fjk,Rjk(k=1〜4)}を順次に入力し、
探索縞パターンの特徴点Siとファイル縞パターンの特
徴点Fjとの方向の差の絶対値|Di−Dj|が一定値
TD以下のとき、それらのリレーションRik(k=1
〜4)とリレーションRjk(k=1〜4)の差が閾値
TR以下のものの個数(成功回数)SPCが閾値TS以
上のものがあるときは、成功回数SPCを候補対値vi
jとして探索縞パターンの特徴点Siおよびこれに対応
する候補としてのファイル縞パターンの特徴点Fijと
共に候補対Cij(Si:Fij/vij)として制御
部10に出力し、制御部10はこれを候補対リスト15
に格納する。
【0058】次に、ステップ34において、候補対リス
ト15の中の候補対Cij(Si:Fij/vij)の
うちの候補対値vijの値が一定値以上のもの、または
一定値以上であってかつ最大のものから順に一定数のも
のを軸候補Cnm(Sm:Fmn/vmn)として選択
し、ステップ35に移行する。
【0059】ステップ35においては、特徴点Smを特
徴点Fmnに合わせるために必要な回転角rを特徴点S
mに適用して特徴点rSiとし(これにより探索縞パタ
ーンの1個の特徴点とファイル縞パターンの1個の特徴
点とによって原点および座標軸が仮に設定されたことに
なり、特公昭63−21233号公報における指紋の中
心および座標系の設定という制限がなくなる)、 TX=(rXm−Xmn)およびTY=(rYm−Ym
n) を求め、方向の差ΔD=(rDi−Dj)の絶対値が閾
値TD以下であり、X座標値の差 ΔX=(rXi−X
ij)および Y座標値の差 ΔY=(rYi−Yi
j)がそれぞれ (TX−TT)≦ΔX≦(TX+TT) (TY−TT)≦ΔY≦(TY+TT) を満たすとき、偏差平面記録部19によって偏差平面
(ΔX,ΔY)に候補対Cijを記録(プロット)する
作業を行い、プロット終了後極大集中部と極大値とを求
める。
【0060】すなわち、ファイル縞パターン特徴点Fi
jと回転済探索縞パターン特徴点rSiとの方向の差Δ
Dが閾値TD以下であり、それらのX座標値およびY座
標値の差が±TT以内であってほぼ同じであると認めら
れるとき(特徴点Smと特徴点Fmnを結んた線が回転
済特徴点rSiと特徴点Fijを結んた線とほぼ平行で
あるとき)、偏差平面(ΔX,ΔY)に候補対値vij
を加算する作業を行い、加算終了後極大集中部(Δ
X′,ΔY′)と極大集中度M′とを求める。このとき
の回転角をr′とする。
【0061】ステップ36においては、極大集中度M′
と最大集中度M″とを比較し、極大集中度M′が最大集
中度M″よりも大きい場合は最大集中度M″および最適
回転角r″および最適位置変位(ΔX″,ΔY″)を極
大集中度M′および回転角r′および極大集中部(Δ
X′,ΔY′)に更新し、次の軸候補Vnmがある場合
はステップ35に戻り、次の軸候補Cmnがない場合は
ステップ38に移行する(ステップ37)。
【0062】ステップ38においては、最大集中度M″
が一定値以下であるか否かを判断し、一定値以下である
ときはステップ39に移行し、一定値を超えるときはス
テップ40に移行する。
【0063】ステップ39においては、照合値SCを0
としてステップ32に戻る。
【0064】ステップ40においては、最大集中度M″
(軸候補Cmnについて順次に検出した極大集中度M′
のうちの最大のもの)が一定値を超えるとき、最適回転
角r″および最適位置変位(ΔX″,ΔY″)を最適座
標整合量とし、この最適回転角r″および最適位置変位
(ΔX″,ΔY″)で特徴点Siを座標整合して整合後
探索縞パターン特徴点tSiとする。
【0065】次にステップ41において、候補対Cij
(Si:Fij/vij)の特徴点Siの代りに特徴点
tSiを用い、特徴点tSiおよび特徴点Fijに対し
て詳細照合を行う。すなわち、制御部10は、候補対C
ij(Si:Fij/vij)の特徴点Siの代りに、
特徴点Siを最適回転角r″および最適位置変位(Δ
X″,ΔY″)で座標変換した整合後探索縞パターン特
徴点tSiを用い、これとファイル縞パターン特徴点F
ijとの照合を行う。詳細照合は、一つの特徴点tSi
に対して候補対リストから唯一の特徴点Fijが決定で
きるように、候補対の中から対を決定して対値wijを
決め、非対の特徴点については、照合相手の縞パターン
の不明領域に位置しているか、あるいは、探索縞パター
ン内またはファイル縞パターン内で対向しているかを検
査することによって有効な照合特徴点の数を減らす。
【0066】次にステップ42において、これらの対値
の和と有効な照合特徴点の数によって探索縞パターン特
徴点SiおよびそのID番号IDMとファイル縞パター
ン特徴点Fijとの照合値SCを計算し、その値をこれ
ら2個の縞パターン特徴点間のパターン間照合値とす
る。
【0067】次にステップ43において、照合値SCが
最大照合値MSCより大きい場合は照合値SCで最大照
合値MSCを更新し、回答用ID番号NをID番号ID
Mにより更新しステップ32に戻る。
【0068】ステップ44においては、最大照合値MS
Cが一定の閾値よりも大きいときは、探索縞パターン特
徴点のID番号をIDMとし、最大照合値MSCが一定
の閾値よりも大きくないときは該当するID番号はない
とする。
【0069】上述の動作は、探索縞パターン特徴点Si
の回転角rを変更する度に回転済探索縞パターン特徴点
rSiを求めているが、ファイル縞パターンの数が多く
なると、各ファイル縞パターンに対してその都度探索縞
パターン特徴点Siを回転させる動作を行うと、動作時
間が膨大となる。これを回避するため、探索縞パターン
の特徴点を入力した直後、あらかじめ回転済探索縞パタ
ーン特徴点rSiを求めて回転済探索縞パターン特徴点
記憶部14に格納しておき、軸候補Cmn(Sm:Fm
n/vmn)が決まった時点で回転済探索縞パターン特
徴点記憶部14に格納してある回転済探索縞パターン特
徴点rSiを参照するようにする方式を採用することが
できる。
【0070】図4は、このような動作を示すフローチャ
ートである。
【0071】図4において、最初の動作のステップ31
は、図3のステップ31と同じ動作である。
【0072】次のステップ45において、探索縞パター
ン特徴点Siを、例えば1.4度(360度/256)
ずつ回転させた回転済探索縞パターン特徴点rSi(r
=−28.0〜+28.0)を求め、回転済探索縞パタ
ーン特徴点記憶部14に格納する。すなわち、画像の中
心を原点として探索縞パターン特徴点Siの座標(X,
Y)および方向Dを一定角度ずつ回転させた回転済探索
縞パターン特徴点rSiを作成し、回転済探索縞パター
ン特徴点記憶部14に格納しておく。
【0073】ステップ45に続くステップ32〜34お
よびステップ44の動作は図3の動作と同じである。
【0074】ステップ46においては、特徴点Smを特
徴点Fmnに合わせるために必要な回転角rを与えてあ
る回転済探索縞パターン特徴点rSiを指定して回転済
探索縞パターン特徴点記憶部14から読み出し、 TX=(rXm−Xmn)およびTY=(rYm−Ym
n) を求め、方向の差ΔD=(rDi−Dj)の絶対値が閾
値TD以下であり、X座標値の差 ΔX=(rXi−X
ij)および Y座標値の差 ΔY=(rYi−Yi
j)がそれぞれ (TX−TT)≦ΔX≦(TX+TT) (TY−TT)≦ΔY≦(TY+TT) を満たすとき、偏差平面記録部19によって偏差平面
(ΔX,ΔY)に候補対値vijを加算する作業を行
い、加算終了後極大集中部(ΔX′,ΔY′)と極大値
M′とを求める。このときの回転角rをr′とする。
【0075】以下ステップ36〜43の動作は図3の動
作と同じである。
【0076】次に詳細照合について説明する。
【0077】最適座標整合を行った後は、縞パターンの
候補対の位置および方向は、座標整合前よりも近接して
いる筈であるとし、座標整合後の座標系における各特徴
点の位置および方向のチェックの他に、特徴点の局所的
な位置(位置差)および方向(方向差)を厳しく検査し
て精選し、精選した候補対を基にしてリレーションによ
る対応関係を検査して各候補対の候補対値を修正する。
例えば図5に示すように、ファイル縞パターン(F)4
の特徴点F4の第1象限にある3個の特徴点F1および
F2およびF5が探索縞パターン(S)5の特徴点S1
の第1象限にある特徴点S4に対する対の候補となって
いる場合、特徴点S1および特徴点F4に対する相対位
置が最も近い特徴点は、それぞれ特徴点S4および特徴
点F2であるので、特徴点S4に対する特徴点F2に候
補対値を増加させる。
【0078】このようにして得られた候補対から、最終
的に1対1に対応する特徴点の対と対値とからなる対リ
ストを作成する。
【0079】次に、対となる特徴点が見つからない特徴
点が他方のパターンの画像不明部分の位置にあれば、照
合特徴点から削除する。
【0080】更に、画像の明瞭領域中の対向特徴点(近
接して互いに反対方向を向いた2個の特徴点)が共に対
リストになければ、それは隆線の切れやノイズ等による
短い隆線によって生じた対向特徴点であるとして有効照
合特徴点から削除する。
【0081】最後に、対リスト中の対値を集計し、有効
特徴点の数で正規化した値を照合値として出力する。
【0082】以上が詳細照合の概要である。この詳細照
合は、特公昭63−21233号公報に開示されている
方法をそのまま本発明に適用することができる。
【0083】以下、上述の動作の詳細について、具体的
な指紋の一例を用いて図6〜図13を参照して説明す
る。
【0084】図6は探索縞パターンの一例として探索指
紋Sの一例を示す図、図7は図6の指紋と照合するため
のファイル指紋Fの一例を示す図である。図6に示す矢
印Sおよび図7に示す矢印Fは、それぞれの指紋画像の
中央を仮の座標原点としたときのY軸方向を示す。
【0085】
【0086】対検査回路16による候補対の探索は、次
のようにして行う。
【0087】探索指紋Sのすべての特徴点と、ファイル
指紋Fのすべての特徴点との組合わせについて、二つの
特徴点の方向の差の絶対値が閾値TD(例えばTD=4
5度)以下であるものを選択し、選択した組合わせの二
つの特徴点の4個の同一象限のリレーションの差が1以
下のものの数が2個以上である特徴点の組合わせを選択
してそれを候補対とする。
【0088】
【0089】
【0090】図8は、上記の候補対の状況がよくわかる
ように、図6および図7の特徴点のみを同一平面上に記
録し、このようにして候補対リスト15に登録した候補
対を実線で結んで示した図である。候補対リスト15に
登録したすべての候補対を軸候補対とすることが可能で
あるが、候補対の数が多い場合は、候補対値の値が一定
値以上(例えば3)の候補対のみを軸候補対とするか、
または、候補対値の値が一定値以上であって候補対値の
値の大きい方から数えて一定数の候補対を軸候補対とす
るのが実際の作業においては実用的である。
【0091】
【0092】
【0093】
【0094】
【0095】
【0096】
【0097】
【0098】また、特公昭63−21233号公報に説
明されているような、親特徴点と子特徴点との間のリレ
ーションの他に親特徴点と孫特徴点との間のリレーショ
ンを計算によってっ求めることによって候補対リストを
作成したり、詳細照合に用いたりすることも可能であ
る。
【0099】
【発明の効果】以上説明したように、本発明の縞パター
ン照合装置は、探索縞パターンの特徴点とファイル縞パ
ターンの特徴点とを比較するとき、探索縞パターンの特
徴点の周囲の特徴点との間の距離や方向やリレーション
と、ファイル縞パターンの特徴点の周囲の特徴点との間
の距離や方向やリレーションとを比較することができる
ため、探索縞パターンの方向または位置の一方または両
方が特定できない場合にも、無理に探索縞パターンの方
向や位置を推測する必要がなく、探索縞パターンの特徴
点に対応するファイル縞パターンの特徴点を選択して候
補対リストを作成できるという効果がある。
【0100】本発明はまた、候補対リストのなかの一つ
の候補対を軸候補対とし、軸候補対の二つの特徴点の方
向の差で決まる回転角だけ探索縞パターンを回転させた
回転済探索縞パターンの特徴点とファイル縞パターンの
特徴点との方向の差の絶対値、および座標値のX座標お
よびY座標の差の絶対値が与えられた条件を満たすとき
に、X座標およびY座標の偏差平面に候補対を追加して
プロットする作業を行い、プロット作業の終了後、偏差
平面上において極大集中部と極大値とを求め、順次に指
定する軸候補対のすべてについて極大集中部と極大値と
を求めた後、それらの極大値の中の最大値を求めること
によって探索縞パターンとファイル縞パターンとの最適
整合値を求めることができるため、探索縞パターンの方
向または位置の一方または両方が特定できない場合に
も、ファイル縞パターンと最もよく合致する探索縞パタ
ーンの方向および位置を自動的に決定することができ、
従って指紋や掌紋の照合の専門家等が方向決めや位置決
めのための煩わしい作業を行なう必要がないという効果
がある。
【0101】本発明は更に、探索縞パターンの任意の特
徴点の座標(Xi,Yi)を中心(Xi=0,Yi=
0)として一定角度(例えば1.4度)ずつ回転するこ
とによって複数個(例えば左右に各20個)の回転済探
索縞パターンの特徴点にあらかじめ変換して記憶してお
き、候補対リストのなかの一つの候補対を軸候補対とし
たとき、その二つの特徴点の方向の差で決まる回転角だ
け探索縞パターンを回転させた回転済探索縞パターンの
特徴点とファイル縞パターンの特徴点とを比較できるよ
うにしたもの最適整合値を求めることができるため、軸
候補対の二つの特徴点の方向の差を計算する度に探索縞
パターンを回転させる作業を行う必要がなくなり、偏差
平面に候補対をプロットするとき、高速に候補対をプロ
ットすることができるという効果がある。
【0102】本発明は更に、回転後の探索縞パターンの
特徴点とファイル縞パターンの特徴点の方向の差(rD
i−Dj)の絶対値が閾値TD以下であり、それらのX
座標値の差ΔX=(rXi−Xj)およびY座標値の差
ΔY=(rYi−Yij)がそれぞれ (rXm−Xmn−TT)≦ΔX≦(rXm−Xmn+
TT) (rYm−Ymn−TT)≦ΔY≦(rYm−Ymn+
TT) を満たすとき、すなわち、回転済探索縞パターンの特徴
点とファイル縞パターンの特徴点の方向の差がTD以下
であり、それらのX座標値の差およびY座標値の差が±
TT以下であるとき(回転済探索縞パターンの特徴点S
mと特徴点Fmnとを結んだ線が回転済特徴点rSiと
特徴点Fijとを結んだ線とほぼ平行であるとき)偏差
平面(ΔX,ΔY)に候補対値vijを加算する作業を
行い、加算終了後、極大集中部と極大値とを求めること
ができる。従って探索縞パターンがファイル縞パターン
に対してどの程度の歪まで許容できるかによっ上式のT
Tの値を設定することができるため、偏差平面に候補対
をプロットするとき、軸候補対の探索縞パターンの特徴
点をファイル縞パターンの特徴点に重ね合わせるために
軸候補対の探索縞パターンを回転して更にX軸方向およ
びY軸方向に平行移動させるが、そのときの平行移動量
は、候補対リスト中の回転後の探索縞パターンの特徴点
を、ファイル縞パターンの特徴点に重ね合わせるための
平行移動量とほぼ同じとすることができるという効果が
ある。
【図面の簡単な説明】
【図1】本発明の一実施形態を示すブロック図である。
【図2】縞パターンの一例の指紋の特徴点を示す平面図
である。
【図3】図1の実施形態の第一の動作を示すフローチャ
ートである。
【図4】図1の実施形態の第二の動作を示すフローチャ
ートである。
【図5】図1の実施形態の詳細照合における探索縞パタ
ーンの特徴点とファイル縞パターンの特徴点の関係を示
す平面図である。
【図6】図1の実施形態に適用する探索縞パターンの一
例を線画で示した模式図である。
【図7】図1の実施形態に適用するファイル縞パターン
の一例を線画で示した模式図である。
【図8】図6の探索縞パターンと図7のファイル縞パタ
ーンの特徴点を同一画面上に重ねて図示した模式図であ
る。
【図9】図6の軸候補1と図7の軸候補2の方向を一致
させたときの集中度を示す模式図である。
【図10】図6の軸候補2と図7の軸候補3の方向を一
致させたときの集中度を示す模式図である。
【図11】図6の軸候補2と図7の軸候補7の方向を一
致させたときの集中度を示す模式図である。
【図12】図6の軸候補3と図7の軸候補3の方向を一
致させたときの集中度を示す模式図である。
【図13】図6の軸候補2と図7の軸候補7の方向を一
致させて位置決めを行った後の状態を示す模式図であ
る。
【図14】従来の縞パターン照合装置において、採取し
た未知の指紋を既に登録してあるファイル指紋と照合し
てその未知の指紋を特定する場合の動作を示すフローチ
ャートである。
【図15】従来の縞パターン照合装置において、あらか
じめ特定の個人の指紋およびID番号を登録しておき、
入出門等の時に指紋およびID番号を入力して登録して
ある指紋およびID番号と照合して個人を確認する場合
の動作を示すフローチャートである。
【図16】図14の動作の詳細を示すフローチャートで
ある。
【符号の説明】
1a〜1g 隆線 2a〜2e 端点 3a 分岐点 4 探索縞パターン 5 ファイル縞パターン 10 制御部 11 探索縞パターン入力特徴抽出部 12 探索縞パターン特徴記憶部 13 ファイル縞パターン特徴記憶部 14 回転済探索縞パターン特徴記憶部 15 候補対リスト 16 対検査回路 17 座標変換回路 19 偏差平面記録部 31〜60・71〜84 ステップ 61 粗照合 62 詳細照合
フロントページの続き (72)発明者 国方 純一 東京都港区芝浦2丁目13番11号 日本電 気セキュリティシステム株式会社内 (72)発明者 高橋 良英 東京都港区芝浦2丁目13番11号 日本電 気セキュリティシステム株式会社内 審査官 小池 正彦 (56)参考文献 特開 平2−183380(JP,A) 特開 昭59−144982(JP,A) 特公 昭63−21233(JP,B2) (58)調査した分野(Int.Cl.6,DB名) G06T 7/00

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 探索縞パターンがすでに登録してある複
    数のファイル縞パターンのうちの一つのファイル縞パタ
    ーンと同一の縞パターンであるか否かを両者の特徴点を
    照合することによって判断するため、前記探策縞パター
    ンを入力してその特徴点を抽出する探策縞パターン入力
    特徴抽出部と、 前記探策縞パターン入力特徴抽出部が抽出した前記探策
    縞パターンの特徴点を記憶する探策縞パターン特徴記憶
    部と、 あらかじめ前記ファイル縞パターンの特徴点を記憶して
    いるファイル縞パターン特徴記憶部と、 前記探策縞パターン特徴記憶部に記憶した前記探策縞パ
    ターンの特徴点と前記ファイル縞パターン特徴記憶部に
    記憶してある前記ファイル縞パターンの特徴点との一致
    性を検査する対検査回路と、 前記対検査回路によって前記探策縞パターンの特徴点と
    前記ファイル縞パターンの特徴点との特徴点が類似する
    と判断されて候補対となった特徴点の組と候補対値とを
    記憶する候補対リストと、 前記探策縞パターンの特徴点を前記探策縞パターンの画
    像の原点を中心して一定角度ずつ回転することによって
    複数個の回転済探策縞パターン特徴点を作成する座標変
    換回路と、 前記座標変換回路が作成した回転済探策縞パターン特徴
    点を記憶する回転済探策縞パターン特徴記憶部と、 候補対リストに記憶した候補対のうち候補対値が一定の
    条件を満足する候補対を軸候補対とし、前記軸候補対と
    なった前記探策縞パターン特徴点の方向と同じく前記軸
    候補対となった前記ファイル縞パターンとの方向との差
    に相当する所定の角度だけ前記探策縞パターンの特徴点
    を回転させた回転済探策縞パターン特徴点と前記ファイ
    ル縞パターン特徴点とを用い、それらの方向の差および
    X軸の値の差およびY軸の差がそれぞれ一定の条件を満
    足するとき、偏差平面上の前記X軸の値の差および前記
    Y軸の差の位置に候補対値を加える偏差平面記録部とを
    備え、 前記対検査回路において前記探策縞パターン特徴記憶部
    に記憶してある任意の前記探策縞パターンの特徴点が前
    記ファイル縞パターン特徴記憶部に記憶してある任意の
    前記ファイル縞パターンの特徴点と所定の条件で合致す
    る場合にそれらを候補対として前記候補対リストに記憶
    し、 前記候補対リストの中の特定の条件を満足する候補対を
    軸候補対とし、前記軸候補対の方向の差によって決まる
    前記回転済探策パターンの特徴点の座標値および方向と
    前記ファイル縞パターンの特徴点の座標値および方向と
    の差が与えられた条件を満たすときに軸候補対値を前記
    偏差平面記録部によって偏差平面にX軸の値の差および
    Y軸の差に加算し、前記軸候補対に関するすべての加算
    が終了したとき前記偏差平面記録部から極大集中部およ
    び極大値を求め、 順次に指定される前記軸候補対の回転角とその回転角の
    ときに決定した前記極大値のうちの最大となる前記極大
    集中部を前記探策縞パターンと前記ファイル縞パターン
    との間の最適位置変位とし、 前記最適位置変位の求まるときの回転角である最適回転
    角を最適座標整合量として前記候補対リストの探策縞パ
    ターンの特徴点に適用して整合後探策縞パターン特徴点
    とし、 前記整合後探策縞パターン特徴点と前記ファイル縞パタ
    ーンの特徴点の間で詳細照合を実行することを含むこと
    を特徴とする縞パターン照合装置。
  2. 【請求項2】 前記探策縞パターンの特徴点と前記ファ
    イル縞パターンの特徴点との候補対を検出するとき、前
    記探策縞パターンの任意の一つの探策縞パターンの特徴
    点を親特徴点とし、その座標を第一の局所原点としその
    方向を第一の局所方向としたときの前記探策縞パターン
    の親特徴点の4象限の各子特徴点との間の隆線数および
    前記第一の局所原点からの位置および前記第一の局所方
    向からの方向と、前記ファイル縞パターンの任意の一つ
    のファイル縞パターンの特徴点を親特徴点とし、その座
    標を第二の局所原点としその方向を第二の局所方向とし
    たときの前記ファイル縞パターンの親特徴点の4象限の
    各子特徴点との間の隆線数および前記第二の局所原点か
    らの位置および前記第二の局所方向からの方向との比較
    によって候補対を検出することを特徴とする請求項1記
    載の縞パターン照合装置。
  3. 【請求項3】 前記探策縞パターンの特徴点と前記ファ
    イル縞パターンの特徴点との候補対を検出するとき、前
    記探策縞パターンの任意の一つの探策縞パターンの特徴
    点を親特徴点とし、その座標を第一の局所原点としその
    方向を第一の局所方向としたときの前記探策縞パターン
    の親特徴点の4象限の各子特徴点および孫特徴点との間
    の隆線数および前記第一の局所原点からの位置および前
    記第一の局所方向からの方向と、前記ファイル縞パター
    ンの任意の一つのファイル縞パターンの特徴点を親特徴
    点とし、その座標を第二の局所原点としその方向を第二
    の局所方向としたときの前記ファイル縞パターンの親特
    徴点の4象限の各子特徴点および孫特徴点との間の隆線
    数および前記第二の局所原点からの位置および前記第二
    の局所方向からの方向との比較によって候補対を検出す
    ることを特徴とする請求項1記載の縞パターン照合装
    置。
  4. 【請求項4】 前記候補対リストの中の一つの候補対の
    値が一定値以上のものまたは一定値以上のもののうちに
    最大のものから一定数の候補対を軸候補対とし、前記探
    策縞パターンの特徴点と前記ファイル縞パターンの特徴
    点との方向の差で決まる前記回転済探策パターンの特徴
    点と前記ファイル縞パターンの特徴点とを比較するた
    め、前記候補対リストの中の前記探策パターンの特徴点
    の代りに前記回転済探策パターンの特徴点を利用し、前
    記回転済探策パターンの特徴点と前記ファイル縞パター
    ンの特徴点との方向の差の絶対値が所定の閾値以下であ
    り、かつ座標値のX座標およびY座標の差がそれぞれ前
    記軸候補対のX座標およびY座標の差とほぼ同じである
    条件を満たすときにX座標およびY座標の偏差平面に候
    補対値を加算する作業を行い、前記加算作業の終了後前
    記偏差平面上において極大集中部と極大値とを求め、前
    記軸候補対のすべてについて極大集中部と極大値とを求
    めた後極大値の最大値となる極大集中部を最大集中部と
    し、そのときの回転角を最適回転角とすることによって
    最適整合値を求めることを特徴とする請求項1または請
    求項2または請求項3記載の縞パターン照合装置。
  5. 【請求項5】 最大集中部を含む複数の極大集中部にお
    いて整合後探策パターン特徴点を作成し、複数回の詳細
    照合を実行して複数の照合値を求め、前記複数の照合値
    の最大値または和を前記探策縞パターンの特徴点と前記
    ファイル縞パターンの特徴点との照合値とすることを特
    徴とする請求項1または請求項2または請求項3または
    請求項4記載の縞パターン照合装置。
JP9044043A 1997-02-27 1997-02-27 縞パターン照合装置 Expired - Fee Related JP2944557B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP9044043A JP2944557B2 (ja) 1997-02-27 1997-02-27 縞パターン照合装置
SG9800447A SG81223A1 (en) 1997-02-27 1998-02-26 A stripe pattern matching system
US09/030,814 US5953443A (en) 1997-02-27 1998-02-26 Stripe pattern matching system
CA002230626A CA2230626C (en) 1997-02-27 1998-02-26 A stripe pattern matching system
CN98100470A CN1195830A (zh) 1997-02-27 1998-02-27 条纹图案匹配系统
TW087103017A TW363174B (en) 1997-02-27 1998-02-27 Stripe pattern verification apparatus
KR1019980006434A KR100267514B1 (ko) 1997-02-27 1998-02-27 스트라이프 패턴 대조 확인 시스템
DE69827177T DE69827177T2 (de) 1997-02-27 1998-02-27 System zum Vergleich von Streifenmuster
EP98103494A EP0862131B1 (en) 1997-02-27 1998-02-27 A stripe pattern matching system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9044043A JP2944557B2 (ja) 1997-02-27 1997-02-27 縞パターン照合装置

Publications (2)

Publication Number Publication Date
JPH10240932A JPH10240932A (ja) 1998-09-11
JP2944557B2 true JP2944557B2 (ja) 1999-09-06

Family

ID=12680601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9044043A Expired - Fee Related JP2944557B2 (ja) 1997-02-27 1997-02-27 縞パターン照合装置

Country Status (9)

Country Link
US (1) US5953443A (ja)
EP (1) EP0862131B1 (ja)
JP (1) JP2944557B2 (ja)
KR (1) KR100267514B1 (ja)
CN (1) CN1195830A (ja)
CA (1) CA2230626C (ja)
DE (1) DE69827177T2 (ja)
SG (1) SG81223A1 (ja)
TW (1) TW363174B (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282304B1 (en) * 1999-05-14 2001-08-28 Biolink Technologies International, Inc. Biometric system for biometric input, comparison, authentication and access control and method therefor
JP3415492B2 (ja) * 1999-06-24 2003-06-09 Necエレクトロニクス株式会社 指紋照合システムとその指紋照合方法
EP1269398B1 (en) * 2000-02-09 2004-11-03 Veridicom, Inc. Biometric false accept detection
US6766040B1 (en) 2000-10-02 2004-07-20 Biometric Solutions, Llc System and method for capturing, enrolling and verifying a fingerprint
JP2002298141A (ja) 2001-03-29 2002-10-11 Nec Corp パターン照合装置とそのパターン照合方法、及びパターン照合プログラム
DE10118485B4 (de) * 2001-04-12 2013-10-24 Idencom Ag Automatische Identifikation und/oder Verifikation linienhafter Texturen wie Fingerabdrücke
WO2003003286A1 (en) * 2001-06-29 2003-01-09 Precise Biometrics Ab Method and apparatus for checking a person's identity, where a system of coordinates, constant to the fingerprint, is the reference
US20040175023A1 (en) * 2001-07-05 2004-09-09 Ola Svedin Method and apparatus for checking a person's identity, where a system of coordinates, constant to the fingerprint, is the reference
CN100447809C (zh) * 2002-03-20 2008-12-31 新加坡南洋理工大学 用具有小感应面积的指纹传感器来合成节点模板和增加指纹匹配的可靠性的方法和装置
JP4522043B2 (ja) 2002-09-06 2010-08-11 セイコーエプソン株式会社 情報装置及び表示制御方法
JP3719435B2 (ja) 2002-12-27 2005-11-24 セイコーエプソン株式会社 指紋照合方法及び指紋照合装置
JP3952293B2 (ja) * 2003-01-06 2007-08-01 ソニー株式会社 指紋照合装置および方法、記録媒体、並びに、プログラム
SE526678C2 (sv) 2003-02-24 2005-10-25 Precise Biometrics Ab Förfaranden, datorprogramprodukter och anordningar för identitetskontroll
ATE391315T1 (de) * 2003-02-24 2008-04-15 Precise Biometrics Ab Verfahren, computerprogrammprodukte und vorrichtung zur überprüfung der identität
JP4564348B2 (ja) * 2004-12-10 2010-10-20 株式会社日立製作所 生体情報の特徴量変換方法および生体認証システム
JP2006202212A (ja) * 2005-01-24 2006-08-03 Konica Minolta Business Technologies Inc 個人認証装置、情報処理装置及び個人認証システム
JP4449762B2 (ja) * 2005-01-24 2010-04-14 コニカミノルタビジネステクノロジーズ株式会社 人物照合装置、人物照合システム及び人物照合方法
CN101689302A (zh) * 2007-06-27 2010-03-31 日本电气株式会社 特征属性计算装置、特征量提取装置、图形核对装置、方法以及程序
EP2237226A4 (en) 2007-12-26 2015-09-30 Nec Corp DEVICE FOR MATCHING CHARACTERISTICS BETWEEN PATTERNS, METHOD FOR MATCHING CHARACTERISTICS BETWEEN PATTERNS USED FOR THE SAME, AND PROGRAM RELATING THERETO
FR2976387B1 (fr) * 2011-06-09 2018-11-09 Mbda France Procede et dispositif pour determiner automatiquement des lignes de crete d'une zone a hauteur variable.
KR101191223B1 (ko) * 2011-11-16 2012-10-15 (주)올라웍스 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
CN106160797A (zh) * 2015-04-10 2016-11-23 宏碁股份有限公司 配对方法及电子装置
US9530042B1 (en) * 2016-06-13 2016-12-27 King Saud University Method for fingerprint classification
JP6790995B2 (ja) * 2017-04-27 2020-11-25 富士通株式会社 照合装置、照合方法および照合プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1199732A (en) * 1982-06-28 1986-01-21 Koh Asai Method and device for matching fingerprints with precise minutia pairs selected from coarse pairs
EP0159037B1 (en) * 1984-04-18 1993-02-10 Nec Corporation Identification system employing verification of fingerprints
JPH0725563B2 (ja) * 1986-07-15 1995-03-22 住友電気工業株式会社 光フアイバ用母材の製造方法
DE68928154T2 (de) * 1988-04-23 1997-10-30 Nec Corp Fingerabdruckverarbeitungssystem, geeignet für das Ermitteln des Kernes eines Fingerabdruckbildes durch Krümmungsparameter
JP2710062B2 (ja) * 1988-11-29 1998-02-10 日本電気セキュリティシステム株式会社 出力候補数決定方式
JP2682688B2 (ja) * 1989-01-10 1997-11-26 富士通株式会社 個人照合装置
WO1993015473A2 (en) * 1992-01-25 1993-08-05 Sinwa System Corporation Ltd. Pyongyang Branch Fingerprint identification system
US5613014A (en) * 1994-10-12 1997-03-18 Martin Marietta Corp. Fingerprint matching system

Also Published As

Publication number Publication date
SG81223A1 (en) 2001-06-19
CA2230626A1 (en) 1998-08-27
KR19980071811A (ko) 1998-10-26
CA2230626C (en) 2001-04-10
EP0862131A2 (en) 1998-09-02
US5953443A (en) 1999-09-14
EP0862131A3 (en) 1999-11-24
CN1195830A (zh) 1998-10-14
EP0862131B1 (en) 2004-10-27
TW363174B (en) 1999-07-01
DE69827177T2 (de) 2005-12-01
JPH10240932A (ja) 1998-09-11
KR100267514B1 (ko) 2000-11-01
DE69827177D1 (de) 2004-12-02

Similar Documents

Publication Publication Date Title
JP2944557B2 (ja) 縞パターン照合装置
US7236617B1 (en) Method and device for determining a total minutiae template from a plurality of partial minutiae templates
US7151846B1 (en) Apparatus and method for matching fingerprint
EP1183638B1 (en) Method and apparatus for creating a composite fingerprint image
JP2815045B2 (ja) 画像特徴抽出装置,画像特徴解析装置,および画像照合システム
US6778685B1 (en) Two-stage local and global fingerprint matching technique for automated fingerprint verification/identification
EP0866424B1 (en) Image matching system
US5610993A (en) Method of co-centering two images using histograms of density change
US20080273770A1 (en) Fast Fingerprint Identification And Verification By Minutiae Pair Indexing
US20090169072A1 (en) Method and system for comparing prints using a reconstructed direction image
US6961449B2 (en) Method of correlation of images in biometric applications
Krish et al. Pre‐registration of latent fingerprints based on orientation field
US6707934B1 (en) Apparatus and method for collating image
US8055027B2 (en) Generation of directional field information in the context of image processing
WO2003085591A1 (en) Method for synthesizing a minutiae template and increasing reliability of fingerprint matching using a fingerprint sensor with small sensor area
US6785408B1 (en) Fingerprint segment area processing method and associated apparatus
JP2734245B2 (ja) 画像特徴抽出方法及びその装置
US7003142B1 (en) Method and arrangement for registering and verifying fingerprint information
CN108710849B (zh) 一种指纹块拼接方法及系统
JPH04324583A (ja) ムービング・ウインドウ型指紋画像照合方法及び照合装置
Zhang et al. Automatic image-to-site model registration
JP2817730B2 (ja) 指紋照合結果表示制御装置
JPH01211184A (ja) 本人照合装置
JP2702786B2 (ja) 指紋照合装置
JPH08145628A (ja) 対象物位置特定方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990601

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080625

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120625

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120625

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 14

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees