JPH08287255A - 皮膚紋様画像の画像特徴抽出装置および画像処理装置 - Google Patents
皮膚紋様画像の画像特徴抽出装置および画像処理装置Info
- Publication number
- JPH08287255A JPH08287255A JP7086754A JP8675495A JPH08287255A JP H08287255 A JPH08287255 A JP H08287255A JP 7086754 A JP7086754 A JP 7086754A JP 8675495 A JP8675495 A JP 8675495A JP H08287255 A JPH08287255 A JP H08287255A
- Authority
- JP
- Japan
- Prior art keywords
- image
- skin pattern
- feature
- filtering
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Input (AREA)
- Complex Calculations (AREA)
Abstract
の画像特徴を精度よく抽出する皮膚紋様画像の画像特徴
抽出装置、及びノイズを除去し隆線を強調する画像処理
を行う皮膚紋様画像の画像処理装置を得る。 【構成】 フイルタ群記憶手段15が重み係数の二次元
配列から成る複数のフイルタを記憶している。このフィ
ルタに基づいてフイルタリング手段12が画像記憶手段
11に記憶されている皮膚紋様画像に対してフイルタリ
ングを行う。フイルタリング後の各画像に対して、予め
画像上に設定した複数の局所領域における画像強度を画
像強度算出手段13が算出し、得られた局所領域の画像
強度の情報を用いて、各局所領域における画像特徴を特
徴算出手段14が算出する。フイルタに対応した画像の
信号成分が相対的に強調され、それ以外の成分は相対的
に減衰される。
Description
徴抽出装置および画像処理装置に関する。更に詳述する
と、本発明は、指紋照合装置や指紋分類装置、掌紋照合
装置等の処理過程において抽出される、隆線方向や隆線
ピッチ等の画像特徴を抽出する皮膚紋様の画像特徴抽出
装置、および皮膚紋様画像のノイズを除去し皮膚隆線を
強調する画像処理を行う画像処理装置に関する。
および画像処理装置の構成例として、特開昭51−77
138号に開示されている縞パターン抽出装置がある。
本例は、指紋や樹木の年輪等の縞状のパターンからノイ
ズを除去し、縞状のパターンと方向パターンとを同時に
抽出することが可能な装置である。この縞パターン抽出
装置では、ある点を中心とした画像の局所領域と方向毎
の荷重値を設定したマスクとの積和演算を行い、積和演
算結果の最大の絶対値を与える方向をその縞状パターン
の領域における方向とし、この方向に対応する積和演算
結果をその点における縞状パターンの出力とするもので
ある。
て説明する。画像のある点101を中心とした局所領域
100における隆線方向を決定する場合、予め図14に
102から106に示すようなマスクを設定し、このマ
スクd0〜d4とその局所領域との積和演算を行う。こ
の演算の結果、マスクd0〜d4毎にそれぞれの値、+
5,0,+11,+3,−7が得られる。得られた積和
演算の絶対値が最大である“11”を与える方向がマス
クd2であるので、この方向107を隆線方向とする。
また、点101における縞状パターンの値を出力する場
合には、その点における積和演算の結果である+11を
出力する。
するために、時として画像特徴の平滑化を行うことが必
要となる。このための従来技術例として、特願平4−1
8589号に開示されている「隆線方向パターン平滑化
方法およびその装置」がある。この方法は、エネルギー
最小化原理の考え方に基づく手法である。本従来例の手
法によれば、ある隆線方向パターンがあった時に、その
隆線方向パターンの個々の隆線方向に働く力として、隆
線方向間のばらつき具合を抑制する拘束力と、初めに観
測された隆線方向ヘ留めようとする拘束力とを考えて、
それらによるエネルギー関数と呼ばれる評価関数を規定
し、その評価関数を最小化する隆線方向パターンを求め
るべき隆線方向パターンとする。この方法では、設定さ
れる評価関数を最小化する隆線方向パターンを求めるこ
とによって隆線の平滑化を行う。この画像の各局所領域
における隆線方向からなる隆線方向パターンを平滑化す
るために、まず、画像の各局所領域における隆線方向と
その信頼度を抽出し、その隆線方向パターンと抽出され
た隆線方向パターンとのずれ、および隆線方向パターン
内の近接した隆線方向同士のずれを用いる。
縞紋様の方向と直交する方向の濃淡値変動は周期的にな
っている。縞紋様と直交する方向から見た時の縞紋様の
濃淡値変動の位相と、マスクパターンの位相が直交状態
に近い場合、従来技術を用いると、積和演算の結果が0
に近い値を示してしまう。このために、方向抽出がノイ
ズの影響を受け易く不安定となる。従ってそれに伴う縞
状パターンの出力も不安定となり、さらに、隆線ピッチ
等の抽出を行うことが困難である。
おいて隆線方向の抽出を行った後、隆線方向の平滑化を
行う。このために、隆線方向抽出における情報が十分に
隆線方向の平滑化に渡されず、精度良く隆線方向の平滑
化を行うことが困難である。さらに、隆線ピッチの平滑
化等を行うことができない問題点を伴う。
向やピッチ等の画像特徴を精度よく抽出する皮膚紋様画
像の画像特徴抽出装置、及びノイズを除去し隆線を強調
する画像処理を行う皮膚紋様画像の画像処理装置を提供
することを目的とする。
め、本発明の皮膚紋様画像の画像特徴抽出装置は、予め
画像上に設定した複数の局所領域における画像特徴を抽
出する皮膚紋様画像の画像特徴抽出装置であり、皮膚紋
様画像を記憶する画像記憶手段と、局所領域における画
像特徴を抽出するための重み係数の二次元配列から成る
フイルタを複数記憶するフイルタ群記憶手段と、画像記
憶手段に記憶される皮膚紋様画像に対して、フイルタ群
記憶手段に記憶される複数のフイルタをそれぞれ用いて
フイルタリングを行うフイルタリング手段と、フイルタ
リング手段によって得られる各画像に対して、予め画像
上に設定した複数の局所領域における画像強度を算出す
る画像強度算出手段と、この画像強度算出手段によって
得られる局所領域の画像強度の情報を用いて、各局所領
域における画像特徴を算出する特徴算出手段とを具備す
ることを特徴としている。
徴抽出装置は、フイルタ群記憶手段に記憶される各フイ
ルタを用いて、画像記憶手段に記憶される皮膚紋様画像
を二次元フーリエ変換を利用してフイルタリング手段が
フイルタリングを行うとよい。さらに、画像強度算出手
段によって得られる各局所領域の画像強度と、近接する
局所領域間における画像特徴の距離とを用いて規定され
る評価関数を最小化するための、各局所領域における画
像特徴を算出する特徴算出手段を具備するとよい。
予め画像上に設定した複数の局所領域における画像特徴
を抽出する皮膚紋様画像の画像処理装置であり、皮膚紋
様画像を記憶する画像記憶手段と、局所領域における画
像特徴を抽出するための重み係数の二次元配列から成る
フイルタを複数記憶するフイルタ群記憶手段と、画像記
憶手段に記憶される皮膚紋様画像に対して、フイルタ群
記憶手段に記憶される複数のフイルタをそれぞれ用いて
フイルタリングを行うフイルタリング手段と、フイルタ
リング手段によって得られる各画像に対して、予め画像
上に設定した複数の局所領域における画像強度を算出す
る画像強度算出手段と、画像強度算出手段によって得ら
れる各局所領域の画像強度の情報を用いて、各局所領域
における画像特徴を算出する特徴算出手段と、フイルタ
リング手段によって得られる各画像から、各局所領域毎
に特徴算出手段の画像特徴に応じた画像の画素値を算出
する画素値算出手段とを具備することを特徴とする。
装置は、フイルタ群記憶手段に記憶される各フイルタを
用いて、画像記憶手段に記憶される皮膚紋様画像を二次
元フーリエ変換を利用してフイルタリング手段がフイル
タリングを行うとよい。さらに画像強度算出手段によっ
て得られる各局所領域の画像強度と、近接する局所領域
間における画像特徴の距離とを用いて規定される評価関
数を最小化するための、各局所領域における画像特徴を
算出する特徴算出手段を具備するとよい。
抽出装置によれば、皮膚紋様画像を記憶し、局所領域に
おける画像特徴を抽出するための重み係数の二次元配列
から成るフイルタを複数記憶し、記憶される皮膚紋様画
像に対して複数のフイルタをそれぞれ用いてフイルタリ
ングを行い、得られる各画像に対して予め画像上に設定
した複数の局所領域における画像強度を算出する。
れば、皮膚紋様画像を記憶し、局所領域における画像特
徴を抽出するための重み係数の二次元配列から成るフイ
ルタを複数記憶し、記憶される皮膚紋様画像に対して複
数のフイルタをそれぞれ用いてフイルタリングを行い、
得られる各画像に対して予め画像上に設定した複数の局
所領域における画像強度を算出する。この算出により得
られる各局所領域の画像強度の情報を用いて各局所領域
における画像特徴を算出し、各画像から各局所領域毎の
画像特徴に応じた画像の画素値を算出する。
および画像処理装置の作用について説明する。皮膚紋様
画像に対して、皮膚紋様のある画像特徴を抽出するため
の複数のフイルタがあるとする。これらの中で、あるフ
イルタを用いてフイルタリングされた画像は、そのフイ
ルタに対応した画像の信号成分が相対的に強調され、そ
れ以外の成分は相対的に減衰する。従って、フイルタリ
ングされた画像の局所領域における画像強度をフイルタ
毎に比較すると、その局所領域の画像がそのフイルタに
適合している場合には、その局所領域における画像強度
が大きくなり、適合しない場合には画像強度が小さくな
る。
画像の画素値の平方和である。つまり、フイルタリング
のためのフイルタの中でその局所領域における画像強度
を最も大きくするフイルタは、その局所領域における画
像特徴と最も適合しているフイルタと考えることができ
る。このフイルタを特徴付けるパラメータ等をこの局所
領域における特徴として出力すれば、画像特徴を抽出す
ることができる。また、その抽出される特徴に対応する
フイルタリング画像の画素値を算出すれば、同時にその
特徴を強調した画像を得ることができる。さらに、画像
のフイルタリングは、実空間における畳み込み演算やフ
ーリエ変換を利用して実施することができる。
(x,y)、但しx=0,1,…,m−1;y=0,1,
…,n−1、と表しフイルタリングのフイルタをh
(x,y)、但しx=0,1,…,mh−1;y=0,
1,…,nh−1、その結果をz(x,y)と表した時、
次の式1によって計算される。
著、長尾真監訳、「デイジタル画像処理」、近代科学
社、1978,p. 19 )にも示されているように、空間領域
における画像g(x,y)とフイルタh(x,y)の畳み込
み演算は、フーリエ変換面における各成分同士の乗算と
いう単純な操作と同等である。つまり、次の式2で表さ
れる関係が成り立つ。
エ変換を表す。また、右辺のG(u,v),H(u,v)
は、それぞれg(x,y),h(x,y)のフーリエ変換を
表す。ここで、フーリエ変換について説明する。画像g
(x,y)の二次元のフーリエ変換関数F{g(x,y)}
は、次の式3によって表される。
1,…,n−1である。また、この逆フーリエ変換関数
F-1{G(u,v)}は、次の式4によって表される。
直流成分G(0,0)は、フーリエ変換面における中心へ
移動させるため、g(x,y)の代わりにg(x,y) (−
1)x+yに対して変換を行なえばよいことが既に示されて
いる。以下では、光学的に実現されるフーリエ変換との
対応から、直流成分をフーリエ変換面の中心になるよう
に変換するフーリエ変換を光学的フーリエ変換と呼ぶ。
グ対象の画像のサイズが一定であっても、フイルタの大
きさを大きくした場合に、そのフイルタサイズに比例し
て演算が増加してしまう。このため、通常比較的小さい
フイルタを用いるが、フイルタを小さくした場合には、
そのフイルタによって表現できる周波数の透過特性が制
限されてしまい、通常は予め設計した理想的なフイルタ
を小さいフイルタで表現できるように近似表現する。一
方、フーリエ変換を用いた場合には、フーリエ変換面に
おいてフイルタの設計をすればよく、大幅な近似を要求
されない。また、画像の一辺の大きさが2のべき乗の場
合等はフーリエ変換として高速フーリエ変換を用いるこ
とで、大幅に高速化を図ることが可能である。フイルタ
サイズが大きい場合には、畳み込み演算を用いて演算を
行うよりフーリエ変換を利用した方が高速である等の利
点が多い。
域の画像強度と近接する局所領域間における画像特徴と
の差を用いて、出力される画像特徴が明らかになる時に
その関数値が小さくなる評価関数を設定する。この評価
関数を最小化するような画像特徴群を算出することで、
画像特徴の抽出と平滑化を同時に実行することができ
る。本発明は、基本的にはエネルギー最小化原理に基づ
くものである。従来技術の特願平4−18589号に開
示されている方法では、最初に抽出された方向とその信
頼度が画像側から与えられる情報としてその後の平滑化
を行うが、本発明では、画像の各特徴毎に画像強度の情
報を持っているので、画像の平滑化をより正確に行うこ
とができる。
様画像の画像特徴抽出装置および画像処理装置の実施例
を詳細に説明する。図1を参照すると本発明の皮膚紋様
画像の画像特徴抽出装置および画像処理装置の実施例が
示されている。
像特徴抽出装置の実施例1を示すブロック図である。実
施例1の画像特徴抽出装置は、図1に示すように指紋画
像等の皮膚紋様画像を記憶する画像記憶手段11と、フ
イルタリングのための複数のフイルタを記憶するフイル
タ群記憶手段15と、画像記憶手段11に記憶される皮
膚紋様画像をフイルタ群記憶手段15に記憶されるフイ
ルタを用いて畳み込み演算によりフイルタリングするフ
イルタリング手段12と、フイルタリング手段12によ
って得られるフイルタ毎の複数の画像の局所領域におけ
る画像の強度を算出する画像強度算出手段13と、画像
強度算出手段13によって得られる結果を用いて皮膚紋
様画像の特徴を算出する特徴算出手段14とから構成さ
れる。
メラ等の画像入力装置を用いて撮像された指紋や掌紋等
の皮膚紋様のデイジタル画像を、ハードデイスクやDR
AM等を用いて記憶する装置である。以下では、記憶さ
れる皮膚紋様の画像データが20ドット/mmの解像度
で撮像された画像サイズ512×512画素のデータを
例に説明する。また、この画像を画像g(x,y)、但し
x=1,…,512;y=1,…,512、と表記す
る。
ング手段12に供給するためのフイルタリングのための
複数のフイルタを、DRAM等を用いて記憶する。フイ
ルタリング手段12に用いられるフイルタがどのような
特性を持つかによって最終的に出力される画像特徴の種
類を規定することができる。
合について説明する。光学的フーリエ変換でのフーリエ
変換面におけるフイルタの周波数特性H(u,v)が、次
の式5によって与えられる理想帯域通過フイルタを考え
る。
る。ここで、aはフイルタの出力値を正規化するための
適当な定数で、R1,R2は通過周波数特性を決める定数
である。いくつかの理想帯域通過フイルタを用意した
時、フイルタ毎の正規化をするために、正規化係数のa
を定める。例えば、フーリエ変換面におけるフイルタの
積分値が一定となる、次の式6のように設定する。
の場合、皮膚紋様の隆線のピッチはおよそ5ドット〜2
0ドットの範囲に収まる。これより、フーリエ変換面で
目的とする紋様成分の周波数帯は、およそ25サイクル
から100サイクルの範囲の信号となる。例えば、この
周波数帯を5段階に分割する図3に示すR1,R2のパラ
メータを持つ5個の理想帯域通過フイルタh1〜h5を得
ることができる。さらに、この5つのフイルタh1〜h5
を逆フーリエ変換し、逆変換して得られるフーリエ成分
の実成分を空間領域におけるフイルタとして得ることが
できる。さらに、演算量を少なくするためにフイルタの
周辺部分を削除することでフイルタを小さくし、フ−リ
エ変換面上で設計したフイルタを近似する。このように
して作成した空間領域におけるフイルタの例(フイルタ
サイズは64×64pixel)を図4に示す。フイル
タ群記憶手段は、作成された5個のフイルタを記憶す
る。
タ群記憶手段15に記憶されたフイルタ群のそれぞれを
用いて、画像記憶手段11に記憶された画像のフイルタ
リングを行う。フイルタ群記憶手段15に記憶されるフ
イルタは、畳み込み演算を前提にして作成された空間領
域におけるフイルタである。よって、ここでのフイルタ
リングは、皮膚紋様画像と各フイルタの畳み込み演算を
行う。この結果、フイルタhi(x,y)、但しi=1,
…,5、に対応する畳み込み演算の結果を複数得ること
ができる。以下では、5個のフイルタhi(x,y)、但
しi=1,2,…,5、に対応する畳み込み演算の結果
得られる画像をgi(x,y)、但しi=1,2,…,
5、と表すことにする。これを式で表すと、式7とな
る。
お、この画像gi(x,y)、但しi=1,2,…,5
は、画像強度算出手段13に提供される。
画像特徴を出力する局所領域を複数設定しておき、その
局所領域における前記画像のgi(x,y)の画像の強度
を計算する。局所領域をC(m,n)と表すと、画像g
i(x,y)の局所領域C(m,n)における局所強度P
(i,m,n)を、例えば次式8で示される値として計算
する。
5に示すような原画像の大きさ512×512画素に対
して、水平・垂直方向各16画素おきに設定した32×
32個の点(m,n)を中心とする(32,32)画素の矩
形領域とする。従って、画像強度算出手段13では、各
画像gi(x,y)の各局所領域C(m,n)に対して上式
に従った計算を行い、その結果である画像強度P(i,
m,n)を特徴算出手段14に提供する。
度P(i,m,n)を用いてその局所領域C(m,n)にお
ける特徴を算出し出力する。例えば、局所領域における
各フイルタhi(x,y)に対応する画像強度P(i,m,
n)を比較して、最も大きい値を与えるフイルタh
i(x,y)を求める。この“i”は今の場合には隆線ピ
ッチに対応しているので、フイルタhiに対応している
隆線ピッチを求める。例えば、理想帯域フイルタの中心
周波数(R1+R2)/2から得られる値に基づき次式によ
り計算される値を隆線ピッチとする。
タhiの場合には、512×2/(25+40)=15.
7ドットを隆線ピッチとする。このような隆線ピッチを
その局所領域C(m,n)における画像特徴として出力す
る。他の局所領域C(m,n)についても同様に隆線ピッ
チを決定し出力する。
特徴抽出装置であって、実施例1の皮膚紋様の画像特徴
抽出装置との最も大きな相違は、実施例1ではフイルタ
リングを畳み込み演算を用いたのに対して、実施例2で
は二次元フーリエ変換を利用したフイルタリングを行う
点にある。
成は、図6に示す構成となっている。図6のフイルタリ
ング手段24は、入力画像を二次元フーリエ変換するフ
ーリエ変換手段21と、フーリエ変換手段21によりフ
ーリエ変換した結果の実および虚フーリエ成分に対して
フイルタ群記憶手段25に記憶されるフイルタを用いて
フーリエ成分の周波数成分をマスクするマスク手段22
と、マスク手段22によってマスクされたフーリエ成分
を逆フーリエ変換する逆フーリエ変換手段23とを備え
る。
出装置とほぼ同様な隆線ピッチの抽出を行う場合には、
まず実施例1で説明したフーリエ変換面上で設計した5
12×512の大きさの5つの理想帯域通過フイルタを
フイルタとしてフイルタ群記憶手段25に予め記憶して
おく。フーリエ変換手段21では、画像g(x,y)に光
学的フーリエ変換を施し、そのフーリエ変換の結果G
(u,v)を出力する。マスク手段22では、5つのフイ
ルタのそれぞれと、フーリエ変換G(u,v)の実成分お
よび虚成分にフイルタの各成分同士を乗じて出力する。
逆フーリエ変換手段23では、5つのフイルタ毎にマス
クされたフーリエ成分を逆フーリエ変換して出力する。
逆フーリエ変換手段23によって出力されたフイルタリ
ング等の5つの画像を用いて、以降の処理は実施例1と
同様に行う。
ーリエ変換を行う必要はなく、通常のデイジタルフーリ
エ変換や画像サイズが適当な大きさであれば、高速フー
リエ変換等を用いればよい。但し、その場合にはフイル
タ群記憶手段25に記憶させるフイルタもそれらのフー
リエ変換に適合するように変換しておく必要があること
は言うまでもない。
特徴抽出装置であって、実施例1の皮膚紋様の画像特徴
抽出装置との最も大きな相違は、特徴算出手段14にお
ける画像特徴の算出手段が異なる点である。
の画像強度を与える画像特徴を変数として、各局所領域
の画像強度の総和と近接する各局所領域間における画像
特徴の差の平方の総和によって規定される評価関数を、
最小化するように画像特徴を算出する。このため、実施
例3における画像特徴抽出装置の特徴算出手段30は、
図7に示すように、画像強度算出手段13から提供され
る画像強度から画像特徴の初期値を算出する初期値算出
手段32と、初期値算出手段32から提供される初期値
として予め設定した評価関数を最小化する最小化手段3
1を備える。
した画像強度算出手段13において算出される画像強度
P(i,m,n)を用いて、各局所領域C(m,n)におけ
る最も大きい値を与えるフイルタs0(m,n)を求め
る。
によって算出されたs0(m,n)を初期値の画像特徴の
二次元パターンとして、次式に示す評価関数を最小化す
るように画像特徴の二次元パターンs(m,n)を求め
る。
C(m,n)とC(m',n')における特徴間で演算が行な
われる。例えば、局所領域C(m,n)を中心とした場
合、図8に示すような5×5の近傍の領域における特徴
との間で総和演算を行う。また、D{s(m,n),s
(m',n')}は、特徴間の距離を規定するもので、s
(m,n)がスカラー量であることから、例えば次の式1
1のような差の平方を用いる。
数を最小化する画像特徴の二次元パターンを求めること
によって、空間的に隣接した各画像特徴間の変動が小さ
くなるように平滑化された画像特徴のパターンを得るこ
とができる。ここで、この評価関数の最小化は、s
(m,n)を各フイルタに対応する値の離散的な値のみを
とり得るものとし、直接探索法によって行う。つまり、
最小化手段では、図9に示す流れ図に従って関数値の最
小化を行う。
る評価関数値Eを式10に従って計算する(ステップ4
1)。次に、ある局所領域C(m,n)におけるs(m,
n)をとり得る離散的な値の何れかに一次的に変更し、
その時の評価関数値Eを計算する(ステップ42)。先
に計算したEよりも評価関数値が減少しているならば
(ステップ43)、s(m,n)を評価関数値が小さくな
るように、変更する(ステップ44)。同様に、離散的
な全てのs(m,n)の値について同様な更新を行い、局
初領域C(m,n)における全てのs(m,n)の値につい
て処理が終わったら(ステップ45)、次の局所領域C
(m,n)について同様にs(m,n)の値の更新処理を行
う。全ての領域についてこの更新処理が終わったら(ス
テップ46)、最初の局所領域に戻って同様に処理を繰
り返す。局所領域C(m,n)全体の更新を予め決めた適
当な回数繰り返した後、更新を終了し、最小化処理を終
了する(ステップ47)。以上の評価関数の最小化の結
果得られる隆線ピッチ特徴を表す画像特徴の二次元パタ
ーンs(m,n)を出力することで、画像特徴を得ること
ができる。
実施例1や実施例2、実施例3の画像特徴抽出装置を用
いて、画像特徴の抽出を行った後に、その特徴に対応す
るフイルタリング画像の画素値を出力することで、画像
のフイルタリング処理を行う装置である。
ように、図1に示した画像特徴抽出装置に、さらに画素
値算出手段75を備えた構成となっている。この画素値
算出手段75では、画像の各局所領域C(m,n)におい
て、特徴算出手段74によって決定された特徴s(m,
n)を与えるフイルタを調べ、そのフイルタに対応する
フイルタリング画像の局所領域の画素値を局所領域C
(m,n)における画素値として出力する。また、この画
像処理装置の中間結果として得られる画像特徴を皮膚紋
様画像の分類のための出力としても構わない。
像処理装置は、画像処理装置を3段階に組み合わせるこ
とによって、画像処理を行うものである。図11は、実
施例5の画像処理装置の構成図を示している。実施例5
の画像処理装置は、基本的には実施例4の画像処理装置
とほぼ同等の画像処理装置80、81の2段で構成され
ており、隆線ピッチを考慮したフイルタ群による画像処
理装置80の出力を画像処理装置81の画像記憶手段8
06に記憶し、この画像記憶手段806に記憶された画
像に対して、さらに隆線方向を考慮したフイルタ群によ
る画像処理を施すものである。
大きな違いは、フイルタ群記憶手段811、およびフイ
ルタ群記憶手段812に記憶されるフイルタの違いが最
も大きな違いであり、第1のフイルタ群記憶手段811
では皮膚紋様の隆線方向に沿った画像特徴の抽出および
フイルタリングを行うためのフイルタ群を記憶し、第2
のフイルタ群記憶手段812では、皮膚紋様の隆線ピッ
チを考慮したフイルタ群を記憶する。以下では、第1の
フイルタリング手段802および第2のフイルタリング
手段807において、フーリエ変換を用いたフイルタリ
ングを行う場合の説明をする。
の画像記憶手段801に記憶される。第1のフイルタリ
ング手段802では、実施例2で説明したのと同様にフ
ーリエ変換を利用してフイルタリングを行う。ここで
は、フーリエ変換面における座標をベクトルr=(u,
v)で表し、フイルタとして次式12で示されるフイル
タを用いる。
表すパラメータで、σrは、周波数の帯域幅を特徴付け
るためのパラメータである。フイルタのサイズは、画像
サイズと同じ512×512の大きさで、(u,v)の範
囲は、−256≦u≦255,−256≦v≦255の
値である。フーリエ変換面上での原点を中心に点対称と
なる特性を有するフイルタで、上式を用いて設計したσ
r=12.0の場合のフイルタ群の例を図12に示す。
この図12で、濃淡が明るい方が値が大きく、濃淡値が
最も暗い部分が値が0の部分であり、隆線ピッチにし
て、それぞれ約5画素から約20画素の周期の間にその
中心通過帯域がある。但し、この図12では、512×
512のサイズのフイルタの中心部分を拡大して図示し
ている。上式で示されるフイルタは、r0を中心に周波
数を通過させる帯域フイルタを構成し、皮膚紋様画像の
隆線ピッチ特徴と対応するフイルタとなる。このフイル
タ群は、第1のフイルタ群記憶手段811に記憶され
る。
フイルタは、第2のフイルタ群記憶手段812に記憶さ
れる。この隆線方向を特徴づけるためのフイルタの数を
n=16としよう。このフイルタの数に従って周波数領
域を方向性を持って分割するように、直流成分がフーリ
エ周波数空間における中心となるフーリエ変換面におけ
るフイルタを準備する。ここで、方向性を持たせるフイ
ルタの中心方向をθとして、その方向の単位ベクトルを
eθ=(cosθ,sinθ)と書き表す。ここでは、次式によ
って表されるフイルタを用いる。
を特徴付けるパラメータである。フイルタのサイズは、
隆線ピッチに対応するフイルタと同様に画像サイズと同
じ512×512の大きさで、(u,v)の範囲は、−2
56≦u≦255,−256≦v≦255の値である。
式13に基づき、σθ=0.4とした時に得られるフイ
ルタの例を図13に示す。
実施例3の式11に示したような特徴量間の距離差を用
いるよりも、次のような単位べクトルを用いて距離を定
義する方がよい。方向性のフイルタリングを行う場合、
フイルタを特徴づける特性は方向θである。従って、各
局所領域における画像特徴s(m,n)として、各局所領
域における方向θ(m,n)を用いることとし、実施例3
の式11の代わりに次式によって与えられる方向を単位
ベクトルとする。この時のベクトル間のユークリッド距
離を、フイルタを特徴付ける各特徴量間の差として用い
る。
なるθによるフイルタは本質的に同じであるので、単純
に方向の単位ベクトルを用いた場合に生じるべクトル差
の不連続性を無くすためである。さらに、ピッチ特徴や
方向特徴を必要とする場合には、第1の特徴算出手段の
出力や第3の特徴算出手段の出力を外部出力してもよ
い。
タリングを行った後に、このフイルタリングされた画像
に対して更に隆線方向に対応したフイルタリングを行う
ことによって、ノイズに対してより頑強な画像処理を行
うことができる。逆に、方向性のフイルタリングを行っ
た後、隆線ピッチに対応したフイルタリングを行っても
同様な効果を得ることができる。
一例ではあるが本発明はこれに限定されるものではなく
本発明の要旨を逸脱しない範囲において種々変形実施可
能である。
皮膚紋様画像の画像特徴抽出装置は、皮膚紋様画像を記
憶し、局所領域における画像特徴を抽出するための重み
係数の二次元配列から成るフイルタを複数記憶し、記憶
される皮膚紋様画像に対して複数のフイルタをそれぞれ
用いてフイルタリングを行い、得られる各画像に対して
予め画像上に設定した複数の局所領域における画像強度
を算出する。さらに、局所領域の画像強度の情報を用い
て各局所領域における画像特徴を算出する。
皮膚紋様画像を記憶し、局所領域における画像特徴を抽
出するための重み係数の二次元配列から成るフイルタを
複数記憶し、記憶される皮膚紋様画像に対して複数のフ
イルタをそれぞれ用いてフイルタリングを行い、得られ
る各画像に対して予め画像上に設定した複数の局所領域
における画像強度を算出する。この算出により得られる
各局所領域の画像強度の情報を用いて各局所領域におけ
る画像特徴を算出し、各画像から各局所領域毎の画像特
徴に応じた画像の画素値を算出する。
および画像処理装置を用いることで、隆線方向や隆線ピ
ッチ等の画像特徴を精度良く抽出することができる。ま
た、本発明を用いることで、皮膚紋様画像から皮膚隆線
の方向やピッチ等の画像特徴を精度よく抽出することが
できる。さらに、精度良くノイズ除去し、隆線を強調す
る画像処理を行うことが可能となる。本発明では、画像
の各特徴毎に画像強度の情報を持っているので、画像の
平滑化をより正確に行うことができる。
び画像処理装置の実施例1の構成を示すブロック図であ
る。
めの図である。
ある。
ある。
である。
ある。
である。
である。
の図である。
の図である。
ための図である。
Claims (6)
- 【請求項1】 予め画像上に設定した複数の局所領域に
おける画像特徴を抽出する皮膚紋様画像の画像特徴抽出
装置において、 前記皮膚紋様画像を記憶する画像記憶手段と、 前記局所領域における画像特徴を抽出するための重み係
数の二次元配列から成るフイルタを複数記憶するフイル
タ群記憶手段と、 前記画像記憶手段に記憶される皮膚紋様画像に対して、
前記フイルタ群記憶手段に記憶される複数のフイルタを
それぞれ用いてフイルタリングを行うフイルタリング手
段と、 前記フイルタリング手段によって得られる各画像に対し
て、予め画像上に設定した前記複数の局所領域における
画像強度を算出する画像強度算出手段と、 該画像強度算出手段によって得られる前記局所領域の画
像強度の情報を用いて、各局所領域における画像特徴を
算出する特徴算出手段とを具備することを特徴とする皮
膚紋様画像の画像特徴抽出装置。 - 【請求項2】 請求項1に記載の皮膚紋様画像の画像特
徴抽出装置において、前記フイルタ群記憶手段に記憶さ
れる各フイルタを用いて、前記画像記憶手段に記憶され
る皮膚紋様画像を二次元フーリエ変換を利用して前記フ
イルタリング手段がフイルタリングを行うことを特徴と
する皮膚紋様画像の画像特徴抽出装置。 - 【請求項3】 請求項1または請求項2に記載の皮膚紋
様画像の画像特徴抽出装置において、該装置はさらに、
前記画像強度算出手段によって得られる各局所領域の画
像強度と、近接する局所領域間における画像特徴の距離
とを用いて規定される評価関数を最小化するための、各
局所領域における画像特徴を算出する特徴算出手段を具
備することを特徴とする皮膚紋様画像の画像特徴抽出装
置。 - 【請求項4】 予め画像上に設定した複数の局所領域に
おける画像特徴を抽出する皮膚紋様画像の画像処理装置
において、 前記皮膚紋様画像を記憶する画像記憶手段と、 前記局所領域における画像特徴を抽出するための重み係
数の二次元配列から成るフイルタを複数記憶するフイル
タ群記憶手段と、 前記画像記憶手段に記憶される皮膚紋様画像に対して、
前記フイルタ群記憶手段に記憶される複数のフイルタを
それぞれ用いてフイルタリングを行うフイルタリング手
段と、 前記フイルタリング手段によって得られる各画像に対し
て、予め画像上に設定した前記複数の局所領域における
画像強度を算出する画像強度算出手段と、 前記画像強度算出手段によって得られる各局所領域の画
像強度の情報を用いて、各局所領域における画像特徴を
算出する特徴算出手段と、 前記フイルタリング手段によって得られる各画像から、
各局所領域毎に前記特徴算出手段の画像特徴に応じた画
像の画素値を算出する画素値算出手段とを具備すること
を特徴とする皮膚紋様画像の画像処理装置。 - 【請求項5】 請求項4に記載の皮膚紋様画像の画像処
理装置において、前記フイルタ群記憶手段に記憶される
各フイルタを用いて、前記画像記憶手段に記憶される皮
膚紋様画像を二次元フーリエ変換を利用して前記フイル
タリング手段がフイルタリングを行うことを特徴とする
皮膚紋様画像の画像処理装置。 - 【請求項6】 請求項4または請求項5に記載の皮膚紋
様画像の画像処理装置において、該装置はさらに、前記
画像強度算出手段によって得られる各局所領域の画像強
度と、近接する局所領域間における画像特徴の距離とを
用いて規定される評価関数を最小化するための、各局所
領域における画像特徴を算出する特徴算出手段を具備す
ることを特徴とする皮膚紋様画像の画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7086754A JP2776294B2 (ja) | 1995-04-12 | 1995-04-12 | 皮膚紋様画像の画像特徴抽出装置および画像処理装置 |
DE69619884T DE69619884T2 (de) | 1995-04-12 | 1996-04-12 | Gerät zur Merkmalextraktion von Hautmustern und Bildprozessor für Hautmuster |
EP96105813A EP0737932B1 (en) | 1995-04-12 | 1996-04-12 | An apparatus for extracting skin pattern features and a skin pattern image processor |
US08/631,223 US6018586A (en) | 1995-04-12 | 1996-04-12 | Apparatus for extracting skin pattern features and a skin pattern image processor using subregion filtering |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7086754A JP2776294B2 (ja) | 1995-04-12 | 1995-04-12 | 皮膚紋様画像の画像特徴抽出装置および画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08287255A true JPH08287255A (ja) | 1996-11-01 |
JP2776294B2 JP2776294B2 (ja) | 1998-07-16 |
Family
ID=13895558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7086754A Expired - Lifetime JP2776294B2 (ja) | 1995-04-12 | 1995-04-12 | 皮膚紋様画像の画像特徴抽出装置および画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6018586A (ja) |
EP (1) | EP0737932B1 (ja) |
JP (1) | JP2776294B2 (ja) |
DE (1) | DE69619884T2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6324297B1 (en) | 1997-07-28 | 2001-11-27 | Nec Corporation | Skin pattern feature extracting apparatus |
WO2004100069A1 (ja) * | 2003-05-06 | 2004-11-18 | Sony Corporation | 画像処理装置、および画像処理方法 |
JP2008090071A (ja) * | 2006-10-03 | 2008-04-17 | Keyence Corp | 拡大観察装置、拡大観察装置の操作方法、拡大観察装置操作プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2009063375A (ja) * | 2007-09-05 | 2009-03-26 | Hamamatsu Photonics Kk | 血液検査装置 |
US7853047B2 (en) | 2005-08-09 | 2010-12-14 | Nec Corporation | System for recognizing fingerprint image, method and program for the same |
JP2013253964A (ja) * | 2012-05-11 | 2013-12-19 | Canon Inc | 距離計測装置、撮像装置、距離計測方法、およびプログラム |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000259825A (ja) * | 1999-03-11 | 2000-09-22 | Chuo Spring Co Ltd | 画像強調装置 |
US6941323B1 (en) * | 1999-08-09 | 2005-09-06 | Almen Laboratories, Inc. | System and method for image comparison and retrieval by enhancing, defining, and parameterizing objects in images |
US6766040B1 (en) | 2000-10-02 | 2004-07-20 | Biometric Solutions, Llc | System and method for capturing, enrolling and verifying a fingerprint |
KR100467392B1 (ko) * | 2001-06-04 | 2005-01-24 | 주식회사 테크스피어 | 손가락 마디 지문을 이용한 개인 식별 방법 및 그 장치 |
US6907193B2 (en) | 2001-11-08 | 2005-06-14 | Johnson & Johnson Consumer Companies, Inc. | Method of taking polarized images of the skin and the use thereof |
US6961517B2 (en) | 2001-11-08 | 2005-11-01 | Johnson & Johnson Consumer Companies, Inc. | Method of promoting skin care products |
US6922523B2 (en) | 2001-11-08 | 2005-07-26 | Johnson & Johnson Consumer Companies, Inc. | Method of promoting skin care products |
US20040146290A1 (en) * | 2001-11-08 | 2004-07-29 | Nikiforos Kollias | Method of taking images of the skin using blue light and the use thereof |
US7738032B2 (en) | 2001-11-08 | 2010-06-15 | Johnson & Johnson Consumer Companies, Inc. | Apparatus for and method of taking and viewing images of the skin |
US20040057606A1 (en) * | 2002-09-25 | 2004-03-25 | The Hong Kong Polytechnic University | Apparatus for capturing a palmprint image |
US7466846B2 (en) * | 2002-09-25 | 2008-12-16 | The Hong Kong Polytechnic University | Method for analyzing a palm print for the identification of an individual using gabor analysis |
US7496214B2 (en) * | 2002-09-25 | 2009-02-24 | The Hong Kong Polytechnic University | Method of palm print identification |
US20050281438A1 (en) * | 2004-06-21 | 2005-12-22 | Zhang David D | Palm print identification using palm line orientation |
US8026942B2 (en) | 2004-10-29 | 2011-09-27 | Johnson & Johnson Consumer Companies, Inc. | Skin imaging system with probe |
KR100752640B1 (ko) * | 2005-01-05 | 2007-08-29 | 삼성전자주식회사 | 방향성 기울기 필터를 이용한 지문 영역 분할 장치 및 방법 |
US7764303B2 (en) * | 2006-10-02 | 2010-07-27 | Johnson & Johnson Consumer Companies, Inc. | Imaging apparatus and methods for capturing and analyzing digital images of the skin |
US7558416B2 (en) * | 2006-10-02 | 2009-07-07 | Johnson & Johnson Consumer Companies, Inc. | Apparatus and method for measuring photodamage to skin |
US8103061B2 (en) * | 2006-10-02 | 2012-01-24 | Johnson & Johnson Consumer Companies, Inc. | Method and apparatus for identifying facial regions |
CN101641049A (zh) * | 2007-03-21 | 2010-02-03 | 光谱辨识公司 | 基于局部一致特征的生物测定 |
US20090082637A1 (en) * | 2007-09-21 | 2009-03-26 | Michael Galperin | Multi-modality fusion classifier with integrated non-imaging factors |
JP5061370B2 (ja) * | 2008-03-27 | 2012-10-31 | Necソフト株式会社 | 隆線領域抽出装置、隆線領域抽出システム、隆線領域抽出方法、およびプログラム |
CN102096824B (zh) * | 2011-02-18 | 2014-04-02 | 复旦大学 | 基于选择性视觉注意机制的多光谱图像舰船检测方法 |
US9342732B2 (en) * | 2012-04-25 | 2016-05-17 | Jack Harper | Artificial intelligence methods for difficult forensic fingerprint collection |
US20140100550A1 (en) * | 2012-10-10 | 2014-04-10 | Christie Digital Systems Canada Inc. | Catheter discrimination and guidance system |
US20140100524A1 (en) * | 2012-10-10 | 2014-04-10 | Christie Digital Systems Usa, Inc. | Catheter discrimination and guidance system |
US10055661B2 (en) * | 2015-03-24 | 2018-08-21 | Intel Corporation | Skin texture-based authentication |
CN116659414B (zh) * | 2023-07-21 | 2023-10-13 | 南京信息工程大学 | 一种基于改进HiIbert变换的结构光解调方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5932064A (ja) * | 1982-08-13 | 1984-02-21 | Nippon Telegr & Teleph Corp <Ntt> | 指紋特徴抽出装置 |
JPH05346956A (ja) * | 1992-06-08 | 1993-12-27 | Nec Corp | 画像信号の処理装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5177138A (ja) * | 1974-12-27 | 1976-07-03 | Nippon Electric Co | |
KR920002928B1 (ko) * | 1989-11-28 | 1992-04-10 | 한국과학기술연구원 | 지문 인식 방법 |
US5072314A (en) * | 1990-04-04 | 1991-12-10 | Rockwell International Corporation | Image enhancement techniques using selective amplification of spatial frequency components |
JP2811909B2 (ja) * | 1990-04-27 | 1998-10-15 | キヤノン株式会社 | 画像処理装置 |
JP2960990B2 (ja) | 1991-07-15 | 1999-10-12 | 三菱重工業株式会社 | シールド掘削機のエレクタ装置 |
JP2765335B2 (ja) * | 1992-01-07 | 1998-06-11 | 日本電気株式会社 | 隆線方向パターン平滑化方法およびその装置 |
KR940001047B1 (ko) * | 1992-02-14 | 1994-02-08 | 주식회사 금성사 | 온라인 필기체 인식시스템 및 방법. |
US5659626A (en) * | 1994-10-20 | 1997-08-19 | Calspan Corporation | Fingerprint identification system |
-
1995
- 1995-04-12 JP JP7086754A patent/JP2776294B2/ja not_active Expired - Lifetime
-
1996
- 1996-04-12 DE DE69619884T patent/DE69619884T2/de not_active Expired - Lifetime
- 1996-04-12 US US08/631,223 patent/US6018586A/en not_active Expired - Lifetime
- 1996-04-12 EP EP96105813A patent/EP0737932B1/en not_active Expired - Lifetime
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5932064A (ja) * | 1982-08-13 | 1984-02-21 | Nippon Telegr & Teleph Corp <Ntt> | 指紋特徴抽出装置 |
JPH05346956A (ja) * | 1992-06-08 | 1993-12-27 | Nec Corp | 画像信号の処理装置 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6324297B1 (en) | 1997-07-28 | 2001-11-27 | Nec Corporation | Skin pattern feature extracting apparatus |
WO2004100069A1 (ja) * | 2003-05-06 | 2004-11-18 | Sony Corporation | 画像処理装置、および画像処理方法 |
JP2004329825A (ja) * | 2003-05-06 | 2004-11-25 | Sony Corp | 画像処理方法、および画像処理装置 |
US7450757B2 (en) | 2003-05-06 | 2008-11-11 | Sony Corporation | Image processing device and image processing method |
US7702174B2 (en) | 2003-05-06 | 2010-04-20 | Sony Corporation | Image processing apparatus and image processing method |
JP4547869B2 (ja) * | 2003-05-06 | 2010-09-22 | ソニー株式会社 | 画像処理方法、および画像処理装置 |
US7853047B2 (en) | 2005-08-09 | 2010-12-14 | Nec Corporation | System for recognizing fingerprint image, method and program for the same |
US8019132B2 (en) | 2005-08-09 | 2011-09-13 | Nec Corporation | System for recognizing fingerprint image, method and program for the same |
JP2008090071A (ja) * | 2006-10-03 | 2008-04-17 | Keyence Corp | 拡大観察装置、拡大観察装置の操作方法、拡大観察装置操作プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2009063375A (ja) * | 2007-09-05 | 2009-03-26 | Hamamatsu Photonics Kk | 血液検査装置 |
US8564764B2 (en) | 2007-09-05 | 2013-10-22 | Hamamatsu Photonics K.K. | Blood examination apparatus |
JP2013253964A (ja) * | 2012-05-11 | 2013-12-19 | Canon Inc | 距離計測装置、撮像装置、距離計測方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
DE69619884D1 (de) | 2002-04-25 |
EP0737932B1 (en) | 2002-03-20 |
EP0737932A2 (en) | 1996-10-16 |
US6018586A (en) | 2000-01-25 |
EP0737932A3 (en) | 1997-01-22 |
DE69619884T2 (de) | 2002-11-07 |
JP2776294B2 (ja) | 1998-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2776294B2 (ja) | 皮膚紋様画像の画像特徴抽出装置および画像処理装置 | |
US6618503B2 (en) | Image demosaicing method utilizing directional smoothing | |
US6807300B1 (en) | Noise reduction method utilizing color information, apparatus, and program for digital image processing | |
US5148497A (en) | Fractal-based image compression and interpolation | |
US7181086B2 (en) | Multiresolution method of spatially filtering a digital image | |
US6801672B1 (en) | Removing noise from a color image using wavelets | |
US5526446A (en) | Noise reduction system | |
Zheng et al. | An advanced image fusion algorithm based on wavelet transform: incorporation with PCA and morphological processing | |
EP0555674B1 (en) | Image rendering system and associated method for minimizing contours in a quantized digital color image | |
JP2002269556A (ja) | デジタル画像からノイズを除去する複数解像度に基づく方法 | |
GB2354131A (en) | Image registration method | |
KR20190033037A (ko) | 이미징 시스템의 점 확산 함수를 결정하는 방법 | |
JP2001167264A (ja) | 画像処理方法および装置並びに記録媒体 | |
US6584213B2 (en) | Motion matching method | |
Wang et al. | Image enhancement | |
Jaemsiri et al. | Modified scale-space analysis in frequency domain based on adaptive multiscale Gaussian filter for saliency detection | |
Dogiwal et al. | Super resolution image reconstruction using wavelet lifting schemes and gabor filters | |
RU2767281C1 (ru) | Способ интеллектуальной обработки массива неоднородных изображений | |
KR101161803B1 (ko) | 가버 필터 및 그것의 필터링 방법, 그리고 그것을 이용한영상 처리 방법 | |
Yadav et al. | Statistical measures for Palmprint image enhancement | |
Liu et al. | Can image quality enhancement methods improve the performance of biometric systems for degraded visible wavelength iris images? | |
JPH1185971A (ja) | 階調変換方法および装置 | |
JP2001167261A (ja) | 画像処理方法および装置並びに記録媒体 | |
Almola | Review In Images Enhancement Medical Using Curvelet Transform and Vector Information | |
Ng et al. | Performance Analysis of Adaptive Unsharp Masking Filter Techniques for Image Contrast Enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980331 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090501 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100501 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110501 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110501 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130501 Year of fee payment: 15 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140501 Year of fee payment: 16 |
|
EXPY | Cancellation because of completion of term |