JP3916639B2 - 生体認証装置 - Google Patents
生体認証装置 Download PDFInfo
- Publication number
- JP3916639B2 JP3916639B2 JP2005190436A JP2005190436A JP3916639B2 JP 3916639 B2 JP3916639 B2 JP 3916639B2 JP 2005190436 A JP2005190436 A JP 2005190436A JP 2005190436 A JP2005190436 A JP 2005190436A JP 3916639 B2 JP3916639 B2 JP 3916639B2
- Authority
- JP
- Japan
- Prior art keywords
- conversion coefficient
- image
- conversion
- subject
- biometric authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
生体認証が増大している理由は、指紋や静脈は生涯不変とされ、個人を認証するには適しており、また、鍵やパスワードと違い紛失や盗難、忘れたりするといったことの心配もないからである。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるCCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)センサが使用されているのが大半である。
この撮像レンズ装置1は、光学系2とCCDやCMOSセンサ等の撮像素子3とを有する。
光学系は、物体側レンズ21,22、絞り23、および結像レンズ24を物体側(OBJS)から撮像素子3側に向かって順に配置されている。
図22(A)〜(C)は、撮像レンズ装置1の撮像素子3の受光面でのスポット像を示している。
この対応の一例として、上述したように、指紋と静脈パターンの2つもしくは3つ以上の情報を用いる認証方法が提案されているが、指紋と静脈等の血管パターンは同一面にないため、一つの撮像系を用いた場合には焦点移動が必要になるが、その詳細については何ら提案されていない。したがって、従来装置においては、いずれかの画像は焦点があっていないものとなり、精度の高い認証を実現することは困難である。
また、焦点を移動させることで焦点を合わせることは可能であるが、装置の大型化、コスト高を招き、さらには耐久性の観点からも問題となる。
したがって、単焦点でのレンズであっても、その物体距離によってそのスポット像が変化する通常の光学系では、一定の(変化しない)PSFは実現できず、それを解決するには、レンズの光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな課題を抱えている。
また、物体距離やデフォーカス範囲を気にすることなく、レンズ設計を行うことができ、かつ精度の良いコンボリューション等の演算による画像復元が可能となる利点がある。
また、本発明によれば、光学系を簡単化でき、コスト低減を図ることができる。
また、図2は図1の生体認証装置における指紋認証動作を模式的に示す図であり、図3は図1の生体認証装置における静脈認証動作を模式的に示す図である。
また、図1および図3に示すように、被検体OBJの裏面(指の爪のある面)側には静脈撮影を補助する目的で照明装置130が配置されている。
照明装置としては、ここでは詳細に言及しないが、指紋撮影用照明装置120には可視光やより指紋を浮き立たせるのに適した波長の光源とし、静脈撮影用照明装置130には皮膚を透過しながらも血管を浮き立たせるのに適した光源、たとえば赤外線を用いることが望ましい。
撮像装置140には、画像データを一時的に保管する格納部、画像データを比較照合するためのデータ変換部、他に登録されているデータの保管部および比較照合を行う処理部、さらには比較照合の結果に応じて指示を出す指示部を含んで構成される。
なお、ここでは、装置が単独で示されている場合を例に説明をしているが、専用回線やインタネット等を利用してのネットワーク対応の構成も可能である。その場合は、登録データがネットワークのホストとなるサーバ等を有するシステム構成となる。
通常の光学系では、被写界深度を得るには絞りを小さくする、すなわち暗くすることが必要になる。
これに対して、後で詳述する本実施形態の「深度拡張光学系」においては、絞りを小さくする必要もなくなることから、通常の光学系と比べると必要光量が少なくてすむことになる。したがって、照明装置の光量を減らすことができる。
これはすなわち、照明装置のコストダウン、消費電力の軽減が可能になり、その結果、照明装置の耐久性向上を図ることができる。
一方、被検体を置く位置としては定点ではなくても、焦点の合った画像を得ることができることから、ある程度の範囲は決める必要はあるものの、装置に触れることなく認証が可能となる。
認証照合の優先順位の切り換え方法として、たとえば撮影されたデータと登録されたデータを照合し、その照合結果を基に優先順位を切り換える方法を採用することが可能である。また、別の方法として、使用者(被験者)が認証を行う際に選択する方法も採用可能である。
本実施形態においては、たとえば指紋が怪我や汚れ等で認証精度が落ちるようなケースでは静脈認証を優先する。
逆に、被検体の温度が大きく変化している状態、たとえば冷えている状態で血流が悪くなっている場合や大きな怪我等で認証精度が落ちるような場合では、指紋認証を優先させる、といった方法を採用することが可能である。
なおここで、優先順位を切り換えるとは、各認証にあらかじめ重みを調整するようなことであって、一つの認証結果だけを採用するといったこととは異なる。
これにより、一つの認証より認証率を向上させることが可能で、複数の認証による認証率を低下させることなく精度の高い認証が可能となる。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子(たとえば、上述の3次の位相板)、屈折率が変化する光学素子(たとえば屈折率分布型波面変調レンズ)、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子(たとえば、波面変調ハイブリッドレンズ)、光の位相分布を変調可能な液晶素子(たとえば、液晶空間位相変調素子)等の光波面変調素子であればよい。
図で示された位相板213aは、光学系により収束される光束を規則正しく分光する光学レンズである。この位相板を挿入することにより、撮像素子220上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板213aによって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成している。
この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システム(WFCO:Wavefront Coding Optical system)といい、この処理を画像処理装置300において行う。
このように、物体距離で異なるスポット像を持つ光学系においては、後で説明するH関数が異なる。
当然、図8および図9に示すように、このスポット像に影響される位相板を通したスポット像もその物体距離が至近側と無限側では異なったスポット像となる。
そこで、本実施形態においては、図4に示すように、撮像装置(カメラ)140が撮影状態に入った時点で、その被写体の物体距離の概略距離を物体概略距離情報検出装置400から読み出し、画像処理装置300に供給する。
物体概略距離情報検出装置400は、外部アクティブのようなAFセンサでも構わない。
図11に示すように、被写体の画像fがWFCO光学系Hに入ることにより、g画像が生成される。
これは、次のような式で表すことができる。
g=H*f
ここで、*はコンボリューションを表す。
f=H-1*g
個々の物体概略距離をAFPn、AFPn−1、・・・とし、個々のズームポジション(ズーム位置)をZpn、Zpn−1・・・とする。
そのH関数をHn、Hn−1、・・・・とする。
各々のスポットが異なるため、各々のH関数は、次のようになる。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本実施形態においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置400により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
この構成の他にも、以下の構成を採用することが可能である。
そして、変換手段としてのコンボリューション装置301が、係数選択手段としての画像処理演算プロセッサ303で選択された変換係数によって、画像信号の変換を行う。
そして、変換手段としてのコンボリューション装置301が、変換係数演算手段としての画像処理演算プロセッサ303で得られレジスタ302に格納された変換係数によって、画像信号の変換を行う。
第2変換係数記憶手段としても機能するレジスタ302に、位相板213aに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置400により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ303が、補正値記憶手段としてのレジスタ302から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置301が、第2変換係数記憶手段としてのレジスタ302から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ303により選択された補正値とに基づいて画像信号の変換を行う。
画像処理演算プロセッサ303においては、物体概略距離AFPがnであるか否かの判定を行う(ST2)。
ステップST1において、物体概略距離AFPがnであると判定すると、AFP=nのカーネルサイズ、演算係数を求めてレジスタに格納する(ST3)。
ステップST4において、物体概略距離AFPがn−1であると判定すると、AFP=n−1のカーネルサイズ、演算係数を求めてレジスタに格納する(ST5)。
以下、性能的に分割しなければならない物体概略距離AFPの数だけステップST2ST4の判断処理を行い、カーネルサイズ、演算係数をレジスタ格納する。
そして、撮像レンズ装置200で撮像され、コンボリューション装置301に入力された画像データに対して、レジスタ302に格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータS302が画像処理演算プロセッサ303に転送される。
以下、この特徴について説明する。
図13(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、図13(B)が合焦点の場合(Best focus)、図13(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の場合の各スポット像を示している。
図13(A)〜(C)からもわかるように、本実施形態に係る撮像レンズ装置200においては、位相板213aを含む波面形成用光学素子213によって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)が形成される。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ(Digital Signal Processor)からなる画像処理装置300の補正処理に任せるため、図14(A),(B)に示すように、1次画像のMTFは本質的に低い値になっている。
図15中曲線Bで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
たとえば、図15のMTF特性の場合、空間周波数に対するエッジ強調の曲線は、図16に示すようになる。
本実施形態では、撮像レンズ装置200による1次画像は深度が非常に深い光束条件にしている。そのために、1次画像のMTFは本質的に低い値になっており、そのMTFの補正を画像処理装置300で行う。
物点の1点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的MTFを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
MTFの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を2乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報(波面収差)そのものからであることから、その光学系210を通して波面収差が厳密に数値計算できればMTFが計算できることになる。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにphase(位相、光線に沿った光路長)に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図13(A)〜(C)に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のMTFは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いMTF値(または、幾何光学的にはこのようなスポット像の状態)であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のDSP等からなる画像処理装置300でMTF値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってMTF値は著しく向上する。
図18は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンスを示す図である。
また、図19は、本実施形態に係る撮像装置のデータ復元後のMTFのレスポンスを示す図である。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、MTFのレスポンスが向上する。
そして、本実施形態に係る撮像装置100は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのWFCOに使用することが可能である。
また、撮像レンズ装置200の光学系210の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
しかし、本実施形態によれば、ローパスフィルタを用いることなく、エリアジングの現象の発生を避けることができ、高精細な画質を得ることが可能となる。
そして、撮像装置140により第1回目として、指紋の撮影を行う(ST103)。
撮像装置140においては、WFCOを含む画像処理装置300等における画像処理を行い(ST104)、撮影データを保管する(ST105)。
次に、指紋撮影用照明装置120を消灯し、静脈撮影用照明装置130を点灯する(ST106)。
そして、撮像装置140により第2回目として、静脈の撮影を行う(ST107)。
撮像装置140においては、WFCOを含む画像処理装置300等における画像処理を行い(ST108)、撮影データを保管する(ST109)。
そして、保管した指紋データおよび静脈データに基づく照合を行う(ST110)。
より具体的には、通常の光学系のように、被写界深度を得るには絞りを小さくする、すなわち暗くすることが不要となり、絞りを小さくする必要もなくなることから、通常の光学系と比べると必要光量が少なくてすむことになる。これにより、照明装置の光量を減らすことができる。
したがって、照明装置のコストダウン、消費電力の軽減が可能になり、その結果、照明装置の耐久性向上を図ることができる。
一方、被検体を置く位置としては定点ではなくても、焦点の合った画像を得ることができることから、ある程度の範囲は決める必要はあるものの、装置に触れることなく認証が可能となる。
Claims (11)
- 被検体の指紋および静脈のパターンを読み取る撮像装置を備えた生体認証装置であって、
前記撮像装置は、
光学系および光波面変調素子と、
前記光学系および光波面変調素子を通過した被写体分散像を撮像する撮像素子と、
前記撮像素子からの分散画像信号より分散のない画像信号を生成する変換手段と、
を備えた生体認証装置。 - 前記変換手段による画像信号に基づく認証結果の優先順位を状況に応じて切り換え可能である
請求項1に記載の生体認証装置。 - 前記撮像装置は、
被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、を備え、
前記変換手段は、前記被写体距離情報生成手段により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成する
請求項1または2記載の生体認証装置。 - 前記撮像装置は、
被写体距離に応じて少なくとも前記光波面変調素子に起因する分散に対応した変換係数を少なくとも2以上予め記憶する変換係数記憶手段と、
前記被写体距離情報生成手段により生成された情報に基づき、前記変換係数記憶手段から被写体までの距離に応じた変換係数を選択する係数選択手段と、を備え、
前記変換手段は、前記係数選択手段で選択された変換係数によって、画像信号の変換を行う
請求項3に記載の生体認証装置。 - 前記撮像装置は、
前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段、を備え、
前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行う
請求項3に記載の生体認証装置。 - 前記撮像装置は、
前記光学系はズーム光学系を含み、
前記ズーム光学系のズーム位置またはズーム量に応じた少なくとも1以上の補正値を予め記憶する補正値記憶手段と、
少なくとも前記光波面変調素子に起因する分散に対応した変換係数を予め記憶する第2変換係数記憶手段と、
前記被写体距離情報生成手段により生成された情報に基づき、前記補正値記憶手段から被写体までの距離に応じた補正値を選択する補正値選択手段と、を備え、
前記変換手段は、前記第2変換係数記憶手段から得られた変換係数と、前記補正値選択手段から選択された前記補正値とによって、画像信号の変換を行う
請求項1に記載の生体認証装置。 - 前記補正値記憶手段で記憶する補正値が前記被写体分散像のカーネルサイズを含む
請求項6に記載の生体認証装置。 - 前記撮像装置は、
被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、
前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を備え、
前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する
請求項1または2記載の生体認証装置。 - 前記変換係数演算手段は、前記被写体分散像のカーネルサイズを変数として含む
請求項8に記載の生体認証装置。 - 記憶手段を有し、
前記変換係数演算手段は、求めた変換係数を前記記憶手段に格納し、
前記変換手段は、前記記憶手段に格納された変換係数によって、画像信号の変換を行い分散のない画像信号を生成する
請求項8または9に記載の生体認証装置。 - 前記変換手段は、前記変換係数に基づいてコンボリューション演算を行う
請求項8から10のいずれか一に記載の生体認証装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005190436A JP3916639B2 (ja) | 2005-06-29 | 2005-06-29 | 生体認証装置 |
PCT/JP2006/312899 WO2007001025A1 (ja) | 2005-06-29 | 2006-06-28 | 生体認証装置 |
US11/994,238 US20090304237A1 (en) | 2005-06-29 | 2006-06-28 | Biometric Authentication Apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005190436A JP3916639B2 (ja) | 2005-06-29 | 2005-06-29 | 生体認証装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006347693A Division JP4588015B2 (ja) | 2006-12-25 | 2006-12-25 | 生体認証装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007007073A JP2007007073A (ja) | 2007-01-18 |
JP3916639B2 true JP3916639B2 (ja) | 2007-05-16 |
Family
ID=37746310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005190436A Expired - Fee Related JP3916639B2 (ja) | 2005-06-29 | 2005-06-29 | 生体認証装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3916639B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4969206B2 (ja) * | 2006-11-01 | 2012-07-04 | 京セラ株式会社 | 生体認証装置 |
JP5233152B2 (ja) * | 2007-04-06 | 2013-07-10 | セイコーエプソン株式会社 | 生体認証装置及び生体認証方法 |
JP4407714B2 (ja) | 2007-04-06 | 2010-02-03 | セイコーエプソン株式会社 | 生体認証装置及び生体認証方法 |
JP5709016B2 (ja) * | 2009-11-10 | 2015-04-30 | 日本電気株式会社 | 偽指判定装置、偽指判定方法および偽指判定プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334646A (ja) * | 1994-06-08 | 1995-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 指紋撮像装置 |
DE19818229A1 (de) * | 1998-04-24 | 1999-10-28 | Hauke Rudolf | System zur berührungslosen Hand- und Fingerlinien-Erkennung |
JP3770241B2 (ja) * | 2003-03-04 | 2006-04-26 | 株式会社日立製作所 | 個人認証装置及び個人認証方法 |
JP3630675B2 (ja) * | 2003-08-11 | 2005-03-16 | 株式会社日立製作所 | 指認証装置 |
JP4547604B2 (ja) * | 2003-12-24 | 2010-09-22 | ソニー株式会社 | 認証情報生成装置及び認証情報装置 |
-
2005
- 2005-06-29 JP JP2005190436A patent/JP3916639B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007007073A (ja) | 2007-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008113860A (ja) | 生体認証装置 | |
WO2007001025A1 (ja) | 生体認証装置 | |
US20100110275A1 (en) | Large depth-of-field imaging system and iris recogniton system | |
JP4306744B2 (ja) | 生体認証装置 | |
JP4800713B2 (ja) | 結像光学系及びそれを用いた撮像装置、認証装置 | |
JP4719809B2 (ja) | 人物識別方法および撮影装置 | |
KR101265377B1 (ko) | 태스크-기반의 이미징 시스템 | |
JP4969206B2 (ja) | 生体認証装置 | |
KR20070107655A (ko) | 3d 지문 인식을 위한 비접촉 광학 수단 및 방법 | |
JP2016533523A (ja) | 虹彩撮像用の最適化された撮像装置 | |
US10430644B2 (en) | Blended iris and facial biometric system | |
JP3916639B2 (ja) | 生体認証装置 | |
JP4588015B2 (ja) | 生体認証装置 | |
JP4024264B2 (ja) | 生体認証装置 | |
JP3987081B2 (ja) | 生体認証装置 | |
JP3916647B1 (ja) | 生体認証装置 | |
JP2008109952A (ja) | 生体認証装置 | |
JP2006094468A (ja) | 撮像装置および撮像方法 | |
JP4531070B2 (ja) | 生体認証装置 | |
JP3877748B1 (ja) | 生体認証装置 | |
JP2008113754A (ja) | 生体認証装置 | |
JP2006094469A (ja) | 撮像装置および撮像方法 | |
KR101794727B1 (ko) | 홍채 검증 방법 | |
JP2008113703A (ja) | 生体認証装置 | |
KR101767941B1 (ko) | 일반 촬영 및 홍채인식 촬영이 가능한 겸용 카메라 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20061017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070206 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |