JP4492705B2 - 生体識別装置 - Google Patents
生体識別装置 Download PDFInfo
- Publication number
- JP4492705B2 JP4492705B2 JP2008009987A JP2008009987A JP4492705B2 JP 4492705 B2 JP4492705 B2 JP 4492705B2 JP 2008009987 A JP2008009987 A JP 2008009987A JP 2008009987 A JP2008009987 A JP 2008009987A JP 4492705 B2 JP4492705 B2 JP 4492705B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- personal identification
- light
- living body
- blood vessel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 210000004204 blood vessel Anatomy 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 10
- 102000001554 Hemoglobins Human genes 0.000 description 9
- 108010054147 Hemoglobins Proteins 0.000 description 9
- 239000008280 blood Substances 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 6
- 230000031700 light absorption Effects 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Description
本発明はＩＤカード読み取り装置や暗証番号入力装置など、個人識別を行う装置に関す
る。
る。
これまで、立入制限区域への入室や銀行預金入出力等の際、ＩＤカードや暗証番号によ
って個人識別を行っていた。
って個人識別を行っていた。
従来用いられている磁気カードや暗証番号による個人識別では、紛失や盗難などによっ
て他人に流用され、機密情報漏洩や資産横領の危険性がある。そこで、他人の流用の可能
性のない簡便な個人識別装置及び方法が必要である。
て他人に流用され、機密情報漏洩や資産横領の危険性がある。そこで、他人の流用の可能
性のない簡便な個人識別装置及び方法が必要である。
本発明では個人の生体構造の画像を個人情報(氏名，暗証番号，磁気カード等)と対応付
けてデータベース内に登録し、個人識別の際に登録してある生体構造部位の画像計測を行
い、データベースとマッチングする。生体構造(特に内部構造)は他人に流用される可能性
はなく、前記課題を解決することが可能である。具体的には、光を用いて計測される血管
パターンと生体外部形状を用いる。
けてデータベース内に登録し、個人識別の際に登録してある生体構造部位の画像計測を行
い、データベースとマッチングする。生体構造(特に内部構造)は他人に流用される可能性
はなく、前記課題を解決することが可能である。具体的には、光を用いて計測される血管
パターンと生体外部形状を用いる。
生体外部構造画像と生体内部の血管走行画像を用い、他人に流用出来ない個人識別方法
を提供する。
を提供する。
生体の光透過性は非常に低いが、光の波長６００ｎｍから１３００ｎｍまでの赤色から
赤外にかけては比較的透過性が高い。そして、この波長領域では血中ヘモグロビンの光吸
収が支配的となる。そのため、例えば、手の掌側より光を照射し手の甲側から透過光を撮
像すると、甲側表面近傍の太い血管像を見ることができる。この血管の走行は個人差が大
きく、画像として抽出すれば個人識別に使用することが可能である。本発明は、生体の血
管像あるいはその血管が走行する部位の生体外部形状を簡便に撮像し、それぞれの画像を
個人識別に用いることを特徴とする。
赤外にかけては比較的透過性が高い。そして、この波長領域では血中ヘモグロビンの光吸
収が支配的となる。そのため、例えば、手の掌側より光を照射し手の甲側から透過光を撮
像すると、甲側表面近傍の太い血管像を見ることができる。この血管の走行は個人差が大
きく、画像として抽出すれば個人識別に使用することが可能である。本発明は、生体の血
管像あるいはその血管が走行する部位の生体外部形状を簡便に撮像し、それぞれの画像を
個人識別に用いることを特徴とする。
図１は本発明の一実施例の基本的な装置構成を示す。
画像の撮像には、生体固定部１に被識別者２の任意部位（本実施例では手）を固定し、
光源３（ハロゲンランプ等）から照射光を２回間欠的に照射し、各照射毎に透過光画像を
撮像器４（ＣＣＤカメラ等）で撮像する。生体固定部には、毎回同じ位置に被識別者２の
任意部位を固定できるように、指等のガイド(図示略)を設置しておく。光フィルタホルダ
５には、透過光波長の中心波長がλ１の光フィルタ６と、透過光波長の中心波長がλ２の
光フィルタ７が固定されており、各撮像毎にモータ８を駆動して２種類の光フィルタを切
り替える。従って、撮像器４で撮像された各画像は、各々異なる波長の透過光画像である
。ここで、光源３からの光照射および光フィルタ６及び７の切り替え及び撮像の時刻は同
期している。これらは全て演算装置９で制御されている。
光源３（ハロゲンランプ等）から照射光を２回間欠的に照射し、各照射毎に透過光画像を
撮像器４（ＣＣＤカメラ等）で撮像する。生体固定部には、毎回同じ位置に被識別者２の
任意部位を固定できるように、指等のガイド(図示略)を設置しておく。光フィルタホルダ
５には、透過光波長の中心波長がλ１の光フィルタ６と、透過光波長の中心波長がλ２の
光フィルタ７が固定されており、各撮像毎にモータ８を駆動して２種類の光フィルタを切
り替える。従って、撮像器４で撮像された各画像は、各々異なる波長の透過光画像である
。ここで、光源３からの光照射および光フィルタ６及び７の切り替え及び撮像の時刻は同
期している。これらは全て演算装置９で制御されている。
また、各画像毎に濃淡値の正規化を行うために、生体固定部に生体任意部位をおかない
状態で、各光フィルタ６及び７の画像を定期的あるいは各撮像時に撮像し、正規化補正用
画像として記憶装置１０に保存する。各生体透過光画像は、アナログ−デジタル変換され
２枚の濃淡のデジタル画像（以降デジタル濃淡画像と略す）となり、１または複数ある演
算装置９に転送され、画像記憶装置１０に保存される。
状態で、各光フィルタ６及び７の画像を定期的あるいは各撮像時に撮像し、正規化補正用
画像として記憶装置１０に保存する。各生体透過光画像は、アナログ−デジタル変換され
２枚の濃淡のデジタル画像（以降デジタル濃淡画像と略す）となり、１または複数ある演
算装置９に転送され、画像記憶装置１０に保存される。
各生体透過光画像は、保存された各正規化補正用画像で画像除算することで正規化補正
される。光フィルタの透過光波長の中心波長λ１及びλ２を適切に選択すれば、保存され
た２枚のデジタル濃淡画像の差分画像から血管走行画像を容易に抽出することができる（
その理由に関しては後述する）。
される。光フィルタの透過光波長の中心波長λ１及びλ２を適切に選択すれば、保存され
た２枚のデジタル濃淡画像の差分画像から血管走行画像を容易に抽出することができる（
その理由に関しては後述する）。
演算装置９では、任意の１枚のデジタル濃淡画像から血管走行部位における外形形状の
二値画像（以降外形形状画像と略す）を、差分画像から血管走行の二値画像（以降血管走
行画像と略す）を、それぞれ画像処理を行うことで得る。外形形状画像と血管走行画像か
ら被識別者の特徴画像を合成し、既に記憶装置１１にデータベースとして登録された被識
別者の特徴画像とのパターンマッチングを行い識別を行う。画像処理及びパターンマッチ
ングに関するフローの詳細は後述する。被識別者２の情報（氏名，暗証番号，磁気記憶カ
ード等）は入力装置１２により入力する。
二値画像（以降外形形状画像と略す）を、差分画像から血管走行の二値画像（以降血管走
行画像と略す）を、それぞれ画像処理を行うことで得る。外形形状画像と血管走行画像か
ら被識別者の特徴画像を合成し、既に記憶装置１１にデータベースとして登録された被識
別者の特徴画像とのパターンマッチングを行い識別を行う。画像処理及びパターンマッチ
ングに関するフローの詳細は後述する。被識別者２の情報（氏名，暗証番号，磁気記憶カ
ード等）は入力装置１２により入力する。
外形形状画像と血管走行画像の合成画像例を図２に示す。
次に、２枚の異なる波長の透過光画像の差分画像より、血管走行画像が抽出される理由
に関して説明する。まず、雑音の少ない質の高い生体透過光画像を撮像するには、生体透
過性の高い波長の照射光を選択しなければならない。生体透過性の高い光の波長は、生体
の６０〜７０％を構成する水の吸収特性から、おおよそ６００〜１３００ｎｍである。ま
た、この波長帯の中でも、生体中に比較的多く存在する血液（特に血中の約４５％を占め
るヘモグロビン）の吸収が少ない６００〜１０００ｎｍの光が生体透過性が高い波長帯で
ある。
に関して説明する。まず、雑音の少ない質の高い生体透過光画像を撮像するには、生体透
過性の高い波長の照射光を選択しなければならない。生体透過性の高い光の波長は、生体
の６０〜７０％を構成する水の吸収特性から、おおよそ６００〜１３００ｎｍである。ま
た、この波長帯の中でも、生体中に比較的多く存在する血液（特に血中の約４５％を占め
るヘモグロビン）の吸収が少ない６００〜１０００ｎｍの光が生体透過性が高い波長帯で
ある。
図３に、この波長帯における酸化ヘモグロビン及び還元ヘモグロビンの光吸収特性を示
す。縦軸は分子吸光係数であり、値が大きいほど光の吸収が大きく、生体透過光強度が低
下することを表す。ここで重要な点は、この波長帯ではヘモグロビンの光吸収特性が波長
に依存して顕著に変化する点と、ヘモグロビン以外の生体を構成する物質は非常に含有量
が少ないか、あるいはその光吸収特性がこの波長帯では顕著に変化しない点である。これ
らの点から、同じ強度かつ波長の異なる光を照射して２枚の生体透過光画像を撮像すると
、血液が多い部分（即ち血管の走行している部分）で濃淡値が異なる２枚の画像が得られ
る。したがって、これらの２枚の画像の差分画像からは血管走行のある部位が強調されて
得られる。
す。縦軸は分子吸光係数であり、値が大きいほど光の吸収が大きく、生体透過光強度が低
下することを表す。ここで重要な点は、この波長帯ではヘモグロビンの光吸収特性が波長
に依存して顕著に変化する点と、ヘモグロビン以外の生体を構成する物質は非常に含有量
が少ないか、あるいはその光吸収特性がこの波長帯では顕著に変化しない点である。これ
らの点から、同じ強度かつ波長の異なる光を照射して２枚の生体透過光画像を撮像すると
、血液が多い部分（即ち血管の走行している部分）で濃淡値が異なる２枚の画像が得られ
る。したがって、これらの２枚の画像の差分画像からは血管走行のある部位が強調されて
得られる。
さらに、６００〜１０００ｎｍの光に対する生体の散乱特性は極めて高く、体深部の血
液によって吸収された情報は拡散してしまうため、得られる血管走行画像は画像撮像側の
生体表面にある血管走行を示している。人間の血管は、生体表面には静脈、そして生体深
部には動脈が位置していることから、抽出される血管系は静脈系である。静脈系の血液に
は還元ヘモグロビンが多く含まれており、２枚の生体透過画像の血管像をコントラスト強
く撮像するためには、図３の波長特性から、例えば７００ｎｍ近傍から２波長選択するよ
うに、図１中光フィルタ６及び７を選択すればよい。
液によって吸収された情報は拡散してしまうため、得られる血管走行画像は画像撮像側の
生体表面にある血管走行を示している。人間の血管は、生体表面には静脈、そして生体深
部には動脈が位置していることから、抽出される血管系は静脈系である。静脈系の血液に
は還元ヘモグロビンが多く含まれており、２枚の生体透過画像の血管像をコントラスト強
く撮像するためには、図３の波長特性から、例えば７００ｎｍ近傍から２波長選択するよ
うに、図１中光フィルタ６及び７を選択すればよい。
次に、画像処理及びパターンマッチングのフローに関して説明する。
まず、図４に画像処理のフローを示す。step１では、中心波長がλ１及びλ２のデジタ
ル透過光画像が入力され、step２で２枚の画像間の差分を計算する。前述したように、２
枚の差分画像は、生体表面近傍の血管走行のみの濃淡画像を表している（step３）。この
血管走行濃淡画像に対し任意の閾値を設けて、血管走行二値化画像をstep４−１で取得す
る。一方、中心波長λ１あるいはλ２の透過画像のうち１枚を用い、任意の閾値を用いて
二値化処理し、血管走行している部位の外形形状を取得する（step４−２）。取得した、
血管走行二値画像と外部形状二値画像をstep５で融合する。
ル透過光画像が入力され、step２で２枚の画像間の差分を計算する。前述したように、２
枚の差分画像は、生体表面近傍の血管走行のみの濃淡画像を表している（step３）。この
血管走行濃淡画像に対し任意の閾値を設けて、血管走行二値化画像をstep４−１で取得す
る。一方、中心波長λ１あるいはλ２の透過画像のうち１枚を用い、任意の閾値を用いて
二値化処理し、血管走行している部位の外形形状を取得する（step４−２）。取得した、
血管走行二値画像と外部形状二値画像をstep５で融合する。
図５に、得られた融合画像から個人識別するための、パターンマッチングのフローを示
す。Ａから図４に示した処理結果である融合画像が入力される。記憶装置１１（図１）に
保存されているデータベースには、あらかじめ取得された被識別者２（図１）の血管走行
部位の外形形状と血管走行の二値画像の融合画像（図２参照）が登録されている。従って
、step６で被識別者の名前、あるいは暗証番号あるいはＩＤカード等で被識別者情報を入
力（図１中入力装置１２より入力する）し、被識別者の融合画像を呼び出す。呼び出した
被識別者の融合画像を、画像処理フローで処理された融合画像とパターンマッチングを行
う（step７）。
step８では、パターンマッチング結果がある任意の許容誤差範囲以内であれば、step９−
１に進み許可情報を発行し、許容誤差範囲外であればstep９−２に進み不許可情報を発行
する。
す。Ａから図４に示した処理結果である融合画像が入力される。記憶装置１１（図１）に
保存されているデータベースには、あらかじめ取得された被識別者２（図１）の血管走行
部位の外形形状と血管走行の二値画像の融合画像（図２参照）が登録されている。従って
、step６で被識別者の名前、あるいは暗証番号あるいはＩＤカード等で被識別者情報を入
力（図１中入力装置１２より入力する）し、被識別者の融合画像を呼び出す。呼び出した
被識別者の融合画像を、画像処理フローで処理された融合画像とパターンマッチングを行
う（step７）。
step８では、パターンマッチング結果がある任意の許容誤差範囲以内であれば、step９−
１に進み許可情報を発行し、許容誤差範囲外であればstep９−２に進み不許可情報を発行
する。
本実施例には、２波長の透過光画像を用いた、個人識別装置の基本構成について説明し
たが、その他にも図１中光源３及び撮像装置４を同じ側に配置し反射画像で同様の処理を
行ってもよい。また、精度向上のために、複数の生体部位を撮像し個人識別に用いたり（
例えば両手を用いる）、波長数をさらに増やす（実質的には光フィルタを増やす）ことも
容易である。
たが、その他にも図１中光源３及び撮像装置４を同じ側に配置し反射画像で同様の処理を
行ってもよい。また、精度向上のために、複数の生体部位を撮像し個人識別に用いたり（
例えば両手を用いる）、波長数をさらに増やす（実質的には光フィルタを増やす）ことも
容易である。
１…生体固定部、２…被識別者、３…光源、４…撮像器、５…フィルタホルダ、６…フ
ィルタ、７…フィルタ、８…モータ、９…演算装置、１０…記憶装置、１１…記憶装置、
１２…入力装置。
ィルタ、７…フィルタ、８…モータ、９…演算装置、１０…記憶装置、１１…記憶装置、
１２…入力装置。
Claims (5)
- 複数の生体部位に対して光を照射できる光源と、
前記複数の生体部位からの光を撮像できる撮像器と、
演算装置とを有し、
前記演算装置は、前記撮像器で撮像される前記複数の生体部位の画像に基づき、少なくとも１の生体部位の、外形形状を含む血管画像を用いて個人の識別を行うことを特徴とする個人識別装置。 - 請求項１に記載の個人識別装置において、
前記撮像器は前記生体部位を反射した光を撮像することを特徴とする個人識別装置。 - 請求項１に記載の個人識別装置において、
前記撮像器は前記生体部位を透過した光を撮像することを特徴とする個人識別装置。 - 請求項１に記載の個人認証装置において、
前記撮像器は前記光が照射される生体部位に対して、
前記光源と同じ側に配置されていることを特徴とする個人識別装置。 - 請求項１から４に記載の個人識別装置において、
前記生体部位に対して複数波長の光を照射可能であり、
当該複数波長の光を照射して前記撮像器で取得された画像のそれぞれに基づいて個人の識別を行うことを特徴とする個人識別装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008009987A JP4492705B2 (ja) | 2008-01-21 | 2008-01-21 | 生体識別装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008009987A JP4492705B2 (ja) | 2008-01-21 | 2008-01-21 | 生体識別装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006340664A Division JP4093280B2 (ja) | 2006-12-19 | 2006-12-19 | 生体識別装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008165813A JP2008165813A (ja) | 2008-07-17 |
| JP4492705B2 true JP4492705B2 (ja) | 2010-06-30 |
Family
ID=39695104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008009987A Expired - Lifetime JP4492705B2 (ja) | 2008-01-21 | 2008-01-21 | 生体識別装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4492705B2 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61182174A (ja) * | 1985-02-07 | 1986-08-14 | Nippon Fuaamu Uea Kk | 個人識別装置 |
| JPH01503203A (ja) * | 1986-12-02 | 1989-11-02 | コダック・リミテッド | 個人の身体に関する情報 |
| JPH04502717A (ja) * | 1989-01-16 | 1992-05-21 | ブリティッシュ・テクノロジー・グループ・リミテッド | 生物測定学 |
| JPH0721373A (ja) * | 1993-06-17 | 1995-01-24 | Asahi Optical Co Ltd | 個人識別装置 |
| JPH10127609A (ja) * | 1996-11-06 | 1998-05-19 | Hitachi Ltd | 生体識別装置 |
| JP3861870B2 (ja) * | 2003-11-17 | 2006-12-27 | 株式会社日立製作所 | 生体識別装置 |
| JP4093280B2 (ja) * | 2006-12-19 | 2008-06-04 | 株式会社日立製作所 | 生体識別装置 |
-
2008
- 2008-01-21 JP JP2008009987A patent/JP4492705B2/ja not_active Expired - Lifetime
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61182174A (ja) * | 1985-02-07 | 1986-08-14 | Nippon Fuaamu Uea Kk | 個人識別装置 |
| JPH01503203A (ja) * | 1986-12-02 | 1989-11-02 | コダック・リミテッド | 個人の身体に関する情報 |
| JPH04502717A (ja) * | 1989-01-16 | 1992-05-21 | ブリティッシュ・テクノロジー・グループ・リミテッド | 生物測定学 |
| JPH0721373A (ja) * | 1993-06-17 | 1995-01-24 | Asahi Optical Co Ltd | 個人識別装置 |
| JPH10127609A (ja) * | 1996-11-06 | 1998-05-19 | Hitachi Ltd | 生体識別装置 |
| JP3567651B2 (ja) * | 1996-11-06 | 2004-09-22 | 株式会社日立製作所 | 生体識別装置 |
| JP3861870B2 (ja) * | 2003-11-17 | 2006-12-27 | 株式会社日立製作所 | 生体識別装置 |
| JP4093280B2 (ja) * | 2006-12-19 | 2008-06-04 | 株式会社日立製作所 | 生体識別装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008165813A (ja) | 2008-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3567651B2 (ja) | 生体識別装置 | |
| JP7088225B2 (ja) | 生体認証装置 | |
| WO2017187718A1 (ja) | 撮像装置、認証処理装置、撮像方法、認証処理方法およびプログラム | |
| US9659205B2 (en) | Multimodal imaging system and method for non-contact identification of multiple biometric traits | |
| KR101720957B1 (ko) | 지문과 지정맥을 동시에 인증하는 다면 입체 촬영장치 | |
| JP3869545B2 (ja) | 指の特徴パターン特徴検出装置及び個人識別装置 | |
| US9384404B2 (en) | Apparatus and method for capturing a vital vascular fingerprint | |
| CN106236060A (zh) | 生物体信息检测装置 | |
| CN108125673A (zh) | 生物体信息检测装置 | |
| KR101313301B1 (ko) | 생체 측정 취득, 주로 신체 각인의 확인 방법 | |
| JP4281272B2 (ja) | 指紋画像撮像方法、指紋画像取得方法、指紋画像撮像装置および個人識別装置 | |
| JP2010282519A (ja) | 判定装置、指紋入力装置、判定方法および判定プログラム | |
| JP4344986B2 (ja) | 認証方法及び認証装置 | |
| KR20110071082A (ko) | 살아있는 생체의 존재를 검출하기 위한 광학 시스템, 방법 및 컴퓨터 프로그램 | |
| TW200939134A (en) | Imaging apparatus and method for authentication of user | |
| JP2006098340A (ja) | 内部検出装置 | |
| JP2013118978A (ja) | 測定装置、測定方法、プログラム及び記録媒体 | |
| JP2007219625A (ja) | 血管画像入力装置、及び個人認証システム | |
| JP7392779B2 (ja) | 撮像装置、生体画像処理システム、生体画像処理方法、および生体画像処理プログラム | |
| JP4893850B2 (ja) | 生体識別装置 | |
| JP2017174342A (ja) | 生体画像処理装置及び生体画像処理方法 | |
| JP3861870B2 (ja) | 生体識別装置 | |
| JP4093280B2 (ja) | 生体識別装置 | |
| JP4492705B2 (ja) | 生体識別装置 | |
| JP4625790B2 (ja) | 個人識別装置および血管画像抽出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100316 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100329 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 4 |
|
| EXPY | Cancellation because of completion of term |