JP3562970B2 - 生体識別装置 - Google Patents

生体識別装置 Download PDF

Info

Publication number
JP3562970B2
JP3562970B2 JP25645298A JP25645298A JP3562970B2 JP 3562970 B2 JP3562970 B2 JP 3562970B2 JP 25645298 A JP25645298 A JP 25645298A JP 25645298 A JP25645298 A JP 25645298A JP 3562970 B2 JP3562970 B2 JP 3562970B2
Authority
JP
Japan
Prior art keywords
identified person
eye
sight
line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25645298A
Other languages
English (en)
Other versions
JP2000083930A (ja
Inventor
満次 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP25645298A priority Critical patent/JP3562970B2/ja
Publication of JP2000083930A publication Critical patent/JP2000083930A/ja
Application granted granted Critical
Publication of JP3562970B2 publication Critical patent/JP3562970B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Description

【0001】
【発明の属する技術分野】
本発明は、目の中の虹彩(アイリス)の模様によって個人識別を行う装置における生体識別装置に関する。
【0002】
【従来の技術】
図3にアイリスを用いた個人識別装置の構成を示す。同装置は、被識別者の目の画像を取得するための読取部31と、取得した画像を基にして個人識別を行う識別部39とからなり、部屋に出入する人物を管理する入退室管理装置や金融機関に設置される入出金装置等に用いられる。
【0003】
図中、31は読取部であり、32は窓、33はカメラ、34はディスプレイ、35はハーフミラー、36はライト、37はスタートスイッチ、38は制御部、39は識別部である。図示するように個人識別装置の読取部31は、被識別者が覗くための窓32が設けられており、その奥にはハーフミラー35が設けられている。また、窓32の外の光景を撮影するカメラ33と、カメラ33が撮影した画像をリアルタイムで表示するディスプレイ34が設けられている。なお、図中の矢印は窓32から装置内に入った光(すなわち、窓32の外の光景)の流れを示している。その上、窓32を覗いている被識別者の目に向けて光を照射するライト36が設けられている。
【0004】
同装置は以下のようにして動作する。すなわち、被識別者が読取部31に近づくと、制御部38が図示せぬセンサにより被識別者が接近したことを検知し、ライト36を点灯する。またカメラ33とディスプレイ34を起動して、カメラ33によって窓32の外の光景を撮影するとともに、撮影した画像をリアルタイムでディスプレイ34に表示する。そして、被識別者が窓32から中を覗くことによって、カメラ33は被識別者の目を撮影し、ディスプレイ34は被識別者の目の画像を表示する。被識別者は、ディスプレイ34を見ながら、目が最も鮮明に映るように顔を前後に動かして目の位置をカメラ33の焦点位置に合わせ、焦点が合ったらスタートスイッチ37を押下する。すると、制御部38はカメラ33が撮影した被識別者の目の画像(動画像)から静止画像を取得し、識別部39に出力する。
【0005】
識別部39は被識別者の目の静止画像からアイリスの模様を抽出する。この模様は個人毎に異なっており、識別部39はその模様から個人を特定可能なデータ(以後、アイリスデータという)を生成する。そして、生成した被識別者のアイリスデータを予め登録されたアイリスデータと比較して、被識別者が誰であるのか、あるいは被識別者が照合しようとする人物本人であるのかを識別する。
【0006】
【発明が解決しようとする課題】
ところで、悪意を持つ者(以下、第三者という)は様々な方法で他人者になりすますものと予測される。例えば、他人のアイリスを撮影した写真を取得してその写真を眼鏡や義眼に貼り付け、その眼鏡や義眼を装着した状態で照合を受けたり、または他人の名義で登録を行ったりして他人になりすますことを試みることが考えられる。
【0007】
本発明はこのような不正を検出し、第三者が他人になりすますことができないアイリスを用いた個人識別装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
上記課題を解決するために本発明は、被識別者の目の画像を取得する撮影手段と、被識別者の視線を誘導するための誘導手段と、被識別者の視線の方向を検出する検出手段とを有し、前記誘導手段が誘導した方向と前記検出手段により検出した被識別者の視線の方向が一致したか否かを判断して、生体識別を行う。
【0009】
また、被識別者の視線が誘導する方向に動いた場合に、取得した目の画像に基づいて個人識別を行う。
【0010】
さらに、前記検出手段は、被識別者の両目の視線の方向を検出することができ、被識別者の両目の視線が誘導する方向に動いた場合に、取得した目の画像に基づいて個人識別を行う。
【0011】
本発明は、これにより、前記撮影手段により取得した目の画像が生体によるものか否かを判断でき、生体によるものと判断できる場合にのみ個人識別を行いえる。
【0012】
【発明の実施の形態】
本発明は、個別に点消灯を制御することができ、被識別者の視線を誘導するための複数の光源を有する誘導手段を設けると共に、制御部に光源の点消灯を制御する機能および被識別者の視線の方向を検出する機能を付与している。そして、制御部によって、光源の点消灯を制御しながらカメラが撮影した被識別者の目の動画像を検証し、被識別者の視線の方向を検出する。これにより、カメラが撮影した被識別者の目の画像が生体によるものか否かを判断する。
【0013】
以下、図面を参照して本発明の実施の形態を説明する。なお、各図はこの発明を理解出来る程度に概略的に示してあるにすぎない。また、各図において、共通する要素については、同一の番号を付し、説明を省略する。
【0014】
<構成について>
図1は本発明の実施の形態を示す図であり、図2は本発明の光源の構成を示す図である。
【0015】
1は被識別者の視線を誘導するための複数の光源となるLED群である。本実施例では、LED群1を、右側に視線を誘導する主LED2と、左側に視線を誘導する副LED3により構成する。
【0016】
<動作について>
同装置は以下のようにして動作する。すなわち、被識別者が読取部31に近づくと、制御部38が図示せぬセンサにより被識別者が接近したことを検知し、ライト36を点灯する。またカメラ33とディスプレイ34を起動して、カメラ33によって窓32の外の光景を撮影するとともに、撮影した画像をリアルタイムでディスプレイ34に表示する。そして、被識別者が窓32から中を覗くことによって、カメラ33は被識別者の目を撮影し、ディスプレイ34は被識別者の目の画像を表示する。このとき、被識別者は、ディスプレイ34を見ながら、目が最も鮮明に映るように顔を前後に動かして目の位置をカメラ33の焦点位置に合わせ、焦点が合ったらスタートスイッチ37を押下する。
【0017】
すると、制御部18は所定のタイミングでLED群1の主LED2と副LED3をランダムに点消灯させて、被識別者の視線を誘導する(点灯されたLEDの方に向かせる)。同時に、カメラ33が撮影した被識別者の目の画像(動画像)から被識別者の視線の方向を検出する。制御部38は、主LED2と副LED3の点消灯するタイミングとカメラ33が撮影した画像のタイミングを対応付けて管理しており、主LED2と副LED3のいずれが点灯したときに被識別者の視線がその方向を向いているのか否かを検証する。これにより、カメラ33が撮影した被識別者の目の画像が生体によるものか否かを判断する。なお、被識別者の視線の方向を検出する方法については後述する。
【0018】
制御部38は、被識別者の視線が誘導した方向通りに向いていることを検出したら、カメラ33が撮影した被識別者の目の画像が生体によるものであると判断して、カメラ33が撮影した被識別者の目の画像(動画像)から静止画像を取得し、識別部39に出力する。識別部39は被識別者の目の静止画像からアイリスの模様を抽出し、アイリスデータを生成する。そして、生成した被識別者のアイリスデータを予め登録されたアイリスデータと比較して、被識別者が誰であるのか、あるいは被識別者が照合しようとする人物本人であるのかを識別する。
【0019】
制御部38は、被識別者の視線が誘導した方向通りに向いていないことを検出したら、カメラ33が撮影した被識別者の目の画像が生体によるものでないと判断して、アラームを識別部39または図示しない外部の機器に出力する。アラームを受信した識別部39または図示しない外部の機器は、個人識別を一時中止するとともに、設備の管理者に警報を発して、以後の処理を管理者に対応させる。
【0020】
<被識別者の視線の方向を検出する方法について>
同装置は以下のようにして被識別者の視線の方向を検出する。なお、図4は右目の目尻のテンプレートを示す図であり、図5は右目の目頭のテンプレートを示す図、図6は視線の方向を検出する方法を説明する図である。
【0021】
4は右目の目尻を検出するためのテンプレートであり、5は右目の目頭を検出するためのテンプレートである。なお、図示しないが、左目用の目尻と目頭のテンプレートも同様の構成となっている。また、6はカメラ33によって撮影された右目の画像、7は右の黒目(瞳孔とアイリスからなる部分)、8はカメラ33によって撮影された左目の画像、9は左の黒目、10は右の黒目の中心と目尻との距離(以下、DRという)、11は左の黒目の中心と目尻との距離(以下、DLという)である。
【0022】
被識別者が窓32を覗いてからスタートスイッチ37を押下するまでの間に、同装置の制御部38は、カメラ33が撮影した被識別者の目の画像(図6参照)から左右の黒目の位置を検出する。これは、画像の中で特に濃度が濃く(黒く)、かつ円形になっている領域を検出することによりできる。次に、左右の目の輪郭を切り出す。これは、黒目の周囲の白目とその周囲の瞼とで濃度が濃くなり(白から黒に変わり)、かつ右目であればテンプレート4とテンプレート5(左目であれば前述の左目用のテンプレート)の形状に近似した形状となる領域を切り出すことによりできる。次に、左右の黒目を切り出すとともに、その中心位置を検出する。これは、黒目と白目とで濃度が大きく変わる領域を切り出すとともに、円形状になっている黒目の外周(すなわち、アイリスの外周)からその中心を割り出すことによりできる。次に、左右の黒目の中心位置からその目尻までの距離DRとDLを算出する。なお、このとき、算出した距離DRとDLを以後DR0およびDL0という。以上の動作は、左右同時に行ってもよいし、左右のどちらかを先に行い、他方を後から行ってもよい。
【0023】
被識別者がスタートスイッチ37を押下したら、同装置の制御部38は、所定のタイミングでLED群1の主LED2と副LED3をランダムに点消灯させて、被識別者の視線を点灯されたLEDの方に向かせる。すなわち、被識別者の視線を誘導する。このとき、カメラ33が被識別者の動きを撮影しており、制御部38はカメラ33が撮影した画像と主LED2と副LED3の点消灯するタイミングとを対応付けられて管理する。そして、制御部38は、被識別者が窓32を覗いてからスタートスイッチ37を押下するまでの間と同様の動作を行って、左右の黒目の中心位置からその目尻までの距離DRとDLを算出する。なお、このとき、算出した距離DRとDLを以後DR1およびDL1という。そして、制御部38は、DR1とDR0およびDL1とDL0の差分を算出して左右の目の視線がどちらの方向に動いているのかを検出する。
【0024】
すなわち、“DR1−DR0”が0よりも大きければ右目の視線が被識別者から見て左側に動いたことになり、“DR1−DR0”が0であれば右目の視線が動かなかったことになり、“DR1−DR0”が0よりも小さければ右目の視線が被識別者から見て右側に動いたことになる。同様に、“DL1−DL0”が0よりも大きければ左目の視線が被識別者から見て右側に動いたことになり、“DL1−DL0”が0であれば左目の視線が動かなかったことになり、“DL1−DL0”が0よりも小さければ左目の視線が被識別者から見て左側に動いたことになる。
【0025】
制御部38は、このようにして左右の目の視線がどちらの方に向いているのかを検出するとともに、検出した視線の方向が視線を誘導した方向と合致するのかを検出する。例えば、被識別者の視線を右側に誘導した場合、このとき、撮影した目の画像は、“DR1−DR0”が0より小さくなり、しかも“DL1−DL0”が0より大きくなる。また、このとき、LED群1は主LED2が点灯したことになる。制御部38はこれらの条件を満たしているのか否かを検証する。
【0026】
制御部38は、被識別者の視線が誘導した方向通りに向いていることを検出したら、カメラ33が撮影した被識別者の目の画像が生体によるものであると判断して、カメラ33が撮影した被識別者の目の画像(動画像)から静止画像を取得し、識別部39に出力する。
【0027】
制御部38は、被識別者の視線が誘導した方向通りに向いていないことを検出したら、カメラ33が撮影した被識別者の目の画像が生体によるものでないと判断して、アラームを識別部39または図示しない外部の機器に出力する。
【0028】
なお、本実施例では、両目とも正常な人であれば左右の目の視線がともに同じ方向を向く特性を利用するために、左右の目の視線がともに同じ方向(誘導する方向)に向いているのか否かを検証するようにした。しかしながら、片方の目しか正常でない人の場合は左右の目のどちらかしか動かない。そこで、このような場合を想定して以下のように構成することもできる。
【0029】
すなわち、制御部38が動いた方の目が正しく誘導した方向に向いたか否かを検証し、誘導した方向通りに向いていることを検出したら、動いた方の目に基づいて識別部39で個人識別を行う。その際に、例えば被識別者が片方の目しか正常でない旨のデータが識別部39または図示しない外部の機器に予め登録されていたら、個人識別の結果をもって識別処理を終了する。動いた方の目が誘導した方向通りに向いていないことを検出したり、被識別者が片方の目しか正常でない旨のデータが登録されていないときには、アラームを識別部39または図示しない外部の機器に出力する。そして、アラームを受信した識別部39または図示しない外部の機器は、個人識別を一時中止するとともに、設備の管理者に警報を発して、以後の処理を管理者に対応させる。
【0030】
なお、本発明は本実施例に限定されることなく、本発明の要旨を逸脱しない範囲で種々の応用及び変形が考えられる。例えば、本実施例では、LED群1をディスプレイ34の表示面上に設置したが、ディスプレイ34の周囲に設置することも可能である。また、LED群1を、左右2つのLEDにより構成したが、上下方向や斜め方向に配置したLEDにより構成することも可能である。さらに、LED群1を用いなくても、被識別者の目の画像と光を発する画像とを合成してディスプレイ34に表示するようにすることも可能である。本発明はこれらの構成を含む。
【0031】
【発明の効果】
以上説明した本発明には、次の効果がある。すなわち、本発明は被識別者の生体反応を検出しているので、カメラによって取得した目の画像が生体によるものか否かを判断でき、生体によるものと判断できる場合にのみ個人識別を行いえる。そのため、第三者が他人になりすますことを検出でき、様々な不正を防止することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態を示す図である。
【図2】光源の構成を示す図である。
【図3】従来装置の構成を示す図である。
【図4】右目の目尻のテンプレートを示す図である。
【図5】右目の目頭のテンプレートを示す図である。
【図6】視線の方向を検出する方法を説明する図である。
【符号の説明】
1 LED群
31 読取部
32 窓
33 カメラ
34 ディスプレイ
35 ハーフミラー
36 ライト
37 スタートスイッチ
38 制御部
39 識別部

Claims (4)

  1. 被識別者の目の画像を取得する撮影手段と、
    被識別者の視線を誘導するための誘導手段と、
    被識別者の視線の方向を検出する検出手段とを有し、
    前記誘導手段が誘導した方向と前記検出手段により検出した被識別者の視線の方向が一致したか否かを判断して、生体識別を行うことを特徴とする生体識別装置。
  2. 前記誘導手段は、個別に点消灯を制御可能な複数の光源により構成され、該光源を点消灯させて、被識別者の視線を誘導する請求項1記載の生体識別装置。
  3. 前記検出手段は、被識別者の少なくとも一方の目の視線を検出することができ、被識別者の視線の方向が前記誘導手段が誘導した方向と一致した場合に生体として識別する請求項1記載の生体識別装置。
  4. 前記検出手段は、前記取得した目の画像にて、黒目の中心から目尻または目頭までの距離を算出して視線方向を検出する請求項1記載の生体識別装置。
JP25645298A 1998-09-10 1998-09-10 生体識別装置 Expired - Fee Related JP3562970B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25645298A JP3562970B2 (ja) 1998-09-10 1998-09-10 生体識別装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25645298A JP3562970B2 (ja) 1998-09-10 1998-09-10 生体識別装置

Publications (2)

Publication Number Publication Date
JP2000083930A JP2000083930A (ja) 2000-03-28
JP3562970B2 true JP3562970B2 (ja) 2004-09-08

Family

ID=17292854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25645298A Expired - Fee Related JP3562970B2 (ja) 1998-09-10 1998-09-10 生体識別装置

Country Status (1)

Country Link
JP (1) JP3562970B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104781830A (zh) * 2012-11-19 2015-07-15 虹膜技术公司 活人眼睛的识别方法及识别装置
US9477828B2 (en) 2013-04-15 2016-10-25 Omron Corporation Authentication device, authentication method and non-transitory computer-readable recording medium

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100320188B1 (ko) * 1999-03-23 2002-01-10 구자홍 홍채인식 시스템의 위조 판별방법
JP4846891B2 (ja) * 2000-04-12 2011-12-28 沖電気工業株式会社 電子機器
JP4529263B2 (ja) * 2000-09-18 2010-08-25 沖電気工業株式会社 アイリス認識装置
JP2003141516A (ja) 2001-10-31 2003-05-16 Matsushita Electric Ind Co Ltd 虹彩撮像装置及び虹彩認証装置
GB0316631D0 (en) * 2003-07-16 2003-08-20 Omniperception Ltd Facial liveness assessment system
US8705808B2 (en) 2003-09-05 2014-04-22 Honeywell International Inc. Combined face and iris recognition system
US8098901B2 (en) 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US8049812B2 (en) 2006-03-03 2011-11-01 Honeywell International Inc. Camera with auto focus capability
US8090157B2 (en) 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
US8064647B2 (en) 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
US8442276B2 (en) 2006-03-03 2013-05-14 Honeywell International Inc. Invariant radial iris segmentation
US8085993B2 (en) 2006-03-03 2011-12-27 Honeywell International Inc. Modular biometrics collection system architecture
US7593550B2 (en) 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
JP2006136450A (ja) * 2004-11-11 2006-06-01 Matsushita Electric Ind Co Ltd 虹彩認証装置
JP4687097B2 (ja) * 2004-12-16 2011-05-25 株式会社国際電気通信基礎技術研究所 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
KR101299074B1 (ko) 2006-03-03 2013-08-30 허니웰 인터내셔널 인코포레이티드 홍채 인코딩 시스템
AU2007220010B2 (en) 2006-03-03 2011-02-17 Gentex Corporation Single lens splitter camera
DE602007007062D1 (de) 2006-03-03 2010-07-22 Honeywell Int Inc Iriserkennungssystem mit bildqualitätsmetrik
EP1991947B1 (en) 2006-03-03 2020-04-29 Gentex Corporation Indexing and database search system
JP2008000464A (ja) * 2006-06-23 2008-01-10 Glory Ltd 認証装置および認証方法
US8063889B2 (en) 2007-04-25 2011-11-22 Honeywell International Inc. Biometric data collection system
US8436907B2 (en) 2008-05-09 2013-05-07 Honeywell International Inc. Heterogeneous video capturing system
US8213782B2 (en) 2008-08-07 2012-07-03 Honeywell International Inc. Predictive autofocusing system
US8090246B2 (en) 2008-08-08 2012-01-03 Honeywell International Inc. Image acquisition system
US8280119B2 (en) 2008-12-05 2012-10-02 Honeywell International Inc. Iris recognition system using quality metrics
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
US8630464B2 (en) 2009-06-15 2014-01-14 Honeywell International Inc. Adaptive iris matching using database indexing
US8742887B2 (en) 2010-09-03 2014-06-03 Honeywell International Inc. Biometric visitor check system
US10515262B2 (en) 2014-10-15 2019-12-24 Nec Corporation Spoofing detection device, spoofing detection method, and recording medium
CN109300145B (zh) * 2018-08-20 2020-06-16 彭楷文 自适应智能伪装系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104781830A (zh) * 2012-11-19 2015-07-15 虹膜技术公司 活人眼睛的识别方法及识别装置
CN104781830B (zh) * 2012-11-19 2018-02-02 虹膜技术公司 活人眼睛的识别方法及识别装置
US9477828B2 (en) 2013-04-15 2016-10-25 Omron Corporation Authentication device, authentication method and non-transitory computer-readable recording medium

Also Published As

Publication number Publication date
JP2000083930A (ja) 2000-03-28

Similar Documents

Publication Publication Date Title
JP3562970B2 (ja) 生体識別装置
CN103106401B (zh) 一种具有人机交互机制的移动终端虹膜识别装置
WO2006088042A1 (ja) 生体判別装置および認証装置ならびに生体判別方法
KR100601963B1 (ko) 시선을 이용한 인증 장치 및 그 방법
US20050084137A1 (en) System and method for iris identification using stereoscopic face recognition
JP6560989B2 (ja) 生体認証装置およびその制御方法
US6299306B1 (en) Method and apparatus for positioning subjects using a holographic optical element
EP2005888A2 (en) Imaging device and authentication device using the same
JP2005149515A (ja) 赤外線を用いた人間識別装置およびその方法
JP2002352235A (ja) 虹彩認識システムの焦点距離を合わせる装置及び方法
JP2002342750A (ja) 虹彩認識システムの焦点角度及び距離表示装置
JP2006338236A (ja) 眼画像撮影装置およびそれを用いた認証装置
CN108140114A (zh) 虹膜识别
JP2007319175A (ja) 撮影装置およびそれを用いた認証装置
EP1536375A1 (en) Image input device and authentication device using the same
JP3808014B2 (ja) 目画像撮像装置および個体認証装置
JP2007041831A (ja) 生体判別装置および認証装置ならびに生体判別方法
JP2009015518A (ja) 眼画像撮影装置及び認証装置
KR102160137B1 (ko) 특징점 변동을 이용한 위조 얼굴 판별장치 및 그 방법
JP2003187235A (ja) 指静脈認識装置
JP2006318374A (ja) 眼鏡判別装置および認証装置ならびに眼鏡判別方法
JPH11191856A (ja) 撮像装置および撮像方法
JP2023153341A (ja) 虹彩認証装置及び虹彩認証方法
JP2006136450A (ja) 虹彩認証装置
KR20110006062A (ko) 얼굴 인식 시스템 및 얼굴 인식 방법

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040601

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees