JP3813023B2 - アイリス認識装置 - Google Patents

アイリス認識装置 Download PDF

Info

Publication number
JP3813023B2
JP3813023B2 JP23080498A JP23080498A JP3813023B2 JP 3813023 B2 JP3813023 B2 JP 3813023B2 JP 23080498 A JP23080498 A JP 23080498A JP 23080498 A JP23080498 A JP 23080498A JP 3813023 B2 JP3813023 B2 JP 3813023B2
Authority
JP
Japan
Prior art keywords
iris
identified person
code
person
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23080498A
Other languages
English (en)
Other versions
JP2000060825A (ja
Inventor
義尚 梅澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP23080498A priority Critical patent/JP3813023B2/ja
Publication of JP2000060825A publication Critical patent/JP2000060825A/ja
Application granted granted Critical
Publication of JP3813023B2 publication Critical patent/JP3813023B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、生体的特徴を用いた個人認識装置、特に人間の目の中の虹彩(アイリス)の模様によって個人認識を行う個人認識装置に関する。
【0002】
【従来の技術】
アイリス認識装置は、人間の目の中の虹彩(アイリス)の模様から個人を特定しえる特徴量を抽出してコード化し、このコード化した特徴量(以下、アイリスコードという)を用いて個人認識を行う。同装置は、部屋に出入りする人物を管理する入退室管理装置や金融機関に設置される入出金装置等のシステムに組み込んで用いる。
【0003】
以下に、従来のアイリス認識装置を図面を用いて説明する。図2は従来のアイリス認識装置の一例を示す機能ブロック図である。図中、1はアイリス認識装置であり、2は制御部、3は光学部、4は表示部、5は入力部である。制御部2は、装置全体の制御や画像のキャプチャ、認識処理全般を行う。光学部2は、エリアセンサ、カメラ、照明等から構成され、認識対象となるアイリスの画像を撮影する。表示部4は、CRTやLCD、状態表示用LED等から構成され、撮影したアイリスの映像や認識結果等を表示する。入力部5は、キーボードやカードリーダ等から構成され、個人に関する諸データやIDコード等を入力する。
【0004】
同装置1は、登録モードと照合モードの2つのモードにおいて動作する。登録モードとは、被識別者のアイリスデータを同装置1に登録するモードであり、通常、オペレータが被識別者に付き添い、オペレータの操作のもとに処理が行われる。照合モードとは、被識別者が同装置1を組み込んだシステムのサービスを受けるために、被識別者自身のアイリスコードと予め登録されたアイリスコードとを照合するモードである。なお、照合モードには被識別者が自分のIDコード等を装置に入力してから照合を行う1:1照合と、IDコード等を装置に入力せずに照合を行う1:n照合が存在するが、ここでは説明の簡略化のため1:1照合を例にして説明する。また、ここでは、登録モードと照合モードをともに行い得る装置を例示して説明する。
【0005】
図3は、従来技術の登録モードのフローチャートである。
【0006】
アイリス認識装置1は、オペレータによって所定の手順により登録モードとして起動される(ステップ21)。すなわち、同装置1の光学部3のカメラが動画像の撮影を開始するとともに、同装置1の表示部4がカメラによって撮影された動画像を表示する。次に、オペレータまたは被識別者によって入力部5から被識別者のIDコードが入力され(ステップ22)、被識別者が同装置1のカメラに顔を近づける。
【0007】
オペレータは、カメラによって撮影され表示部4に表示されている被識別者の顔(特に目の周囲)の動画像を見ながら、個人識別に適したアイリスコードが取得できると思われる画像が表示されたときに、図示せぬスタートスイッチを押下する。すると、同装置1の制御部2は、被識別者の顔の動画像からスタートスイッチが押下された瞬間の静止画像を取得し(ステップ23)、その静止画像からアイリスの内外縁の境界を検出して、アイリスの切出しを行う(ステップ24)。そして、切出したアイリスの画像から所定の特徴量を抽出してコード化し、アイリスコードを生成する(ステップ25)。
【0008】
同装置1の制御部2は、生成したアイリスコードを標準的なパターンと比較し、このアイリスコードが個人認識が可能な程の顕著性を有しているのか否かを判定する(ステップ26)。判定結果がOKの場合、すなわち個人認識が可能な程の顕著性を有していると判断される場合にはステップ27に進み、NGの場合、すなわち個人認識が可能な程の顕著性を有していないと判断される場合には再度ステップ23に戻り、ステップ23以降のステップを繰り返す。
【0009】
判定結果がOKの場合、生成したアイリスコードを被識別者のIDコードと対応付けて、制御部2の中の図示せぬデータベースあるいは同装置1の外部に設けられた図示せぬデータベースに個人認識用のアイリスコードとして登録し、終了する(ステップ27、28)。
【0010】
図4は、従来技術の照合モードのフローチャートである。
【0011】
同装置1は、予め、オペレータによって所定の手順により照合モードとして起動されている(ステップ31)。同装置1は、被識別者が接近するとエリアセンサによって被識別者が接近したことを検知し、カメラが動画像の撮影を開始するとともに、同装置1の表示部4がカメラによって撮影された動画像を表示する。次に、被識別者によって入力部5から被識別者のIDコードが入力され(ステップ32)、被識別者が同装置1のカメラに顔を近づける。
【0012】
被識別者は、カメラによって撮影され表示部4に表示されている被識別者の顔(特に目の周囲)の動画像を見ながら、個人識別に適したアイリスコードが取得できると思われる画像が表示されたときに、図示せぬスタートスイッチを押下する。すると、同装置1の制御部2は、被識別者の顔の動画像からスタートスイッチが押下された瞬間の静止画像を取得し(ステップ33)、その静止画像からアイリスの内外縁の境界を検出して、アイリスの切出しを行う(ステップ34)。そして、切出したアイリスの画像から所定の特徴量を抽出してコード化し、アイリスコードを生成する(ステップ35)。
【0013】
同装置1の制御部2は、ステップ32において入力された被識別者のIDコードに基づいてデータベースに登録されている被識別者のデータ群にアクセスし、生成したアイリスコードとデータベース中に登録されているアイリスコードを照合する(ステップ36)。すなわち、入力された被識別者自身のアイリスコードと予め登録された被識別者のアイリスコードの類似度を演算する。そして、両アイリスコードの類似度が所定のしきい値以上であるのか否かを判定し、類似度が所定のしきい値以上である場合をOKとし、類似度が所定のしきい値未満である場合をNGとする(ステップ37)。判定結果がOKの場合、すなわち両アイリスコードが合致すると判断される場合にはステップ38に進み、NGの場合、すなわち両アイリスコードが合致しないと判断される場合には再度ステップ33に戻り、ステップ33以降のステップを繰り返す。
【0014】
判定結果がOKの場合、同装置1の制御部2は、同装置1が組み込まれているシステムの図示せぬ制御部に、被識別者が予め登録された被識別者本人である旨を出力し、終了する(ステップ38、39)。
【0015】
なお、本フローチャートでは、照合の判定結果がNGであり続ける場合に無限ループの構成になっているが、実際にはループをまわる回数をあらかじめ決めておき、ある回数以上判定結果がNGとなったときに処理を中止するようにする。
【0016】
【発明が解決しようとする課題】
ところで、上記構成のアイリス認識装置1は、登録または照合の判定結果がNGになる場合に、NGになる原因がどのようなものであるのかを考慮することなく、単純にアイリス画像の入力動作を繰り返させている。そのため、判定結果がなかなかOKにならず、被識別者を長時間待たせたり、ときには最後までOKにならないことがある。
【0017】
【課題を解決するための手段】
上記課題を解決するために本発明は、撮影した被識別者の目の画像から被識別者を照合することが可能なコードを生成し、当該コードを登録するまたは当該コードを用いて被識別者を認識するアイリス認識装置において、撮影した被識別者の目の画像から生成するコードが照合に不適切なものとなる場合に、予め登録されたデータに基づいて不適切になる原因を算出するNG原因分析手段と、算出された原因を解消するための動作を被識別者に促す指示を表示する表示手段とを有する。
【0018】
本発明は、NGとなる原因を解消するための動作を被識別者に促す指示を表示することができ、これにより、良好なアイリス画像を短時間のうちに取り直しできる。
【0019】
【発明の実施の形態】
本発明は、アイリスコードの登録モードまたは照合モードにおいて、NGとなる原因を予め導き出しておき、NGとなる度に、NGがどのような原因によるものかを算出するようにする。そして、算出したNGとなる原因を解消するための動作を被識別者に促す指示を表示する。
【0020】
以下、本発明の実施の形態を図面を参照して説明する。なお、各図はこの発明を理解出来る程度に概略的に示してあるにすぎない。また、各図において、共通する要素については、同一の番号を付す。また、本発明は、オペレータが付き添って処理を行う登録モードよりも、オペレータが付き添わない照合モードにおいて特に有効であるので、照合モードを例にして説明する。
【0021】
<構成について>
以下、アイリス認識装置の構成について図5を用いて説明する。図5は本発明に係るアイリス認識装置の構成を示す図である。
【0022】
図中、1はアイリス認識装置であり、2は制御部、4は表示部、5は入力部、6はブザー、7はカメラ、8は窓、9はハーフミラー、10は照明、11はスタートスイッチである。なお、前述の光学部3はカメラ7と照明10等によって構成される。また、図中のアイリス認識装置1は、制御部2、光学部3、表示部4を1つの筐体内に収納した構成となっているが、これらを1つの筐体内に収納しない構成とすることも可能である。
【0023】
図に示するように、アイリス認識装置1は、被識別者が覗くための窓8が筐体に設けられており、その奥にはハーフミラー9が設けられている。また、窓の外の光景を撮影するカメラ7と、カメラ7が撮影した画像をリアルタイムで表示する表示部4が設けられている。その上、窓8を覗いている被識別者の目に向けて光を照射する照明10が設けられている。なお、図中の矢印は窓8から装置内に入った光(すなわち、窓8の外の光景)の流れを示している。例えば、被識別者が窓8から装置1の中を覗くと、被識別者の目の周囲の画像(動画像)は、ハーフミラー9によって回折されて矢印に沿ってカメラ7に導かれ、カメラ7によって撮影される。撮影された動画像は、制御部2を介して表示部4に表示され、被識別者はハーフミラー9を介して表示部4に表示される画像を見ることができる。
【0024】
<動作について>
以下、アイリス認識装置1の動作について図1を用いて説明する。図1は本発明の実施の形態に係る照合モードのフローチャートである。
【0025】
同装置1は、予め、オペレータによって所定の手順により照合モードとして起動されている(ステップ1)。同装置1は、被識別者が接近するとエリアセンサ7によって被識別者が接近したことを検知し、カメラ7が動画像の撮影を開始するとともに、同装置1の表示部4がカメラ7によって撮影された動画像を表示する。次に、被識別者によって入力部5から被識別者のIDコードが入力され(ステップ2)、被識別者が同装置1のカメラ7に顔を近づける。
【0026】
被識別者は、カメラ7によって撮影され表示部4に表示されている被識別者の顔(特に目の周囲)の動画像を見ながら、個人識別に適したアイリスコードが取得できると思われる画像が表示されたときに、スタートスイッチ11を押下する。すると、同装置1の制御部2は、被識別者の顔の動画像からスタートスイッチ11が押下された瞬間の静止画像を取得し(ステップ3)、その静止画像からアイリスの内外縁の境界を検出して、アイリスの切出しを行う(ステップ4)。そして、切出したアイリスの画像から所定の特徴量を抽出してコード化し、アイリスコードを生成する(ステップ5)。
【0027】
同装置1の制御部2は、ステップ2において入力された被識別者のIDコードに基づいてデータベースに登録されている被識別者のデータ群にアクセスし、生成したアイリスコードとデータベース中に登録されているアイリスコードを照合する(ステップ6)。すなわち、入力された被識別者自身のアイリスコードと予め登録された被識別者のアイリスコードの類似度を演算する。そして、両アイリスコードの類似度が所定のしきい値以上であるのか否かを判定し、類似度が所定のしきい値以上である場合をOKとし、類似度が所定のしきい値未満である場合をNGとする(ステップ7)。判定結果がOKの場合、すなわち両アイリスコードが合致すると判断される場合にはステップ8に進み、NGの場合、すなわち両アイリスコードが合致しないと判断される場合にはステップ10に進む。
【0028】
判定結果がOKの場合、同装置1の制御部2は、同装置1が組み込まれているシステムの図示せぬ制御部に、被識別者が予め登録された被識別者本人である旨を出力し、終了する(ステップ8、9)。
【0029】
判定結果がNGの場合、同装置1の制御部2はNGの原因分析を行う。すなわち、NGはどのような原因によって生じ、NGを解消するために被識別者にどのような動作を行わせる必要があるのかを分析する(ステップ10)。なお、NGの原因分析の詳細については後述する。次に、NGを解消するための動作を被識別者に促す指示を表示部3に表示した(ステップ11)後、再度ステップ3に戻り、ステップ3以降のステップを繰り返す。
【0030】
なお、本フローチャートでは、照合の判定結果がNGであり続ける場合に無限ループの構成になっているが、実際にはループをまわる回数をあらかじめ決めておき、ある回数以上判定結果がNGとなったときに処理を中止するようにする。
【0031】
<NGの原因分析について>
以下、NGの原因分析について図6〜図7を用いて説明する。図6は良好なアイリスデータを抽出可能な目の静止画像を示す図であり、図7は良好なアイリスデータを抽出することができない目の静止画像を示す図である。図中の枠線は表示部4の画面を表しており、また図中の中央付近の画像はカメラ7によって撮影され表示部4に表示された被識別者の目を示している。
【0032】
照合時におけるNGの原因は、例えば以下のものがある。
(1)目が十分に開いていない。
(2)焦点の合った画像が得られていない。
(3)照明の反射がアイリスに映り込んでいる。
(4)アイリスが画面の中央に写っていない。
(5)登録データが適切でない。
【0033】
上記(1)は、被識別者の目の静止画像が図7のように、被識別者の目の中の黒目がつぶれている場合に判定される。このような判定は、例えば図6に示されるように良好なアイリスデータを抽出可能な静止画像であれば、黒目はほぼ円形になるので横に対する縦の割合はほぼ1となるのに対し、図7のように、黒目がつぶれている場合であれば、黒目の横に対する縦の割合が1よりも小さくなるので、制御部2が黒目の横に対する縦の割合が1よりも小さいか否かを検出することによって行うことができる。または、制御部2が黒目の縦の絶対値が予め定められた所定の値よりも小さいか否かを検出することによって行うことができる。
【0034】
上記(2)は、被識別者の目の静止画像の中の線の輪郭がはっきりとせずにぼやけている場合に判定される。このような判定は、例えば線の輪郭を切出す際に、制御部2が静止画像の色の濃い部分と淡い部分のコントラスト値の差異が所定の値以上になっているのか否かを検出することによって行うことができる。
【0035】
上記(3)は、被識別者の目の静止画像の中の黒目の中に輝度が異常に高い(明るい)部分がある場合に判定される。このような判定は、静止画像の中から黒目の部分(輝度が一番低い部分)を検出し、その中に予め定めた所定の値以上に明るい部分があるのか否かを検出することによって行うことができる。
【0036】
上記(4)は、被識別者の目の静止画像の中の被識別者の目が画面の中央から外れた位置にある場合に判定される。このような判定は、静止画像の中から黒目の部分(輝度が一番低い部分)を検出し、その位置が画面の中央付近(予め領域が定められている)に収まっているのか否かを検出することによって行うことができる。
【0037】
上記(5)は、照合時に取得された静止画像は良好であるが、登録時に取得されたアイリスコードが不適切である可能性がある場合、すなわち、上記(1)〜(4)のいずれにも該当しておらず、かつ照合結果がOKにならない場合に判定される。このような場合、制御部2はシステムの管理者にアラームを発し、管理者に対応させる。
【0038】
ところで、上記(1)〜(4)に該当する場合に、制御部2は、図7に示すように、NGを解消するための動作を被識別者に促す指示を表示部3に表示させる。例えば、上記(1)の場合、「目を大きく開けて下さい」と表示する。上記(2)の場合、「顔を静止した状態でスイッチを押して下さい」と表示する。上記(3)の場合、「照明の反射が目にかからないように、顔の位置をずらして下さい」と表示する。上記(4)の場合、「画面の中央に目が来るように、顔の位置をずらして下さい」と表示する。このように表示することによって、再度アイリスの画像を入力するときに、被識別者がNGとなった原因を回避するように行動することを期待できる。そのため、再度アイリスの画像を入力するときには、前回に比べてOKとなる確率を高くすることができる。
【0039】
<変形例について>
上記のフローチャートでは、NGの原因分析をステップ6の後に行うようにしているが、ステップ3〜ステップ5のいずれかの後に行うようにすることも可能である。本発明はこのようなものも含むものである。
【0040】
【発明の効果】
以上説明した本発明には、次の効果がある。すなわち、本発明は、NGとなる原因を解消するための動作を被識別者に促す指示を表示することができ、これにより、良好なアイリス画像を短時間のうちに取り直しできる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る照合モードのフローチャートである。
【図2】従来のアイリス認識装置の機能ブロック図である。
【図3】従来のアイリス認識装置の登録モードのフローチャートである。
【図4】従来のアイリス認識装置の照合モードのフローチャートである。
【図5】本発明に係るアイリス認識装置の構成を示す図である。
【図6】表示例を示す図である。
【図7】表示例を示す図である。
【符号の説明】
1 アイリス認識装置
2 制御部
4 表示部
5 入力部
6 ブザー
7 カメラ
8 窓
9 ハーフミラー
10 照明
11 スタートスイッチ

Claims (1)

  1. 撮影した被識別者の目の画像から被識別者を照合することが可能なコードを生成し、当該コードを登録するまたは当該コードを用いて被識別者を認識するアイリス認識装置において、
    撮影した被識別者の目の画像から生成するコードが照合に不適切なものとなる場合に、予め登録されたデータに基づいて不適切になる原因を算出するNG原因分析手段と、
    算出された原因を解消するための動作を被識別者に促す指示と、前記不適切になる原因を有する被識別者の目の画像とを表示する表示手段とを有することを特徴とするアイリス認識装置。
JP23080498A 1998-08-17 1998-08-17 アイリス認識装置 Expired - Fee Related JP3813023B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23080498A JP3813023B2 (ja) 1998-08-17 1998-08-17 アイリス認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23080498A JP3813023B2 (ja) 1998-08-17 1998-08-17 アイリス認識装置

Publications (2)

Publication Number Publication Date
JP2000060825A JP2000060825A (ja) 2000-02-29
JP3813023B2 true JP3813023B2 (ja) 2006-08-23

Family

ID=16913544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23080498A Expired - Fee Related JP3813023B2 (ja) 1998-08-17 1998-08-17 アイリス認識装置

Country Status (1)

Country Link
JP (1) JP3813023B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002150274A (ja) * 2000-11-07 2002-05-24 Masayuki Makita 携帯無線端末及びそれを用いた認証方法
JP2002297550A (ja) * 2001-03-30 2002-10-11 Mitsubishi Electric Corp 個人識別支援システム
JP3586456B2 (ja) * 2002-02-05 2004-11-10 松下電器産業株式会社 個人認証方法および個人認証装置
KR100954640B1 (ko) 2002-02-05 2010-04-27 파나소닉 주식회사 개인인증방법 및 개인인증장치
JP3879719B2 (ja) * 2003-08-22 2007-02-14 松下電器産業株式会社 画像入力装置およびそれを用いた認証装置
JP4515850B2 (ja) * 2004-07-30 2010-08-04 富士通株式会社 生体認証装置の誘導画面制御方法、生体認証装置及びそのプログラム
JP2007257040A (ja) * 2006-03-20 2007-10-04 Oki Electric Ind Co Ltd バイオメトリクス認証装置およびバイオメトリクス認証システム
JP4862519B2 (ja) * 2006-06-29 2012-01-25 株式会社ニコン ユーザ認識装置、再生システムおよびテレビジョンセット
JP5276315B2 (ja) 2007-12-21 2013-08-28 キヤノン株式会社 認証システム、情報処理装置および制御方法
JP7088283B2 (ja) * 2017-08-30 2022-06-21 日本電気株式会社 虹彩照合システム、虹彩照合方法及び記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4641349A (en) * 1985-02-20 1987-02-03 Leonard Flom Iris recognition system
JP3902664B2 (ja) * 1996-06-06 2007-04-11 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 個人識別
JP3337913B2 (ja) * 1996-06-19 2002-10-28 沖電気工業株式会社 虹彩の撮像方法及びその撮像装置

Also Published As

Publication number Publication date
JP2000060825A (ja) 2000-02-29

Similar Documents

Publication Publication Date Title
CN110491004B (zh) 一种居民社区人员安全管理系统及方法
US5956122A (en) Iris recognition apparatus and method
AU2006200828B2 (en) Face authenticating apparatus and entrance and exit management apparatus
EP0989517B1 (en) Determining the position of eyes through detection of flashlight reflection and correcting defects in a captured frame
JP3974375B2 (ja) 人物認識装置、人物認識方法および通行制御装置
US7136513B2 (en) Security identification system
EP1533744A2 (en) Apparatus and method for human distinction using infrared light
EP1840795A1 (en) Face image read apparatus and method, and entrance/exit management system
JP2000105830A (ja) 個人識別装置
JP2007135149A (ja) 移動携帯端末
WO2008060496A2 (en) Security identification system
CN102567665A (zh) 对无线设备的功能的受控访问
US20140071293A1 (en) Method and device for authintication of live human faces using infra red images
JP2000083930A (ja) アイリスを用いた個人識別装置
JPWO2020075307A1 (ja) 装置、方法及びプログラム
JP3813023B2 (ja) アイリス認識装置
JP2005084815A (ja) 顔認識装置、顔認識方法および通行制御装置
JP2007272810A (ja) 人物認識システム、通行制御システム、人物認識システムの監視方法、および、通行制御システムの監視方法
JPWO2020075306A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP4862518B2 (ja) 顔登録装置、顔認証装置および顔登録方法
JP2004038305A (ja) 個人識別装置
KR20200080533A (ko) 특징점 변동을 이용한 위조 얼굴 판별장치 및 그 방법
WO2003054777A1 (en) Iris registration and recognition system
KR20030091345A (ko) 살아있는 얼굴의 진위 여부 검사 시스템 및 그 방법
CN110910548A (zh) 一种人证合一通行验证系统及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060530

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090609

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100609

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100609

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120609

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees