JPH0937147A - 視覚装置 - Google Patents

視覚装置

Info

Publication number
JPH0937147A
JPH0937147A JP7213894A JP21389495A JPH0937147A JP H0937147 A JPH0937147 A JP H0937147A JP 7213894 A JP7213894 A JP 7213894A JP 21389495 A JP21389495 A JP 21389495A JP H0937147 A JPH0937147 A JP H0937147A
Authority
JP
Japan
Prior art keywords
camera
light
light source
illumination light
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7213894A
Other languages
English (en)
Other versions
JP4019182B2 (ja
Inventor
Kenichi Nonaka
賢一 野中
Masaaki Abe
正明 阿部
Kichizo Saito
吉三 斉藤
Seiichi Yokoyama
誠一 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP21389495A priority Critical patent/JP4019182B2/ja
Priority to US08/675,163 priority patent/US6067110A/en
Publication of JPH0937147A publication Critical patent/JPH0937147A/ja
Application granted granted Critical
Publication of JP4019182B2 publication Critical patent/JP4019182B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【目的】 霧、煙、粉塵等のエアロゾル中にあっても良
好な撮像画像を得るようにする。 【構成】 照明用光源によって照明される領域を撮像す
る第1のカメラと、その第1のカメラとは感度が異なる
波長帯域で同一方を撮像する第2のカメラと、第1およ
び第2の各カメラによってそれぞれ撮像された画像を合
成する手段とをそなえ、照明用光源から発せられる照明
光の開き角および第1のカメラの1画素の視野角が、照
明光の光軸と照明領域からの反射光の光軸とのなす角よ
りも小さくなるような関係をもって、照明用光源と第1
のカメラとを配設する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、カメラによって撮像し
た画像によって撮像領域を認識する視覚装置に関する。
【0002】
【従来の技術】従来、ビデオカメラを車両に搭載して、
前方領域をビデオカメラにより撮像して、その撮像画像
から障害物を認識するようにしている(特開平6−21
5300号公報参照)。
【0003】しかし、ビデオカメラによるのでは、霧中
などでは車両のヘッドライトを点灯しても前方領域の撮
像をなすことができない。
【0004】すなわち、例えば、図8に示すように、照
明光LLの開き角度6が比較的広いヘッドライト4によ
り前方の領域を照明し、その照明領域からの反射光RL
をビデオカメラ2によって受光して照明領域の撮像をな
す場合、照明領域に霧、煙、粉塵等のエアロゾルZが存
在すると、照明光LLがそのエアロゾルZによって散乱
されてしまい、その散乱光のなかのビデオカメラ2の受
光部に向かう光Nがビデオカメラ2にノイズとなって受
光される。また、エアロゾルZを通過した照明光LLの
一部が照明領域にある物体3を照射するが、その反射光
RLもさらにエアロゾルZによって散乱されて減衰し、
反射光RLのうちのわずかな光しかビデオカメラ2によ
って受光されなくなる。
【0005】したがって、照明領域におけるエアロゾル
Zの量が多くなるにしたがって、ノイズが増えて、照明
領域からの反射光RLの受光量が減り、照明光LLの光
強度を上げてもビデオカメラ2によって照明領域の撮像
をなすことが困難になってしまう。
【0006】また、従来、赤外線カメラを車両に搭載し
て、前方領域を赤外線カメラにより撮像して、その撮像
画像から障害物を認識するようにしている(特開昭54
−92117号公報参照)。
【0007】しかし、赤外線カメラによるのでは、夜間
や霧中などでも人間や自動車などの赤外線の放射量の多
い物体を比較的良好に認識することはできても、前方道
路を認識しようとする場合、赤外線の放射量の少ない路
面や道路構造物を明瞭に認識することができず、特に道
路上の白線などの認識をなすことが困難である。
【0008】
【発明が解決しようとする課題】解決しようとする問題
点は、従来のビデオカメラを用いた視覚装置では、霧、
煙、粉塵等のエアロゾル中では前方領域を撮像すること
ができない。また、赤外線カメラを用いた視覚装置で
は、赤外線の放射量の少ない物体を認識することができ
ないということである。
【0009】
【課題を解決するための手段】本発明は、霧、煙、粉塵
等のエアロゾル中にあっても良好な撮像画像を得ること
ができるようにするべく、照明用光源によって照明され
る領域を撮像する第1のカメラと、その第1のカメラと
は感度が異なる波長帯域で同一方を撮像する第2のカメ
ラとをそなえ、第1および第2の各カメラによってそれ
ぞれ撮像された画像を合成する手段をとるようにしてい
る。
【0010】その際、特に本発明では、第1のカメラに
可視光または近赤外線の周波数帯域に感度を示すものを
用いたうえで、照明用光源から発せられろ照明光の開き
角および第1のカメラの1画素の視野角が、照明光の光
軸とその照明光が照射される物体からの第1のカメラへ
の反射光の光軸とのなす角よりも小さくなるように、照
明用光源と第1のカメラとを設置する際の相対的な関係
を工夫して、霧、煙、粉塵等のエアロゾル中にあって
も、第1のカメラによりエアロゾルによる散乱ノイズに
対してSN比の高い反射光を得て照明領域の撮像を行わ
せることができるようにしている。
【0011】そして、第2のカメラに赤外線の周波数帯
域に感度を示すものを用いて、霧、煙、粉塵等のエアロ
ゾル中にあっても、人間や自動車などの認識を比較的広
い範囲にわたって行うことができるようにしている。
【0012】
【実施例】図5は、照明用光源1とビデオカメラ2との
間の設置間隔Dを可変にしながら、照明光LLの開き角
度θを種々に変えたときの反射光RLのSN比を測定
するシュミレーションモデルを示しており、L=50m
先で可視光による照明光LLの透過率が約5%に低下す
る霧中で、50m先に置いた反射率1の物体3からの反
射光RLをビデオカメラ2によって受光するようにして
いる。
【0013】図6は、そのときのシュミレーション結果
の特性を示している。その特性図は、横軸に照明用光源
1とビデオカメラ2との間の設置間隔Dをとり、縦軸に
SN比をとっている。また、照明光LLの開き角度θ
として、0.5mrad(ミリフラジアン)、lmra
d、5mrad、17mrad、85mradの各パラ
メータをとっている。
【0014】このシュミレーション結果をみれば、照明
用光源1から発せられる照明光LLの開き角度θを小
さくするほどSN比が良くなることがわかる。このこと
は、ビデオカメラ2における1画素の受光の開き角度
(視野角)θを小さくしても同様である。また、照明
用光源1とビデオカメラ2との間の設置間隔Dが大きい
ほどSN比が良くなることがわがる。
【0015】このことは、照明光LLの開き角度θ
たはビデオカメラ2における視野角θを小さくし、ま
た、照明用光源1と光センサ2との間の設置間隔Dを大
きくすると、照明光LLの照明領域Aと反射光RLの反
射領域Bとの重合領域Cの大きさが小さくなり、霧によ
り照明光LLが散乱したときのビデオカメラ2の受光部
に向かうノイズ光の量が抑制されるためと考えられる。
【0016】照明用光源1から発せられる照明光LLと
しては、霧、煙、粉塵等のエアロゾル中での透過性の良
い赤外線を用いることが考えられるが、以下の理由から
して、可視光か近赤外線を用いるのが適当である。
【0017】すなわち、照明用光源1およびビデオカメ
ラ2を車両に搭載して前方の道路を撮像するような場合
など、物体に照明光LLを斜めに照射したときにも物体
からの反射光を充分に得ることができるようにするため
に、物体の表面の凹凸よりも小さな波長をもった照明光
を用いるのがよく、赤外線よりも波長の短い可視光か近
赤外線のほうが適している。
【0018】また、図7は、平均粒径を1〜10μmの
範囲で変えた人工の霧中での電磁波の透過率を同一条件
下で測定したときの特性図であり、その測定が果からし
て、10μm前後(5〜20μmの範囲)の赤外線の透
過率が高いことがわかる。
【0019】そして、物体は自ら電磁波を放射してお
り、常温では10μm付近の赤外線が最も多く放射され
ていることがわかっている。
【0020】したがって、特に10μm前後の周波数帯
域に感度を示す赤外線カメラを用いれば、霧、煙、粉塵
等のエアロゾル中にあっても物体を撮像することがで
き、特に、道路環境を想定する場合、人間や自動車など
の周囲に比べて温度が高くて赤外線の放射量の多い物体
を認識することができるようになる。
【0021】図1は、以上の検討結果を考慮したうえで
構成された本発明による視覚装置の一実施例を示すもの
で、ここでは、その視覚装置を車両に搭載して、霧、
煙、粉塵等のエアロゾル中にあっても、主として、ビデ
オカメラ2によって照明用光源1による車両前方におけ
る道路の照明領域の撮像を可能とし、また、赤外線カメ
ラ5によって車両の前方領域に存在する人間や自動車な
どの障害物の撮像を広範囲にわたって行わせて、その各
撮像画像を画像合成器(図示せず)によって合成するよ
うにしている。
【0022】照明用光源1とビデオカメラ2は、車両7
の前部の上下方向に、照明用光源1における照明光LL
の開き角度θおよびビデオカメラ2における1画素の
視野角θが、前方の路面8を照射する照明光LLの光
軸と路面8からの反射光RLの光軸とのなす角αよりも
小さくなるような関係(θ,θ<α)をもって配設
されている。
【0023】しかして、θ,θ<αの関係を満足す
るように照明用光源1とビデオカメラ2とを車両7の前
部に配設することにより、照明領域に霧、煙、粉塵等の
エアロゾルが存在しても、そのエアロゾルにより照明光
LLが散乱したときのビデオカメラ2の受光部に向かう
ノイズ光量が最小限に抑制されたSN比の高い反射光R
Lをビデオカメラ2によって受光することができるよう
になり、車両前方の路面8の撮像を有効に行わせること
ができるようになる。
【0024】その際、例えば、霧中走行時の前方視界を
必要最小限に確保するべく、車両7の前方数mほど先の
路面8上を照明できるように照明用光源1およびビデオ
カメラ2をセットする。そして、その路面7を充分な幅
をもって撮像することができるようにするべく、照明用
光源1にそれから発せられる照明光LLが左右方向に広
がるようなアパーチャーをもたせるとともに、ビデオカ
メラ2の受光部も同様に左右方向の広がりをもたせるよ
うにする。
【0025】図2は、このようにして照明用光源1およ
びビデオカメラ2を車両7の前部に取り付けたときのビ
デオカメラ2による路面8の撮像画像の一例を示してお
り、ここでは路面8上に引かれた道路端および中央線の
白線9が明瞭に撮像されている。
【0026】なお、その際、車両7のヘッドライト4を
点灯することにより見える手前の路面7をもビデオカメ
ラ2によって同時に撮像することができるようになる。
【0027】照明用光源1にもヘッドライト4にも照明
されない部分は、両者のデータから予測する。また、照
明用光源1を1ラインではなく、複数ライン走査するこ
とでデータを増やすことができるようになる。
【0028】また、赤外線カメラ5は、車両の前方領域
を広範囲にわたって撮像することができるように、車両
7の前部に設置されている。
【0029】図3は、赤外線カメラ5による撮像画像の
一例を示しており、ここでは車両の前方の照明用光源1
による照明領域外にいる人間10が明瞭に撮像されてい
る。
【0030】しかして、霧中などの車両7の走行時にあ
っても、このようなビデオカメラ2による撮像画像と赤
外線カメラ5による撮像画像とを画像合成器によって合
成することにより、図4に示すように、照明用光源1に
よって照明されている車両前方の路面8とその照明領域
外にいる人間10とが一体となった実際に即した画像が
得られるようになる。
【0031】そして、その合成画像を、例えばヘッドア
ップディスプレイを用いて運転席側のフロントガラス方
に写し出すようにすれば、見通しのきかない濃い霧中で
の車両走行時にあっても、運転者は前方の道路状態を認
識し、また、前方に人間や自動車などの障害物があるこ
とを認識することができるようになる。
【0032】また、その合成画像のデータを自動走行装
置に与えて、障害物を避けながら道路上を自動走行する
ような制御を行わせるようにすることも可能である。
【0033】さらに、本発明は車載用に限らず、自動走
行ロボットの視覚装置として、また、一般の監視用の視
覚装置などとして広く用いられることはいうまでもな
い。
【0034】
【効果】以上、本発明による視覚装置によれば、霧、
煙、粉塵等のエアロゾルによる散乱ノイズに吋してSN
比の高い反射光を得ることができるように特別に工夫し
て配設された照明用光源およびその照明領域を撮像する
第1のカメラと、その第1のカメラとは感度が異なる波
長帯域で同一方を撮像する第2のカメラとによってそれ
ぞれ撮像された画像を合成することにより、視界のきか
ないエアロゾル中にあっても実際に即した撮像画像を得
ることができるようになる。
【図面の簡単な説明】
【図1】本発明による視覚装置の一実施例を示す概略構
成図である。
【図2】同実施例において照明用光源による照明領域を
ビデオカメラによって撮像した画像の一例を示す図であ
る。
【図3】同実施例において赤外線カメラによって撮像し
た画像の一例を示す図である。
【図4】ビデオカメラによる撮像画像と赤外線カメラに
よる撮像画像とを合成した画像の一例を示す図である。
【図5】照明用光源による照明領域をビデオカメラによ
り撮像する際の反射光のSN比を測定するシュミレーシ
ョンモデルの概略構成図である。
【図6】照明光の開き角をパラメータにとり、横軸に照
明用光源とビデオカメラとの間隔をとり、縦軸にSN比
をとったシュミレーション結果の特性図である。
【図7】粒径を1〜10μmの範囲で変えた人工の霧中
での電磁波の透過率を同一条件下で測定したときの特性
図である。
【図8】従来の車両のヘッドライトによる照明領域をビ
デオカメラによって撮像するときの状態を示す概略構成
図である。
【符号の説明】
1 照明用光源 2 ビデオカメラ 4 ヘッドライト 5 赤外線カメラ 7 車両 8 路面
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 // G08G 1/04 G08G 1/04 D (72)発明者 横山 誠一 埼玉県和光市中央1丁目4番1号 株式会 社本田技術研究所内

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 照明用光源と、その光源によって照明さ
    れる領域を撮像する第1のカメラと、その第1のカメラ
    とは感度が異なる波長帯域で同一方を撮像する第2のカ
    メラと、第1および第2の各カメラによってそれぞれ撮
    像された画像を合成する手段とをそなえ、照明用光源か
    ら発せられる照明光の開き角および第1のカメラの1画
    素の視野角が、照明光の光軸と照明領域から第1のカメ
    ラへの反射光の光軸とのなす角よりも小さくなるような
    関係をもって、照明用光源と第1のカメラとを配設した
    ことを特徴とする視覚装置。
  2. 【請求項2】 第1のカメラが可視光または近赤外線の
    周波数帯域に感度を示し、第2のカメラが赤外線に感度
    を示すことを特徴とする前記第1項の記載による視覚装
    置。
  3. 【請求項3】 第2のカメラが、10μm前後の赤外線
    の周波数帯域に感度を示すことを特徴とする前記第2項
    の記載による視覚装置。
JP21389495A 1995-07-10 1995-07-19 視覚装置 Expired - Fee Related JP4019182B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP21389495A JP4019182B2 (ja) 1995-07-19 1995-07-19 視覚装置
US08/675,163 US6067110A (en) 1995-07-10 1996-07-03 Object recognizing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21389495A JP4019182B2 (ja) 1995-07-19 1995-07-19 視覚装置

Publications (2)

Publication Number Publication Date
JPH0937147A true JPH0937147A (ja) 1997-02-07
JP4019182B2 JP4019182B2 (ja) 2007-12-12

Family

ID=16646781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21389495A Expired - Fee Related JP4019182B2 (ja) 1995-07-10 1995-07-19 視覚装置

Country Status (1)

Country Link
JP (1) JP4019182B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000019259A (ja) * 1998-06-30 2000-01-21 Mazda Motor Corp 環境認識装置
JP2000127850A (ja) * 1998-10-22 2000-05-09 Matsushita Electric Ind Co Ltd 車両外情報検知装置
JP2003319383A (ja) * 2002-04-24 2003-11-07 Equos Research Co Ltd 車載画像処理装置
JP2005222441A (ja) * 2004-02-09 2005-08-18 Nissan Motor Co Ltd 歩行者報知装置
US7608825B2 (en) 2006-12-14 2009-10-27 Sumitomo Electric Industries, Ltd. Image pickup device, vision enhancement apparatus, night-vision apparatus, navigation support apparatus, and monitoring apparatus
JP2009302828A (ja) * 2008-06-12 2009-12-24 Nippon Telegr & Teleph Corp <Ntt> 監視方法および装置
WO2010029813A1 (ja) 2008-09-11 2010-03-18 住友電気工業株式会社 撮像装置、視界支援装置、暗視装置、航海支援装置および監視装置
JP2012080524A (ja) * 2010-09-09 2012-04-19 Hitachi Kokusai Electric Inc 監視システム
JP2013115625A (ja) * 2011-11-29 2013-06-10 Ricoh Co Ltd 画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラム
CN107250841A (zh) * 2015-02-19 2017-10-13 皇家飞利浦有限公司 红外激光光照设备
WO2022163337A1 (ja) * 2021-01-29 2022-08-04 株式会社小松製作所 表示システム及び表示方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013105726B3 (de) * 2013-06-04 2014-12-04 Petra Sonja Biedermann Verfahren und Vorrichtungen zur Detektion und Lokalisierung von Infraschall

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000019259A (ja) * 1998-06-30 2000-01-21 Mazda Motor Corp 環境認識装置
JP2000127850A (ja) * 1998-10-22 2000-05-09 Matsushita Electric Ind Co Ltd 車両外情報検知装置
JP2003319383A (ja) * 2002-04-24 2003-11-07 Equos Research Co Ltd 車載画像処理装置
JP2005222441A (ja) * 2004-02-09 2005-08-18 Nissan Motor Co Ltd 歩行者報知装置
US7608825B2 (en) 2006-12-14 2009-10-27 Sumitomo Electric Industries, Ltd. Image pickup device, vision enhancement apparatus, night-vision apparatus, navigation support apparatus, and monitoring apparatus
JP2009302828A (ja) * 2008-06-12 2009-12-24 Nippon Telegr & Teleph Corp <Ntt> 監視方法および装置
WO2010029813A1 (ja) 2008-09-11 2010-03-18 住友電気工業株式会社 撮像装置、視界支援装置、暗視装置、航海支援装置および監視装置
US8243139B2 (en) 2008-09-11 2012-08-14 Sumitomo Electric Industries, Ltd. Image pickup device, visibility support apparatus, night vision device, navigation support apparatus, and monitoring device
US8564666B2 (en) 2008-09-11 2013-10-22 Sumitomo Electric Industries, Ltd. Image pickup device, visibility support apparatus, night vision device, navigation support apparatus, and monitoring device
JP2012080524A (ja) * 2010-09-09 2012-04-19 Hitachi Kokusai Electric Inc 監視システム
JP2013115625A (ja) * 2011-11-29 2013-06-10 Ricoh Co Ltd 画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラム
CN107250841A (zh) * 2015-02-19 2017-10-13 皇家飞利浦有限公司 红外激光光照设备
CN107250841B (zh) * 2015-02-19 2021-02-12 通快光电器件有限公司 红外激光光照设备
WO2022163337A1 (ja) * 2021-01-29 2022-08-04 株式会社小松製作所 表示システム及び表示方法

Also Published As

Publication number Publication date
JP4019182B2 (ja) 2007-12-12

Similar Documents

Publication Publication Date Title
US6067110A (en) Object recognizing device
US10257432B2 (en) Method for enhancing vehicle camera image quality
US20200143560A1 (en) Vehicular driver monitoring system
US6806452B2 (en) Interior rearview mirror system including a forward facing video device
US6603137B2 (en) Differential imaging rain sensor
JP6333238B2 (ja) カメラ及び照明を用いたガラス面の雨滴検出
US6768422B2 (en) Precipitation sensor
US7580545B2 (en) Method and system for determining gaze direction in a pupil detection system
JP4103179B2 (ja) 環境認識装置
JP2005195601A (ja) 自動車のための運転条件を検出するシステムおよび方法
JP2006188224A (ja) 車両用暗視システム、光源操作システム及びその制御方法
JP2003159996A (ja) 車両における視界を改善する装置
JP6246808B2 (ja) カメラ及び照明を用いたガラス面の雨滴検出
JP2006518308A (ja) 車輛の自動外部照明制御システム
JP2005126068A (ja) 適応画像化暗視装置
JPH0937147A (ja) 視覚装置
US9506803B2 (en) Vehicle optical sensor system
US20180095206A1 (en) Onboard camera
JP2015527847A5 (ja)
CN108268833A (zh) 图像处理设备和图像处理方法
CN105452954B (zh) 成像装置
JP2008064630A (ja) 付着物検知機能付き車載用撮像装置
JP2020057869A (ja) 撮像装置
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
JP6246932B2 (ja) カメラを用いた窓ガラス上にある雨滴を検出するための照明

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050331

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050519

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070907

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131005

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees