JP3354450B2 - 車両用距離測定装置 - Google Patents

車両用距離測定装置

Info

Publication number
JP3354450B2
JP3354450B2 JP21309997A JP21309997A JP3354450B2 JP 3354450 B2 JP3354450 B2 JP 3354450B2 JP 21309997 A JP21309997 A JP 21309997A JP 21309997 A JP21309997 A JP 21309997A JP 3354450 B2 JP3354450 B2 JP 3354450B2
Authority
JP
Japan
Prior art keywords
distance
calculation
calculated
calculating means
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21309997A
Other languages
English (en)
Other versions
JPH1151642A (ja
Inventor
正幸 幅口
章 寺内
雅和 坂
和人 千坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP21309997A priority Critical patent/JP3354450B2/ja
Publication of JPH1151642A publication Critical patent/JPH1151642A/ja
Application granted granted Critical
Publication of JP3354450B2 publication Critical patent/JP3354450B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、車両用距離測定装
置に関し、特に、一対の光学系によりイメージセンサ上
に結像した一対の画像信号を比較して両画像の光軸から
のずれ量を電気的に検出し、三角測量の原理に基づく演
算を前記ずれ量を用いて実行して対象物までの距離を測
定する車両用距離測定装置に関する。
【0002】
【従来の技術】従来、かかる距離測定装置は、たとえば
特開平6−266825号公報等で既に知られており、
このような従来のものでは、前回の距離測定値と、今回
の距離測定値との間に、物理的に発生し得る値以上の偏
差が生じたときに、距離測定対象が変化したものとし
て、今回の距離測定値を無効とするようにしている。
【0003】
【発明が解決しようとする課題】ところが、上記従来の
ものでは、距離測定の開始直後には、前回の距離測定値
が存在しないため、今回の距離測定値が有効であるか無
効であるかが不明確である。すなわち最初の距離測定値
が路面上の文字および模様等を測定した値である可能性
があるにもかかわらず、今回の距離測定値が路面上の文
字および模様等の距離であるのか、自車の前方に存在す
る先行車の距離であるのかを判定することができず、最
初の距離測定値が路面上の文字および模様等を測定した
値であった場合には、それ以降の距離測定値の有効、無
効の評価に悪影響が及び、先行車等の対象物の距離測定
精度が低下することになる。
【0004】本発明は、かかる事情に鑑みてなされたも
のであり、距離測定開始直後の測定距離が先行車等の対
象物までのものであることが確実となってから初めて距
離測定値を有効として距離測定精度を向上し得るように
した車両用距離測定装置を提供することを目的とする。
【0005】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、一対の光学系によりイメージセンサ上に
結像した一対の画像信号を比較して両画像の光軸からの
ずれ量を電気的に検出し、三角測量の原理に基づく演算
を前記ずれ量を用いて実行して対象物までの距離を測定
する車両用距離測定装置において、前記三角測量の原理
に基づいて対象物までの距離を演算する距離演算手段
と、前記両光学系の上下方向取付位置および上下視野角
度から定まる視野最下端部が路面と交わる点までの距離
よりも短く基準距離を設定する基準距離設定手段と、前
記距離演算手段の演算開始後に前記基準距離設定手段で
設定された基準距離よりも前記距離演算手段の演算距離
が大きい状態が持続する限り距離演算手段の演算距離を
無効とするが前記距離演算手段の演算開始後に初めて前
記演算距離が前記基準距離以下になって以降は前記距離
演算手段の演算距離を有効とするようにして前記距離演
算手段の演算距離を評価する距離評価手段とを備えるこ
とを特徴とする。
【0006】このような構成によれば、基準距離が、両
光学系の上下方向取付位置および上下視野角度から定ま
る視野最下端部が路面と交わる点までの距離よりも短く
設定されるものであることにより、距離演算手段で得ら
れた演算距離が基準距離以下であるときには、その演算
距離が自車の前方に存在する先行車等の対象物までの距
離値であることが確実であるが、前記演算距離が基準距
離よりも大きいときには、その演算距離は先行車までの
距離値であることもあるが、路面上の文字や模様までの
距離値である可能性もある。そこで、距離演算手段の演
算開始後に距離演算手段の演算距離が基準距離よりも大
きい状態が持続するときには、路面上の文字や模様まで
の距離を測定している可能性があることに鑑みて、距離
演算手段の演算距離が無効とされる。また演算開始後に
前記演算距離が前記基準距離以下に初めてなったときに
は、距離測定の対象である先行車等の対象物までの距離
の演算値であることが確実であるので、距離演算手段の
演算距離を有効とするようにし、演算距離が有効となっ
てからは、その有効である演算距離を基にして次の回以
降の距離演算値の評価をするようにして測定距離精度を
向上することができる。
【0007】
【発明の実施の形態】以下、本発明の実施の形態を、添
付図面に示した本発明の一実施例に基づいて説明する。
【0008】図1ないし図10は本発明の一実施例を示
すものであり、図1は距離測定装置の構成を示すブロッ
ク図、図2は車両を前方から見た正面図、図3は距離測
定原理を説明するための図、図4は画像領域に対するウ
インドの配置を示す図、図5は相関演算手段での微分波
形成形を説明するための図、図6は相関演算手段での相
関演算を説明するための図、図7は基準距離を設定する
ための両光学系の上下視野角度および路面との関係を側
面から見て示す図、図8は距離評価手段での距離評価手
順を示すフローチャート、図9は遠距離にある先行車の
距離を測定している状態での側面図、図10は近距離に
ある先行車の距離を測定している状態での側面図であ
る。
【0009】先ず図1において、この車両用距離測定装
置は、一対の撮像手段1A,1Bと、両撮像手段1A,
1Bに個別に対応した一対のA/D変換器6A,6B
と、各A/D変換器6A,6Bに個別に対応した一対の
画像記憶手段7A,7Bと、両画像記憶手段7A,7B
に記憶された画像情報のうち距離演算に用いるウインド
を定めるウインド決定手段8と、該ウインド決定手段8
で定められたウインドの相関演算を実行する相関演算手
段9と、該相関演算手段9の演算結果に基づいて距離を
演算する距離演算手段10と、該距離演算手段10で得
られた演算距離を評価するための距離評価手段11と、
距離評価手段11での評価に用いる基準距離を設定する
基準距離設定手段12と、距離評価手段11で有効と評
価された距離を記憶する距離記憶手段13とを備え、距
離評価手段11で有効と評価された距離は、その距離に
基づいてたとえば先行車に追従するために車両の走行を
制御する車両走行制御装置14に入力される。
【0010】両撮像手段1A,1Bは、図2で示すよう
に、車両Vの車室内でフロントガラス15の後方側に固
定配置されるものであり、たとえば前記車室内の前方側
上部に配置されるルームミラー16の前部に上下に間隔
をあけて取付けられる。
【0011】図3を併せて参照して、両撮像手段1A,
1Bは、レンズを含む光学系2A,2Bと、それらの光
学系2A,2Bの焦点距離fだけ後方に配置されるイメ
ージセンサ3A,3Bとでそれぞれ構成されるものであ
り、両光学系2A,2Bは、基線長BLだけ上下に間隔
をあけて配置される。
【0012】このような撮像手段1A,1Bによれば、
自車の前方に存在する先行車両等の対象物4が光学系2
A,2Bによりイメージセンサ3A,3B上に結像され
ることになるが、イメージセンサ3A,3Bは、図4で
示すように、複数のたとえばラインCCD5,5…が横
方向に等間隔をあけて配置されて成る一次元のイメージ
センサであり、各ラインCCD5,5…の間隔を適宜定
めることにより横方向の視野角、分解能を最適に定める
ことが可能である。
【0013】両イメージセンサ3A,3Bで得られた画
像信号は、個別のA/D変換器6A,6Bでデジタル信
号に変換され、さらに個別の画像記憶手段7A,7Bに
それぞれストアされる。
【0014】画像記憶手段7A,7Bには各ラインCC
D5,5…で得られた画像信号が一旦ストアされること
になるが、それらの画像信号のうちウインド決定手段8
で選択された画像信号だけが画像記憶手段7A,7Bか
ら切出されることになる。而してウインド決定手段8で
は、図4において斜線を施して示すように、横方向に間
隔をあけた複数たとえば5つのウインドW,W…が設定
されるものであり、イメージセンサ3A,3Bが横方向
に等間隔をあけた複数のラインCCD5,5…から成る
ものであることに基づいて、各ラインCCD5,5…の
うち選択された複数のラインCCD5,5…の画像信号
が各ウインドW,W…の画像信号として選択されること
になる。
【0015】ウインド決定手段8で設定されたウインド
W,W…の画像信号は相関演算手段9に入力され、該相
関演算手段9において、相互に対応する各ウインドW,
Wの組み合わせ毎の画像信号の相関演算が実行される。
【0016】相関演算を行なうにあたって、夕暮れ時や
日影等で画像のコントラストが劣ることに起因して相関
一致度が低下し、ひいては距離測定精度が低下すること
を回避するために、相関演算手段9では、図5で示すよ
うに、ウインドWからの画像信号の輝度を読み込んで輝
度波形を成形し、次いで、上下に複数画素たとえば9画
素おきの輝度を引き算して微分波形を成形する。
【0017】相関演算手段9での相関演算は、両イメー
ジセンサ3A,3Bでの相互に対応するウインドWの微
分された輝度データの一方を固定しておき他方を1つず
つシフトしながら引き算を行なうようにして実行され
る。たとえば図6(A)で示すように、上方すなわちイ
メージセンサ3B側の輝度データを固定しておき、下方
すなわちイメージセンサ3A側の輝度データを上下に1
つずつシフトしながらイメージセンサ3B側の輝度デー
タから引き算することにより、図6(B)で示すように
相関値に対応したシフト量が得られることになり、相関
値が最も小さいときのシフト量が画像信号の光軸からの
ずれ量に対応した値として求められる。
【0018】このような相関値に対応したシフト量を得
るための相関演算は、両イメージセンサ3A,3Bに結
像した画像の光軸からのずれ量を求めるためのものであ
り、図3において、下方のイメージセンサ3Aから得ら
れた輝度データと、上方のイメージセンサ3Bから得ら
れた輝度データとの相関が最も一致するまで両輝度デー
タをシフトさせることにより、最も相関が一致する点で
のシフト量nを得ることができるのであるが、このシフ
ト量nは、下方のイメージセンサ3Aから得られた画像
信号の光学系2Aの光軸からのずれ量nAと、上方のイ
メージセンサ3Bから得られた画像信号の光学系2Bの
光軸からのずれ量nBとの和として得られることにな
る。
【0019】このようにして、相関演算手段9で得られ
た各ウインドW,Wの組み合わせ毎のシフト量nは、距
離演算手段10に入力され、該距離演算手段10では、
三角測量法の原理に基づいて、各ウインドW,Wの組み
合わせ毎の距離演算が実行される。すなわち、対象物4
までの距離DW が、 DW =(BL×f)/n として各ウインドW,Wの組み合わせ毎に得られること
になる。
【0020】このようして得られた各ウインドW,Wの
組み合わせ毎の距離値DW に基づいて、対象物4までの
距離Dが決定されるが、この距離Dの決定にあたって
は、各ウインドW,Wの組み合わせのうち相関演算手段
9において相関評価が低かったものが除かれ、残ったウ
インドW,Wの組み合わせの距離値DW をたとえば平均
化することにより前記距離Dが得られる。而して距離演
算手段10で得られた距離Dが距離評価手段11に入力
される。
【0021】距離評価手段11ては、入力される距離D
が有効であるか、無効であるかが評価されるのである
が、その評価にあたっては基準距離設定手段12で設定
される基準距離DTHが用いられる。
【0022】図7において、車両Vに搭載された両撮像
手段1A,1Bにおける両光学系2A,2Bの上下視野
角度θは、ラインLH で示す視野最上端部と、ラインL
L で定まる視野最下端部との間の角度であるが、両撮像
手段1A,1Bすなわち両光学系2A,2Bの上下方向
取付位置すなわち路面からの取付け高さHと、前記上下
視野角度θとにより、視野最下端部が路面と交わる点P
までの距離DG が定まることになり、この距離DG より
も短い値を有するように基準距離DTHが基準距離設定手
段12で設定される。而して距離評価手段11での無効
判定を極力少なくするためには、(DG −DTH)が比較
的小さくなるように基準距離DTHが設定されればよく、
また距離評価手段12での評価信頼度を重視するときに
は、(D G −DTH)が比較的大きくなるように基準距離
THが設定されればよい。
【0023】距離評価手段11では、図8で示すような
評価手順が設定されており、ステップS1ではフラグF
S が「1」であるか否かを判定する。このフラグF
S は、距離演算手段10から最初の演算距離Dが入力さ
れるときにはFS =0である。
【0024】ステップS1でFS =0であったときに
は、ステップS2において演算距離Dが基準距離DTH
りも大きい(D>DTH)かどうかを判定し、大きかった
ときにはステップS3でフラグFS を「0」に設定した
後、ステップS4で距離演算手段10の演算距離データ
が無効であると判定する。
【0025】またステップS2で演算距離Dが基準距離
TH以下であると判定したときには、ステップS5でフ
ラグFS を「1」に設定した後、ステップS6で距離演
算手段10の演算距離データが有効であると判定する。
【0026】さらにステップS1でフラグFS が「1」
であることを確認したときには、ステップS1からステ
ップS6に進むことになる。
【0027】このような距離評価手順によれば、距離演
算手段10で得られた演算距離Dが基準距離DTHよりも
大きい状態が距離演算手段10の演算開始後に持続する
ときには、その状態が持続する限り、距離演算手段10
による距離データが無効とされるものであり、また距離
演算手段10の演算開始後にその演算距離Dが前記基準
距離DTH以下に初めてなって以降は、距離演算手段10
による距離データが有効とされることになる。
【0028】前記基準距離DTHに基づいて距離演算手段
10の演算距離Dが有効とされてからは、有効とされた
距離Dが距離評価手段11から車両走行制御装置14に
入力されるとともに距離記憶手段13にストアされるも
のであり、距離評価手段11は、前記基準距離DTHに基
づく有効判定以降には、距離記憶手段13にストアされ
ている前回の演算距離Dと、今回の演算距離Dとの間
に、物理的に発生し得る値以上の偏差が生じたときに距
離測定対象が変化したものとして、今回の演算距離Dを
無効とするが、それ以外の場合には演算距離Dを有効と
評価する。
【0029】この実施例の作用について説明すると、距
離測定開始直後に、図7で示すように路面上の文字や模
様18までの距離を測定している場合には、その文字や
模様18までの距離Dは距離評価手段11での評価基準
である基準距離DTHよりも大きくなるはずであり、この
ような場合の演算距離Dは距離評価手段11で無効とさ
れる。
【0030】また距離測定開始直後に、図9で示すよう
に点線で示す先行車等の対象物4までの距離Dを距離演
算手段10で演算していても、その距離Dが基準距離D
THよりも大きい場合には該距離Dは距離評価手段11で
無効とされ、図10で示すように、基準距離DTH以下で
ある距離Dを点線で示す先行車までの距離として距離演
算手段10が演算したときに初めて距離Dが有効とされ
ることになる。
【0031】すなわち基準距離DTHが、両光学系2A,
2Bの上下方向取付位置および上下視野角度θから定ま
る視野最下端部が路面と交わる点Pまでの距離DG より
も短く設定されるものであることにより、距離演算手段
10で得られた演算距離Dが基準距離DTH以下であると
きには、図10で示したように、その演算距離Dが自車
の前方に存在する先行車等の対象物4までの距離値であ
ることが確実であるが、前記演算距離Dが基準距離DTH
よりも大きいときには、その演算距離Dは図9で示した
ように対象物4までの距離値であることもあるが、図7
で示したように路面上の文字や模様18までの距離値で
ある可能性もある。そこで、距離演算手段10で得られ
た演算距離Dが基準距離DTHよりも大きい状態が距離演
算手段10の演算開始後に持続するときには、その持続
状態での前記演算距離Dが路面上の文字や模様18まで
の距離である可能性があることに鑑みて、比較すべき演
算距離Dが得られていない状態では路面上の文字や模様
18までの距離を測定しているものであるとして無効で
あると判定することになる。また距離演算手段10での
演算開始後に前記演算距離Dが前記基準距離DTH以下に
初めてなったときには、その距離Dが自車の前方に存在
する対象物4までの距離であるはずであり、比較すべき
演算距離Dが得られていない状態で演算距離Dが距離測
定の対象である対象物4までの距離であることは確実な
ので有効であると判定することになる。
【0032】このような距離評価手段11での距離評価
により、距離測定の開始直後には、前回の距離測定値が
存在しないにもかかわらず、路面上の文字や模様18ま
での距離を測定している可能性がある状態では、距離演
算手段10の演算距離Dを無効とし、先行車等の対象物
4までの距離を測定していることが確実になってから距
離演算手段10の演算距離Dを有効として、距離測定の
精度を向上することが可能となる。
【0033】本発明の他の実施例として、多数の画素が
二次元平面に分散されたイメージセンサを用いることも
可能である。
【0034】以上、本発明の実施例を詳述したが、本発
明は上記実施例に限定されるものではなく、特許請求の
範囲に記載された本発明を逸脱することなく種々の設計
変更を行なうことが可能である。
【0035】
【発明の効果】以上のように本発明によれば、両光学系
の取付位置および上下視野角度から定まる視野最下端部
が路面と交わる点までの距離よりも短く設定される基準
距離を用いて、距離演算手段の演算開始直後に演算距離
が有効であるか、無効であるかを距離評価手段で評価す
るようにし、確実に対象物までの距離を演算している状
態となってから距離演算手段の演算距離を有効とするよ
うにして、距離測定開始直後の距離測定値が有効である
か否かを簡単に判定し、距離測定精度の向上に寄与する
ことができる。
【図面の簡単な説明】
【図1】距離測定装置の構成を示すブロック図である。
【図2】車両を前方から見た正面図である。
【図3】距離測定原理を説明するための図である。
【図4】画像領域に対するウインドの配置を示す図であ
る。
【図5】相関演算手段での微分波形成形を説明するため
の図である。
【図6】相関演算手段での相関演算を説明するための図
である。
【図7】基準距離を設定するための両光学系の上下視野
角度および路面との関係を側面から見て示す図である。
【図8】距離評価手段での距離評価手順を示すフローチ
ャートである。
【図9】遠距離にある先行車の距離を測定している状態
での側面図である。
【図10】近距離にある先行車の距離を測定している状
態での側面図である。
【符号の説明】
2A,2B・・・光学系 3A,3B・・・イメージセンサ 4・・・対象物 10・・・距離演算手段 11・・・距離評価手段 12・・・基準距離設定手段
フロントページの続き (72)発明者 千坂 和人 埼玉県和光市中央1丁目4番1号 株式 会社本田技術研究所内 (56)参考文献 特開 平9−68423(JP,A) 特開 平8−230589(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01C 3/06 G01B 11/00

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 一対の光学系(2A,2B)によりイメ
    ージセンサ(3A,3B)上に結像した一対の画像信号
    を比較して両画像の光軸からのずれ量を電気的に検出
    し、三角測量の原理に基づく演算を前記ずれ量を用いて
    実行して対象物(4)までの距離を測定する車両用距離
    測定装置において、前記三角測量の原理に基づいて対象
    物(4)までの距離を演算する距離演算手段(10)
    と、前記両光学系(2A,2B)の上下方向取付位置お
    よび上下視野角度から定まる視野最下端部が路面と交わ
    る点までの距離よりも短く基準距離を設定する基準距離
    設定手段(12)と、前記距離演算手段(10)の演算
    開始後に前記基準距離設定手段(12)で設定された基
    準距離よりも前記距離演算手段(10)の演算距離が大
    きい状態が持続する限り距離演算手段(10)の演算距
    離を無効とするが前記距離演算手段(10)の演算開始
    後に初めて前記演算距離が前記基準距離以下になって以
    降は前記距離演算手段(10)の演算距離を有効とする
    ようにして前記距離演算手段(10)の演算距離を評価
    する距離評価手段(11)とを備えることを特徴とする
    車両用距離測定装置。
JP21309997A 1997-08-07 1997-08-07 車両用距離測定装置 Expired - Fee Related JP3354450B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21309997A JP3354450B2 (ja) 1997-08-07 1997-08-07 車両用距離測定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21309997A JP3354450B2 (ja) 1997-08-07 1997-08-07 車両用距離測定装置

Publications (2)

Publication Number Publication Date
JPH1151642A JPH1151642A (ja) 1999-02-26
JP3354450B2 true JP3354450B2 (ja) 2002-12-09

Family

ID=16633562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21309997A Expired - Fee Related JP3354450B2 (ja) 1997-08-07 1997-08-07 車両用距離測定装置

Country Status (1)

Country Link
JP (1) JP3354450B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4100823B2 (ja) * 1999-05-27 2008-06-11 本田技研工業株式会社 物体判定装置

Also Published As

Publication number Publication date
JPH1151642A (ja) 1999-02-26

Similar Documents

Publication Publication Date Title
US5424952A (en) Vehicle-surroundings monitoring apparatus
JPH0812072B2 (ja) 距離測定装置
JP3617709B2 (ja) 距離計測装置
JP2509386B2 (ja) 距離検出装置
JP2927916B2 (ja) 距離検出装置
JP2536986B2 (ja) 車間距離検出装置
JP3354450B2 (ja) 車両用距離測定装置
JP3819551B2 (ja) 車両用距離測定装置
JP3373363B2 (ja) 車両用障害物検出装置
JP3382518B2 (ja) 車両用距離測定装置
JP3019901B2 (ja) 車両諸元自動計測装置
JPH1151644A (ja) 車両用距離測定装置
JP4165966B2 (ja) 物体認識装置
JP2543926Y2 (ja) 車間距離検出装置
JP3452076B2 (ja) 車輌用距離検出装置
JP3923183B2 (ja) 車両用距離測定装置
JPH07198349A (ja) 道路形状及び自車両姿勢の計測装置
JP3354448B2 (ja) 車両用距離測定装置
JP3721803B2 (ja) 測距装置
JP3406196B2 (ja) 車両用距離測定装置
JP2635232B2 (ja) 車間距離検出装置
JP3406195B2 (ja) 車両用距離測定装置
JP3819549B2 (ja) 車両用距離測定装置
JP3354447B2 (ja) 車両用距離測定装置
JP3819555B2 (ja) 車両用距離測定装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070927

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080927

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080927

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090927

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100927

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100927

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110927

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110927

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120927

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120927

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130927

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees