JPH1163976A - 車両用距離測定装置 - Google Patents

車両用距離測定装置

Info

Publication number
JPH1163976A
JPH1163976A JP9229604A JP22960497A JPH1163976A JP H1163976 A JPH1163976 A JP H1163976A JP 9229604 A JP9229604 A JP 9229604A JP 22960497 A JP22960497 A JP 22960497A JP H1163976 A JPH1163976 A JP H1163976A
Authority
JP
Japan
Prior art keywords
tracking
window
impossible
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9229604A
Other languages
English (en)
Other versions
JP3406195B2 (ja
Inventor
Masakazu Saka
雅和 坂
Hiromitsu Yuhara
博光 湯原
Akira Terauchi
章 寺内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP22960497A priority Critical patent/JP3406195B2/ja
Publication of JPH1163976A publication Critical patent/JPH1163976A/ja
Application granted granted Critical
Publication of JP3406195B2 publication Critical patent/JP3406195B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】一対の光学系によりイメージセンサ上に結像し
た一対の画像信号を比較して両画像の光軸からのずれ量
を電気的に検出し、三角測量の原理に基づく演算を前記
ずれ量を用いて実行して対象物までの距離を測定する車
両用距離測定装置において、正確な距離測定値を得るた
めに対象物を確実に追尾しているか否かを判定すること
を可能とするとともに、対象物が追尾できなくなったと
きにはいずれの方向で追尾できなくなったかを判定し得
るようにする。 【解決手段】対象物4の追尾可否がイメージセンサ3
A,3Bでそれぞれ得られる画面内に設定される視野領
域から対象物4が外れるか否か、ならびに上下左右いず
れの方向に対象物4が前記視野領域から外れたかが追尾
可否・不可方向判定手段12で判定される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、一対の光学系によ
りイメージセンサ上に結像した一対の画像信号を比較し
て両画像の光軸からのずれ量を電気的に検出し、三角測
量の原理に基づく演算を前記ずれ量を用いて実行して対
象物までの距離を測定する車両用距離測定装置に関す
る。
【0002】
【従来の技術】従来、先行車等の対象物を追尾しつつ該
対象物との間の距離を測定する車両用距離測定装置が、
たとえば特開平6−241787号公報等により知られ
ており、このものでは、対象物を確実に追尾しているか
を、対象物までの距離測定値と、対象物の画像情報を得
るために定められる追尾ウインドの位置とにより判断
し、対象物の追尾ができなくなったと判断したときにエ
ラー信号を出力するようにしている。
【0003】
【発明が解決しようとする課題】ところで、対象物を確
実に追尾しているか否かの判定を行なうことにより、不
確実な対象物の追尾によって距離測定を誤ることを避け
ることができるのであるが、対象物までの距離測定値を
車両の走行制御に用いるときには、対象物がいずれの方
向で追尾できなくなったのかを認知することができれ
は、車両をより細密に走行制御することが可能となるで
あろう。すなわち左右いずれかで対象物を追尾できなく
なったのであれば、走行路がカーブしていることが予想
可能であるし、上下いずれかの方向で対象物を追尾でき
なくなったのであれば、走行路が坂道であったり、凹凸
路であったりすることが予想可能である。したがって追
尾すべき対象物を確実に追尾しているか否かの判定に加
えて、対象物がいずれの方向で追尾できなくなったのか
を判定可能であることが望ましいが、上記従来のもので
は、距離測定値から推定される移動可能領域に、対象物
の追尾ウインドが存在するか否かを判定するだけであ
り、対象物がいずれの方向で追尾できなくなったのか判
らない。
【0004】本発明は、かかる事情に鑑みてなされたも
のであり、正確な距離測定値を得るために対象物を確実
に追尾しているか否かを判定することを可能とするとと
もに、対象物が追尾できなくなったときにはいずれの方
向で追尾できなくなったかを判定し得るようにした車両
用距離測定装置を提供することを目的とする。
【0005】
【課題を解決するための手段】上記目的を達成するため
に、請求項1記載の発明は、一対の光学系によりイメー
ジセンサ上に結像した一対の画像信号を比較して両画像
の光軸からのずれ量を電気的に検出し、三角測量の原理
に基づく演算を前記ずれ量を用いて実行して対象物まで
の距離を測定する車両用距離測定装置において、対象物
の追尾可否を前記両イメージセンサでそれぞれ得られる
画面内に設定される視野領域から対象物が外れるか否か
によって判定するとともに追尾不可と判定したときには
上下左右いずれの方向に対象物が前記視野領域から外れ
たかによって対象物の追尾不可となった方向を判定する
追尾可否・不可方向判定手段を備えることを特徴とす
る。
【0006】このような構成によれば、視野領域から対
象物が外れたときには、対象物を確実に追尾している状
態ではないので、追尾不可と判定することにより不確実
な追尾に起因した誤測定が発生することを防止して正確
な距離測定を行なうことが可能となり、また視野領域か
ら対象物が外れたか否かの判定時に上下左右いずれの方
向で該視野領域から対象物が外れたかは容易に判別でき
るので、対象物の追尾不可となった方向を容易に判定す
ることができ、追尾不可となった方向を、車両の走行制
御等に有効に利用することができる。
【0007】また請求項2記載の発明は、上記請求項1
記載の発明の構成に加えて、前記両イメージセンサでそ
れぞれ得られる画面内からの画像情報の選択領域である
ウインドを定めるウインド決定手段と、該ウインド決定
手段で定められたウインド内の画像データの相関演算を
行なって両画像の光軸からのずれ量を求める相関演算手
段とを備え、前記追尾可否・不可方向判定手段は、前記
相関演算手段での相関演算に基づいて求められる対象物
の画像中心が前記視野領域外となることをもって追尾不
可と判定するとともに前記画像中心が前記視野領域の上
下左右いずれの外側に存在するかの判断により追尾不可
となった方向を判定することを特徴とするものであり、
ウインド内の画像データの相関演算に基づいて対象物の
画像中心を求めることで、視野領域から対象物が外れた
か否か、ならびに上下左右いずれの方向で視野領域外に
対象物が外れたかを容易に判定することが可能となる。
【0008】
【発明の実施の形態】以下、本発明の実施の形態を、添
付図面に示した本発明の実施例に基づいて説明する。
【0009】図1ないし図5は本発明の第1実施例を示
すものであり、図1は距離測定装置の構成を示すブロッ
ク図、図2は距離測定原理を説明するための図、図3は
ウインドの距離変化に伴なう変化を示す図、図4はイメ
ージセンサで定まる画面での視野領域およびウインドの
配置を示す図、図5は追尾可否および不可方向の判定を
説明するための図である。
【0010】先ず図1において、上下一対の撮像手段1
A,1Bが、車両の車室内でたとえばフロントガラスの
後方側に配置されており、これらの撮像手段1A,1B
で得られた先行車等の対象物4の画像信号は、個別のA
/D変換器5A,5Bでデジタル信号に変換され、さら
に個別の画像記憶手段6A,6Bにそれぞれ記憶され
る。
【0011】画像記憶手段6A,6Bにストアされた画
像信号のうち、追尾ウインド決定手段7で決定されたウ
インドの画像信号だけが切出され、相関演算手段8にお
いて相関演算が実行され、その相関演算結果に基づいて
距離演算手段9で対象物4までの距離Dが演算される。
【0012】図2において、両撮像手段1A,1Bは、
レンズを含む光学系2A,2Bと、それらの光学系2
A,2Bの焦点距離fだけ後方に配置されるイメージセ
ンサ3A,3Bとでそれぞれ構成されるものであり、両
光学系2A,2Bは、基線長BLだけ上下に間隔をあけ
て配置される。
【0013】このような撮像手段1A,1Bによれば、
自車の前方に存在する先行車等の対象物4が光学系2
A,2Bによりイメージセンサ3A,3B上に結像され
ることになるが、イメージセンサ3A,3Bは、たとえ
ば多数の画素が二次元平面に分散された二次元のCCD
やPDである。
【0014】各イメージセンサ3A,3Bで定まる画面
中に、図3で示すように、斜線を施して示す単一のウイ
ンドW1 がウインド決定手段7により設定され、このウ
インドW1 内の画像信号が画像記憶手段6A,6Bから
相関演算手段8に入力され、両イメージセンサ3A,3
Bから得られた輝度データの相関が最も一致する点での
シフト量nを得るための演算が相関演算手段8で実行さ
れる。すなわち両イメージセンサ3A,3Bの画像の一
方をシフトさせるか、両イメージセンサ3A,3Bの画
像の両方を交互にシフトさせるようにして、両画像信号
の引き算を実行し、両画像データが最も一致したとき、
すなわち相関値が最小となったときのシフト量nを得る
演算が相関演算手段8で行なわれる。而して、前記シフ
ト量nは、図2で示すように、下方のイメージセンサ3
Aから得られた画像信号の光学系2Aの光軸からのずれ
量nAと、上方のイメージセンサ3Bから得られた画像
信号の光学系2Bの光軸からのずれ量nBとの和として
得られることになる。また上記シフト量nの算出にあた
って、イメージセンサ3A,3Bでの画素間の間隔によ
り分解能が定まってしまうので、分解能を向上するため
に前記間隔間の補間を行なってシフト量nを補正するよ
うにしてもよい。
【0015】距離演算手段9では、三角測量法の原理に
基づく距離演算が実行されるものであり、対象物4まで
の距離Dは、 D=(BL×f)/n として距離演算手段9で得られることになる。この際、
イメージセンサ3A,3Bの近傍に感温素子を配置して
おき、その感温素子で得た温度情報に基づいて距離Dの
補正を行なうようにしてもよい。
【0016】距離演算手段9で得られた距離Dは、たと
えば先行車等の対象物4に追随して自車を走行せしめる
ための車両走行制御装置10等に入力される。
【0017】また距離演算手段9で得られた距離Dはウ
インド決定手段7に入力され、ウインド決定手段7は、
距離Dに基づいてウインドW1 の大きさを補正する。こ
れにより図3で示すように、ウインドW1 の大きさが先
行車等の対象物4までの距離に応じて変化することにな
る。
【0018】一方、相関演算手段8での相関演算結果
は、先行車方向推定手段11に入力される。該先行車方
向推定手段11では、相関演算手段8での相関演算に基
づいて求められる対象物4の画像中心を時系列で追いか
けることにより、先行車等の対象物4の移動方向が判定
される。而して先行車方向推定手段11で推定された対
象物4の移動方向は、車両走行制御装置10に入力され
るとともにウインド決定手段8に入力され、ウインド決
定手段7では、対象物4の移動方向に応じて次回のウイ
ンドW1 の位置を定めることになる。
【0019】また先行車方向推定手段11で推定された
移動方向は追尾可否・不可方向判定手段12に入力され
る。この追尾可否・不可方向判定手段12は、対象物4
を確実に追尾しているか否か、すなわち追尾可否を判定
するとともに、追尾不可と判定したときに上下左右いず
れの方向に追尾不可となったか、すなわち不可方向を判
定するものであり、そのような判定を行なう基準とする
ために、図4で示すように、両イメージセンサ3A,3
Bで定まる画面内に視野領域AV が設定される。而して
追尾可否・不可方向判定手段12では、前記先行車方向
推定手段11での推定結果に基づき、対象物4の画像中
心が前記視野領域AV から外れたときに対象物4の追尾
が不確実となったと判定するとともに、前記対象物4の
画像中心が上下左右いずれの方向で前記視野領域AV
ら外れたかによって対象物4の追尾不可となった方向を
判定するものであり、図5(A)で示す状態のときは右
方向、図5(B)で示す状態のときは左方向、図5
(C)で示す状態のときは下方向、図5(D)で示す状
態のときは上方向に追尾不可になったと判定することに
なる。
【0020】この追尾可否・不可方向判定手段12によ
る判定結果は車両走行制御装置10に入力される。
【0021】次にこの第1実施例の作用について説明す
ると、視野領域AV から対象物4の画像中心が外れたと
きには、対象物4を確実に追尾している状態ではないの
で、追尾不可と判定することにより不確実な追尾に起因
した誤測定が発生することを防止して正確な距離測定を
行なうことが可能となる。その正確な距離測定に基づい
て車両走行制御装置10での制御精度を向上することが
できる。
【0022】また視野領域AV から対象物4が外れた否
かの判定時に上下左右いずれの方向で視野領域AV から
対象物4の画像中心が外れたかを判定することは容易で
あり、対象物4の追尾不可となった方向を容易に判定す
ることができる。したがって左右いずれかで対象物4を
追尾できなくなったのであれば、自車の前方で走行路が
カーブしていることを予測可能であり、また上下いずれ
かの方向で対象物4を追尾できなくなったのであれば、
自車の前方で走行路が坂道であったり、凹凸路であった
りすることを予測可能であり、車両走行制御装置10に
よる制御をより細密に行なうことができる。
【0023】本発明の第2実施例として、図6で示すよ
うに、距離演算手段9で得られた距離D、先行車方向推
定手段11で推定された先行車方向、ならびに追尾可否
・不可方向判定手段12の判定結果が表示手段13に表
示されるようにしてもよく、そうすれば、ドライバが表
示手段13に表示された情報を基にして自らステアリン
グ操作を行なうことが可能となる。
【0024】図7は本発明の第3実施例を示すものであ
り、距離演算手段9で得られた距離Dが、追尾可否・不
可方向判定手段12の判定結果に基づいて車間距離加工
手段14で加工される。この車間距離加工手段14で
は、追尾可否・不可方向判定手段12の判定結果に基づ
いて距離Dが加工されるものであり、たとえば上下方向
の追尾が不可であると判定したときには、その追尾不可
の時間は比較的短いものであることから、追尾不可の間
だけ、距離演算手段9から出力される距離Dが追尾不可
となる直前の距離Dで置き換えられる等の処理が車間距
離加工手段14で行なわれる。
【0025】図8ないし図11は本発明の第4実施例を
示すものであり、図8は距離測定装置の構成を示すブロ
ック図、図9はウインドの距離変化に伴なう変化を示す
図、図10はイメージセンサで定まる画面での視野領域
およびウインドの配置を示す図、図11は追尾可否およ
び不可方向の判定を説明するための図である。
【0026】先ず図8において、上下一対の撮像手段1
A,1Bで得られた先行車両等の対象物4の画像信号
は、A/D変換器5A,5Bを介して画像記憶手段6
A,6Bにそれぞれ記憶される。
【0027】ウインド決定手段7では、図9で示すよう
に、小さく分割された複数のウインドW2 ,W2 …が車
間距離演算手段17で得られる距離Dならびに先行車方
向推定手段12で推定される先行車の方向に基づいて定
められる。而して各ウインドW2 ,W2 …の位置および
大きさは固定値であり、採用されるウインドW2 ,W 2
…の位置および個数がウインド決定手段7で定められ
る。
【0028】各ウインドW2 ,W2 …に対応した画像情
報が画像記憶手段6A,6Bから切出され、各ウインド
2 ,W2 …に個別に対応した相関演算手段81 …8n
にそれぞれ入力され、それらの相関演算手段81 〜8n
において、相互に対応するウインドW2 の組み合わせ毎
の画像信号の相関演算が実行されることになり、各ウイ
ンドW2 毎のシフト量nが各相関演算手段81 〜8n
それぞれ得られることになる。
【0029】各相関演算手段81 〜8n でそれぞれ得ら
れたシフト量nに基づく距離演算が距離演算手段91
n でそれぞれ実行される。これらの距離演算手段91
〜9 n で得られた距離は、ウインド出力評価手段151
〜15n でそれぞれ評価されるものであり、対象物4を
捉えているとウインド出力評価手段151 〜15n で評
価される距離に基づいて車間距離演算手段17で対象物
4までの距離Dが算出される。
【0030】一方、追尾可否・不可方向判定手段12
は、図10で示すように設定された視野領域AV から対
象物4の画像中心が外れたときに対象物4の追尾が不確
実となったと判定するとともに、前記対象物4の画像中
心が上下左右いずれの方向で前記視野領域AV から外れ
たかによって対象物4の追尾不可となった方向を判定す
ることになり、図11(A)で示す状態のときは右方
向、図11(B)で示す状態のときは左方向、図11
(C)で示す状態のときは下方向、図11(D)で示す
状態のときは上方向に追尾不可になったと判定すること
になる。
【0031】この第4実施例によっても上記第1実施例
と同様の効果を奏することができる。
【0032】上記実施例では、イメージセンサ3A,3
Bが、多数の画素が平面上に分散配置されて成る二次元
のイメージセンサであったが、相互に並列に配置される
複数のラインイメージセンサから成る一次元のイメージ
センサが用いられる車両用距離測定装置に本発明を適用
することも可能である。
【0033】以上、本発明の実施例を詳述したが、本発
明は上記実施例に限定されるものではなく、特許請求の
範囲に記載された本発明を逸脱することなく種々の設計
変更を行なうことが可能である。
【0034】
【発明の効果】以上のように請求項1記載の発明によれ
ば、追尾不可と判定することにより不確実な追尾に起因
した誤測定が発生することを防止して正確な距離測定を
行なうことが可能となり、また対象物の追尾不可となっ
た方向を判定するようにして車両の走行制御等に有効に
利用することができる。
【0035】また請求項2記載の発明によれば、ウイン
ド内の画像データの相関演算に基づいて対象物の画像中
心を求めることで、視野領域から対象物が外れたか否
か、ならびに上下左右いずれの方向で視野領域外に対象
物が外れたかを容易に判定することができる。
【図面の簡単な説明】
【図1】第1実施例の距離測定装置の構成を示すブロッ
ク図である。
【図2】距離測定原理を説明するための図である。
【図3】ウインドの距離変化に伴なう変化を示す図であ
る。
【図4】イメージセンサで定まる画面での視野領域およ
びウインドの配置を示す図である。
【図5】追尾可否および不可方向の判定を説明するため
の図である。
【図6】第2実施例の距離測定装置の構成を示すブロッ
ク図である。
【図7】第3実施例の距離測定装置の構成を示すブロッ
ク図である。
【図8】第4実施例の距離測定装置の構成を示すブロッ
ク図である。
【図9】ウインドの距離変化に伴なう変化を示す図であ
る。
【図10】イメージセンサで定まる画面での視野領域お
よびウインドの配置を示す図である。
【図11】追尾可否および不可方向の判定を説明するた
めの図である。
【符号の説明】
2A,2B・・・光学系 3A,3B・・・イメージセンサ 4・・・対象物 7・・・ウインド決定手段 8;81 〜8n ・・・相関演算手段 12・・・追尾可否・不可方向判定手段 AV ・・・視野領域

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 一対の光学系(2A,2B)によりイメ
    ージセンサ(3A,3B)上に結像した一対の画像信号
    を比較して両画像の光軸からのずれ量を電気的に検出
    し、三角測量の原理に基づく演算を前記ずれ量を用いて
    実行して対象物(4)までの距離を測定する車両用距離
    測定装置において、対象物(4)の追尾可否を前記両イ
    メージセンサ(3A,3B)でそれぞれ得られる画面内
    に設定される視野領域(AV )から対象物(4)が外れ
    るか否かによって判定するとともに追尾不可と判定した
    ときには上下左右いずれの方向に対象物(4)が前記視
    野領域(AV )から外れたかによって対象物(4)の追
    尾不可となった方向を判定する追尾可否・不可方向判定
    手段(12)を備えることを特徴とする車両用距離測定
    装置。
  2. 【請求項2】 前記両イメージセンサ(3A,3B)で
    それぞれ得られる画面内からの画像情報の選択領域であ
    るウインドを定めるウインド決定手段(7)と、該ウイ
    ンド決定手段(7)で定められたウインド(W1
    2 )内の画像データの相関演算を行なって両画像の光
    軸からのずれ量を求める相関演算手段(8;81
    n )とを備え、前記追尾可否・不可方向判定手段(1
    2)は、前記相関演算手段(8;81 〜8n )での相関
    演算に基づいて求められる対象物(4)の画像中心が前
    記視野領域(AV )外となることをもって追尾不可と判
    定するとともに前記画像中心が前記視野領域(AV )の
    上下左右いずれの外側に存在するかの判断により追尾不
    可となった方向を判定することを特徴とする請求項1記
    載の車両用距離測定装置。
JP22960497A 1997-08-26 1997-08-26 車両用距離測定装置 Expired - Fee Related JP3406195B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22960497A JP3406195B2 (ja) 1997-08-26 1997-08-26 車両用距離測定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22960497A JP3406195B2 (ja) 1997-08-26 1997-08-26 車両用距離測定装置

Publications (2)

Publication Number Publication Date
JPH1163976A true JPH1163976A (ja) 1999-03-05
JP3406195B2 JP3406195B2 (ja) 2003-05-12

Family

ID=16894791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22960497A Expired - Fee Related JP3406195B2 (ja) 1997-08-26 1997-08-26 車両用距離測定装置

Country Status (1)

Country Link
JP (1) JP3406195B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010131696A1 (ja) * 2009-05-15 2010-11-18 株式会社 明電舎 パンタグラフ変位測定装置及びトロリ線硬点検出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010131696A1 (ja) * 2009-05-15 2010-11-18 株式会社 明電舎 パンタグラフ変位測定装置及びトロリ線硬点検出方法

Also Published As

Publication number Publication date
JP3406195B2 (ja) 2003-05-12

Similar Documents

Publication Publication Date Title
US5424952A (en) Vehicle-surroundings monitoring apparatus
KR930004880B1 (ko) 추미식 차간거리 측정장치
JP2508904B2 (ja) 車間距離検出装置
JPH07320199A (ja) 車両用障害物検出装置
JP2671615B2 (ja) ガードレール検出装置
JPH04313199A (ja) 車間距離検出装置
JP2536986B2 (ja) 車間距離検出装置
JPH0827188B2 (ja) 車間距離検出装置
JPH07119606B2 (ja) 追尾式車間距離検出装置
JP2635246B2 (ja) 先行車追尾用車間距離検出装置
JPH05242399A (ja) 車間距離検出装置
JPH04113212A (ja) 距離検出装置
JPH1163976A (ja) 車両用距離測定装置
JP3382518B2 (ja) 車両用距離測定装置
JPH1151644A (ja) 車両用距離測定装置
JP3406196B2 (ja) 車両用距離測定装置
JPH1151647A (ja) 車両用距離測定装置
JP2635232B2 (ja) 車間距離検出装置
JP3354448B2 (ja) 車両用距離測定装置
JP3923183B2 (ja) 車両用距離測定装置
JPH02232511A (ja) 追尾式車間距離測定装置
JP3923181B2 (ja) 車両用距離測定装置
JP2827682B2 (ja) 車間距離検出装置
JP3822275B2 (ja) 移動体用画像センサおよび移動体用走行制御装置
JPH11108661A (ja) 車両用距離測定装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080307

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090307

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100307

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100307

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140307

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees