JP3985748B2 - 車載用障害物検出装置 - Google Patents

車載用障害物検出装置 Download PDF

Info

Publication number
JP3985748B2
JP3985748B2 JP2003271921A JP2003271921A JP3985748B2 JP 3985748 B2 JP3985748 B2 JP 3985748B2 JP 2003271921 A JP2003271921 A JP 2003271921A JP 2003271921 A JP2003271921 A JP 2003271921A JP 3985748 B2 JP3985748 B2 JP 3985748B2
Authority
JP
Japan
Prior art keywords
obstacle
vehicle
behavior
sensor
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003271921A
Other languages
English (en)
Other versions
JP2005032063A (ja
Inventor
高橋  宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003271921A priority Critical patent/JP3985748B2/ja
Priority to US10/873,274 priority patent/US7061373B2/en
Publication of JP2005032063A publication Critical patent/JP2005032063A/ja
Application granted granted Critical
Publication of JP3985748B2 publication Critical patent/JP3985748B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315Monitoring blind spots

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、センシング範囲が互いに重複しない複数のセンサを用いて自車両に対する障害物の存在を検出する車載用障害物検出装置に関する。
従来より、車両の運転操作の安全性を高めることを目的として、走行している自車両に対する障害物を検出する技術が知られている(例えば、特許文献1参照。)。
この特許文献1には、走路に対する車両の位置を検出して当該車両の操舵を制御する自動走行制御装置が開示されている。特に、この自動走行制御装置は、障害物を検出するために、CCD(Charge Coupled Device)等のカメラとレーダとを車載し、カメラによる検出範囲とレーダによる検出範囲とを冗長させ、これら両者での検出を行うことにより、検出信頼度の向上を図っている。
特開平10−31799号公報
ところで、上述した特許文献1に記載された技術をはじめとする従来のシステムにおいては、複数のレーダを用いて障害物を検出することによって検出信頼度を向上させているが、複数のレーダによる検出範囲に対して冗長なセンシング範囲を持たせる制限が存在していたことから、車両に対するセンサの取り付け位置や取り付け方向についての自由度が極めて低いという問題があった。
また、この種の従来の技術は、基本的に死角をつくらないようにセンサを配置することに主眼をおいたものが多いが、システムによっては、できる限り少ない個数のセンサを用いて周囲状況を確認したいという要請があった。
しかしながら、従来のシステムにおいては、上述した特許文献1に記載された技術のように、検出信頼性を向上するために複数のセンサを用いる構成となっていたことから、これら複数のセンサからの死角についての情報の受け渡しを積極的に利用する構成とはなっていなかった。
本発明は、このような実情に鑑みてなされたものであり、複数のセンサによって検出される情報を有効に利用し、障害物が死角内に存在する際の取り扱いを適切に行い、安全性をより向上させることができる車載用障害物検出装置を提供することを目的とするものである。
本発明に係る車載用障害物検出装置は、センシング範囲が互いに重複しない複数のセンサのうち一のセンサのセンシング範囲内に存在する障害物の挙動を観測し、観測した障害物の挙動に基づいて、一のセンサのセンシング範囲と他のセンサのセンシング範囲との間の領域である死角内における障害物の挙動を予測するようにしている。そして、障害物が一のセンサのセンシング範囲から逸脱して他のセンサのセンシング範囲内に進入したときに、予測に基づく障害物の位置と、実際に他のセンサによって観測される障害物の位置とに差が生じている場合には、この差に基づいて予測に用いるパラメータを補正するようにしている。
本発明に係る車載用障害物検出装置によれば、複数のセンサによって検出される情報を有効に利用することにより、本来センサが検出していない死角内における障害物の存在を予測することが可能となる。このように、本発明に係る車載用障害物検出装置によれば、障害物が死角内に存在する際の取り扱いを適切に行うことにより、安全性をより向上させることができる。
以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。
本発明を適用した車載用障害物検出装置は、センシング範囲が互いに重複しない複数のセンサを用いて走行している自車両に対する障害物の存在を検出するものであり、特に、複数のセンサのうちの一のセンサのセンシング範囲内における障害物の挙動に基づいて、センサによっては検出することができない死角内における障害物の挙動を予測するものである。
ここで、予測について補足的な説明として、自車両の側方を通過する障害物としての追越車両の挙動を予測したパラメータを、当該追越車両の後続車両についても適用することが有効である理由について説明する。
車両の流れは、一般に、“武者利光著、「1/fゆらぎ」、講談社ブルーバックス”等の著書において記載されているように、同様の傾向が継続するときには頻発し、一旦流れが途絶えるとほとんど車両が来なくなる、というゆらぎの性質を有するといわれている。したがって、1台目の追越車両がある速度で自車両の側方を通過した場合には、2台目の追越車両も、1台目の追越車両と略同様の速度で通過していく現象が生じやすい。また、進行方向前方の渋滞等の影響で1台目の追越車両が減速しながら自車両の側方を通過した場合には、後続する追越車両も減速しながら追い越していく現象が生じやすいということができる。ただし、このような現象は、個別的に厳密に計算すると、当然、個々の車両特性によって変化するものであるが、マクロ的に考えれば、同様の傾向が存在するものと考えることができる。
本発明の実施の形態として示す車載用障害物検出装置は、このような性質を利用し、障害物の挙動を予測し、予測したパラメータを次の障害物についても適用するものであるが、当該障害物に関する観測結果に基づいて、次の障害物の予測に用いるパラメータを適宜補正するものである。なお、以下では、説明の便宜上、自車両に搭載された2つのセンサを用いて障害物を検出するものとして説明するが、センサの数はここで挙げる例に限定されるものではなく、適宜変更が可能である。
(第1の実施形態)
まず、本発明を適用した第1の実施の形態の車載用障害物検出装置について説明する。
図1に示すように、本実施形態の車載用障害物検出装置は、自車両10に搭載された第1のセンサ21及び第2のセンサ22の2つのセンサと、これら2つのセンサ21,22によって検出された検出信号に対して画像処理を施す画像処理装置23と、障害物の位置を算出する障害物位置算出装置24と、死角内における障害物の挙動を予測する死角内挙動予測装置25とを備えて構成される。
なお、これら各部のうち、画像処理装置23及び障害物位置算出装置24は、複数のセンサ21,22のうち一のセンサのセンシング範囲内に存在する障害物の挙動を観測する障害物挙動観測手段を構成し、死角内挙動予測装置25は、障害物挙動観測手段によって観測された障害物の挙動に基づいて死角内における障害物の挙動を予測する死角内挙動予測手段を構成するものである。
第1のセンサ21は、例えば、同図中斜線部Aで示すように、自車両10の右後側方における所定の領域をセンシング範囲とするビデオカメラ等より構成される。すなわち、この第1のセンサ21は、自車両10の右側を移動体障害物としての追越車両30が追い越していく場合には、当該追越車両30が自車両10の右後方に到達した際に当該追越車両30を検出することが可能とされる。この第1のセンサ21によって検出された検出信号は、画像処理装置23に供給される。
第2のセンサ22は、例えば、同図中斜線部Bで示すように、自車両10の前方における所定の領域をセンシング範囲とするビデオカメラ等より構成される。すなわち、この第2のセンサ22は、自車両10の右側を移動体障害物としての追越車両30が追い越していく場合には、当該追越車両30が自車両10の右前方に到達した際に当該追越車両30を検出することが可能とされる。この第2のセンサ22によって検出された検出信号は、画像処理装置23に供給される。
画像処理装置23は、第1のセンサ21と第2のセンサ22のそれぞれによって検出された検出信号に対して所定の画像処理を施すことにより、障害物を画像として生成する。画像処理装置23は、生成した画像信号を障害物位置算出装置24及び死角内挙動予測装置25に供給する。
障害物位置算出装置24は、画像処理装置23から供給された画像信号及び死角内挙動予測装置25から供給された予測信号に基づいて、障害物の位置を算出する。具体的には、障害物位置算出装置24は、追越車両30が、自車両10に対して相対速度V(t)及び相対加速度ΔV(t)で走行するとともに、自車両10の走行方向に対して方位角θ(t)で走行していることを第1のセンサ21によって検出した場合には、画像処理装置23から供給された画像信号及び死角内挙動予測装置25から供給された予測信号に基づいて、図2に示すように、自車両10の中心を原点とする2次元直交座標上での追越車両30の位置を算出する。
死角内挙動予測装置25は、画像処理装置23から供給された画像信号に基づいて、第1のセンサ21のセンシング範囲から第2のセンサ22のセンシング範囲の間の領域である死角内における障害物の挙動を予測する。死角内挙動予測装置25は、予測したパラメータからなる予測信号を障害物位置算出装置24に供給する。
以上のように構成される車載用障害物検出装置では、図3及び図4に示すような一連の処理を経ることで、自車両10に対する障害物の存在を検出する。
まず、車載用障害物検出装置は、図3に示すように、ステップS1において、自車両100の右後側方における所定の領域をセンシング範囲とする第1のセンサ21によって障害物を検出すると、この検出信号に基づいて、画像処理装置23及び障害物位置算出装置24により、先に図2を用いて説明したような一般的な画像処理技術を用いて当該障害物の位置を算出する。
続いて、車載用障害物検出装置は、ステップS2において、障害物の移動パラメータを算定する。具体的には、車載用障害物検出装置は、第1のセンサ21のセンシング範囲内における障害物の自車両10に対する相対速度V(t)、相対加速度ΔV(t)、及び方位角θ(t)を観測する。
そして、車載用障害物検出装置は、ステップS3において、障害物が引き続き第1のセンサ21のセンシング範囲内に存在するか否かを判定する。
ここで、車載用障害物検出装置は、障害物が引き続き第1のセンサ21のセンシング範囲内に存在しているものと判定した場合には、ステップS1からの処理を繰り返し、当該障害物の観測を継続する。
一方、車載用障害物検出装置は、障害物が第1のセンサ21のセンシング範囲内から逸脱したものと判定した場合には、自車両100の前方における所定の領域をセンシング範囲とする第2のセンサ22のセンシング範囲へと移動するために、死角内を通過しているものと把握する。なお、車載用障害物検出装置は、実際に第1のセンサ21によって検出できる範囲が障害物位置算出装置24にとって既知であることから、当該第1のセンサ21によって障害物の位置をトレースする過程で、障害物の位置が当該第1のセンサ21のセンシング範囲外になった旨を容易に観測することができる。
続いて、車載用障害物検出装置は、ステップS4において、死角内挙動予測装置25を起動し、車両挙動パラメータ(ベクトル)の初期値に基づいて、死角内における障害物の挙動を予測する。具体的には、車載用障害物検出装置は、この予測処理として、障害物が第2のセンサ22のセンシング範囲内に出現する時刻を算出する。
例えば、先に図2に示した自車両10と障害物としての追越車両30との位置関係のもとに、ステップS2にて相対速度V(t)、相対加速度ΔV(t)、及び方位角θ(t)が観測された場合において、追越車両30が死角に進入した瞬間の時刻をtとする。また、自車両10の走行速度をVS(t)とする。
この場合、追越車両30が死角に進入してから第2のセンサ22のセンシング範囲内に出現するまでの時間は、単純な幾何学的計算によって算出することができる。すなわち、例えば図5に示すように、第1のセンサ21のセンシング範囲内に存在する追越車両30の位置から第2のセンサ22のセンシング範囲内に出現した追越車両30の位置までの距離Dは既知であり、この距離Dは、追越車両30が死角に進入してから第2のセンサ22のセンシング範囲内に出現するまでの時間をt1とすると、次式(1)で表される。したがって、車載用障害物検出装置は、時間t1を容易に算出することができ、時刻t+t1で追越車両30が第2のセンサ22のセンシング範囲内に出現するものと予測することができる。
D=V(t)×t1+0.5×ΔV(t)×t12 ・・・(1)
車載用障害物検出装置は、このようにして死角内における障害物の挙動を予測すると、予測した障害物の位置に基づいて、警報動作等を適宜行う。
具体的には、車載用障害物検出装置は、ステップS5において、運転者によって自車両10が障害物に近付く方向を指示するウィンカが操作されたか否かを判定する。
ここで、車載用障害物検出装置は、ウィンカが操作されていないものと判定した場合には、障害物との接触の可能性がないものと判定し、図4中ステップS9へと処理を移行する。
一方、車載用障害物検出装置は、ウィンカが操作されたものと判定した場合には、ステップS6において、自車両10と障害物との接近距離を算出し、ステップS7において、接近距離が所定値よりも小さいか否かを判定する。
そして、車載用障害物検出装置は、接近距離が所定値よりも小さくないものと判定した場合には、障害物との接触の可能性がないものと判定し、図4中ステップS9へと処理を移行する一方で、接近距離が所定値よりも小さいものと判定した場合には、障害物との接触の可能性があるものと判定し、ステップS8において、運転者の注意を喚起すべく、図示しない警報手段を用いて所定の警報動作を行い、図4中ステップS9へと処理を移行する。
以降、車載用障害物検出装置は、画像処理装置23及び障害物位置算出装置24により、次の障害物の予測に用いるパラメータを適宜補正してステップS4にて行った予測を修正する処理を行う。
まず、車載用障害物検出装置は、図4に示すように、ステップS9において、予測した時刻t+t1よりも所定の時間幅δ以上早い時刻で障害物がセンサ22のセンシング範囲内に出現したか否かを判定する。この状況は、障害物が死角に存在している最中に自車両10が減速した場合や、当該障害物が加速した場合が考えられる。
車載用障害物検出装置は、予測した時刻t+t1よりも所定の時間δ以上早い時刻で障害物がセンサ22のセンシング範囲内に出現したものと判定した場合には、ステップS10において、障害物が死角に存在している最中に自車両10が減速したか否かを判定する。
ここで、車載用障害物検出装置は、障害物が死角に存在している最中に自車両10が減速したものと判定した場合には、予測が正確であったものと判定し、補正することなくそのまま一連の処理を終了する。
一方、車載用障害物検出装置は、障害物が死角に存在している最中に自車両10が減速していないものと判定した場合には、障害物が死角に存在している最中に加速したものと判定し、予測に用いるパラメータを補正する。
具体的には、車載用障害物検出装置は、ステップS11において、障害物が死角に進入した時刻tと、当該障害物が第2のセンサ22によって検出された時刻t1と、死角内における当該障害物の移動距離Dとに基づいて、当該障害物の加速度SC(t)を算出し、この加速度SC(t)と、ステップS4にて用いた相対加速度ΔV(t)とに基づいて、補正係数RAを算出する。例えば、この補正係数RAは、次式(2)によって求めることができる。車載用障害物検出装置は、この補正係数RAを、次回の予測値に反映させる。なお、補正係数RAの初期値は、“1”である。
RA=SC(t)/ΔV(t) ・・・(2)
車載用障害物検出装置は、補正係数RAを算出した後、一連の処理を終了する。
また、車載用障害物検出装置は、ステップS9における判定の結果、予測した時刻t+t1よりも所定の時間δ以上早い時刻で障害物が第2のセンサ22のセンシング範囲内に出現していないものと判定した場合には、まず、ステップS12において、予測した時刻t+t1よりも所定の時間δ以上且つ所定の時間GT以下だけ遅い時刻で障害物が第2のセンサ22のセンシング範囲内に出現したか否かを判定する。この状況は、障害物が減速した場合や、当該障害物が死角に存在している最中に自車両10が加速した場合が考えられる。
車載用障害物検出装置は、予測した時刻t+t1よりも所定の時間δ以上且つ所定の時間GT以下だけ遅い時刻で障害物が第2のセンサ22のセンシング範囲内に出現したものと判定した場合には、ステップS13において、障害物が死角に存在している最中に自車両10が加速したか否かを判定する。
ここで、車載用障害物検出装置は、障害物が死角に存在している最中に自車両10が加速したものと判定した場合には、予測が正確であったものと判定し、補正することなくそのまま一連の処理を終了する。
一方、車載用障害物検出装置は、障害物が死角に存在している最中に自車両10が加速していないものと判定した場合には、障害物が加速したものと判定し、予測に用いるパラメータを補正する。
具体的には、車載用障害物検出装置は、ステップS14において、障害物が死角に進入した時刻tと、当該障害物が第2のセンサ22によって検出された時刻t1と、死角内における当該障害物の移動距離Dとに基づいて、当該障害物の加速度SC(t)を算出し、この加速度SC(t)と、ステップS4にて用いた相対加速度ΔV(t)とに基づいて、補正係数RAを算出する。この処理は、ステップS10と同様である。車載用障害物検出装置は、補正係数RAを算出した後、一連の処理を終了する。
さらに、車載用障害物検出装置は、ステップS12における判定の結果、予測した時刻t+t1よりも所定の時間δ以上且つ所定の時間GT以下だけ遅い時刻で障害物が第2のセンサ22のセンシング範囲内に出現していないものと判定した場合には、ステップS15において、予測した時刻t+t1よりも所定の時間GT以上遅くなっても障害物が第2のセンサ22のセンシング範囲内に出現していないか否かを判定する。
ここで、車載用障害物検出装置は、予測した時刻t+t1よりも所定の時間GT未満の時刻で障害物が第2のセンサ22のセンシング範囲内に出現していたものと判定した場合には、図3中ステップS4からの処理を繰り返す。
一方、予測した時刻t+t1よりも所定の時間GT以上遅くなっても障害物が第2のセンサ22のセンシング範囲内に出現していないものと判定した場合には、障害物が死角に存在している最中に、自車両10と当該障害物との相対的な位置関係が変化せず、常に自車両10と当該障害物とが並走している状況であるものと考えられる。このような場合、車載用障害物検出装置においては、自車両10と当該障害物との相対的な位置関係の変化を直接的に捉えることは困難であり、死角内挙動予測装置25による予測は不可能となる。
そこで、車載用障害物検出装置は、ステップS16において、障害物位置算出装置24により、障害物が自車両10に対して最も距離が近い危険な位置にあるものとして、障害物の位置を仮想的に設定する。そして、車載用障害物検出装置は、特に図示しないが、図3中ステップS5乃至ステップS8と同様の警報動作を行う。
続いて、車載用障害物検出装置は、ステップS17において、第1のセンサ21または第2のセンサ22によって障害物についての新たな検出があるか否かを判定する。
ここで、車載用障害物検出装置は、これら2つのセンサ21,22によって障害物についての新たな検出がないものと判定した場合には、ステップS16からの処理を繰り返し、常時、障害物が危険な位置にあるものとして、障害物の位置を仮想的に設定する。
一方、車載用障害物検出装置は、第1のセンサ21または第2のセンサ22によって障害物についての新たな検出があるものと判定した場合には、何れのセンサで障害物についての新たな検出があるのかを判定する。
ここで、車載用障害物検出装置は、障害物について第2のセンサ22による検出はないが、第1のセンサ21による検出があるものと判定した場合には、ステップS19において、ステップS16にて設定した内容をリセットし、障害物の位置を第1のセンサ21によって現実に検出された位置に設定した後、図3中ステップS4からの処理を繰り返す。
一方、車載用障害物検出装置は、障害物について第1のセンサ21による検出がないものと判定した場合には、ステップS20において、障害物が第2のセンサ22によって検出された後、死角内に進入したか否かを判定する。
そして、車載用障害物検出装置は、障害物が第2のセンサ22によって検出された後、死角内に進入していないものと判定した場合には、ステップS18からの処理を繰り返す一方で、障害物が第2のセンサ22によって検出された後、死角内に進入したものと判定した場合には、ステップS19へと処理を移行し、障害物の位置を第1のセンサ21によって現実に検出された位置に設定した後、図3中ステップS4へと処理を移行することになる。
車載用障害物検出装置は、以上のような一連の処理を経ることにより、第1のセンサ21または第2のセンサ22のうち、一のセンサによって検出した障害物の挙動に基づいて、死角内における障害物の挙動を予測することができる。
以上詳細に説明したように、第1の実施の形態として示した車載用障害物検出装置は、センシング範囲が互いに重複しない複数のセンサ21,22のうち一のセンサのセンシング範囲内に存在する障害物の挙動を観測し、観測した障害物の挙動に基づいて、一のセンサのセンシング範囲と他のセンサのセンシング範囲との間の領域である死角内における障害物の挙動を予測する。これにより、この車載用障害物検出装置は、本来センサ21,22では検出できない死角内における障害物の存在を予測することができ、安全性をより向上させることができる
また、この車載用障害物検出装置は、画像処理装置23及び障害物位置算出装置24を用いて、障害物が一のセンサのセンシング範囲から逸脱して他のセンサのセンシング範囲内に進入したときに、予測に基づく障害物の位置と他のセンサによって検出された実際の障害物の位置とに差が生じている場合には、この差に基づいて死角内挙動予測装置25の予測に用いるパラメータを補正する。これにより、車載用障害物検出装置は、次回以降の障害物に対する予測を正確に行うことができる。
さらに、この車載用障害物検出装置は、障害物について予想外の挙動があった場合であって死角内挙動予測装置25による予測が不可能となった場合には、画像処理装置23及び障害物位置算出装置24を用いて、障害物の位置を、例えば自車両10に対して最も距離が近い危険な位置といった所定の位置に仮想的に設定することにより、障害物の挙動が予測ができない状況であっても、危険を回避することが可能となる。
さらにまた、この車載用障害物検出装置は、死角内挙動予測装置25によって予測した障害物の位置と、例えばウィンカ操作等に基づく自車両10の挙動とに基づいて、警報動作を適宜行うことから、運転者に対して適切に注意を喚起することができる。
(第2の実施形態)
次に、本発明を適用した第2の実施の形態の車載用障害物検出装置について説明する。本実施形態の車載用障害物検出装置は、第1の実施の形態における予測パラメータの補正過程において、極端な障害物の挙動に関しては補正しないようにするものである。以下、本実施形態の車載用障害物検出装置に特徴的な部分を中心に説明し、第1の実施の形態と同様の部分については、同一の符号及び同一のステップ番号を付して詳細な説明を省略する。
図6に示すように、本実施形態の車載用障害物検出装置は、第1のセンサ21及び第2のセンサ22、画像処理装置23、障害物位置算出装置24、死角内挙動予測装置25の他、死角内挙動予測装置25による予測に用いるパラメータの補正を禁止する補正禁止手段であるパラメータ補正禁止装置26を備えて構成される。
パラメータ補正禁止装置26は、障害物が一のセンサのセンシング範囲から逸脱して他のセンサのセンシング範囲内に進入したときに、死角内挙動予測装置25の予測に基づく障害物の位置と他のセンサによって検出された実際の障害物の位置とに差が生じている場合に、その差の度合いに応じて、死角内挙動予測装置25による予測に用いるパラメータの補正を禁止するか否かを判定するものである。すなわち、死角内挙動予測装置25の予測に基づく障害物の位置と他のセンサによって検出された実際の障害物の位置との差が極端に大きい場合は、死角内における障害物の移動変化率が極端に大きい特異的なケースと判断できるので、パラメータ補正禁止装置26は、このような場合には、死角内挙動予測装置25による予測に用いるパラメータの補正を禁止するようにしている。そして、パラメータ補正禁止装置26は、パラメータの補正を禁止するか否かを示す制御信号を死角内挙動予測装置25に供給する。
以上のような本実施形態の車載用障害物検出装置では、自車両10に対する障害物の存在を検出するために、基本的には先に図3及び図4に示した一連の処理と同様の処理を行うが、パラメータ補正禁止装置26によるパラメータ補正の是非を判定する処理が付加される。
具体的には、本実施形態の車載用障害物検出装置では、図4中ステップS11又はステップS14において、補正係数RAを算出した後、そのまま終了するのではなく、図7に示す処理が実行される。
すなわち、車載用障害物検出装置は、同図に示すように、ステップS31において、パラメータ補正禁止装置26により、算出された補正係数RAが予め設定してある所定値XXよりも大きいか否かを判定する。
ここで、車載用障害物検出装置は、算出した補正係数RAが予め設定してある所定値XXよりも大きいものと判定した場合には、ステップS32へと処理を移行し、現行の補正係数(前回の処理で算出された補正係数)RA0の値を変更せずに、そのまま一連の処理を終了する。すなわち、車載用障害物検出装置は、算出した補正係数RAが所定値XXよりも大きい場合には、当該補正係数RAをパラメータの補正に反映させることなく処理を終了させる。
一方、車載用障害物検出装置は、算出した補正係数RAが予め設定してある所定値XX未満であると判定した場合には、ステップS33へと処理を移行し、新たな補正係数RANを算出してこれをパラメータの補正に反映させる。具体的には、車載用障害物検出装置は、現行の補正係数(前回の処理で算出された補正係数)RA0と、今回算出した補正係数RAとを用いて、新たな補正係数RANを次式(3)によって求める。そして、この新たな補正係数RANを用いて、死角内挙動予測装置25による予測に用いるパラメータを補正する。
RAN=(RA0+RA)/2 ・・・(3)
車載用障害物検出装置は、以上のような一連の処理を経ることにより、パラメータ補正禁止装置26によるパラメータ補正の是非についての判定を行った上で、死角内における障害物の挙動を予測することができる。
以上詳細に説明したように、本実施形態の車載用障害物検出装置では、障害物の移動変化率が極端に大きい特異的なケースでは、パラメータ補正禁止装置26が死角内挙動予測装置25による予測に用いるパラメータの補正を禁止するようにしているので、このような特異的なケースが生じた場合にも不用意にパラメータを補正してしまって却って予測を悪化させるといった不都合を未然に回避することができる。
(第3の実施形態)
次に、本発明を適用した第3の実施の形態の車載用障害物検出装置について説明する。本実施形態の車載用障害物検出装置は、障害物についての予測した挙動と実際の挙動との間に大きなずれが頻繁に生じているかどうかを判定して、これに基づきシステム異常の有無の診断を行うようにしたものである。以下、本実施形態の車載用障害物検出装置に特徴的な部分を中心に説明し、第1の実施の形態や第2の実施形態と同様の部分については、同一の符号及び同一のステップ番号を付して詳細な説明を省略する。
図8に示すように、本実施形態の車載用障害物検出装置は、第1のセンサ21及び第2のセンサ22、画像処理装置23、障害物位置算出装置24、死角内挙動予測装置25の他、当該車載用障害物検出装置におけるシステムの異常の有無を診断する診断手段であるセンシング診断装置27を備えて構成される。
センシング診断装置27は、死角内挙動予測装置25の予測に基づく障害物の位置と、実際にセンサ21,22によって観測される障害物の位置とに大きな差が頻繁に生じているかどうかを判定して、その判定結果に基づいてシステムの異常の有無を診断する。そして、このセンシング診断装置27は、診断した結果を示す制御信号を死角内挙動予測装置25に供給する。
このような車載用障害物検出装置は、自車両10に対する障害物の存在を検出するために、基本的には先に図3及び図4に示した一連の処理、または図3、図4及び図7に示した一連の処理と同様の処理を行うが、これら処理を終了した後に、バックグラウンドの処理として、センシング診断装置27によるシステムの診断を行う。
具体的には、車載用障害物検出装置は、図9に示すように、ステップS51において、センシング診断装置27により、算出した補正係数RAの変化率の標準偏差を算出し、ステップS52において、算出した標準偏差が予め設定してある数値Σよりも大きいか否かを判定する。
ここで、車載用障害物検出装置は、算出した標準偏差が予め設定してある数値Σよりも大きくないものと判定した場合には、システムに異常はないものと判定し、一連の処理を終了する。
一方、車載用障害物検出装置は、算出した標準偏差が予め設定してある数値Σよりも大きいものと判定した場合には、予測値が常時大きく変動している状況であると考えられることから、システムに異常があるものと判定する。
そして、車載用障害物検出装置は、ステップS53において、異常がある旨を運転者に報知すべく所定の警報動作を行い、ステップS54において、システムを停止させ、一連の処理を終了する。
車載用障害物検出装置は、このような一連の工程を経ることにより、センシング診断装置27によるシステムの診断を行うことができる。
以上詳細に説明したように、本実施形態の車載用障害物検出装置では、センシング診断装置27によるバックグラウンド的な処理として、障害物についての予測した挙動と実際の挙動との間に大きなずれが頻繁に生じているかどうかが判定されて、これに基づいてシステムに異常が生じているかどうかが診断されるようになっているので、例えばセンサ21,22の故障等に起因するシステムの異常動作を迅速に把握することができ、システムの信頼性を向上させることができる。
以上、本発明の実施の形態について具体的に説明したが、本発明が上述した実施の形態に限定されるものではないことは勿論である。例えば、上述した各実施の形態では、2つのセンサ21,22を用いて障害物の存在を検出するものとして説明したが、本発明は、3つ以上のセンサを用いる場合であっても適用することができる。
また、上述した各実施の形態では、車載用障害物検出装置を構成する各部が恰も物理的に別個の装置であるものとして説明したが、本発明は、例えばCPU(Central Processing Unit)等によって実行可能なソフトウェアとして構成することもできることは勿論である。その他、本発明は、上述した実施の形態以外の形態であっても、当該本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはいうまでもない。
第1の実施の形態の車載用障害物検出装置の構成を示すブロック図である。 自車両の中心を原点とする2次元直交座標上での障害物としての追越車両の位置を算出する様子を説明するための図である。 第1の実施の形態の車載用障害物検出装置で自車両に対する障害物の存在を検出する際の一連の処理を説明するフローチャートである。 第1の実施の形態の車載用障害物検出装置で自車両に対する障害物の存在を検出する際の一連の処理を説明するフローチャートである。 障害物としての追越車両が死角に進入してから自車両の前方をセンシング範囲とするセンサのセンシング範囲内に出現するまでの時間を算出する様子を説明するための図である。 第2の実施の形態の車載用障害物検出装置の構成を示すブロック図である。 第2の実施の形態の車載用障害物検出装置においてパラメータ補正の是非についての判定を行う際の一連の処理を説明するフローチャートである。 第3の実施の形態の車載用障害物検出装置の構成を示すブロック図である。 第3の実施の形態の車載用障害物検出装置においてシステムの診断を行う際の一連の処理を説明するフローチャートである。
符号の説明
10 自車両
21,22 センサ
23 画像処理装置
24 障害物位置算出装置
25 死角内挙動予測装置
26 パラメータ補正禁止装置
27 センシング診断装置
30 追越車両

Claims (4)

  1. センシング範囲が互いに重複しない複数のセンサを用いて自車両に対する障害物の存在を検出する車載用障害物検出装置において、
    前記複数のセンサのうち一のセンサのセンシング範囲内に存在する障害物の挙動を観測する障害物挙動観測手段と、
    前記障害物挙動観測手段によって観測された前記障害物の挙動に基づいて、前記一のセンサのセンシング範囲と他のセンサのセンシング範囲との間の領域である死角内における前記障害物の挙動を予測する死角内挙動予測手段とを備え
    前記死角内挙動予測手段は、前記障害物が一のセンサのセンシング範囲から逸脱して他のセンサのセンシング範囲内に進入したときに、当該死角内挙動予測手段の予測に基づく前記障害物の位置と、実際に前記他のセンサによって観測される前記障害物の位置とに差が生じている場合には、この差に基づいて予測に用いるパラメータを補正することを特徴とする車載用障害物検出装置。
  2. 前記死角内挙動予測手段の予測に基づく前記障害物の位置と実際に前記他のセンサによって観測される前記障害物の位置との差が極端に大きいと判断される場合に、前記死角内挙動予測手段による予測に用いるパラメータの補正を禁止する補正禁止手段を備えることを特徴とする請求項1に記載の車載用障害物検出装置。
  3. 前記障害物挙動観測手段は、前記死角内挙動予測手段による予測が不可能な場合には、前記障害物の位置を所定の位置に仮想的に設定することを特徴とする請求項1又は2に記載の車載用障害物検出装置。
  4. 前記死角内挙動予測手段の予測に基づく前記障害物の位置と、実際に前記他のセンサによって観測される前記障害物の位置とに大きな差が頻繁に生じているかどうかを判定して、その判定結果に基づいてシステムの異常の有無を診断する診断手段を備えることを特徴とする請求項1乃至3の何れか1項に記載の車載用障害物検出装置。
JP2003271921A 2003-07-08 2003-07-08 車載用障害物検出装置 Expired - Fee Related JP3985748B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003271921A JP3985748B2 (ja) 2003-07-08 2003-07-08 車載用障害物検出装置
US10/873,274 US7061373B2 (en) 2003-07-08 2004-06-23 Vehicle obstacle detecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003271921A JP3985748B2 (ja) 2003-07-08 2003-07-08 車載用障害物検出装置

Publications (2)

Publication Number Publication Date
JP2005032063A JP2005032063A (ja) 2005-02-03
JP3985748B2 true JP3985748B2 (ja) 2007-10-03

Family

ID=34055964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003271921A Expired - Fee Related JP3985748B2 (ja) 2003-07-08 2003-07-08 車載用障害物検出装置

Country Status (2)

Country Link
US (1) US7061373B2 (ja)
JP (1) JP3985748B2 (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005533321A (ja) * 2002-07-17 2005-11-04 フィコ ミロールス,エセ ア 車両の安全境界の能動監視のための装置及び方法
JP4557819B2 (ja) * 2005-06-21 2010-10-06 アルパイン株式会社 車両周辺情報提供装置
JP4572772B2 (ja) * 2005-08-05 2010-11-04 アイシン・エィ・ダブリュ株式会社 車両周辺監視装置
JP4813141B2 (ja) * 2005-10-05 2011-11-09 川崎重工業株式会社 情報提供装置
DE102006047634A1 (de) * 2006-10-09 2008-04-10 Robert Bosch Gmbh Verfahren zum Erfassen eines Umfelds eines Fahrzeugs
JP4518080B2 (ja) 2007-01-09 2010-08-04 トヨタ自動車株式会社 周辺監視装置
US7602276B2 (en) * 2007-01-17 2009-10-13 Visteon Global Technologies, Inc. Variable blind spot warning system
JP4412337B2 (ja) 2007-03-08 2010-02-10 トヨタ自動車株式会社 周囲環境推定装置及び周囲環境推定システム
US7859432B2 (en) * 2007-05-23 2010-12-28 Che Il Electric Wireing Devices Co., Ltd. Collision avoidance system based on detection of obstacles in blind spots of vehicle
US8182795B2 (en) 2007-07-27 2012-05-22 Shiseido Co., Ltd. Oil-in-water emulsion type sunscreen preparation
JP5115207B2 (ja) * 2008-01-17 2013-01-09 トヨタ自動車株式会社 シフト装置
US20090259399A1 (en) * 2008-04-15 2009-10-15 Caterpillar Inc. Obstacle detection method and system
JP5233432B2 (ja) * 2008-06-16 2013-07-10 アイシン・エィ・ダブリュ株式会社 運転支援システム、運転支援方法及び運転支援プログラム
JP5200732B2 (ja) * 2008-07-29 2013-06-05 日産自動車株式会社 走行制御装置、及び走行制御方法
US8229663B2 (en) * 2009-02-03 2012-07-24 GM Global Technology Operations LLC Combined vehicle-to-vehicle communication and object detection sensing
US20100231716A1 (en) * 2009-03-13 2010-09-16 Klaerner Mark A Vehicle-Mountable Imaging Systems and Methods
JP4957747B2 (ja) * 2009-05-18 2012-06-20 トヨタ自動車株式会社 車両環境推定装置
TW201100280A (en) * 2009-06-19 2011-01-01 Automotive Res & Testing Ct Collision warning system for vehicle
JP4877364B2 (ja) 2009-07-10 2012-02-15 トヨタ自動車株式会社 物体検出装置
JP5632762B2 (ja) * 2011-01-25 2014-11-26 パナソニック株式会社 測位情報形成装置、検出装置、及び測位情報形成方法
JP5737396B2 (ja) * 2011-06-09 2015-06-17 トヨタ自動車株式会社 他車両検出装置及び他車両検出方法
RU2564268C1 (ru) * 2011-08-10 2015-09-27 Тойота Дзидося Кабусики Кайся Устройство помощи при вождении
TWI540063B (zh) * 2011-08-19 2016-07-01 啟碁科技股份有限公司 盲點偵測系統
FR2987325A1 (fr) * 2012-02-24 2013-08-30 Peugeot Citroen Automobiles Sa Procede de detection d'obstacles mobiles dans l'angle mort d'un vehicule automobile
US8793046B2 (en) 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
JP5929574B2 (ja) * 2012-07-10 2016-06-08 株式会社デンソー 警報装置
FR2993845B1 (fr) * 2012-07-25 2014-08-15 Peugeot Citroen Automobiles Sa Systeme d’assistance au changement de voie pour un vehicule
US9580014B2 (en) * 2013-08-08 2017-02-28 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
US10318828B2 (en) * 2013-12-19 2019-06-11 Harman International Industries, Incorporated Vehicle behavior analysis
CN109243204A (zh) * 2014-04-30 2019-01-18 三菱电机株式会社 周边监视装置、周边监视系统以及周边监视方法
DE102014210256A1 (de) * 2014-05-07 2015-11-12 Bayerische Motoren Werke Aktiengesellschaft Absicherung des Seitenraums eines Fahrzeugs durch Datenfusion
JP6318864B2 (ja) 2014-05-29 2018-05-09 トヨタ自動車株式会社 運転支援装置
EP3162648B1 (en) * 2014-06-25 2019-04-24 Nissan Motor Co., Ltd. Vehicle control device
WO2016014933A1 (en) * 2014-07-24 2016-01-28 Gentex Corporation Forward viewing camera configured to control outside electro-optic mirror
JP6507862B2 (ja) * 2015-06-02 2019-05-08 トヨタ自動車株式会社 周辺監視装置及び運転支援装置
US10013881B2 (en) 2016-01-08 2018-07-03 Ford Global Technologies System and method for virtual transformation of standard or non-connected vehicles
SE539443C2 (en) * 2016-02-10 2017-09-26 Scania Cv Ab System for reducing a blind spot for a vehicle
JP6500820B2 (ja) * 2016-03-18 2019-04-17 株式会社デンソー 車載装置
US20190225266A1 (en) * 2016-08-08 2019-07-25 Hitachi Automotive Systems, Ltd. Object detection device and vehicle control system comprising object detection device
JP6330868B2 (ja) * 2016-08-16 2018-05-30 マツダ株式会社 車両制御装置
FR3056807B1 (fr) * 2016-09-28 2020-08-28 Valeo Schalter & Sensoren Gmbh Dispositif d'aide a la conduite d'un vehicule
US10262539B2 (en) * 2016-12-15 2019-04-16 Ford Global Technologies, Llc Inter-vehicle warnings
JP6787106B2 (ja) * 2016-12-20 2020-11-18 トヨタ自動車株式会社 物体検知装置
US20190011913A1 (en) * 2017-07-05 2019-01-10 GM Global Technology Operations LLC Methods and systems for blind spot detection in an autonomous vehicle
JP6791106B2 (ja) * 2017-12-06 2020-11-25 株式会社デンソー 周辺認識装置及び周辺認識方法
WO2019147569A1 (en) * 2018-01-23 2019-08-01 Board Of Trustees Of Michigan State University Visual sensor fusion and data sharing across connected vehicles for active safety
DE102018204590A1 (de) * 2018-03-27 2019-10-02 Continental Automotive Gmbh Verfahren zum nachverfolgen eines beweglichen objekts in einem bereich mit geringer erkennbarkeit
US10884119B2 (en) 2018-06-08 2021-01-05 Ford Global Technologies, Llc Object tracking in blind-spot
US10748295B2 (en) 2018-06-08 2020-08-18 Ford Global Technologies, Llc Object tracking in blind-spot
DE102019002790B4 (de) 2019-04-16 2023-05-04 Mercedes-Benz Group AG Verfahren zur Prädiktion einer Verkehrssituation für ein Fahrzeug
JP7125239B2 (ja) * 2019-07-31 2022-08-24 トヨタ自動車株式会社 車両の注意喚起装置
EP4273837A3 (en) * 2019-09-17 2024-01-17 Mobileye Vision Technologies Ltd. Systems and methods for predicting blind spot incursions
JP7347207B2 (ja) * 2019-12-26 2023-09-20 トヨタ自動車株式会社 運転支援装置
JP7429118B2 (ja) 2019-12-27 2024-02-07 国立大学法人 東京大学 渋滞予測方法および渋滞予測装置
DE102020115149A1 (de) * 2020-06-08 2021-12-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Anpassen eines Fahrverhaltens eines Kraftfahrzeugs
DE102020208637A1 (de) * 2020-07-09 2022-01-13 Robert Bosch Gesellschaft mit beschränkter Haftung Vorhersage von dynamischen Objekten an verdeckten Bereichen
CN112158197B (zh) * 2020-08-21 2021-08-27 恒大新能源汽车投资控股集团有限公司 一种车辆盲区障碍物规避方法、装置及系统
JP7384147B2 (ja) * 2020-11-30 2023-11-21 トヨタ自動車株式会社 物標検出装置及びそれが搭載された車両
DE102021110885A1 (de) 2021-04-28 2022-11-03 Audi Aktiengesellschaft Verfahren zur Unterstützung eines Nutzers eines Kraftfahrzeugs, Kraftfahrzeug sowie Computerprogrammprodukt
FR3130228A1 (fr) * 2021-12-10 2023-06-16 Psa Automobiles Sa - Procédé et dispositif de contrôle d’un système de changement de voie automatique

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5314037A (en) * 1993-01-22 1994-05-24 Shaw David C H Automobile collision avoidance system
JPH09188206A (ja) * 1996-01-08 1997-07-22 Nissan Motor Co Ltd 死角内障害物報知装置
JPH1031799A (ja) 1996-07-15 1998-02-03 Toyota Motor Corp 自動走行制御装置
JP3424808B2 (ja) * 1998-10-21 2003-07-07 矢崎総業株式会社 車両用後側方監視装置
JP2000149197A (ja) * 1998-11-17 2000-05-30 Toyota Motor Corp 車両周辺監視装置
US6337638B1 (en) * 2000-04-25 2002-01-08 International Business Machines Corporation Vehicle warning system and method based on speed differential
KR100803414B1 (ko) * 2000-08-16 2008-02-13 레이던 컴퍼니 근거리 물체 감지 시스템
US6753766B2 (en) * 2001-01-15 2004-06-22 1138037 Ontario Ltd. (“Alirt”) Detecting device and method of using same
JP2003039979A (ja) * 2001-07-31 2003-02-13 Nissan Motor Co Ltd 車間距離制御装置
DE10218010A1 (de) * 2002-04-23 2003-11-06 Bosch Gmbh Robert Verfahren und Vorrichtung zur Querführungsunterstützung bei Kraftfahrzeugen

Also Published As

Publication number Publication date
US20050012604A1 (en) 2005-01-20
JP2005032063A (ja) 2005-02-03
US7061373B2 (en) 2006-06-13

Similar Documents

Publication Publication Date Title
JP3985748B2 (ja) 車載用障害物検出装置
US10710502B2 (en) In-vehicle alert apparatus and alert method
US10155515B2 (en) Travel control device
CN109017791B (zh) 车道变更辅助装置
JP6819431B2 (ja) 注意喚起装置
CN107128366B (zh) 用于对拖曳车辆通过弯道提供校正的车道跟随路径的系统和方法
JP6500887B2 (ja) 車両用注意喚起装置
JP6404722B2 (ja) 車両の走行制御装置
EP2590152B1 (en) Device for estimating vehicle travel path
US11069241B2 (en) Driving support device and driving support method
JP6074137B2 (ja) 車両周辺情報提供システム及びその方法
JP6485328B2 (ja) 車両の運転支援装置
WO2016117468A1 (ja) 車両の走行制御装置及び走行制御方法
JP5083079B2 (ja) 駐車支援装置及び駐車支援方法
JP6363516B2 (ja) 車両の走行制御装置
JP6451857B2 (ja) 走行制御装置の制御方法および走行制御装置
JP2005511374A (ja) 自動車を自動的に監視するシステム
JP2006240453A (ja) センサ異常検出装置及びセンサ異常検出方法
JP6658674B2 (ja) 運転支援システム
JP2019086892A (ja) 車両制御装置
JP4530827B2 (ja) 画像処理方法及び画像処理装置
JP2017151726A (ja) 衝突予測装置
JP6497329B2 (ja) 車両用走行制御装置
JP6481627B2 (ja) 車両用走行制御装置
JP2015154337A (ja) 対象範囲設定装置、および対象範囲設定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070702

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100720

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110720

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120720

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120720

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130720

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees