JP3822154B2 - Vehicle detection device - Google Patents

Vehicle detection device Download PDF

Info

Publication number
JP3822154B2
JP3822154B2 JP2002266779A JP2002266779A JP3822154B2 JP 3822154 B2 JP3822154 B2 JP 3822154B2 JP 2002266779 A JP2002266779 A JP 2002266779A JP 2002266779 A JP2002266779 A JP 2002266779A JP 3822154 B2 JP3822154 B2 JP 3822154B2
Authority
JP
Japan
Prior art keywords
vehicle
laser beam
laser light
recognized
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002266779A
Other languages
Japanese (ja)
Other versions
JP2004102889A (en
Inventor
昭夫 高橋
信吉 浅沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2002266779A priority Critical patent/JP3822154B2/en
Publication of JP2004102889A publication Critical patent/JP2004102889A/en
Application granted granted Critical
Publication of JP3822154B2 publication Critical patent/JP3822154B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、レーザ光を利用して周囲の車両を検出する車両検出装置に関する。
【0002】
【従来の技術】
従来、見通しの悪い交差点等では、車両同士の出会い頭の衝突事故を未然に防ぐために、死角領域となる方向を見通せるようにカーブミラー等を設置している。
また、死角領域にある自車両の存在を他車両に認識させる、あるいは死角領域にいる他車両を自車両側で認識するために、車両から車速に応じた照射距離にレーザ光を照射して、該レーザ光によって車両の位置を周囲に表示する装置がある(特許文献1参照。)。
【0003】
【特許文献1】
実開平06−65089号公報
【0004】
【発明が解決しようとする課題】
しかし、従来のようにカーブミラーを設置した場合、ミラーの面積が充分ではないために写し出される他車両が小さく見えたり、あるいはミラーの形状が湾曲しているために写し出される他車両が歪んで見えるため、特に遠方からでは、他車両の存在を確認しづらいという問題があった。
また、レーザ光を照射して、該レーザ光によって車両の位置を周囲に表示する場合、従来技術ではレーザ光自体(空気中のレーザ光の経路)を肉眼で視認可能であることが前提とされているものの、実際は空気中に雨滴や霧、埃及び煙の粒子等の反射物が多数存在する場合でない限り、レーザ光の肉眼での視認は困難であるため、他車両の運転者に死角領域に存在する車両を認識させる、あるいは死角領域にいる他車両を自車両側で認識することは困難であるという問題があった。逆に、空気中にレーザ光の反射物が多数存在する状況では、レーザ光の到達可能距離自体が短くなるため、他車両に対して十分な警告を行うことができないという問題があった。
更に、複数の車両が死角領域に存在する場合には、レーザ光の数も複数となるため、対象物の移動方向や移動速度を的確に認識させる、あるいは認識することが難しいという問題があった。
【0005】
本発明は、上記課題に鑑みてなされたもので、死角領域に存在する車両を、その移動方向や移動速度と共に検出することができる車両検出装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記課題を解決するために、請求項1の発明に係る車両検出装置は、車両に搭載されると共に、該車両の進行方向へレーザ光を照射するレーザ光投光手段(例えば実施の形態のレーザ光投光器2)と、路面で反射されたレーザ光を認識可能なレーザ光認識手段(例えば実施の形態の赤外線カメラ3)と、認識されたレーザ光が自車両以外の他車両によるものか否かを判定するレーザ光判定手段(例えば実施の形態のレーザ光判定手段11)と、認識されたレーザ光が前記他車両により照射されたレーザ光であると判定された場合、認識されたレーザ光の移動軌跡、形状、点灯状態の少なくともいずれか1つに基づいて該他車両の走行状態を検出する走行状態検出手段(例えば実施の形態の走行状態検出手段12)とを備えたことを特徴とする。
【0007】
以上の構成を備えた車両検出装置は、レーザ光投光手段により車両同士が自車両の存在を示すレーザ光を路面に向けて照射すると共に、レーザ光認識手段により路面で反射されたレーザ光を認識した場合に、認識されたレーザ光が自車両以外の他車両によるものか否かを判定し、認識されたレーザ光が自車両以外の他車両により照射されたレーザ光であると判定された場合、走行状態検出手段により、認識されたレーザ光の移動軌跡、形状、点灯状態の少なくともいずれか1つに基づいて該他車両の走行状態を検出することで、運転者にこれを通知し、他車両の走行状態に対処して自車両を運転させることができる。
【0008】
請求項2の発明に係る車両検出装置は、請求項1に記載の車両検出装置において、前記走行状態検出手段が、認識されたレーザ光の移動軌跡に基づいて前記他車両の移動方向または移動速度を検出することを特徴とする。
以上の構成を備えた車両検出装置は、認識されたレーザ光の移動軌跡に基づいて他車両の移動方向または移動速度を正確に検出することで、運転者にこれを通知し、他車両の走行状態に対処して自車両を運転させることができる。
【0009】
請求項3の発明に係る車両検出装置は、請求項1、または請求項2に記載の車両検出装置において、前記車両の走行速度に応じて前記レーザ光の点滅間隔を変更可能な点滅間隔変更手段(例えば実施の形態の点滅間隔変更手段13)を備え、前記走行状態検出手段が、認識されたレーザ光の点滅間隔に基づいて前記他車両の走行速度を検出することを特徴とする。
以上の構成を備えた車両検出装置は、レーザ光の移動距離を計算しなくても、レーザ光の点滅速度から、他車両の移動速度を正確に検出することで、運転者にこれを通知し、他車両の走行状態に対処して自車両を運転させることができる。
【0010】
請求項4の発明に係る車両検出装置は、請求項1から請求項3のいずれかに記載の車両検出装置において、前記レーザ光が、赤外線レーザ光であることを特徴とする。
以上の構成を備えた車両検出装置は、運転者の目には見えない赤外線レーザ光によって車両同士がその存在を確認しあうことで、実際の運転者の視界に影響を与えることなく他車両の存在を運転者に通知し、運転者に他車両の走行状態に対処して自車両を運転させることができる。
【0011】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本発明の一実施の形態の車両検出装置の構成を示すブロック図である。
図1において、符号1は、本実施の形態の車両検出装置を制御するCPU(中央演算装置)を備えた車載のECU(Electronic Control Unit )であって、本実施の形態の車両検出装置が搭載された車両の進行方向へ赤外線レーザ光を照射するレーザ光投光器2と、路面で反射された赤外線レーザ光を認識可能な赤外線カメラ3が接続されると共に、該車両の車速情報を取得するための車速センサ4が接続されている。
【0012】
これにより、ECU1は、レーザ光投光器2を用いて赤外線レーザ光を路面に向けて照射することで自車両の存在を他車両に対して示すと共に、赤外線カメラ3によって路面で反射された自車両以外の赤外線レーザ光を認識した場合に、認識された赤外線レーザ光の移動軌跡、形状、点灯状態の少なくともいずれか1つに基づいて該他車両の走行状態を検出する。そして、自車両の運転者に該他車両の走行状態を示す情報を与えて、該運転者の運転に対する注意を喚起することができる。
【0013】
また、ECU1には、音声や光等で警報を発するためのスピーカや警報ランプを含む警報手段5と、赤外線カメラ3により撮影された画像を表示し、他車両の存在を自車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Displayや自車両のコンソールに設置されるNAVIDisplay、更にフロントウィンドウ(フロントウィンドウシールド)の運転者の前方視界を妨げない位置に情報を表示するHUD(Head Up Display )等を含むモニタ6が接続されている。
【0014】
また、ECU1は、入力アナログ信号をディジタル信号に変換するA/D変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うCPU(中央演算装置)、CPUが演算途中のデータを記憶するために使用するRAM(Random Access Memory)、CPUが実行するプログラムやテーブル、マップなどを記憶するROM(Read Only Memory)、警報手段5の駆動信号、モニタ6の表示信号などを出力する出力回路を備えており、赤外線カメラ3で撮影された画像や、車両センサ4の出力信号は、ディジタル信号に変換されてCPUに入力されるように構成されている。
【0015】
また、ECU1は、レーザ光判定手段11、走行状態検出手段12、点滅間隔変更手段13とを備えている。
ここで、レーザ光判定手段11は、路面で反射されると共に、赤外線カメラ3によって認識された赤外線レーザ光が、自車両のレーザ光投光器2により照射された赤外線レーザ光か、他車両のレーザ光投光器2により照射された赤外線レーザ光かを判定する。判定する方法は、赤外線レーザ光の路面反射スポット光の形状、または画面上の撮影領域と自車両の赤外線レーザ光の照射位置との関係に基づいて判定するものとする。なお、具体的な判定方法は、詳細を後述する。
【0016】
また、走行状態検出手段12は、レーザ光判定手段11によって、赤外線カメラ3で認識された赤外線レーザ光が他車両により照射された赤外線レーザ光であると判定された場合、認識された赤外線レーザ光の移動軌跡、形状、点灯状態の少なくともいずれか1つに基づいて該他車両の走行状態を検出する。なお、具体的な走行状態の検出方法は、詳細を後述する。
また、点滅間隔変更手段13は、レーザ光投光器2が照射する赤外線レーザ光の点滅間隔を、車速センサ4が取得した車両の走行速度に応じて変更する。
【0017】
次に、本実施の形態の車両検出装置で用いられるレーザ光投光器や赤外線カメラ、ディスプレイ等の取り付け位置について図面を参照して説明する。
図2は、車両におけるレーザ光投光器や赤外線カメラ、ディスプレイ等の取り付け位置を示す図である。
図2に示すように、レーザ光投光器2は、自車両10のフロントグリルの、自車両10の車幅方向に対してほぼ対称な位置に配置されており、レーザ光投光器2から照射される赤外線レーザ光は、遠方に行くにつれて末広がりの円錐状に広がる光であって、赤外線レーザ光が路面(道路水平面)に投影されたときに、その路面反射スポット光31の形状が楕円形状となる。また、赤外線レーザ光は、例えば自車両からの距離P=30[m]程度の位置に照射するものとする。
【0018】
次に、本実施の形態の動作について図面を参照して説明する。
図3は、本実施の形態の車両検出装置を用いた交差点死角領域における接近他車両検出例を示す模式図である。また、図4は、交差点において他車両が接近する様子を示す模式図、図5は、交差点において他車両が移動した距離を示す模式図である。
図3において、枠14は赤外線カメラ3の撮像範囲を示す枠であって、自車両10が建物15などによる見通しの悪い交差点20に差しかかった場合に、例えば他車両30が、左横方向から交差点20へ接近して来ると、まず他車両30の赤外線レーザ光の路面反射スポット光31の先端が物陰から現れる。
【0019】
この赤外線レーザ光の路面反射スポット光31は、肉眼では見ることができないが、自車両10に搭載された赤外線カメラ3を通して路面反射スポット光31を捉えることにより、交差点20へ進入してくる他車両30の接近を検知することができる。
そして、赤外線カメラ3により撮影した自車両10の周囲の画像と、この捉えた赤外線レーザ光の路面反射スポット光31とを、HUD7等のモニタ装置を用いてフロントウィンドウ(フロントウィンドウシールド)などに映し出すことにより、運転者は、死角領域に存在する他車両30そのものを見ることなしに他車両30の接近情報を把握できることになる。
【0020】
すなわち、赤外線カメラ3により撮影された赤外線レーザ光の路面反射スポット光31の位置について、赤外線カメラ3により撮影された画像のフレームを時系列に並べて比較すると、まず図4(a)に示すように、時刻「tn」のフレームにおいて死角領域に存在する他車両30が照射した赤外線レーザ光の路面反射スポット光31の先端が物陰から現れる。
また、図4(b)に示すように、次の時刻「tn+1」のフレームでは、死角領域に存在する他車両30が照射した赤外線レーザ光の路面反射スポット光31の半分程度を、交差点20の路面上に認識することができる。
更に、図4(c)に示すように、次の時刻「tn+2」のフレームでは、死角領域に存在する他車両30が照射した赤外線レーザ光の路面反射スポット光31の全てを、交差点20の路面上に認識することができると共に、他車両30の先端が物陰から現れる。
【0021】
このように、路面反射スポット光31は、他車両30の交差点20への接近に従い進行方向に少しずつ、ずれて見える様に映し出される。そこで、ECU1に含まれる走行状態検出手段12が、図5に示す路面反射スポット光31の移動距離Lと、赤外線カメラ3のフレームレートとから、下記(1)式によって、他車両30の移動速度Vを求める。
移動速度V=移動距離L/〔(1/フレームレート)×フレーム数〕・・・(1)
また、走行状態検出手段12が、こうして求められた他車両30の交差点20への接近速度(=移動速度V)をHUD7内にリアルタイムに表示することで、自車両10の運転者は、他車両30の接近速度V及びその変化量から、他車両30が減速中か否かの判断も可能となり、より安全に交差点20への進入及び交差点20の通過が可能となる。
【0022】
なお、路面反射スポット光31の移動距離は、画面上の下端部からの距離により予め求められている基準距離と、実際の画素の移動量とを比較することにより、容易に算出可能である。また、路面反射スポット光31の移動距離は、ステレオビジョン等の他の測定手段により測定する構成としてもよい。
また、自車両10により照射された路面反射スポット光31と、他車両30により照射された路面反射スポット光31との判別は、ECU1に含まれるレーザ光判定手段11が、赤外線レーザ光の路面反射スポット光31の形状、または画面上の撮影領域と自車両10の赤外線レーザ光の照射位置との関係に基づいて判定する。
【0023】
具体的には、路面反射スポット光31の形状によって判定する場合、自車両10により照射された赤外線レーザ光による路面反射スポット光31は、自車両10から見て縦長の楕円形状に見えるのに対し、他車両30により照射された赤外線レーザ光による路面反射スポット光31は、自車両10から見て横長の楕円形状に見えることから判別することができる。
一方、画面上の撮影領域と自車両10の赤外線レーザ光の照射位置との関係に基づいて判定する場合、自車両10の赤外線レーザ光の照射位置は予め決まっているので、予想される位置に出現した路面反射スポット光31は自車両10によるものとし、それ以外を他車両30により照射された赤外線レーザ光による路面反射スポット光31として判別することができる。
【0024】
また、ECU1は、点滅間隔変更手段13により車速センサ4が取得した車両の走行速度に応じて、レーザ光投光器2が照射する赤外線レーザ光の点滅間隔を変更するようにしてもよい。この場合、車両の赤外線カメラ3と走行状態検出手段12とにより認識された赤外線レーザ光の点滅間隔に基づき、相手車両の速度が認識可能となる。
また、赤外線レーザ光の路面反射スポット光31や速度表示を、モニタ6のひとつであるHUD7以外の表示装置(例えば、メータ一体DisplayやNAVIDisplay)を用いて表示しても良く、更に警報手段5に含まれるスピーカからの音声や警報ランプ点灯による光などの手段を用いて、自車両10の運転者に警報を発しても良い。
【0025】
更に、赤外線レーザ光の路面反射スポット光31の形状を進行方向前後で非対称のものとすることにより、車両の進行方向を特定する構成とすることもできる。この場合、路面反射スポット光31の形状により車両の進行方向を特定可能なため、車両が停止しているような場合でも車両の進行方向を把握することが可能となる。具体的には、例えば図6(a)、(b)に示すように、車両の進行方向に矢印の先端や三角形の先端を向けるようにすることで、一目で車両の進行方向を特定することができる。
【0026】
なお、赤外線レーザ光の形状に関しては、円錐型形状に限らず、例えば扇型形状や円柱型形状など、赤外線カメラ3で形状を把握し易い形状ならばどのような形状であっても良い。
また、レーザ光投光器2が照射するレーザ光の波長は、カメラで捉えることが可能な波長ならば、赤外線レーザ光に限らず、可視光等のレーザ光であっても良く、この場合、レーザ光の認識も、赤外線カメラ3ではなく、可視光等のレーザ光を認識可能なカメラを用いるものとする。
【0027】
以上説明したように、本実施の形態の車両検出装置は、例えば自車両10と他車両30等の車両同士が、レーザ光投光器2により、自車両10の存在を示すレーザ光を路面に向けて照射すると共に、赤外線カメラ3により路面で反射されたレーザ光を認識し、レーザ光判定手段11により認識されたレーザ光が自車両以外の他車両により照射されたレーザ光であると判定された場合、走行状態検出手段12により、認識されたレーザ光の移動軌跡、形状、点灯状態の少なくともいずれか1つに基づいて該他車両の移動方向や移動速度等の走行状態を検出することで、運転者にこれを通知し、他車両の走行状態に対処して自車両を運転させることができる。
【0028】
これにより、例えば建物15の陰などにより見通しの悪い交差点20付近において、自車両10の進行方向の横方向から接近して来る肉眼視できない他車両30の存在情報とその走行速度が事前に把握できる為、見通しの悪い交差点20内での出会い頭事故を防止することができる。
また、前方停止車両などを追い越す際にも、左側から来る他車両との衝突や対向車両との正面衝突等も防止可能となる。
【0029】
更に、レーザ光に赤外線レーザ光を用いる場合、昼夜を問わず車両同士が周囲の他車両を認識することが可能となると共に、路面反射スポット光31は目に見えない為、対向車の運転者に不要な眩惑を与えることが無く、また、フロントウィンドウ(フロントウィンドウシールド)を通して外界を見ている限り、自車両の運転者の視界に妨害を与えることが一切無いという効果が得られる。
【0030】
【発明の効果】
以上の如く、請求項1及び請求項2に記載の車両検出装置によれば、車両同士が自車両の存在を示すレーザ光を路面に向けて照射すると共に、路面で反射された他車両の照射するレーザ光を認識した場合に、認識されたレーザ光の移動軌跡、形状、点灯状態の少なくともいずれか1つに基づいて該他車両の移動方向や移動速度等の走行状態を検出することで、運転者にこれを通知し、他車両の走行状態に対処して自車両を運転させることができる。
従って、自車両において死角領域に存在する他車両の存在をその走行状態と共に早期に認識する、あるいは他車両に自車両の存在をその走行状態と共に早期に認識させることができるので、車両同士の出会い頭の衝突等を回避させることができるという効果が得られる。
【0031】
請求項3に記載の車両検出装置によれば、レーザ光の移動距離を計算しなくても、レーザ光の点滅速度から、他車両の移動速度を正確に検出して運転者にこれを通知し、他車両の走行状態に対処して自車両を運転させることができる。
従って、車両検出装置からレーザ光の移動距離の計算に必要な複数のフレームの画像を記憶するためのメモリを削除することで回路構成を簡略化し、装置規模を削減することができるという効果が得られる。
【0032】
請求項4に記載の車両検出装置によれば、運転者の目には見えない赤外線レーザ光を用いることで、実際の運転者の視界に影響を与えることなく他車両の存在を運転者に通知し、運転者に他車両の走行状態に対処して自車両を運転させることができる。
従って、昼夜を問わず車両同士が周囲の他車両を認識することが可能となると共に、赤外線レーザ光は目に見えない為、対向車の運転者に不要な眩惑を与えることが無く、また、フロントウィンドウ(フロントウィンドウシールド)を通して外界を見ている限り、自車両の運転者の視界に妨害を与えることが一切無いという効果が得られる。
【図面の簡単な説明】
【図1】 本発明の一実施の形態の車両検出装置を示す回路図である。
【図2】 車両におけるレーザ光投光器や赤外線カメラ、ディスプレイ等の取り付け位置を示す図である。
【図3】 同実施の形態の車両検出装置を用いた交差点死角領域における接近他車両検出例を示す模式図である。
【図4】 交差点において他車両が接近する様子を示す模式図である。
【図5】 交差点において他車両が移動した距離を示す模式図である。
【図6】 車両進行方向前後で非対称な赤外線レーザ光の路面反射スポット光の形状を示す図である。
【符号の説明】
1 ECU
2 レーザ光投光器
3 赤外線カメラ(レーザ光認識手段)
4 車速センサ
5 警報手段
6 モニタ
7 HUD
10 自車両
11 レーザ光判定手段
12 走行状態検出手段
13 点滅間隔変更手段
20 交差点
30 他車両
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle detection device that detects surrounding vehicles using laser light.
[0002]
[Prior art]
Conventionally, at an intersection with poor visibility, a curve mirror or the like has been installed so that the direction of the blind spot area can be seen in order to prevent a collision accident between vehicles.
In addition, in order to make the other vehicle recognize the presence of the host vehicle in the blind spot area, or to recognize the other vehicle in the blind spot area on the host vehicle side, irradiate the laser beam to the irradiation distance according to the vehicle speed, There is a device that displays the position of a vehicle in the surroundings by the laser light (see Patent Document 1).
[0003]
[Patent Document 1]
Japanese Utility Model Publication No. 06-65089
[Problems to be solved by the invention]
However, when a curved mirror is installed as in the conventional case, the other vehicle that is projected appears to be small because the area of the mirror is not sufficient, or the other vehicle that is projected appears to be distorted due to the curved shape of the mirror. Therefore, there is a problem that it is difficult to confirm the existence of other vehicles, particularly from a distance.
Further, when laser light is irradiated and the position of the vehicle is displayed around by the laser light, it is assumed in the prior art that the laser light itself (the path of the laser light in the air) is visible with the naked eye. However, it is difficult to see the laser beam with the naked eye unless there are many reflectors such as raindrops, fog, dust, and smoke particles in the air. It is difficult to recognize a vehicle existing in the vehicle or to recognize another vehicle in the blind spot area on the own vehicle side. On the other hand, in a situation where there are many laser beam reflectors in the air, the reachable distance of the laser beam itself becomes short, so that there is a problem that a sufficient warning cannot be given to other vehicles.
Furthermore, when there are a plurality of vehicles in the blind spot area, the number of laser beams is also plural, so there is a problem that the moving direction and moving speed of the target object can be accurately recognized or difficult to recognize. .
[0005]
The present invention has been made in view of the above problems, and an object of the present invention is to provide a vehicle detection device that can detect a vehicle existing in a blind spot area together with its moving direction and moving speed.
[0006]
[Means for Solving the Problems]
In order to solve the above problems, a vehicle detection device according to the invention of claim 1 is mounted on a vehicle and emits laser light in the traveling direction of the vehicle (for example, the laser of the embodiment). The light projector 2), the laser light recognition means (for example, the infrared camera 3 of the embodiment) capable of recognizing the laser light reflected on the road surface, and whether or not the recognized laser light is from a vehicle other than the own vehicle. If it is determined that the recognized laser beam is a laser beam irradiated by the other vehicle, the laser beam determining unit (for example, the laser beam determining unit 11 of the embodiment) It is provided with a traveling state detecting means (for example, the traveling state detecting means 12 in the embodiment) for detecting the traveling state of the other vehicle based on at least one of a movement locus, a shape, and a lighting state.
[0007]
The vehicle detection apparatus having the above configuration irradiates laser beams indicating the presence of the own vehicle toward the road surface by the laser beam projecting unit and also reflects the laser beam reflected on the road surface by the laser beam recognition unit. When recognized, it is determined whether or not the recognized laser beam is from a vehicle other than the own vehicle, and the recognized laser beam is determined to be a laser beam emitted from another vehicle other than the own vehicle. In this case, the traveling state detection means detects the traveling state of the other vehicle based on at least one of the recognized movement locus, shape, and lighting state of the laser beam, and notifies the driver of this, The host vehicle can be driven in response to the running state of the other vehicle.
[0008]
According to a second aspect of the present invention, there is provided the vehicle detection device according to the first aspect, wherein the traveling state detection means is configured to move the moving direction or the moving speed of the other vehicle based on the recognized movement path of the laser beam. Is detected.
The vehicle detection device having the above configuration notifies the driver of this by accurately detecting the moving direction or moving speed of the other vehicle based on the recognized moving locus of the laser beam, and the driving of the other vehicle. The host vehicle can be driven in response to the situation.
[0009]
A vehicle detection apparatus according to a third aspect of the present invention is the vehicle detection apparatus according to the first or second aspect, wherein the blinking interval changing means is capable of changing the blinking interval of the laser light in accordance with the traveling speed of the vehicle. (For example, the blinking interval changing unit 13 of the embodiment), and the traveling state detecting unit detects the traveling speed of the other vehicle based on the recognized blinking interval of the laser beam.
The vehicle detection apparatus having the above configuration notifies the driver of this by accurately detecting the moving speed of the other vehicle from the blinking speed of the laser light without calculating the moving distance of the laser light. The host vehicle can be driven in response to the running state of the other vehicle.
[0010]
A vehicle detection device according to a fourth aspect of the present invention is the vehicle detection device according to any one of the first to third aspects, wherein the laser beam is an infrared laser beam.
The vehicle detection apparatus having the above-described configuration allows the vehicles to confirm the presence of each other with an infrared laser beam that is invisible to the driver's eyes, so that the actual driver's field of view is not affected. The presence can be notified to the driver, and the driver can be driven to deal with the traveling state of the other vehicle.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a vehicle detection device according to an embodiment of the present invention.
In FIG. 1, reference numeral 1 denotes an on-vehicle ECU (Electronic Control Unit) having a CPU (Central Processing Unit) for controlling the vehicle detection device of the present embodiment, which is mounted on the vehicle detection device of the present embodiment. A laser beam projector 2 for irradiating infrared laser light in the traveling direction of the vehicle and an infrared camera 3 capable of recognizing infrared laser light reflected on the road surface are connected, and vehicle speed information of the vehicle is acquired. A vehicle speed sensor 4 is connected.
[0012]
Thereby, the ECU 1 indicates the existence of the own vehicle to other vehicles by irradiating the infrared laser beam toward the road surface using the laser light projector 2 and other than the own vehicle reflected by the infrared camera 3 on the road surface. When the infrared laser beam is recognized, the traveling state of the other vehicle is detected based on at least one of the movement locus, shape, and lighting state of the recognized infrared laser beam. And the information which shows the driving state of this other vehicle can be given to the driver | operator of the own vehicle, and the driver | operator's attention with respect to a driving | operation can be called.
[0013]
Further, the ECU 1 displays alarm means 5 including a speaker and an alarm lamp for issuing an alarm by voice, light, etc., and an image photographed by the infrared camera 3, and informs the driver of the own vehicle of the presence of other vehicles. For example, a meter-integrated display integrated with a meter that expresses the running state of the host vehicle in numerical form, a NAVID display installed on the console of the host vehicle, and a driver's front view of the front window (front window shield) A monitor 6 including a HUD (Head Up Display) or the like for displaying information at a position not hindering is connected.
[0014]
The ECU 1 also includes an A / D conversion circuit that converts an input analog signal into a digital signal, an image memory that stores a digitized image signal, a CPU (central processing unit) that performs various arithmetic processes, and data that the CPU is in the middle of calculating. RAM (Random Access Memory) used for storage, ROM (Read Only Memory) for storing programs and tables executed by the CPU, maps, etc., drive signal for alarm means 5, output signal for display of monitor 6, etc. A circuit is provided, and an image captured by the infrared camera 3 and an output signal of the vehicle sensor 4 are converted into a digital signal and input to the CPU.
[0015]
In addition, the ECU 1 includes a laser light determination unit 11, a traveling state detection unit 12, and a blinking interval change unit 13.
Here, the laser light determination means 11 reflects the infrared laser light reflected by the road surface and recognized by the infrared camera 3, or the infrared laser light emitted from the laser light projector 2 of the own vehicle or the laser light of another vehicle. It is determined whether the infrared laser light is emitted by the projector 2. The determination method is based on the shape of the road surface reflected spot light of the infrared laser beam or the relationship between the imaging area on the screen and the irradiation position of the infrared laser beam of the host vehicle. The specific determination method will be described later in detail.
[0016]
Further, the traveling state detection unit 12 recognizes the infrared laser beam recognized when the laser beam determination unit 11 determines that the infrared laser beam recognized by the infrared camera 3 is an infrared laser beam emitted from another vehicle. The traveling state of the other vehicle is detected based on at least one of the movement trajectory, shape, and lighting state. The specific method for detecting the traveling state will be described later in detail.
Further, the blinking interval changing means 13 changes the blinking interval of the infrared laser light emitted by the laser light projector 2 according to the traveling speed of the vehicle acquired by the vehicle speed sensor 4.
[0017]
Next, attachment positions of a laser beam projector, an infrared camera, a display, and the like used in the vehicle detection device of the present embodiment will be described with reference to the drawings.
FIG. 2 is a diagram showing attachment positions of a laser beam projector, an infrared camera, a display, and the like in the vehicle.
As shown in FIG. 2, the laser light projector 2 is disposed at a position substantially symmetrical with respect to the vehicle width direction of the host vehicle 10 on the front grill of the host vehicle 10, and the infrared light irradiated from the laser beam projector 2. The laser light spreads in a conical shape that spreads toward the far end. When the infrared laser light is projected onto the road surface (road horizontal surface), the shape of the road surface reflected spot light 31 becomes an elliptical shape. In addition, the infrared laser light is applied to a position at a distance P of about 30 [m] from the host vehicle, for example.
[0018]
Next, the operation of the present embodiment will be described with reference to the drawings.
FIG. 3 is a schematic diagram illustrating an approaching other vehicle detection example in an intersection blind spot area using the vehicle detection device of the present embodiment. FIG. 4 is a schematic diagram illustrating a situation in which another vehicle approaches at the intersection, and FIG. 5 is a schematic diagram illustrating a distance traveled by the other vehicle at the intersection.
In FIG. 3, a frame 14 is a frame indicating the imaging range of the infrared camera 3, and when the host vehicle 10 reaches an intersection 20 with poor visibility due to a building 15 or the like, for example, the other vehicle 30 moves from the left lateral direction. When approaching the intersection 20, first, the tip of the road surface reflected spot light 31 of the infrared laser light of the other vehicle 30 appears from behind the object.
[0019]
Although the road surface reflected spot light 31 of the infrared laser light cannot be seen with the naked eye, other vehicles entering the intersection 20 by capturing the road surface reflected spot light 31 through the infrared camera 3 mounted on the host vehicle 10. 30 approaches can be detected.
Then, the surrounding image of the host vehicle 10 captured by the infrared camera 3 and the captured road surface reflected spot light 31 of the infrared laser light are displayed on a front window (front window shield) or the like using a monitor device such as HUD7. Thus, the driver can grasp the approach information of the other vehicle 30 without looking at the other vehicle 30 itself existing in the blind spot area.
[0020]
That is, regarding the position of the road surface reflected spot light 31 of the infrared laser light photographed by the infrared camera 3, when comparing the frames of the images photographed by the infrared camera 3 in time series, first, as shown in FIG. In the frame at time “tn”, the tip of the road surface reflected spot light 31 of the infrared laser light irradiated by the other vehicle 30 existing in the blind spot region appears from the shadow.
Further, as shown in FIG. 4B, in the frame at the next time “tn + 1”, about half of the road surface reflected spot light 31 of the infrared laser light emitted by the other vehicle 30 existing in the blind spot area is It can be recognized on the road surface.
Further, as shown in FIG. 4C, in the next frame “tn + 2”, all of the road surface reflected spot light 31 of the infrared laser light irradiated by the other vehicle 30 existing in the blind spot area is converted to the road surface of the intersection 20. While being able to recognize above, the front-end | tip of the other vehicle 30 appears from a shadow.
[0021]
In this way, the road surface reflected spot light 31 is projected so as to appear slightly shifted in the traveling direction as the other vehicle 30 approaches the intersection 20. Therefore, the traveling state detection means 12 included in the ECU 1 calculates the moving speed of the other vehicle 30 from the moving distance L of the road surface reflected spot light 31 shown in FIG. 5 and the frame rate of the infrared camera 3 according to the following equation (1). V is obtained.
Movement speed V = movement distance L / [(1 / frame rate) × number of frames] (1)
Further, the traveling state detection means 12 displays the approaching speed (= moving speed V) of the other vehicle 30 to the intersection 20 thus obtained in real time in the HUD 7, so that the driver of the own vehicle 10 can It is possible to determine whether or not the other vehicle 30 is decelerating from the approach speed V of 30 and the amount of change thereof, and it is possible to enter the intersection 20 and pass through the intersection 20 more safely.
[0022]
The movement distance of the road surface reflected spot light 31 can be easily calculated by comparing a reference distance obtained in advance from a distance from the lower end on the screen and the actual movement amount of the pixel. Further, the moving distance of the road surface reflected spot light 31 may be measured by other measuring means such as stereo vision.
Further, the road surface reflected spot light 31 emitted from the host vehicle 10 and the road surface reflected spot light 31 emitted from the other vehicle 30 are discriminated by the laser light determination means 11 included in the ECU 1 reflecting the road surface of infrared laser light. The determination is made based on the shape of the spot light 31 or the relationship between the imaging region on the screen and the irradiation position of the infrared laser light of the host vehicle 10.
[0023]
Specifically, when the determination is made based on the shape of the road surface reflected spot light 31, the road surface reflected spot light 31 by the infrared laser light irradiated by the host vehicle 10 looks like a vertically long elliptical shape when viewed from the host vehicle 10. The road surface reflected spot light 31 by the infrared laser light emitted from the other vehicle 30 can be determined from the fact that it looks like a horizontally long oval when viewed from the host vehicle 10.
On the other hand, when determining based on the relationship between the imaging area on the screen and the irradiation position of the infrared laser beam of the host vehicle 10, the irradiation position of the infrared laser beam of the host vehicle 10 is determined in advance, so The appearing road surface reflected spot light 31 is assumed to be from the host vehicle 10, and the other can be determined as the road surface reflected spot light 31 by the infrared laser light irradiated by the other vehicle 30.
[0024]
Further, the ECU 1 may change the blinking interval of the infrared laser light emitted by the laser light projector 2 according to the traveling speed of the vehicle acquired by the vehicle speed sensor 4 by the blinking interval changing unit 13. In this case, the speed of the opponent vehicle can be recognized based on the blinking interval of the infrared laser light recognized by the vehicle infrared camera 3 and the running state detection means 12.
In addition, the road surface reflected spot light 31 of the infrared laser beam and the speed display may be displayed using a display device (for example, a meter-integrated display or NAVI Display) other than the HUD 7 which is one of the monitors 6. An alarm may be issued to the driver of the host vehicle 10 by using means such as sound from a speaker included or light by lighting an alarm lamp.
[0025]
Furthermore, the traveling direction of the vehicle can be specified by making the shape of the road surface reflected spot light 31 of the infrared laser light asymmetrical before and after the traveling direction. In this case, since the traveling direction of the vehicle can be specified by the shape of the road surface reflected spot light 31, it is possible to grasp the traveling direction of the vehicle even when the vehicle is stopped. Specifically, for example, as shown in FIGS. 6A and 6B, the traveling direction of the vehicle can be identified at a glance by directing the tip of the arrow or the tip of the triangle toward the traveling direction of the vehicle. Can do.
[0026]
The shape of the infrared laser beam is not limited to a conical shape, and may be any shape as long as the shape can be easily grasped by the infrared camera 3, such as a fan shape or a cylindrical shape.
Further, the wavelength of the laser light emitted by the laser light projector 2 is not limited to the infrared laser light as long as it can be captured by the camera, and may be laser light such as visible light. For the recognition, it is assumed that a camera capable of recognizing laser light such as visible light is used instead of the infrared camera 3.
[0027]
As described above, in the vehicle detection device of the present embodiment, for example, the own vehicle 10 and the other vehicle 30 or the like use the laser light projector 2 to direct laser light indicating the presence of the own vehicle 10 toward the road surface. When irradiating and recognizing the laser light reflected on the road surface by the infrared camera 3 and determining that the laser light recognized by the laser light determination means 11 is laser light irradiated by a vehicle other than the own vehicle The driving state detecting means 12 detects the driving state such as the moving direction and the moving speed of the other vehicle based on at least one of the recognized movement locus, shape, and lighting state of the laser beam, thereby driving the vehicle. This can be notified to the person, and the host vehicle can be driven in response to the running state of the other vehicle.
[0028]
As a result, for example, in the vicinity of the intersection 20 where visibility is poor due to the shadow of the building 15, the presence information of the other vehicle 30 approaching from the lateral direction of the traveling direction of the host vehicle 10 and the traveling speed thereof can be grasped in advance. Therefore, it is possible to prevent an encounter accident at the intersection 20 with poor visibility.
In addition, when overtaking a forward stop vehicle or the like, a collision with another vehicle coming from the left side or a frontal collision with an oncoming vehicle can be prevented.
[0029]
Furthermore, when infrared laser light is used as the laser light, it becomes possible for the vehicles to recognize other surrounding vehicles regardless of day and night, and the road surface reflected spot light 31 is not visible, so the driver of the oncoming vehicle As long as the user sees the outside world through the front window (front window shield), the driver's field of view of the host vehicle is not disturbed at all.
[0030]
【The invention's effect】
As described above, according to the vehicle detection device of the first and second aspects, the vehicles irradiate the laser beam indicating the existence of the own vehicle toward the road surface, and the irradiation of the other vehicle reflected by the road surface. By detecting a traveling state such as a moving direction and a moving speed of the other vehicle based on at least one of the movement locus, shape, and lighting state of the recognized laser beam, This can be notified to the driver, and the host vehicle can be driven in response to the running state of the other vehicle.
Therefore, the existence of other vehicles existing in the blind spot area in the own vehicle can be recognized early together with the running state, or the other vehicle can be recognized early together with the running state. The effect that it is possible to avoid the collision or the like is obtained.
[0031]
According to the vehicle detection device of the third aspect, even if the moving distance of the laser beam is not calculated, the moving speed of the other vehicle is accurately detected from the blinking speed of the laser beam, and this is notified to the driver. The host vehicle can be driven in response to the running state of the other vehicle.
Therefore, the circuit configuration can be simplified and the scale of the apparatus can be reduced by deleting the memory for storing a plurality of frames of images necessary for calculating the moving distance of the laser beam from the vehicle detection apparatus. It is done.
[0032]
According to the vehicle detection device of the fourth aspect, by using the infrared laser light that is invisible to the driver's eyes, the presence of other vehicles is notified to the driver without affecting the actual driver's field of view. In addition, the driver can drive the host vehicle in response to the traveling state of the other vehicle.
Therefore, it becomes possible for vehicles to recognize other surrounding vehicles regardless of day and night, and since infrared laser light is invisible, it does not give unnecessary dazzling to the driver of the oncoming vehicle, As long as the outside world is seen through the front window (front window shield), there is an effect that the driver's field of view of the host vehicle is not obstructed at all.
[Brief description of the drawings]
FIG. 1 is a circuit diagram showing a vehicle detection apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing attachment positions of a laser beam projector, an infrared camera, a display, and the like in a vehicle.
FIG. 3 is a schematic view showing an approaching other vehicle detection example in an intersection blind spot area using the vehicle detection device of the embodiment.
FIG. 4 is a schematic diagram showing how another vehicle approaches at an intersection.
FIG. 5 is a schematic diagram showing a distance traveled by another vehicle at an intersection.
FIG. 6 is a diagram showing the shape of the road surface reflected spot light of the asymmetric infrared laser light before and after the vehicle traveling direction.
[Explanation of symbols]
1 ECU
2 Laser light projector 3 Infrared camera (laser light recognition means)
4 Vehicle speed sensor 5 Alarm means 6 Monitor 7 HUD
DESCRIPTION OF SYMBOLS 10 Own vehicle 11 Laser light determination means 12 Running state detection means 13 Flashing interval change means 20 Intersection 30 Other vehicle

Claims (4)

車両に搭載されると共に、該車両の進行方向へレーザ光を照射するレーザ光投光手段と、
路面で反射されたレーザ光を認識可能なレーザ光認識手段と、
認識されたレーザ光が自車両以外の他車両によるものか否かを判定するレーザ光判定手段と、
認識されたレーザ光が前記他車両により照射されたレーザ光であると判定された場合、認識されたレーザ光の移動軌跡、形状、点灯状態の少なくともいずれか1つに基づいて該他車両の走行状態を検出する走行状態検出手段と
を備えたことを特徴とする車両検出装置。
A laser beam projecting unit that is mounted on a vehicle and irradiates a laser beam in a traveling direction of the vehicle;
Laser light recognition means capable of recognizing laser light reflected on the road surface;
Laser light determination means for determining whether the recognized laser light is from a vehicle other than the own vehicle;
When it is determined that the recognized laser beam is a laser beam emitted from the other vehicle, the other vehicle travels based on at least one of the movement path, shape, and lighting state of the recognized laser beam. A vehicle detection device comprising: a traveling state detection means for detecting a state.
前記走行状態検出手段が、認識されたレーザ光の移動軌跡に基づいて前記他車両の移動方向または移動速度を検出する
ことを特徴とする請求項1に記載の車両検出装置。
2. The vehicle detection apparatus according to claim 1, wherein the running state detection unit detects a movement direction or a movement speed of the other vehicle based on the recognized movement locus of the laser beam.
前記車両の走行速度に応じて前記レーザ光の点滅間隔を変更可能な点滅間隔変更手段を備え、
前記走行状態検出手段が、認識されたレーザ光の点滅間隔に基づいて前記他車両の走行速度を検出する
ことを特徴とする請求項1、または請求項2に記載の車両検出装置。
A blinking interval changing means capable of changing the blinking interval of the laser light according to the traveling speed of the vehicle;
The vehicle detection apparatus according to claim 1, wherein the traveling state detection unit detects a traveling speed of the other vehicle based on the recognized blinking interval of the laser beam.
前記レーザ光が、赤外線レーザ光である
ことを特徴とする請求項1から請求項3のいずれかに記載の車両検出装置。
The vehicle detection device according to any one of claims 1 to 3, wherein the laser beam is an infrared laser beam.
JP2002266779A 2002-09-12 2002-09-12 Vehicle detection device Expired - Fee Related JP3822154B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002266779A JP3822154B2 (en) 2002-09-12 2002-09-12 Vehicle detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002266779A JP3822154B2 (en) 2002-09-12 2002-09-12 Vehicle detection device

Publications (2)

Publication Number Publication Date
JP2004102889A JP2004102889A (en) 2004-04-02
JP3822154B2 true JP3822154B2 (en) 2006-09-13

Family

ID=32265495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002266779A Expired - Fee Related JP3822154B2 (en) 2002-09-12 2002-09-12 Vehicle detection device

Country Status (1)

Country Link
JP (1) JP3822154B2 (en)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202815A (en) * 2004-01-19 2005-07-28 Nissan Motor Co Ltd Apparatus, method and system for preventing collision at intersection
JP4791086B2 (en) * 2005-06-07 2011-10-12 国立大学法人 名古屋工業大学 Collision avoidance system
JP4561499B2 (en) * 2005-06-29 2010-10-13 トヨタ自動車株式会社 Vehicle driving support device
JP2007018142A (en) * 2005-07-06 2007-01-25 Clarion Co Ltd Vehicle periphery monitoring device
JP4792889B2 (en) * 2005-09-21 2011-10-12 トヨタ自動車株式会社 Vehicle driving support device
US8242476B2 (en) 2005-12-19 2012-08-14 Leddartech Inc. LED object detection system and method combining complete reflection traces from individual narrow field-of-view channels
JP4569515B2 (en) 2006-05-09 2010-10-27 株式会社デンソー Vehicle driving support system and driving support device
JP4207060B2 (en) 2006-05-31 2009-01-14 アイシン・エィ・ダブリュ株式会社 Drawing system
EP2158579B1 (en) 2007-06-18 2014-10-15 Leddartech Inc. Lighting system with traffic management capabilities
JP2010529932A (en) 2007-06-18 2010-09-02 レッダーテック インコーポレイテッド Lighting system with driver assistance function
JP2009126234A (en) * 2007-11-20 2009-06-11 Toyota Motor Corp Periphery monitoring device
EP2232462B1 (en) 2007-12-21 2015-12-16 Leddartech Inc. Parking management system and method using lighting system
US8310655B2 (en) 2007-12-21 2012-11-13 Leddartech Inc. Detection and ranging methods and systems
JP5145138B2 (en) * 2008-07-02 2013-02-13 富士通テン株式会社 Driving support device, driving support control method, and driving support control processing program
CA2782180C (en) 2009-12-22 2015-05-05 Leddartech Inc. Active 3d monitoring system for traffic detection
KR101079391B1 (en) 2010-02-18 2011-11-02 김지현 System and Method for Preventing Collision Using Through-Wall Measurements of Radar
US8908159B2 (en) 2011-05-11 2014-12-09 Leddartech Inc. Multiple-field-of-view scannerless optical rangefinder in high ambient background light
WO2012172526A1 (en) 2011-06-17 2012-12-20 Leddartech Inc. System and method for traffic side detection and characterization
JP5632811B2 (en) * 2011-09-13 2014-11-26 本田技研工業株式会社 Vehicle driving support device
US9235988B2 (en) 2012-03-02 2016-01-12 Leddartech Inc. System and method for multipurpose traffic detection and characterization
JP5440646B2 (en) * 2012-04-26 2014-03-12 トヨタ自動車株式会社 Perimeter monitoring device
CN103220504B (en) * 2013-05-03 2015-12-16 山东中安科技股份有限公司 There is the vehicle monitoring system of multi-media player function
WO2016038536A1 (en) 2014-09-09 2016-03-17 Leddartech Inc. Discretization of detection zone
JP6211113B2 (en) 2016-02-03 2017-10-11 三菱電機株式会社 Vehicle approach detection device
KR102320253B1 (en) * 2017-04-19 2021-11-02 현대자동차주식회사 Vehicle and method for controlling thereof
JP2023171709A (en) * 2020-10-19 2023-12-05 ソニーグループ株式会社 In-vehicle camera system and obstacle detection method

Also Published As

Publication number Publication date
JP2004102889A (en) 2004-04-02

Similar Documents

Publication Publication Date Title
JP3822154B2 (en) Vehicle detection device
JP4123787B2 (en) Vehicle driving support device and vehicle driving support system
RU2724935C1 (en) METHOD AND SYSTEM OF NOTIFICATION OF A LOAD CAR DRIVER
JP5341402B2 (en) In-vehicle display system
JP4825868B2 (en) Vehicle alarm device
US20080204557A1 (en) Driving support method and driving support device
JP6288653B2 (en) Driver attention detection method and apparatus
TW201726452A (en) Image display system for vehicle, and vehicle mounted with the image display system
JP2005195601A (en) System and method of detecting driving conditions for car
JP4943367B2 (en) Vehicle information display device
US9776559B2 (en) Vehicular display system
JP2009040272A (en) Vehicle periphery monitoring device
JP2012080517A (en) Image acquisition unit, acquisition method and associated control unit
CN106476695B (en) Systems and methods for visibility enhancement
JP2007006006A (en) Onboard information display device and onboard information display method
JP5262907B2 (en) Vehicle traffic detection device
JP2017210102A (en) Vehicle Monitor System
CN112052716B (en) Identification device, identification method, and storage medium
JP6820075B2 (en) Crew number detection system, occupant number detection method, and program
US20240166229A1 (en) Visual guidance device, attention calling system, attention calling method, and program
JP2007336466A (en) Vehicle peripheral information presenting apparatus, and vehicle peripheral information presenting method
JP2005063105A (en) Device for determining inattentive driving
JPH0796768A (en) Forward watching degree detector
JP2007133644A (en) Pedestrian recognition device
JPH05297141A (en) On-vehicle object detecting device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060621

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090630

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110630

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees