JP4052011B2 - 駐車支援装置 - Google Patents
駐車支援装置 Download PDFInfo
- Publication number
- JP4052011B2 JP4052011B2 JP2002146674A JP2002146674A JP4052011B2 JP 4052011 B2 JP4052011 B2 JP 4052011B2 JP 2002146674 A JP2002146674 A JP 2002146674A JP 2002146674 A JP2002146674 A JP 2002146674A JP 4052011 B2 JP4052011 B2 JP 4052011B2
- Authority
- JP
- Japan
- Prior art keywords
- parking
- vehicle
- target parking
- target
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は駐車支援装置に関する。
【0002】
【従来の技術】
自動車を運転する際、車庫入れや縦列駐車などの駐車を行うのは比較的困難であり、特に初心者は駐車の際の運転操作が苦手であることが多い。そこで、駐車の際の運転操作を補助するための駐車支援装置が知られている。この種の駐車支援装置としては、従来、たとえば特開平11−208420号公報に開示された駐車誘導装置がある。この駐車誘導装置においては、ディスプレイ画面上に周囲環境を表示するとともに、車両の駐車予定位置を重畳表示するものである。この駐車予定位置は、車両のドアの開閉分も考慮した大きさに設定されている。また、縦列駐車を行う際には、駐車可否判断ラインを表示するようにしている。このような駐車可否判断ラインを表示することにより、自車が駐車可能な位置に駐車予定位置(目標駐車位置)を容易に設定することができる。
【0003】
【発明が解決しようとする課題】
しかし、上記公報に開示された従来の駐車誘導装置では、駐車可否判断ラインを表示するものの、この駐車可否判断ラインと周囲との整列状態が判断しにくいという問題があった。このため、駐車予定位置が傾いたり、あるいは駐車予定位置が駐車可能な位置からはみ出したりしてしまう恐れがあった。このように駐車予定位置が傾いたりはみ出したりする問題は、たとえば天候が悪く、周囲状況を視認するのが困難なときに大きくなる。
【0004】
そこで、本発明の課題は、駐車可能な位置に目標駐車位置を設定するにあたり、目標駐車位置が傾いたり、駐車可能な位置からはみ出したりすることが起こらないようにした駐車支援装置を提供することにある。
【0005】
【課題を解決するための手段】
上記課題を解決した本発明に係る駐車支援装置は、車両外部を撮像する撮像手段と、目標駐車位置を示す目標駐車枠を、撮像手段で撮像された画像とともに表示画面上に重畳表示する表示手段と、目標駐車枠を目標駐車位置に設定するために、目標駐車枠を表示画面上で移動させる目標駐車枠移動手段と、駐車スペース周辺情報を取得する周辺情報取得手段と、駐車スペース周辺情報に基づいて、目標駐車位置の目安となる画像上の位置情報を生成する位置情報生成手段と、を備え、表示手段は、生成された画像上の位置情報に基づいて、駐車スペース周辺に縦列駐車された駐車スペース周辺車両と整列した位置および方向を示し、目標駐車枠を設定するためのガイドラインを表示画面上における駐車スペース周辺車両の位置情報における側端位置の延長線上に表示するものである。
【0006】
このように、本発明に係る駐車支援装置においては、駐車スペース周辺情報を取得し、駐車スペース周辺情報に基づいて、目標駐車位置設定用のガイドマークを表示手段の表示画面上に表示している。このため、目標駐車位置を設定する際に利用することができる、たとえば縦列駐車された車両や路上に描かれた仕切線などの駐車スペース周辺情報があるときに、これらの情報を利用して目標駐車位置を設定することができる。その結果、駐車可能な位置に目標駐車位置を設定するにあたり、目標駐車位置が傾いたり、駐車可能な位置からはみ出したりしないようにすることができる。しかも、これらの駐車スペース周辺情報は、周辺情報取得手段によって取得されているので、たとえば夜間や雨天時など、ドライバが周囲の状況を視認しにくい場合であっても、確実に周辺情報を取得することができる。
【0007】
ここで、ガイドマークは、駐車スペース周辺情報と整列した位置および方向を示すガイドラインであるのが好適である。
【0008】
このように、ガイドマークとして、ガイドラインを表示することにより、周囲情報に対して整列させた状態で目標駐車位置を設定することが容易となる。
【0009】
また、駐車スペース周辺情報は、駐車スペース周辺に駐車された駐車スペース周辺車両であるのが好適である。
【0010】
このように、駐車スペースの周辺に駐車された駐車スペース周辺車両を駐車スペース周辺情報として用いることにより、周囲に駐車している駐車スペース周辺車両に対して整列した状態で停車させるように目標駐車位置を設定することが容易となる。
【0011】
なお、本発明における駐車スペース周辺情報としての駐車スペース周辺車両は、駐車スペース周辺車両の情報をいい、たとえば駐車スペース周辺車両の位置、大きさ、向き等の情報をいう。
【0012】
さらに、基準とする駐車スペース周辺車両を指定可能である態様とするのが好適である。
【0013】
このように、駐車スペース周辺情報を指定可能とすることにより、最もきれいに駐車されている駐車スペース周辺車両を基準として指定することができる。このため、最もきれい駐車されている車両に合わせて、目標駐車位置を設定することが容易となる。
【0014】
また、駐車スペース周辺車両は縦列駐車された車両であり、駐車スペース周辺車両の位置情報における側端位置の延長線上にガイドラインを表示するのが好適である。
【0015】
このように、駐車スペース周辺車両が縦列駐車された車両であるときに、この車両の情報の側端に沿ってガイドラインを表示することにより、駐車スペース周辺車両の側端に合わせて目標駐車位置を設定することが容易となる。このため、縦列駐車された車両から側方がはみ出ることなく、自車を縦列駐車させることが容易となる。
【0016】
さらに、側端位置は、駐車スペース周辺車両におけるタイヤ接地点に基づいて算出されるのが好適である。
【0017】
このように、駐車スペース周辺車両の側端位置を取得するにあたり、そのタイヤ接地点を利用することにより、ガイドラインを表示するための位置情報を容易に生成することができる。
【0024】
また、周辺情報取得手段は撮像手段であるのが好適である。
【0025】
周辺情報取得手段として撮像手段を用いることにより、別途周辺情報取得手段を設ける必要がなくなり、その分装置の簡素化を図ることができる。
【0026】
さらに、周辺情報取得手段は測距センサであるようにすることもできる。
【0027】
周辺情報取得手段として測距センサを用いることにより、たとえば駐車スペースを映した画像内に駐車スペース周辺情報がない場合にも、画像外の駐車スペース周辺情報を測距できる場合は適切なガイドマークを表示することができる。その結果、目標駐車位置の適切な設定を容易に行うことができる。
【0028】
また、目標駐車枠の初期値は、前記ガイドマークに基づいて設定されるのが好適である。
【0029】
ガイドマークは、駐車スペース周辺情報に基づいて表示されているので、ガイドマークに基づいて目標駐車位置を設定すると、駐車スペースの近傍に目標駐車位置を設定することができることが多い。この位置を目標駐車位置の初期値とすることにより、微調整を行うだけでまたは調整を行うことなく目標駐車位置を設定できるようになる。
【0030】
そして、目標駐車位置に対応する位置における路面の凹凸を検出する路面状況検出手段が設けられ、検出された路面の凹凸に合わせて、目標駐車位置の表示に凹凸をつける態様とすることもできる。
【0031】
このように、目標駐車位置に対応する位置における路面の凹凸を検出して、目標駐車位置の表示に凹凸をつけることにより、駐車途中で駐車支援装置の作動許容範囲外となりそうな場合や、目標駐車位置への移動に際して誤差が生じやすい場合を事前に認識して目標駐車位置の設定や駐車支援装置の使用中止を選択する機会をドライバに与えることができる。
【0032】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
【0033】
図1は、本発明の実施形態に係る駐車支援装置のブロック構成図である。
【0034】
図1に示すように、本実施形態に係る駐車支援装置1は、車両に搭載され、その車両を駐車する際の駐車支援を行うものである。この駐車支援装置1は、電子制御装置である駐車支援ECU2を備えている。駐車支援ECU2は、駐車支援装置1全体の制御を行うものであり、CPU、ROM、RAM、入力信号回路、出力信号回路、電源回路などにより構成され、駐車支援制御ルーチンを含む各種の制御ルーチンが記憶されている。
【0035】
駐車支援ECU2には、車速センサ11、操舵角センサ12、二次元画像情報を取得するCCDカメラ13、周辺情報取得手段14が接続されている。
【0036】
車速センサ11は、たとえば車両の図示しない車輪に取り付けられており、車輪の回転速度を検出して駐車支援ECU2に速度信号を出力している。駐車支援ECU2では、車速センサ11から出力された速度信号に基づいて、車両の走行距離を算出している。また、操舵角センサ12は、たとえば車両の図示しないステアリングシャフトに取り付けられており、ステアリングの回転角を検出し、角度信号を駐車支援ECU2に回転角信号を出力している。駐車支援ECU2では、検出されたステアリングの回転角信号に基づいて、操舵輪の転舵角を算出している。
【0037】
CCDカメラ13は、車両の後部または側部に配置された、たとえば広角レンズを備えるカメラであり、車両の外部であって後方を撮像するものである。このCCDカメラ13は、常時車両の後方を撮像しているものでもよいし、消費電力低減のために車両が後方に移動する際に、撮像を開始するようにしてもよい。車両の後方への移動は、たとえばシフトレバーがリバースレンジに入ったことにより検出することができる。
【0038】
周辺情報取得手段14として、CCDカメラ13や別途設けた測距センサなどを利用することができる。本実施形態では、CCDカメラ13を周辺情報取得手段として利用している。
【0039】
また、駐車支援ECU2には、モニタ15と、スピーカ16と、自動操舵アクチュエータ17が接続されている。
【0040】
モニタ15は、車室内のたとえばインストルメントパネルに設置されており、ドライバの視界が届く位置に配置されている。このモニタ15の表示画面上には、CCDカメラ13で撮像した画像のほか、駐車支援ECU2で算出された位置に表示される本発明の目標駐車位置を示す目標駐車枠や障害物を避ける際の目印となる回避ポールなどが重畳表示される。スピーカ16は、たとえば車室内におけるフロントドアの内側に内蔵されており、駐車支援ECU2の指令に基づいて、音声により情報をドライバ等に提示するものである。
【0041】
自動操舵アクチュエータ17は、車両の各車輪に配置された図示しない油圧ブレーキのホイルシリンダに接続されている。そして、駐車支援ECU2の指令に基づいて、ブレーキ油圧を調整することによって車両の制動力を調整する。また、自動操舵アクチュエータ17は、車両の図示しないステアリングロッドにも接続されている。そして、駐車支援ECU2の指令に基づいて、操舵輪が所定の操舵角となるように、ステアリングロッドを回転させる。
【0042】
また、駐車支援ECU2には、本発明の位置情報生成手段である位置情報生成部21が設けられている。位置情報生成部21は、周辺情報取得手段14によって取得された周辺情報に基づいて、CCDカメラ13で撮像された画像上における目標駐車位置の目安となる停車車両等の位置情報を生成する。さらに、生成された位置情報に基づいて、CCDカメラ13で撮像された画像上におけるガイドマークとなる案内線の表示位置を算出する。そして、モニタ15には、CCDカメラ13で撮像された画像とともに、位置情報生成部21で算出された案内線の表示位置に、目標駐車位置の目安となる案内線が表示される。
【0043】
次に、本実施形態に係る駐車支援装置の動作について説明する。図2は、本実施形態に係る駐車支援装置の動作についてのフローチャートである。
【0044】
ドライバがシフトレバーをリバースレンジに入れると、駐車支援を行う際の駐車支援制御が開始される。シフトレバーがリバースレンジに入ったら、CCDカメラ13がONとなり、車両の周囲における後方の画像を撮像し、CCDカメラ13で撮像された画像がモニタ15に表示される。このときに、駐車支援ECU2における位置情報生成部21では、本発明の駐車スペース周辺情報となる車両周辺情報を取得する(S1)。位置情報生成部21では、CCDカメラ13で撮像された画像を解析し、車両周辺情報として認識することができた情報を車両周辺情報として取得する。
【0045】
このようにして車両周辺情報を取得したら、駐車支援ECU2における位置情報生成部21においては、車両周辺情報のうち、目標駐車位置を設定する際に有効となる車両周辺情報を検出する(S2)。車両周辺情報としては、駐車可能となる駐車スペースの近傍に停車している車両、駐車場における駐車枠などがあるが、これらの情報が車両周辺情報として取得された場合には、取得された車両周辺情報のうち、駐車支援に利用することができるものを選択して検出する。
【0046】
いま、CCDカメラ13で撮像された車両周辺情報は、単に画像上に表示されているのみである。このため、このままでは画像上において、車両周辺情報の位置に基づいて、本発明のガイドラインとなる案内線を生成することができない。そこで、検出された有効な車両周辺情報の位置に基づいて、CCDカメラ13で撮像された画像上における目標駐車位置の目安となる駐車スペース周辺車両である駐車車両Pの位置情報を位置情報生成部21で生成する(S3)。この位置情報に基づいて、目標駐車位置を設定するための目安となる案内線を生成し(S4)、この案内線を、CCDカメラ13で撮像された画像に重ねてモニタ15上に表示する(S5)。目標駐車位置を設定するドライバは、この案内線の表示を目標駐車位置の設定に利用することができる。案内線は、車両周辺情報に基づいて生成されており、車両周辺情報は、周囲の駐車車両や駐車枠など、車両を駐車する目標駐車位置とは整然とした関係にある。このため、ドライバは案内線に沿って目標駐車位置を定めることのみにより、車両周辺情報に対して整然とした関係となる位置に目標駐車位置を設定することができる。したがって、駐車可能な位置に目標駐車位置を設定するにあたり、目標駐車位置が傾いたり、駐車可能な位置からはみ出したりすることがないようにすることができる。しかも、車両周辺情報は機械的に取得されているので、ドライバがCCDカメラ13で撮像された画像を見にくい場合であっても、目標駐車位置を早くしかも正確に設定することができる。
【0047】
本実施形態では、車両周辺情報としては、目標駐車位置の周囲に駐車された駐車車両を用いるのが好適である。たとえば車両を縦列駐車しようとする場合には、駐車車両の前方または後方に駐車させ、車庫入れ駐車しようとする場合には、駐車車両の側方に駐車させることになる。このいずれの場合でも、通常、駐車車両に対応した向きに合わせて整然と並べることが求められるので、駐車車両を車両周辺情報として利用することにより、車両を適切な位置に駐車させるように、目標駐車位置を設定することができる。
【0048】
ここで、本実施形態において、駐車車両を車両周辺情報として利用し、駐車車両の後方に自車を駐車する際の駐車支援装置の動作について説明する。この動作も、実質的に図2に示すフローチャートに沿って行われる。図3(a)に示すように、駐車車両Pの後方に自車Mを縦列駐車しようとして、自車Mを駐車車両Pの斜め前方位置に停車し、ドライバがシフトレバーをリバースレンジに入れたときに駐車支援が開始される。このとき、CCDカメラ13では、車両の周囲における後方の画像を撮像しており、CCDカメラ13で撮像された画像は、図3(b)に示すように、モニタ15の表示画面に表示されている。位置情報生成部21では、CCDカメラ13で撮像された画像から、本発明の駐車スペース周辺情報となる車両周辺情報を取得する(S1)。
【0049】
次に、位置情報生成部21では、取得された車両周辺情報から目標駐車位置を設定する際に有効な車両周辺情報を検出する(S2)。ここで、車両周辺情報としては、1台のCCDカメラ13で3次元情報を取得するものであり、たとえばCCDカメラ13の画像から物体候補を特定し、その一連の画像中における物体候補の挙動から特定された3次元情報を利用することができる。本実施形態では、CCDカメラ13で撮像画像のうち、車両周辺情報として利用することができるのは駐車車両Pの後部のみであるので、位置情報生成部21では、駐車車両Pの後部を車両周辺情報として検出する。CCDカメラ13で撮像された車両周辺情報において、駐車車両Pが含まれているか否かの判断は、あらかじめモデリングされた形状データと適合させることによって行うことができる。
【0050】
続いて、位置情報生成部21では、検出された有効な車両周辺情報である駐車車両Pの位置に基づいて、CCDカメラ13で撮像された画像上における目標駐車位置の目安となる駐車車両Pの位置情報を生成する(S3)。CCDカメラ13では、図3(a)に示すように、自車Mの後方の広い範囲を撮像しているので、駐車車両の位置情報を生成するにあたっては、CCDカメラ13のレンズ特性が考慮される。
【0051】
駐車車両Pの位置情報を生成したら、この位置情報に基づいて本発明のガイドラインとなる案内線を生成し(S4)、図3(a)に示すように、モニタ15の表示画面上に案内線L1を表示する(S5)。案内線L1は、平面視した状態で駐車車両Pの右端辺に接触した位置に表示されるが、駐車車両Pの右端辺と自車Mの左端辺との間の距離(横ずれ量)Bは、位置情報生成部21において、CCDカメラ13の画像を解析することによって算出される。
【0052】
その一方、モニタ15の表示画面上には、目標駐車位置Tを示す長方形状をなす目標駐車枠F1が適宜の方法で設定された初期位置に表示されている。目標駐車枠F1には、その側辺のうちの一方を前方に延ばして形成される延長線F2が表示されている。この延長線F2は、目標駐車枠F1における2つの側辺のうち、自車Mに近い側の側辺を延ばして形成されている。また、目標駐車枠F1は、モニタ15の表示画面上で移動させることができるようになっており、延長線F2は、目標駐車枠F1を移動させると、目標駐車枠F1とともに移動する。
【0053】
ドライバは、この延長線F2が案内線L1と重なるように目標駐車枠F1および延長線F2をモニタ15の表示画面上で移動させる。そして、延長線F2と案内線L1が重なり、モニタ15に表示された確定スイッチSに触れると、目標駐車枠F1は駐車車両Pの後方に表示され、目標駐車位置Tは、駐車車両Pに対して右端辺が沿うように整列した位置に設定される。このように、延長線F2を案内線L1の重ねて表示するのみで容易に目標駐車位置Tを設定することができる。そして、目標駐車位置Tに自車Mを移動させることにより、自車Mを容易に駐車車両Pに対して右端辺が沿うように整列した状態で駐車することができる。このようにして、駐車車両Pに対して、傾いたりはみ出したりすることなく自車Mを容易に駐車することができる。
【0054】
ここで、目標駐車枠F1の初期位置としては、延長線F2が案内線L1と重なる位置に設定されるようにしておくのが好適となる。延長線F2が案内線L1と重なるようにして目標駐車枠F1の初期位置が設定されていることにより、目標駐車枠F1は、多くの場合、目標駐車位置として望ましい位置に設定されることになる。目標駐車枠F1をこの位置に設定することにより、ドライバに対する目標駐車枠F1の設定操作の手間を軽減することができる。ただし、この場合、駐車車両Pお車幅が自車Mの車幅よりも小さい場合には、自車Mを駐車した際に縁石や壁にぶつかる位置に目標駐車枠F1が設定されてしまうことがあるので、ドライバはこの点を注意して目標駐車枠F1を設定するのが好適となる。
【0055】
また、目標駐車枠F1を表示するにあたり、CCDカメラ13の画像上に駐車車両Pがモニタ15に表示され、その駐車車両を基準とする駐車車両として指定して、たとえばその駐車車両Pの画像に触れたときに、目標駐車枠F1を初期位置に表示する態様とすることもできる。このときにも、延長線F2が案内線L1と重なるように目標駐車枠F1の初期位置を設定することにより、目標駐車枠F1の初期位置を望ましい位置に設定することができる。特に、駐車車両Pが複数ある場合に、このような態様とするのが好適となる。
【0056】
次に、本発明の第2の実施形態について説明する。本実施形態に係る駐車支援装置のハード構成は上記第1の実施形態で示したものと実質的に同一である。
【0057】
続いて、本実施形態に係る駐車支援装置の動作について説明する。図4は、本実施形態に係る駐車支援装置の動作の一部についてのフローチャートである。ここでは、車両周辺情報を取得してから案内線を表示するまでの工程を説明する。
【0058】
駐車支援が開始され、上記第1の実施形態と同様に車両周辺情報を取得したら、CCDカメラ13で撮像された画像を位置情報生成部21で解析し、図5に示す駐車車両PにおけるタイヤWの接地点Gを検出する(S11)。タイヤ接地点の検出は、たとえば画像認識におけるエッジ抽出をしてからハフ変換するといった方法などによって行うことができる。そして、タイヤ接地点を検出できたか否かを判断し(S12)、検出ができない場合には、本実施形態に係る案内線の設定動作を中止し、たとえば上記第1の実施形態のようにして案内線を生成して表示する。
【0059】
一方、タイヤ接地点が検出できたら、モニタ15の表示画面上の画像におけるタイヤWの接地点Gの座標を位置情報とし、この座標の位置情報から自車Mまでの横ずれ量を算出する(S13)。この場合には自車と接地点との横ずれ量を算出するものであるので、その演算は簡素なものとすることができる。こうして、横ずれ量を算出したら、横ずれ量に基づいて案内線L1を生成し(S14)、CCDカメラ13で撮像された画像とともに、モニタ15の表示画面上に表示する(S15)。そして、ドライバは、案内線の表示に合わせて目標駐車枠を設定することにより、容易に目標駐車枠を設定することができる。
【0060】
このように、本実施形態では、駐車車両のタイヤ接地点を利用して案内線を生成しているので、目標駐車枠を設定するための案内線を容易にしかも確実生成することができる。
【0061】
次に、本発明の第3の実施形態について説明する。本実施形態に係る駐車支援装置のハード構成は上記第1の実施形態で示したものと実質的に同一であるが、周辺情報取得手段14として、測距センサ18(図7)が用いられている。この測距センサ18は、たとえば車両の側方に取り付けられており、車両が通過した際の側方の障害物、たとえば停車車両との距離を測定している。駐車支援ECU2では、周辺情報取得手段14から出力された側方の障害物との距離情報と、車速センサ11および操舵角センサ12から検出される自車の走行状態に基づいて、車両の周囲における停車車両などの周辺情報を所得する。
【0062】
続いて、本実施形態に係る駐車支援装置の動作について説明する。図6は、本実施形態に係る駐車支援装置の動作の一部についてのフローチャートである。ここでは、車両周辺情報を取得してから案内線を表示するまでの工程を説明する。
【0063】
本実施形態においては、駐車支援を開始する前に車両が走行している間、測距センサで検出される車両の側方に位置する物体と車両との距離を常時検出している。そして、車両が停車してドライバがシフトレバーをリバースレンジに入れて駐車支援が開始されると、位置情報生成部21では、駐車支援が開始される直前に測距センサ18で検出された車両の側方の物体との距離の履歴から、車両の周辺情報を取得する。具体的には、縦列駐車を行おうとするときに、車両の側方に駐車車両がある場合には、この駐車車両を周辺情報として取得することができる。この点について、図7(a)を参照して説明すると、自車Mが直線的に前進して駐車支援開始位置に到達したとする。この自車Mが走行してきたとき、駐車車両Pの後方における駐車スペースの側方を通過しているときには、目標駐車位置Tを設定することができる駐車スペースに空間があるので、自車Mに取り付けられた測距センサ18によって検出される距離は大きなものとなる。やがて、自車Mが駐車車両Pの側方に差し掛かると、測距センサ18では、駐車車両Pとの間の距離が検出される。そして、自車Mが停車して駐車支援開始位置に到達する段階でも、測距センサ18では、駐車車両Pとの距離が検出されている。このように、自車Mが直線的に走行して駐車支援開始位置に到達するまでの間に、ある程度の大きな距離が検出された後、近い距離の位置に物体としての駐車車両Pが検出されていたら、駐車車両Pを周辺情報として取得することができる。
【0064】
こうして駐車車両Pを車両周辺情報として取得したら、測距センサ18によって駐車車両Pと自車Mの横ずれ量を検出する(S21)。この横ずれ量としては、測距センサ18によって検出された距離をそのまま利用することができる。こうして、横ずれ量が検出できたか否かを判断する(S22)。たとえば、駐車車両Pがない場合にはこのような横ずれ量を検出することができないので、その場合には、本実施形態に係る案内線の設定動作を中止し、たとえば上記第1の実施形態で示したようにして案内線を生成して表示する。
【0065】
一方、横ずれ量が検出できた場合には、検出された横ずれ量に基づいて、案内線を生成する(S23)。案内線の生成する際に用いられる横ずれ量は、測距センサ18で測定された距離をそのまま用いることができる。こうして案内線を生成したら、CCDカメラ13で撮像された画像に重ねて案内線をモニタ15の表示画面上に表示する(S24)。そして、ドライバは、この案内線を目安として目標駐車枠を設定する(S25)。この案内線に合わせるだけで、駐車車両Pに対して整列した位置に目標駐車位置を設定することができるので、ドライバは、容易に目標駐車位置を設定することができる。
【0066】
このように、周辺情報取得手段14として自車Mの側方に設けられた測距センサ18を用いると、目標駐車位置を設定する際の自車Mの移動量を少ないものとすることができる。この点について、図7を参照して説明する。周辺情報取得手段14として測距センサ18を用いることにより、図7(a)に示すように、自車Mを駐車車両Pの側方にまで移動させるのみで自車Mと駐車車両Pとの位置関係を把握することができる。このため、後方から走行してきた自車Mは、駐車車両Pにほとんど並んだ状態にまで走行すればよく、CCDカメラ13の撮像範囲に駐車車両Pが入っている必要はない。
【0067】
これに対して、車両の後方に設けたCCDカメラ13で駐車車両Pとの位置を把握しようとすると、図7(b)に示すように、CCDカメラ13の撮像範囲に駐車車両Pが入るまで自車Mを走行させなければならない。このため、自車Mを前方に余分に走行させる必要が生じる。したがって、周辺情報取得手段14として測距センサ18を用いることにより、自車Mの走行距離を少ないものとしたまま、目標駐車位置を容易に設定できるようになる。なお、図7(a)(b)においては、モニタ15に案内線が表示される位置を平面視したときの線Lを示している。
【0068】
次に、本発明の第4の実施形態について説明する。本実施形態に係る駐車支援装置のハード構成は上記第1の実施形態で示したものと実質的に同一である。続いて、本実施形態に係る駐車支援装置の動作について説明する。図8は、本実施形態に係る駐車支援装置の動作の一部についてのフローチャートである。
【0069】
上記各実施形態と同様に、図9(a)に示すように、自車Mが縦列駐車をするべく、駐車車両Pの側方にまで走行させて停車させる。それから、ドライバがシフトレバーをリバースレンジに入れて駐車支援が開始されると、CCDカメラ13で自車Mの後方を撮像する。CCDカメラ13で撮像された画像を駐車支援ECU2における位置情報生成部21で解析して、車両周辺情報を取得する。このとき、車両周辺情報として駐車車両Pの後端部を検出する(S31)。図9(b)を参照すれば、モニタ15の表示画面には、駐車車両Pの後端部Rが表示されている。駐車車両Pの後端部の検出は、上記第1の実施形態で示したようにあらかじめモデリングされた形状データと適合させることによって行うことができる。
【0070】
そして、駐車車両Pの後端部Rが検出できたか否かを判断し(S32)、駐車車両Pの後端部Rが検出されなければ、本実施形態に係る駐車支援における案内線の表示を終了する。
【0071】
一方、駐車車両Pの後端部Rを検出することができたら、CCDカメラ13の画像上における駐車車両Pの後端部Rの位置情報を生成する。続いて、この位置情報における座標に基づいて、高さ方向に沿ったガイドマークとなる案内線を生成する(S33)。この案内線を生成したら、図9(b)に示すように、CCDカメラ13に撮像された画像とともにモニタ15の表示画面上に表示する(S34)。この案内線L2に基づいて、本発明の回避マークとなる回避ポールの位置設定を行うことができる。この回避ポールは、車両が目標駐車位置まで移動する際に、駐車車両との接触を回避することができる位置に表示される。
【0072】
回避マークの位置設定について説明すると、図9(b)に示すように、モニタ15の表示画面上には、回避ポールEが適宜の方法で設定された初期位置に表示されている。この回避ポールEは、目標駐車位置Tと自車Mとの位置関係に基づいて決定されるものであり、自車Mが目標駐車位置Tまで移動したときに通ることができる境界線またはその境界線から所定のマージンをとったものである。また、回避ポールEのモニタ15における表示画面上の位置は、ドライバが適宜移動させることによって調整することができる。そして、ドライバが目標駐車枠を設定する際に、回避ポールEを案内線L2に重ね合わせるのみで、駐車車両Pの駐車位置を自車Mが通過しなくなる位置に、回避ポールEを設定することができる。
【0073】
そして、回避ポールEの位置を設定した後、所定の位置に目標駐車枠を表示したら、確定スイッチSに触れることにより、駐車支援が行われる。
【0074】
このように、ドライバは、案内線L2に重ねて回避ポールEの位置を設定すればよいので、目標駐車枠の設定も容易に行うことができる。また、画像が見にくい場合であっても、案内線L2に重ねて回避ポールEを設定すればよいので、回避ポールEの位置設定を容易に行うことができる。
【0075】
ここで、回避ポールEの初期位置としては、案内線L2と重なる位置に設定するのが好適となる。回避ポールEが案内線L2と重なるようにして回避ポールEが設定されていることにより、回避ポールEは、多くの場合、望ましい位置に設定されていることになる。したがって、この場合にドライバは回避ポールEの位置を確認するのみで済むので、回避ポールEの設定操作の手間を軽減することができる。また、本実施形態では回避ポールEを設定する場合について説明しているが、回避ポールEを設定して表示すると同時に、上記各実施形態で示したように、目標駐車枠F1も同時に設定し、表示画面上に表示する態様とすることができる。このときにも、目標駐車枠F1の初期位置は、図3(b)に示す延長線F2と案内線L1が重なる位置に表示するのが好適となる。この位置の目標駐車枠F1を表示するとともに、回避ポールEの初期位置を案内線L2に重ねて表示することにより、多くの場合、ドライバが回避ポールEおよび目標駐車枠F1の設定操作を行うことなく駐車支援を行うことができる。
【0076】
次に、本発明の第5の実施形態について説明する。本実施形態に係る駐車支援装置のハード構成は上記第1の実施形態で示したもののほか、路面勾配検出手段が設けられ、この路面勾配検出手段が駐車支援ECU2に接続されている。路面勾配検出手段は、路面の凹凸状況を検出することができるものであり、たとえばナビゲーション装置やVICS(Vehicle Information Communication System)を利用することができる。
【0077】
続いて、本実施形態に係る駐車支援装置の動作について説明する。図10は、本実施形態に係る駐車支援装置の動作の一部についてのフローチャートである。ここでは、路面勾配情報を検出してからモニタ上に案内線を表示するまでの工程について主に説明する。
【0078】
駐車支援を開始したら、まず、路面勾配検出手段を用いて、駐車車両の後方における駐車可能な領域などの駐車スペースの路面勾配情報を入手する(S41)。次に、目標駐車枠を設定するための仮案内線を生成する。仮案内線は、上記第1の実施形態における案内線と同様に、駐車車両の位置情報等に基づいて、適切な手順によって生成される。続いて、路面勾配検出手段によって検出された路面勾配情報に基づいて、仮案内線から案内線を生成する(S42)。ここで、生成された案内線には、路面勾配情報が付加されているので、案内線には、目標駐車位置における車両勾配や路面に形成された凹凸などが反映されている。こうして生成された案内線を、CCDカメラ13で撮像された画像とともにモニタ15の表示画面上に表示する(S43)。このように、モニタ15の表示画面上に表示された案内線には、路面の勾配や傾斜が反映されている。このため、ドライバは、路面の勾配が大き過ぎて、駐車支援を行うことができないと判断した場合には、駐車支援を中止することができる。また、路面に凹凸がある場合には、図11に示すように、案内線L3および目標駐車枠F3に凹凸が表示されているので、ドライバは、この凹凸を見て駐車支援を利用するか否かの判断を行うことができる。
【0079】
さらに、本発明の第6の実施形態について説明する。上記各実施形態は、駐車スペース周辺情報として駐車車両を利用した例に係るものであるが、本実施形態は、駐車スペース周辺情報として、路面に表示された駐車枠を利用した例に係るものである。
【0080】
図12は、本実施形態に係る駐車支援を行っている際のモニタ15に表示された画像を示す図である。
【0081】
図12に示すモニタ15には、CCDカメラ13で撮像された画像が表示されている。この画像には、駐車場における仕切線X1,X2に挟まれた第1駐車枠および仕切線X2,X3に挟まれた第2駐車枠が表示されている。また第1駐車枠には、ガイドマークとなる第1案内枠L4が表示され、第2駐車枠には第2案内枠L5がそれぞれ表示されている。さらに、モニタ15には、目標駐車枠F4が適宜の方法で設定された初期位置に表示されている。目標駐車枠F4は、モニタ15の表示画面上で移動させることができるようになっている。
【0082】
本実施形態に係る駐車支援装置では、CCDカメラ13で撮像した画像を駐車支援ECU2における位置情報生成部21で解析し、仕切線X1〜X3を認識することによって駐車枠を認識する。この駐車枠に基づいて、駐車枠の中に収まる範囲で第1案内枠L4および第2案内枠L5をそれぞれ設定する。
【0083】
このような案内枠L4,L5を設定することにより、ドライバは目標駐車枠F4を駐車しようとする第1案内枠L4または第2案内枠L5に重なるように移動させるだけで、目標駐車位置を設定することができる。したがって、目標駐車位置の設定は容易なものとなる。こうして、目標駐車位置が設定されたら、モニタ15における確定スイッチSに触れることにより、目標駐車位置が設定され、駐車支援が行われる。
【0084】
また、本実施形態においては、目標駐車枠F4を表示するにあたり、目標駐車枠F4の初期位置としては、第1案内枠L4または第2案内枠L5のいずれかと重なる位置に設定されるようにしておくのが好適である。目標駐車枠F4の初期位置が第1案内枠L4または第2案内枠L5に設定されることにより、ドライバは、目標駐車枠F4を移動させて目標駐車位置を設定する手間を軽減することができる。
【0085】
さらに、目標駐車枠F4を表示するにあたり、目標駐車枠F4を表示することなく、まず、第1案内枠L4および第2案内枠L5を表示する。この案内枠F4,L5のいずれかにドライバが触れて案内枠を指定することにより、触れた側の案内枠に目標駐車枠F4を重ねて表示する態様とすることもできる。このような態様とすることにより、ドライバが目標駐車位置を設定する際の手間を軽減することができる。また、本実施形態のように、複数の案内枠が表示された場合に限らず、案内枠が1つのみ表示された場合に、この案内枠に触れて案内枠を指定することにより、案内枠に重ねて目標駐車枠が表示されて目標駐車位置が設定される態様とすることもできる。
【0086】
以上、本発明の好適な実施形態について説明したが、本発明は上記各実施形態に限定されるものではない。たとえば、上記第4の実施形態において、縦列駐車を行う際の目標駐車位置の前方に駐車している駐車車両の後端コーナ部に合わせて回避ポールを表示しているが、たとえば目標駐車位置の前方に駐車している駐車車両の前端コーナ部に合わせて回避ポールを表示することができる。
【0087】
また、この回避ポールは、縦列駐車を行う場合に限らず、車庫入れ駐車を行う場合に表示することもできる。車庫入れ駐車を行う際には、目標駐車位置の側方に駐車している駐車車両の前端または後端コーナ部に合わせて表示するのが好適である。さらに、上記第5の実施形態では、縦列駐車の際を例にとって目標駐車枠に凹凸を表示するようにしているが、車庫入れ駐車の際に目標駐車枠に凹凸を表示する態様とすることもできる。
【0088】
他方、縦列駐車を行う際に、駐車枠を示す仕切線が路面に表示されている場合には、この仕切線を車両周辺情報として利用することができる。また、車庫入れ駐車を行う際に、駐車スペースに隣接して駐車駐車している車両がある場合には、この駐車車両を車両周辺情報として利用することができる。
【0089】
【発明の効果】
以上のとおり、本発明によれば、駐車可能な位置に目標駐車位置を設定するにあたり、目標駐車位置が傾いたり、駐車可能な位置からはみ出したりすることが起こらないようにした駐車支援装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る駐車支援装置のブロック構成図である。
【図2】本発明の第1の実施形態に係る駐車支援装置の動作についてのフローチャートである。
【図3】(a)は第1の実施形態に係る車両の駐車支援を行う際の車両の位置関係を平面視した模式図、(b)はそのときのモニタに表示された画像を示す図である。
【図4】第2の実施形態に係る駐車支援装置の動作の一部についてのフローチャートである。
【図5】第2の実施形態に係る車両の駐車支援を行う際のモニタに表示された画像を示す図である。
【図6】第3実施形態に係る駐車支援装置の動作の一部についてのフローチャートである。
【図7】(a)は周辺情報所得手段として測距センサを用いたときの車両の位置関係を平面視した模式図、(b)は周辺情報所得手段としてCCDカメラを用いたときの車両の位置関係を平面視した模式図である。
【図8】第4実施形態に係る駐車支援装置の動作の一部についてのフローチャートである。
【図9】(a)は第4の実施形態に係る車両の駐車支援を行う際の車両の位置関係を平面視した模式図、(b)はそのときのモニタに表示された画像を示す図である。
【図10】第5実施形態に係る駐車支援装置の動作の一部についてのフローチャートである。
【図11】第5の実施形態に係る車両の駐車支援を行う際のモニタに表示された画像を示す図である。
【図12】第6の実施形態に係る車両の駐車支援を行う際のモニタに表示された画像を示す図である。
【符号の説明】
1…駐車支援装置、2…駐車支援ECU、11…車速センサ、12…操舵角センサ、13…CCDカメラ、14…周辺情報取得手段、15…モニタ、16…スピーカ、17…自動操舵アクチュエータ、18…測距センサ、21…位置情報生成部、E…回避ポール、F1,F3,F4…目標駐車枠、F2…延長線、G…接地点、L…案内線、L1〜L3…案内線、L4…第1案内枠、L5…第2案内枠、M…自車、P…駐車車両、R…後端部、S…確定スイッチ、T…目標駐車位置、W…タイヤ、X1〜X3…仕切線。
Claims (7)
- 車両外部を撮像する撮像手段と、
目標駐車位置を示す目標駐車枠を、前記撮像手段で撮像された画像とともに表示画面上に重畳表示する表示手段と、
目標駐車枠を目標駐車位置に設定するために、前記目標駐車枠を前記表示画面上で移動させる目標駐車枠移動手段と、
駐車スペース周辺情報を取得する周辺情報取得手段と、
前記駐車スペース周辺情報に基づいて、目標駐車位置の目安となる前記画像上の位置情報を生成する位置情報生成手段と、を備え、
前記表示手段は、生成された前記画像上の位置情報に基づいて、駐車スペース周辺に縦列駐車された駐車スペース周辺車両と整列した位置および方向を示し、前記目標駐車枠を設定するためのガイドラインを前記表示画面上における前記駐車スペース周辺車両の位置情報における側端位置の延長線上に表示することを特徴とする駐車支援装置。 - 基準とする駐車スペース周辺車両を指定可能である請求項1に記載の駐車支援装置。
- 前記側端位置は、前記駐車スペース周辺車両におけるタイヤ接地点に基づいて算出される請求項1または請求項2に記載の駐車支援装置。
- 前記周辺情報取得手段は前記撮像手段である請求項1〜請求項3のうちのいずれか1項に記載の駐車支援装置。
- 前記周辺情報取得手段は測距センサである請求項1〜請求項4のうちのいずれか1項に記載の駐車支援装置。
- 前記目標駐車枠の初期値は、前記ガイドラインに基づいて設定される請求項1〜請求項5のうちのいずれか1項に記載の駐車支援装置。
- 駐車スペースにおける路面の凹凸を検出する路面状況検出手段が設けられ、
検出された前記路面の凹凸に合わせて、前記目標駐車位置の表示に凹凸をつける請求項1〜請求項6のうちのいずれか1項に記載の駐車支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002146674A JP4052011B2 (ja) | 2002-05-21 | 2002-05-21 | 駐車支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002146674A JP4052011B2 (ja) | 2002-05-21 | 2002-05-21 | 駐車支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003335196A JP2003335196A (ja) | 2003-11-25 |
JP4052011B2 true JP4052011B2 (ja) | 2008-02-27 |
Family
ID=29705587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002146674A Expired - Fee Related JP4052011B2 (ja) | 2002-05-21 | 2002-05-21 | 駐車支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4052011B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004018205A1 (de) * | 2004-04-15 | 2005-11-10 | Robert Bosch Gmbh | Vorrichtung zur Unterstützung eines Einparkvorgangs eines Fahrzeugs |
JP2006117165A (ja) * | 2004-10-22 | 2006-05-11 | Nissan Motor Co Ltd | 駐車支援装置 |
JP4449701B2 (ja) * | 2004-10-28 | 2010-04-14 | 株式会社デンソー | 駐車支援システム |
JP2006224778A (ja) * | 2005-02-16 | 2006-08-31 | Nippon Soken Inc | 駐車支援装置 |
JP4665721B2 (ja) * | 2005-11-04 | 2011-04-06 | 株式会社デンソー | 駐車支援システム |
JP2008042235A (ja) * | 2006-08-01 | 2008-02-21 | Honda Motor Co Ltd | 車両用表示装置 |
JP4844323B2 (ja) * | 2006-09-27 | 2011-12-28 | アイシン・エィ・ダブリュ株式会社 | 駐車支援装置および駐車支援方法 |
JP5013204B2 (ja) * | 2008-02-04 | 2012-08-29 | アイシン精機株式会社 | 駐車支援装置 |
KR101244475B1 (ko) * | 2008-08-25 | 2013-03-18 | 주식회사 만도 | 주차 제어 방법 및 시스템 |
KR101270895B1 (ko) * | 2011-07-14 | 2013-06-07 | 주식회사 만도 | 주차 제어 방법 및 시스템 |
DE102011080930A1 (de) | 2011-08-12 | 2013-02-14 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Kraftfahrzeugs bei einem Fahrmanöver |
JP5983276B2 (ja) * | 2012-10-09 | 2016-08-31 | 株式会社デンソー | 駐車支援装置 |
JP6806156B2 (ja) * | 2016-09-30 | 2021-01-06 | アイシン精機株式会社 | 周辺監視装置 |
KR20180076529A (ko) * | 2016-12-28 | 2018-07-06 | 엘지전자 주식회사 | 차량 운전 보조장치 및 이를 포함하는 차량 |
JP7088807B2 (ja) | 2018-10-29 | 2022-06-21 | 京セラ株式会社 | 画像処理装置、カメラ、移動体および画像処理方法 |
JP7219099B2 (ja) * | 2019-01-23 | 2023-02-07 | 株式会社小松製作所 | 作業機械のためのシステム及び方法 |
JP7310656B2 (ja) | 2020-03-05 | 2023-07-19 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法及びシステム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3663801B2 (ja) * | 1997-01-30 | 2005-06-22 | いすゞ自動車株式会社 | 車両後方視界支援装置 |
JPH10244891A (ja) * | 1997-03-07 | 1998-09-14 | Nissan Motor Co Ltd | 駐車補助装置 |
JPH11105686A (ja) * | 1997-10-07 | 1999-04-20 | Nissan Motor Co Ltd | 自動駐車装置 |
JPH11208420A (ja) * | 1998-01-27 | 1999-08-03 | Nissan Motor Co Ltd | 駐車誘導装置および自動駐車装置 |
JP4061757B2 (ja) * | 1998-12-03 | 2008-03-19 | アイシン・エィ・ダブリュ株式会社 | 駐車支援装置 |
JP3541792B2 (ja) * | 2000-09-18 | 2004-07-14 | 株式会社豊田自動織機 | 縦列駐車時の車両後退支援装置 |
JP3698039B2 (ja) * | 2000-09-18 | 2005-09-21 | 日産自動車株式会社 | 駐車支援装置 |
JP3763733B2 (ja) * | 2000-10-12 | 2006-04-05 | ダイハツ工業株式会社 | 駐車支援装置及びその制御方法 |
-
2002
- 2002-05-21 JP JP2002146674A patent/JP4052011B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003335196A (ja) | 2003-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4052011B2 (ja) | 駐車支援装置 | |
JP4661639B2 (ja) | 運転支援装置 | |
JP4853712B2 (ja) | 駐車支援装置 | |
US7755511B2 (en) | Parking assistance apparatus | |
JP4604703B2 (ja) | 駐車補助装置 | |
JP5713623B2 (ja) | ドライバーアシスト方法 | |
US6940423B2 (en) | Device for monitoring area around vehicle | |
EP2581272B1 (en) | Parking assistance device and method | |
KR101190482B1 (ko) | 주차지원장치 | |
JP3575364B2 (ja) | 操舵支援装置 | |
JP4466200B2 (ja) | 駐車支援装置 | |
CN105416284B (zh) | 停车辅助装置以及停车辅助方法 | |
EP1332948A1 (en) | Parking assist device and method for assisting parking | |
US20170228605A1 (en) | Parking assistance apparatus | |
US20160068187A1 (en) | Parking assist device | |
EP1327571A1 (en) | Parking assist device and method for assisting parking | |
KR100552337B1 (ko) | 주차지원 장치 | |
JP5044136B2 (ja) | 駐車支援装置 | |
JP5446139B2 (ja) | 駐車支援装置及び駐車支援方法 | |
JP5617396B2 (ja) | 運転支援装置 | |
CN110546047A (zh) | 停车辅助装置 | |
JP4677820B2 (ja) | 予測進路表示装置および予測進路表示方法 | |
JP2007091047A (ja) | 車両駐車支援装置 | |
JP3107088B1 (ja) | 縦列駐車時の操舵支援装置 | |
JP4799722B2 (ja) | 相対位置検出装置を備えた駐車補助装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070131 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070313 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070509 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |