JP4853712B2 - 駐車支援装置 - Google Patents

駐車支援装置 Download PDF

Info

Publication number
JP4853712B2
JP4853712B2 JP2006354572A JP2006354572A JP4853712B2 JP 4853712 B2 JP4853712 B2 JP 4853712B2 JP 2006354572 A JP2006354572 A JP 2006354572A JP 2006354572 A JP2006354572 A JP 2006354572A JP 4853712 B2 JP4853712 B2 JP 4853712B2
Authority
JP
Japan
Prior art keywords
vehicle
parking
line
parking target
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006354572A
Other languages
English (en)
Other versions
JP2008162426A (ja
Inventor
隆司 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2006354572A priority Critical patent/JP4853712B2/ja
Priority to DE102007062684A priority patent/DE102007062684A1/de
Priority to US11/966,148 priority patent/US7940193B2/en
Publication of JP2008162426A publication Critical patent/JP2008162426A/ja
Application granted granted Critical
Publication of JP4853712B2 publication Critical patent/JP4853712B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0275Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Description

本発明は、車両の駐車を支援する駐車支援装置に関する。
下記に出典を示す特許文献1には、車両の駐車時に運転者の操作負担を軽減することができる駐車補助装置が記載されている。この駐車補助装置は、車両の後方視界をカメラにより撮影し、車室内に設けられたモニタ画面に表示する。モニタ画面には、駐車枠に車両を駐車する際の誘導マークが表示される。
この駐車補助装置による駐車アシストは以下のような手順で行われる。運転者は、車庫入れ駐車をしようとする所定駐車枠の前後方向に対して自車両の前後方向が略直交するように停車する。この停車位置は、最大舵角で所定駐車枠へ駐車可能な位置よりも若干前進した位置である。停車位置において駐車アシスト機能を起動させると、最大舵角で後退した場合に駐車可能な駐車区画(特許文献1図7〜8の符号b)がモニタ画面に重畳表示される。運転者は所定駐車枠と駐車区画とが一致するまで車両を後進させて停車させる。
モニタ画面にはステアリングの操作量に応じた車両の後端予想軌跡(同符号a)が表示される。運転者は停車位置において、ステアリングを略最大舵角まで操舵する。後端予想軌跡は所定駐車枠へと向かって延び、モニタ画面上でほぼ所定駐車枠と合致する。
音声ガイドに従って、運転者はステアリングの操舵角を保持した状態で車両を後進させる。モニタ画面には車両の車幅延長線(同符号c)が重畳表示される。運転者は、車幅延長線が所定駐車枠と平行となるまで、ステアリングの操舵角を保持して後進する。車幅延長線と所定駐車枠とが平行となると、運転者はステアリングを中立位置に戻し、直進後進により車両を駐車枠に収める。
特開2001−334898号公報(第24〜35段落、図6〜8、等参照)
特許文献1に記載の駐車補助装置は、駐車時における運転者の操舵操作の負担を軽減することができ得る優れたものである。
しかし、車両が所定駐車枠と平行に近い状態となってきた時に、後端予想軌跡が所定駐車枠からはみ出していく。所定駐車枠の外に他の駐車車両があった場合には、モニタ画面上で駐車車両に後端予想軌跡が重畳表示される。後端予想軌跡は、その時点での舵角を保った場合の予想線であるから、直ちに自車両と駐車車両とが接触することはない。しかし、運転者が駐車車両と自車両との接触可能性を想起して、保持すべき操舵角を戻してしまう場合がある。そうすると、車両が駐車枠に入りきらなかったり、斜めに駐車されたりしてしまう可能性がある。
駐車補助装置を利用しているにも拘らず、このように不本意な形で駐車されてしまうことは好ましくない。
本願発明は、このような課題に鑑みて創案されたもので、より明確な画面表示により、駐車時における乗員の運転操作を良好に支援することができる駐車支援装置を提供することを目的とする。
上記目的を達成するため、本発明に係る、車両の駐車を支援する駐車支援装置の特徴構成は、
車両の後方の情景を撮影する撮影部と、
撮影された撮影画像を車室内に表示する表示部と、
少なくとも、乗員によって保持される所定の操舵角に基づく旋回を伴って後進することにより前記車両を駐車目標エリアに誘導する誘導部と、
前記車両が必要な旋回を完了した際に互いに重なり得る補助線であ車両延長線駐車目標線とを前記撮影画像に重畳する重畳部と、を備え
前記車両延長線は、前記車両の前後方向に平行且つ前記車両の後方に延伸され、
前記駐車目標線は、前記駐車目標エリアの前後方向に平行である点にある。
この特徴構成によれば、車両が必要な旋回を完了した際に互いに重なり得る2種類の補助線が、撮影画像に重畳される。上記特許文献1に記載された駐車補助装置では、撮影された所定駐車枠と、車幅延長線とを平行にしていた。従って、車幅延長線は所定駐車枠とは重なり合わず、平行に合わせることが困難な場合があった。そして、乗員が所定駐車枠を注視した際に、所定駐車枠を越えて隣の駐車枠や駐車車両へと延びる後端予想軌跡が目に入り、所定の操舵角の保持を中止してしまう場合があった。
しかし、本特徴構成によれば、撮影画像上に重畳表示される2種類の補助線が、車両が必要な旋回を完了した際に互いに重なり得るので、乗員は迷うことなく必要な旋回を完了させることができる。
このように、本特徴構成によれば、より明確な画面表示により、駐車時における乗員の運転操作を良好に支援することができる。
また、本発明に係る、車両の駐車を支援する駐車支援装置の別の特徴構成は、
前記車両の後方の情景を撮影する撮影部と、
撮影された撮影画像を車室内に表示する表示部と、
少なくとも、乗員によって保持される所定の操舵角に基づく旋回を伴って後進することにより前記車両を駐車目標エリアに誘導する誘導部と、
少なくとも、前記駐車目標エリアの前後方向に平行な中心線である駐車目標線を前記撮影画像に重畳する重畳部と、を備える点にある。
この特徴構成によれば、駐車目標エリアの前後方向に平行な中心線である駐車目標線が、撮影画像に重畳される。上記特許文献1に記載された駐車補助装置では、撮影された所定駐車枠と、車幅延長線とを平行にしていた。所定駐車枠は、車幅延長線よりも外側にあり、平行に合わせることが困難な場合があった。つまり、乗員は、車幅延長線よりも外側にある所定駐車枠にまで、注意を払う必要が生じていた。例えば、乗員が所定駐車枠を注視した際に、所定駐車枠を越えて隣の駐車枠や駐車車両へと延びる後端予想軌跡が目に入り、所定の操舵角の保持を中止してしまう場合があった。
しかし、本特徴構成によれば、駐車目標エリアの前後方向に平行な中心線である駐車目標線が、撮影画像に重畳される。この駐車目標線が画面上で真っ直ぐに伸びていれば、車両が駐車枠に入っていることが容易に理解できる。また、特許文献1と同様に車幅延長線が重畳されていた場合でも、車幅延長線の内側に駐車目標線がくるので、両者の位置関係がより合わせ易い。従って、乗員は迷うことなく必要な旋回を完了させることができる。
このように、本特徴構成によれば、より明確な画面表示により、駐車時における乗員の運転操作を良好に支援することができる。
また、本発明に係る駐車支援装置は、前記車両が必要な旋回を完了した際に互いに重なり得る前記補助線が重畳表示される場合、
前記駐車目標線が、前記車両の車幅に応じて離間して設けられた少なくとも2本の線であり、
前記車両延長線が、前記車両の車幅の延長線であることを特徴構成とする。
この特徴構成によれば、駐車目標線と車両延長線とが共に車両の車幅分離間して設けられる。従って、撮影画面上で、2つの補助線を良好に重ね合わせることができる。
また、本発明に係る駐車支援装置は、前記車両が必要な旋回を完了した際に互いに重なり得る前記補助線が重畳表示される場合、
前記駐車目標線が、前記駐車目標エリアの前後方向に平行な中心線であり、
前記車両延長線が、前記車両の前後方向に平行な中心線の延長線であることを特徴構成とする。
この特徴構成によれば、駐車目標線と車両延長線とが共に1本である。また、共に、駐車目標エリア及び車両の中心線である。従って、表示部に表示された際に、乗員は表示部の中央部で2つの補助線の重なりを確認することができる。従って、2つの補助線を良好に重ね合わせることができる。
また、本発明に係る駐車支援装置は、
前記誘導部が、前記車両が旋回を開始する旋回開始位置まで、前記車両を後方へ直進誘導し、当該旋回開始位置において前記所定の操舵角への設定を誘導し、前記乗員によって保持される前記所定の操舵角に基づく旋回を伴って旋回完了位置まで前記車両を後進誘導し、前記車両が駐車目標エリアに収まるまで前記車両を後方へ直進誘導するものであり、
前記重畳部が、前記駐車目標エリアを含む駐車枠と接することによって、前記車両の後方への直進停止位置を示す旋回開始位置マーカを重畳することを特徴構成とする。
本特徴構成によれば、所定の操舵角で後退を開始した場合に駐車目標エリアに駐車可能な旋回開始位置が、画面上に示される。従って、乗員は適切な位置(旋回開始位置)まで、良好に車両を直進後進させることができ、その位置で操舵角を所定の操舵角に設定することができる。その結果、次に重畳部によって重畳される駐車目標線も、画面上の適切な位置に重畳される。従って、乗員はこの駐車目標線を目安として旋回完了位置まで良好に車両を後進させることができる。その結果、乗員は良好に車両を駐車枠内に駐車することができる。
以下、本発明の実施形態を図面に基づいて説明する。図1〜図3に車両1の基本構成を示す。
運転席3のステアリング4は回転操作力を前車輪2fに伝えて駆動操向を行うパワーステアリングユニット33と連動している。車体前部にはエンジン32と、このエンジン32からの動力を変速して前車輪2fに伝えるトルクコンバータやCVT等を有する変速機構34とが配置されている。運転席3の近傍には走行速度を制御するアクセル操作手段としてのアクセルペダル7と、前車輪2f及び後車輪2rのブレーキ装置31を操作して前車輪2f及び後車輪2rに制動力を作用させるブレーキペダル8とが並列配置されている。
運転席3の近傍のコンソールの上部位置には表示面にタッチパネル10Tが形成されたモニタ10(表示部)が備えられている。このモニタ10には、スピーカ11が備えられている。尚、スピーカ11はパネル5や、ドアの内側に備えられても良い。車両1の後端にはリヤカメラ13(撮影部)が備えられている。モニタ10は、バックライトを備えた液晶式のものである。もちろん、プラズマ表示型のものやCRT型のものであっても良い。また、タッチパネル10Tは、感圧式のものや静電式のものが使用され、指等の接触位置をロケーションデータとして出力する。尚、モニタ10はナビゲーションシステムの表示装置として用いるものを兼用しても良い。
リヤカメラ13はCCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を内蔵するとともに、撮影した情報をリアルタイムで動画情報として出力するデジタルカメラである。リヤカメラ13は、例えば左右140度の視野を有する広角レンズを有し、例えば約30度の俯角を有して設置され、車両1の後方約8m程度までの領域を撮影することができる。
ステアリング4の操作系にはステアリングセンサ14が備えられ、ステアリング操作方向と操作量とが計測される。シフトレバー6の操作系にはシフト位置センサ15が備えられ、シフト位置が判別される。アクセルペダル7の操作系にはアクセルセンサ16が備えられ、操作量が計測される。ブレーキペダル8の操作系にはブレーキセンサ17が備えられ、操作の有無などを検出する。
また、移動距離センサとして、前車輪2f及び後車輪2rの少なくとも一方の回転量を計測する回転センサ18が備えられている。もちろん、変速機構34において、駆動系の回転量から車両1の移動量を計測してもよい。また、車両1には駐車支援を含む走行制御を行うECU(electronic control unit)20が配置されている。
図4は、本発明の駐車支援装置の構成を模式的に示すブロック図である。本発明の駐車支援装置は、ECU20を中核として構成される。ECU20は、情報の入出力を行う入出力インターフェース(I/O)21を備えると共に、この入出力インターフェース21からの情報を処理するマイクロプロセッサを備えている。もちろん、入出力インターフェース21の一部又は全てがマイクロプロセッサに含まれていてもよい。ECU20は、マイクロプロセッサを中核部品とする電子回路により構成されている。
図に示すように、タッチパネル10T、リヤカメラ13、ステアリングセンサ14、シフト位置センサ15、アクセルセンサ16、ブレーキセンサ17、回転センサ18などからの情報が入力される入力系が形成される。また、モニタ10、スピーカ11に制御信号を出力する出力系が形成される。
尚、リヤカメラ13は、車両1の後方の情景を撮影する撮影部に相当する。また、モニタ10は、撮影された撮影画像を車室内に表示する表示部に相当する。
ECU20は、入出力インターフェース21と接続された各機能部を有している。この接続は、例えば、マイクロプロセッサ内のデータバス、アドレスバス、コントロールバス、メモリなどを介して行われるが、説明を容易にするため、詳細な図示及び説明は省略する。
図に示すように、ECU20は、駐車目標位置設定部23と、重畳部25と、移動状態検出部27と、誘導部29とを有している。本実施形態においては、これら各機能部は、マイクロプロセッサとプログラムとの協働によって実現される場合を例示している。つまり、これら各機能部は、機能としての分担を示すものであり、必ずしも物理的に独立している必要はない。尚、各機能部は論理回路などを用いたハードウェアで構成することも可能である。
図5は、車両1を駐車枠に誘導する経路を示す説明図である。点Qは、誘導部29が車両1を誘導する際の基準点である。本例では、進行方向右側の駐車枠線Wで区切られた駐車枠Eに車両1を駐車する。ここでは、駐車枠線W1とW2とによって区切られた駐車枠Eに車両1を駐車する。当該駐車枠Eの両隣には、他の車両101及び102が既に駐車されている。駐車目標エリアFは駐車枠Eの中に設定される。駐車支援を受ける乗員は駐車枠Eの前方を通り過ぎて、車両1を左方向に旋回させ、車両1の後方を駐車目標エリアFを含む駐車枠Eに向けて停車させる。この時、車両1の基準点Qは車両位置P1にある。
乗員は、誘導部29による誘導に基づいて、車両位置P1から基準点Qが車両位置P2に達するまで車両1を真っ直ぐに後進させる(経路K1)。従って、車両位置P1は、誘導開始位置である。
次に、乗員は、ステアリング4を所定の操舵角に保持し、基準点Qが車両位置P2から車両位置P3に達するまで旋回を伴って車両1をさらに後進させる(経路K2)。従って、車両位置P2は旋回開始位置であり、車両位置P3は旋回完了位置である。
次いで、乗員は、ステアリング4を中立位置に戻し、基準点Qが車両位置P3から車両位置P4に達するまで車両1を真っ直ぐ後進させる(経路K3)。基準点P4は駐車目標エリアFを基準として設定された駐車目標位置である。車両1の基準点Qが車両位置P4に達すると車両1は駐車目標エリアFを含む駐車枠Eに収まって駐車される。
図6は、誘導開始位置P1においてリヤカメラ13による撮影画像から駐車枠Eを認識して駐車目標エリアFを設定する方法を示す説明図である。上述したようにリヤカメラ13は俯角をもって備えられている。従って、撮影画像には車両1の後部バンパーを含み、車両1の後方の路面(地面)が映っている。上述したように、車両1は、誘導開始位置P1において車両1の後方を駐車枠Eに向けて停車される。従って、リヤカメラ13によって、駐車枠Eを含む情景が撮影される。駐車目標位置設定部23は、例えば、駐車枠線W1及びW2を画像認識することによって、駐車枠Eを認識し、駐車目標エリアFを設定する。
駐車枠Eの区画の大きさはある程度の範囲内で定められている。また、車両1を停車させる誘導開始位置P1も、個人差はあるもののほぼ一定の範囲内に収まる。従って、図6に示すように、駐車枠線Wが存在すると推定される範囲を注目領域Vとして認識処理が実行される。一般的に、このような駐車場では、地面はアスファルト舗装などによる濃い色、駐車枠線Wは白色や黄色などの淡い色である。従って、エッジ検出、ハフ変換など公知の画像処理手法を用いて好適に駐車枠線Wが認識される。
認識された駐車枠線W(W1及びW2)に基づいて、駐車枠Eが認識され、駐車目標エリアFが設定される。駐車目標エリアFが設定されると、駐車目標位置設定部23は、車両位置P4の座標を駐車目標位置として設定する。駐車目標位置P4の座標は、二次元画像から三次元座標を導出する公知の画像処理手法に基づいて導出される。駐車目標位置P4は、駐車場が斜度のない水平面上にあるとして設定される。
尚、このとき、モニタ10に撮影画像を表示すると共に、当該撮影画像に駐車目標エリアFや駐車枠Eを重畳表示させてもよい。重畳表示のためのスーパーインポーズは重畳部25において生成される。また、タッチパネル10Tを利用して、乗員の手動操作によって駐車目標エリアFや駐車枠Eの位置を微調整可能にしてもよい。
駐車目標位置P4が設定されると、誘導部29は、駐車目標位置P4と現在の誘導開始位置P1とに基づいて、車両1を駐車枠Eへ誘導する経路を演算する。具体的には、図5に示したように、直進後進する経路K1及び経路K3と、旋回を伴う経路K2が演算され、各経路の接続点である車両位置P2(旋回開始位置)及び車両位置P3(旋回完了位置)の座標が演算される。ここで、旋回を伴う経路K2は、ステアリング4を最大舵角とした場合の経路として演算される。
図7は、誘導開始位置P1におけるモニタ画面の一例を示す図である。駐車目標位置P4の設定が終わると、誘導部29及び重畳部25により、モニタ10上において撮影画像に駐車ガイドが重畳表示される。例えば、符号Y1〜Y4で示される駐車ガイドは黄色で、符号Rで示される駐車ガイドは赤色で、符号Cで示される駐車ガイドは青色で示される。ここで、符号Y1は左後端予想軌跡線、符号Y2は右後端予想軌跡線、符号Y3は後方5メートル予想線、符号Y4は後方3メートル目安線、符号Rは後方1メートル注意線、符号Cは旋回開始位置マーカである。
誘導部29は、重畳部25を介して図7に示す駐車ガイドをモニタ10に重畳表示させると共に、さらにスピーカ11を介して音声で運転操作を誘導する。即ち、ステアリング4を中立位置に保持した状態で旋回開始位置マーカCが駐車枠線W1に接するまで直進後進するように促すメッセージを出力させる。乗員は、シフトレバー6をリバースにセットし、ステアリング4を中立位置で保持し、ブレーキペダル8を緩めて、車両1を例えばクリーピングにより直進後進させる。
後進中のステアリング4の状態はステアリングセンサ14によって検出され、車両1の移動距離は回転センサ18によって検出される。これらのセンサの検出結果に基づいて、移動状態検出部27は車両1の移動状態を検出する。誘導部29は、移動状態検出部27の検出結果に基づいて、誘導開始位置P1の座標から移動する車両1の基準点Qの座標を演算する。そして、この基準点Qに対応するように各駐車ガイドの表示位置を演算し、重畳部25を介してモニタ10に表示させる。
図8は、旋回開始位置P2におけるモニタ画面の一例を示す図である。旋回開始位置マーカCは、車両1が駐車位置P2に達した時に駐車枠線W1と接するように重畳表示されている。従って、図示のように旋回開始位置マーカCが駐車枠W1と接した時点で乗員がブレーキペダル8を操作して車両1を停車させると、車両1はほぼ旋回開始位置P2で停車する。
図9は、旋回開始位置P2におけるモニタ画面の一例を示す図である。車両1が旋回開始位置P2に達して停車されると、誘導部29は音声により、ステアリング4の操作を誘導する。本例の場合には、停車したままで右方向に最大舵角となるまでステアリング4を操作するように促すメッセージが出力される。旋回開始位置マーカCは消去され、代わりに新たに2つの駐車ガイドが重畳表示される。
符号L(LC)は駐車目標線であり、符号B(BC)は車両延長線である。駐車目標線Lは、駐車目標エリアFの前後方向に平行な線である。駐車目標線Lは、例えば水色で表示される。本例では、駐車目標エリアFの前後方向に平行な中心線が駐車目標線LCとされる。
車両延長線Bは、車両1の前後方向に平行且つ車両1の後方に延伸される線である。車両延長線Bは、例えば青色で表示される。本例では、車両1の前後方向に平行な中心線の延長線が車両延長線BCとされる。
駐車目標線L(LC)と車両延長線B(BC)とは、一方の線幅が他方よりも広く表示される。本例では、駐車目標線L(LC)の線幅が車両延長線B(BC)よりも広く表示される。駐車目標線L(LC)と車両延長線B(BC)とは、車両1が必要な旋回を完了した際に互いに重なり得る補助線である。一方の線幅が他方よりも広く表示されることで、乗員は2つの補助線が重なることを容易に視認することができる。
旋回開始位置P2におけるステアリング4の操作はステアリングセンサ14によって検出され、その検出結果は誘導部29に伝達される。誘導部29は、この検出結果に基づいて、車両1の予想進路を演算する。そして、この予想進路に基づいて、上述した各駐車ガイドの表示位置を演算し、重畳部25を介してモニタ10に表示させる。
図9に示すように、ステアリング4の操作に伴って、左後端予想軌跡線Y1、右後端予想軌跡線Y2、後方5メートル予想線Y3、後方3メートル目安線Y4、後方1メートル注意線Rの各線は、右後方への旋回を示して描画される。
誘導部29は、重畳部25を介して図9に示す駐車ガイドをモニタ10に重畳表示させると共に、さらにスピーカ11を介して音声で運転操作を誘導する。即ち、ステアリング4を略最大舵角(所定の操舵角)に保持した状態で、駐車目標線LCと車両延長線BCとが重なるまで、車両1を旋回を伴って後進させるように乗員を誘導する。乗員は、ステアリング4を略最大舵角で保持し、ブレーキペダル8を緩めて、車両1を例えばクリーピングにより旋回を伴って後進させる。
上述したように、駐車目標線LCと車両延長線BCとは、車両1が必要な旋回を完了した際に互いに重なり得る補助線である。ここで、必要な旋回を完了した際とは、車両1が旋回完了位置P3に達した際である(図5参照)。図10は、旋回完了位置P3におけるモニタ画面の一例を示す図である。上述したように、駐車目標線LCの線幅を車両延長線BCよりも広く表示しているので、乗員は2つの補助線が重なることを容易に視認することができる。また、これら2つの補助線は画面の中央部に表示されるので視認性が良い。つまり、撮影画像上で歪の発生が少ない中央部の位置に表示されることから、乗員は好適にこれら2つの補助線の重なりを視認することができる。2つの補助線の重なりを確認すると、乗員はブレーキペダル8を操作して、車両1を停車させる。
旋回を伴う後進の際、ステアリング4の状態はステアリングセンサ14によって検出され、車両1の移動距離は回転センサ18によって検出される。これらのセンサの検出結果に基づいて、移動状態検出部27は車両1の移動状態を検出する。誘導部29は、移動状態検出部27の検出結果に基づいて、旋回開始位置P2の座標から移動する基準点Qの座標を演算する。そして、この基準点Qに対応するように各駐車ガイドの表示位置を演算し、重畳部25を介してモニタ10に表示させる。
車両1が旋回完了位置P3に達するまでステアリング4は略最大舵角に維持された状態である。このステアリング4の操舵角により、左後端予想軌跡線Y1、右後端予想軌跡線Y2、後方5メートル予想線Y3、後方3メートル目安線Y4、後方1メートル注意線Rの各線は、右方向への旋回を示して描画されている。車両1が旋回完了位置P3に近づいてくると、図10に示すように、右方向への旋回を示すガイド線が隣の駐車枠に掛かってくるようになる。駐車目標線LCと車両延長線BCとが表示されない場合には、車両1が旋回完了位置P3に達する前に乗員が旋回を伴う後進を終了する可能性があった。上記右方向への旋回を示す駐車ガイドによって乗員が「旋回しすぎている」との錯覚を生じるためである。しかし、これら右方向への旋回を示す駐車ガイドよりも視認性に優れた2つの補助線を表示することで、錯覚を抑制し、旋回完了位置P3へ達するまで所定の操舵角を保持した後進を誘導することができる。
車両1が旋回完了位置P3に達して停車されると、誘導部29は、スピーカ11を介して音声で次の運転操作を誘導する。即ち、ステアリング4を中立位置に戻して直進後進するように乗員を誘導する。乗員は、ステアリング4を操作して舵角を中立位置に戻し、ブレーキペダル8を操作して例えば車両1をクリーピングにより直進後進させる。そして、主に後方5メートル予想線Y3、後方3メートル目安線Y4、後方1メートル注意線Rの各線を頼りにして所望の位置で車両を停車させる。車両1はほぼ駐車目標位置P4に達して停車する。この時、駐車目標線Lと車両延長線Bとは消去されていてもよいし、表示されていてもよい。
以上説明したような手順により、良好に車両1を駐車目標エリアF(駐車枠E)に誘導することができる。
上記説明においては、駐車目標エリアF(駐車枠E)の前後方向に平行な中心線を駐車目標線Lとし、車両1の前後方向に平行な中心線の延長線を車両延長線Bとする場合を例示した。しかし、駐車目標線Lと車両延長線Bとは、これに限らず、下記のようにすることもできる。
図11及び図12は、図9及び図10に対応するモニタ画面の他の例である。ここでは、車両1の車幅に応じて離間して設けられた少なくとも2本の線を駐車目標線L(L1及びL2)とし、車両1の車幅の延長線を車両延長線B(B1及びB2)とする例を示している。
本例では、駐車枠E及び車両1の中心線を補助線とする場合に比べ、2種類の補助線が画面の中央部からやや離れて表示される。しかし、2種類の補助線が互いに重なることを視認することによって、必要な旋回を完了したか否かを良好に確認することができる。尚、駐車目標線L及び車両延長線Bは、それぞれ3本以上描画されてもよい。
ところで、車両延長線Bは車両1の前後方向に平行な補助線であるから、図9〜図12に示すように、モニタ10の画面上では常に同じ位置に描画される。一方、駐車目標線Lは車両1の旋回に伴って、モニタ10の画面上の表示位置が変化する。駐車目標線Lが駐車目標エリアFの中心線である場合、車両延長線Bと駐車目標線Lとが互いに重なり合う際には、駐車目標線Lは、モニタ10の画面上のほぼ中央線の位置に表示されることになる。車両1の旋回に伴ってモニタ10の画面上の表示位置が変化する駐車目標線Lがモニタ10の画面上のほぼ中央に達したことを視認することは比較的容易である。従って、補助線として、駐車目標エリアFの前後方向に平行な中心線である駐車目標線L(LC)だけを撮影画像に重畳表示するようにしてもよい。
図13及び図14は、このように駐車目標線LCのみを撮影画像に重畳表示させた場合のモニタ10の画面の表示例である。図13は、旋回開始位置P2におけるモニタ10の画面の表示例である。図14は、旋回完了位置P3におけるモニタ10の画面の表示例である。必要な旋回が完了していない旋回開始位置P2においては、車両1と駐車目標エリアF(駐車枠E)とが平行ではないため、図13に示すように駐車目標線LCも画面上に斜めに描画されている。一方、必要な旋回が完了している旋回完了位置P3においては、車両1と駐車目標エリアF(駐車枠E)とが平行になっている。従って、図14に示すように駐車目標線LCは画面の中央に真っ直ぐに描画されている。その結果、乗員は車両1が必要な旋回を完了したことを良好に視認することができる。
以上説明したように、本発明によって、より明確な画面表示により、駐車時における乗員の運転操作を良好に支援することができる駐車支援装置を提供することができる。
車両の一部を切り欠いて運転席を見た斜視図 運転席前方の説明図 車両の各部の構成を模式的に示す平面図 本発明の駐車支援装置の構成を模式的に示すブロック図 車両を駐車枠に誘導する経路を示す説明図 リヤカメラによる撮影画像から駐車目標エリアを設定する方法を示す説明図 誘導開始位置におけるモニタ画面の一例を示す図 旋回開始位置におけるモニタ画面の一例を示す図 旋回開始位置におけるモニタ画面の一例を示す図 旋回完了位置におけるモニタ画面の一例を示す図 旋回開始位置におけるモニタ画面の他の例を示す図 旋回完了位置におけるモニタ画面の他の例を示す図 旋回開始位置において補助線として駐車目標線のみをモニタ画面に表示する例を示す図 旋回完了位置において補助線として駐車目標線のみをモニタ画面に表示する例を示す図
符号の説明
1:車両
10:モニタ(表示部)
13:リヤカメラ(撮影部)
25:重畳部
29:誘導部
E:駐車枠
F:駐車目標エリア
P1:車両位置、誘導開始位置
P2:車両位置、旋回開始位置
P3:車両位置、旋回完了位置
P4:車両位置、駐車目標位置
C:旋回開始位置マーカ
L、LC、L1、L2:駐車目標線(補助線)
B、BC、B1、B2:車両延長線(補助線)

Claims (7)

  1. 車両の駐車を支援する駐車支援装置であって、
    車両の後方の情景を撮影する撮影部と、
    撮影された撮影画像を車室内に表示する表示部と、
    少なくとも、乗員によって保持される所定の操舵角に基づく旋回を伴って後進することにより前記車両を駐車目標エリアに誘導する誘導部と、
    前記車両が必要な旋回を完了した際に互いに重なり得る補助線であ車両延長線駐車目標線とを前記撮影画像に重畳する重畳部と、を備え
    前記車両延長線は、前記車両の前後方向に平行且つ前記車両の後方に延伸され、
    前記駐車目標線は、前記駐車目標エリアの前後方向に平行である駐車支援装置。
  2. 車両の駐車を支援する駐車支援装置であって、
    前記車両の後方の情景を撮影する撮影部と、
    撮影された撮影画像を車室内に表示する表示部と、
    少なくとも、乗員によって保持される所定の操舵角に基づく旋回を伴って後進することにより前記車両を駐車目標エリアに誘導する誘導部と、
    少なくとも、前記駐車目標エリアの前後方向に平行な中心線である駐車目標線を前記撮影画像に重畳する重畳部と、を備える駐車支援装置。
  3. 前記駐車目標線は、前記車両の車幅に応じて離間して設けられた少なくとも2本の線であり、
    前記車両延長線は、前記車両の車幅の延長線である、請求項1に記載の駐車支援装置。
  4. 前記駐車目標線は、前記駐車目標エリアの前後方向に平行な中心線であり、
    前記車両延長線は、前記車両の前後方向に平行な中心線の延長線である、請求項1に記載の駐車支援装置。
  5. 前記誘導部は、前記車両が旋回を開始する旋回開始位置まで、前記車両を後方へ直進誘導し、当該旋回開始位置において前記所定の操舵角への設定を誘導し、前記乗員によって保持される前記所定の操舵角に基づく旋回を伴って旋回完了位置まで前記車両を後進誘導し、前記車両が駐車目標エリアに収まるまで前記車両を後方へ直進誘導するものであり、
    前記重畳部は、前記駐車目標エリアを含む駐車枠と接することによって、前記車両の後方への直進停止位置を示す旋回開始位置マーカを重畳する請求項1、3、及び4の何れか一項に記載の駐車支援装置。
  6. 前記誘導部は、前記車両が旋回を開始する旋回開始位置まで、前記車両を後方へ直進誘導し、当該旋回開始位置において前記所定の操舵角への設定を誘導し、前記乗員によって保持される前記所定の操舵角に基づく旋回を伴って旋回完了位置まで前記車両を後進誘導し、前記車両が駐車目標エリアに収まるまで前記車両を後方へ直進誘導するものであり、
    前記重畳部は、前記駐車目標エリアを含む駐車枠と接することによって、前記車両の後方への直進停止位置を示す旋回開始位置マーカを重畳する請求項2に記載の駐車支援装置。
  7. 前記駐車目標線と前記車両延長線とは、異なる線幅で表示されてある請求項1、3、4、及び5の何れか一項に記載の駐車支援装置。
JP2006354572A 2006-12-28 2006-12-28 駐車支援装置 Expired - Fee Related JP4853712B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006354572A JP4853712B2 (ja) 2006-12-28 2006-12-28 駐車支援装置
DE102007062684A DE102007062684A1 (de) 2006-12-28 2007-12-24 Einparkhilfevorrichtung
US11/966,148 US7940193B2 (en) 2006-12-28 2007-12-28 Parking assist apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006354572A JP4853712B2 (ja) 2006-12-28 2006-12-28 駐車支援装置

Publications (2)

Publication Number Publication Date
JP2008162426A JP2008162426A (ja) 2008-07-17
JP4853712B2 true JP4853712B2 (ja) 2012-01-11

Family

ID=39531008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006354572A Expired - Fee Related JP4853712B2 (ja) 2006-12-28 2006-12-28 駐車支援装置

Country Status (3)

Country Link
US (1) US7940193B2 (ja)
JP (1) JP4853712B2 (ja)
DE (1) DE102007062684A1 (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
JP4414959B2 (ja) * 2005-11-16 2010-02-17 アイシン精機株式会社 駐車支援装置
JP2007176324A (ja) * 2005-12-28 2007-07-12 Aisin Seiki Co Ltd 駐車支援装置
KR20090088210A (ko) 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템
JP5429514B2 (ja) * 2008-06-03 2014-02-26 アイシン精機株式会社 駐車支援装置
JP2009292339A (ja) * 2008-06-05 2009-12-17 Aisin Seiki Co Ltd 駐車支援装置
TW201016506A (en) * 2008-10-21 2010-05-01 Automotive Res & Testing Ct Parking guidance system and guidance method thereof
JP5309891B2 (ja) * 2008-10-27 2013-10-09 三菱自動車工業株式会社 駐車支援装置
TWI347900B (en) * 2009-03-10 2011-09-01 Univ Nat Chiao Tung Parking assistance system and method
US7978096B2 (en) * 2009-04-28 2011-07-12 Ford Global Technologies, Llc Parking angle determination and cross traffic alert
JP5365349B2 (ja) * 2009-06-03 2013-12-11 トヨタ自動車株式会社 運転情報記録装置
JP5464324B2 (ja) * 2009-06-26 2014-04-09 京セラ株式会社 駐車時における運転支援装置及び方法
JP2011016405A (ja) * 2009-07-07 2011-01-27 Honda Motor Co Ltd 駐車支援装置
JP5271177B2 (ja) * 2009-07-07 2013-08-21 本田技研工業株式会社 駐車支援装置
JP5549235B2 (ja) * 2010-01-20 2014-07-16 株式会社デンソー 運転支援装置
JP2013091331A (ja) * 2010-02-26 2013-05-16 Panasonic Corp 運転支援装置
US20120016555A1 (en) * 2010-07-18 2012-01-19 Maher Ghneim Method and system for parking assist
US8665116B2 (en) 2010-07-18 2014-03-04 Ford Global Technologies Parking assist overlay with variable brightness intensity
JP5519479B2 (ja) * 2010-11-29 2014-06-11 パナソニック株式会社 運転支援表示装置
KR101844476B1 (ko) 2011-02-16 2018-05-18 엘지이노텍 주식회사 자동차용 카메라 모듈 및 이를 이용한 주차 유도 방법
JP5659914B2 (ja) * 2011-03-30 2015-01-28 パナソニックIpマネジメント株式会社 駐車支援装置
CN103796879B (zh) * 2011-08-12 2017-03-22 丰田自动车株式会社 停车支援装置
KR20130037274A (ko) * 2011-10-06 2013-04-16 엘지이노텍 주식회사 멀티뷰 카메라를 이용한 주차 보조 장치 및 방법
KR101818540B1 (ko) * 2011-11-14 2018-02-21 현대모비스 주식회사 영상을 이용한 주차 지원 시스템 및 이의 주차 지원 방법
KR101360424B1 (ko) * 2011-12-09 2014-02-10 현대자동차주식회사 차량용 주차궤적 도출방법
JP5751383B2 (ja) * 2012-03-28 2015-07-22 日産自動車株式会社 駐車支援システム及び駐車支援方法
US8862321B2 (en) * 2012-08-15 2014-10-14 GM Global Technology Operations LLC Directing vehicle into feasible region for autonomous and semi-autonomous parking
WO2014083821A1 (ja) * 2012-11-27 2014-06-05 日産自動車株式会社 運転支援装置
US10139238B2 (en) * 2013-09-11 2018-11-27 Qualcomm Incorporated Systems, methods, and apparatus related to guidance and alignment for an electric vehicle and charging station
CN105593054B (zh) 2013-09-30 2018-08-28 日产自动车株式会社 非接触馈电装置以及停车辅助装置
US9434415B2 (en) * 2013-11-08 2016-09-06 Ford Global Technologies, Llc Tire windup compensation
US9956914B2 (en) 2014-01-30 2018-05-01 Nissan Motor Co., Ltd. Parking assistance device and parking assistance method
US20150232125A1 (en) * 2014-02-17 2015-08-20 Caterpillar Inc. Parking assistance system
KR101806619B1 (ko) * 2015-09-21 2017-12-07 현대자동차주식회사 차량의 주차 안내 장치 및 방법
KR102213148B1 (ko) * 2015-12-01 2021-02-05 현대자동차주식회사 주차선 인식 기반 주차 정렬 지원 방법 및 장치
US10683035B2 (en) * 2015-12-08 2020-06-16 Panasonic Intellectual Property Management Co., Ltd. Parking assistance device, parking assistance method, and non-transitory computer readable medium
KR101876032B1 (ko) * 2016-06-27 2018-08-02 현대자동차주식회사 주차구획 표시 장치 및 그 방법
CN109070879B (zh) * 2016-08-09 2021-05-07 Jvc 建伍株式会社 显示控制装置、显示装置、显示控制方法以及存储介质
JP6747369B2 (ja) * 2016-09-26 2020-08-26 株式会社Jvcケンウッド 表示制御装置、表示制御方法及びプログラム
EP3305597B1 (en) 2016-10-04 2020-12-09 Ficomirrors, S.A.U. Vehicle driving assist system
CN106585627B (zh) * 2016-11-07 2019-03-05 纵目科技(上海)股份有限公司 泊车辅助系统及汽车
JP6827817B2 (ja) * 2017-01-13 2021-02-10 アルパイン株式会社 駐車支援装置および走行予測線表示方法
DE102017130173A1 (de) * 2017-02-24 2018-08-30 Denso Ten Limited Ladeunterstützungsvorrichtung
JP6760211B2 (ja) * 2017-06-16 2020-09-23 株式会社Jvcケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
JP6760210B2 (ja) * 2017-06-16 2020-09-23 株式会社Jvcケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
WO2018230021A1 (ja) * 2017-06-16 2018-12-20 株式会社Jvcケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
JP6844463B2 (ja) * 2017-07-25 2021-03-17 株式会社Jvcケンウッド 表示制御装置、表示制御方法及び表示制御プログラム
JP6909388B2 (ja) * 2017-07-27 2021-07-28 株式会社Jvcケンウッド 表示制御装置、表示システム、表示制御方法、及び、プログラム
JP6958117B2 (ja) * 2017-08-29 2021-11-02 株式会社アイシン 駐車支援装置
JP6953088B2 (ja) * 2017-10-24 2021-10-27 アルパイン株式会社 電子装置および駐車支援方法
CN108297794B (zh) * 2018-01-11 2022-11-18 阿尔派株式会社 停车支援装置及行驶预测线显示方法
CN108545078B (zh) * 2018-03-25 2019-11-22 刘彬 一种能够实现自动泊车的巡逻车
CN110654375A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 自动泊车方法、装置、系统及车辆
CN108909706A (zh) * 2018-07-03 2018-11-30 天津英创汇智汽车技术有限公司 自动泊车方法及装置
KR20200139311A (ko) * 2019-06-03 2020-12-14 현대자동차주식회사 차량 및 그 제어방법
CN111746525B (zh) * 2020-07-07 2022-06-21 东风柳州汽车有限公司 泊车路径规划方法、装置、设备及存储介质
JP7325389B2 (ja) 2020-08-28 2023-08-14 株式会社デンソーテン 車載装置、及び、舵角調整方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3183284B2 (ja) * 1999-01-19 2001-07-09 株式会社豊田自動織機製作所 車両の後退時の操舵支援装置
JP4096445B2 (ja) * 1999-03-31 2008-06-04 アイシン精機株式会社 駐車補助装置
US6611744B1 (en) * 1999-08-12 2003-08-26 Kabushiki Kaisha Toyoda Jidoshokki Seisakusho Steering assist apparatus for traveling in reverse
JP3508665B2 (ja) * 1999-12-24 2004-03-22 株式会社豊田自動織機 操舵支援装置
JP3575364B2 (ja) * 1999-12-28 2004-10-13 株式会社豊田自動織機 操舵支援装置
DE60119431T3 (de) * 2000-05-30 2013-11-07 Toyota Jidosha Kabushiki Kaisha Parkhilfe
JP3762854B2 (ja) * 2000-05-30 2006-04-05 アイシン精機株式会社 駐車補助装置
JP3483143B2 (ja) * 2001-04-09 2004-01-06 松下電器産業株式会社 運転支援装置
JP4918200B2 (ja) * 2001-04-24 2012-04-18 パナソニック株式会社 駐車運転支援装置
JP4512293B2 (ja) * 2001-06-18 2010-07-28 パナソニック株式会社 監視システムおよび監視方法
JP2003072495A (ja) * 2001-09-06 2003-03-12 Yazaki Corp 駐車支援装置および駐車支援方法
JP4567255B2 (ja) * 2001-09-28 2010-10-20 アイシン精機株式会社 駐車補助装置
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP3800172B2 (ja) * 2002-12-24 2006-07-26 トヨタ自動車株式会社 車両用周辺監視装置
JP4427953B2 (ja) * 2003-01-29 2010-03-10 株式会社豊田自動織機 駐車支援装置
DE10331235A1 (de) * 2003-07-10 2005-02-03 Robert Bosch Gmbh Fahrhilfsvorrichtung insbesondere zum Einparken eines Fahrzeugs
JP3938559B2 (ja) * 2003-08-28 2007-06-27 アイシン精機株式会社 車両後退支援装置
JP4466200B2 (ja) * 2004-04-19 2010-05-26 株式会社豊田自動織機 駐車支援装置
JP4438499B2 (ja) * 2004-04-26 2010-03-24 株式会社豊田自動織機 旋回半径算出方法、該旋回半径算出方法を用いた操舵支援装置及び駐車支援装置、旋回半径算出プログラム及び記録媒体
JP4461920B2 (ja) * 2004-06-23 2010-05-12 株式会社デンソー 駐車支援装置
JP3977368B2 (ja) * 2004-09-30 2007-09-19 クラリオン株式会社 駐車支援システム
DE102004047481A1 (de) * 2004-09-30 2006-04-13 Robert Bosch Gmbh Verfahren zur Anzeige eines Fahrzeugfahrraums
JP4543983B2 (ja) * 2005-03-22 2010-09-15 株式会社豊田自動織機 駐車支援装置
JP4654870B2 (ja) * 2005-04-06 2011-03-23 日産自動車株式会社 駐車支援装置及び駐車支援方法
JP4561456B2 (ja) * 2005-04-21 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4557817B2 (ja) * 2005-06-17 2010-10-06 アイシン精機株式会社 運転支援装置
JP4661658B2 (ja) * 2006-03-30 2011-03-30 アイシン・エィ・ダブリュ株式会社 運転支援方法、運転支援装置及び運転支援プログラム

Also Published As

Publication number Publication date
JP2008162426A (ja) 2008-07-17
US20080158011A1 (en) 2008-07-03
DE102007062684A1 (de) 2008-07-24
US7940193B2 (en) 2011-05-10

Similar Documents

Publication Publication Date Title
JP4853712B2 (ja) 駐車支援装置
JP5429514B2 (ja) 駐車支援装置
EP1950097B1 (en) Parking support device
JP5636609B2 (ja) 車両周辺表示装置
JP5182545B2 (ja) 駐車支援装置
JP5003946B2 (ja) 駐車支援装置
JP4635017B2 (ja) 駐車支援装置
JP2009292339A (ja) 駐車支援装置
JP4623396B2 (ja) 車両周辺表示装置
JP5446139B2 (ja) 駐車支援装置及び駐車支援方法
JP5044136B2 (ja) 駐車支援装置
JP2019051822A (ja) 駐車支援装置
JP2018118593A (ja) 駐車支援装置
JP5013205B2 (ja) 駐車支援装置
JP2018034659A (ja) 駐車支援装置
JP2009126353A (ja) 駐車支援装置
JP2001322519A (ja) 駐車時の車両後退支援装置
JP5075674B2 (ja) 駐車支援装置
JP4598239B2 (ja) 駐車補助装置
JP2011230762A (ja) 駐車支援装置
JP4583553B2 (ja) 駐車補助装置
JP5018238B2 (ja) 車両用駐車支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110929

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111012

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4853712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees