JP5092330B2 - 駐車支援装置および駐車支援方法 - Google Patents

駐車支援装置および駐車支援方法 Download PDF

Info

Publication number
JP5092330B2
JP5092330B2 JP2006263104A JP2006263104A JP5092330B2 JP 5092330 B2 JP5092330 B2 JP 5092330B2 JP 2006263104 A JP2006263104 A JP 2006263104A JP 2006263104 A JP2006263104 A JP 2006263104A JP 5092330 B2 JP5092330 B2 JP 5092330B2
Authority
JP
Japan
Prior art keywords
host vehicle
parking frame
image
vehicle
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006263104A
Other languages
English (en)
Other versions
JP2008080959A (ja
Inventor
俊宏 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2006263104A priority Critical patent/JP5092330B2/ja
Publication of JP2008080959A publication Critical patent/JP2008080959A/ja
Application granted granted Critical
Publication of JP5092330B2 publication Critical patent/JP5092330B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、自車両にて実施する駐車操作を支援する駐車支援装置および方法に関する。
従来、自車両に搭載されたカメラにて駐車枠の方向を撮影し、その画像を表示することで駐車支援を行う技術が知られている。特許文献1には、自車両に搭載されたカメラで撮影した画像に含まれる駐車枠を検出し、自車両と駐車枠との相対的な位置関係から自車両の予想軌跡を導出し、導出された自車両の予想軌跡と自車両の操舵状態とから駐車の可否を判断し、ディスプレイやスピーカを用いて運転者に報知する技術が開示されている。
特開平11−339194号公報
しかし従来の技術において、的確な駐車案内が出来ない場合があった。特許文献1では、駐車可能であると判断するために、自車両が旋回しながら駐車枠に進入する際に自車両の内側の予想軌跡が駐車枠の角部と干渉しないことを必要条件としている。しかし例えば、自車両が駐車しようとする駐車枠の隣接駐車枠に他車両が駐車していない場合、自車両の内側が駐車枠の角部と多少干渉したとしても、一度の後進操作で目標駐車枠に駐車可能なのであれば、駐車可能と判断して運転者に報知しても特に問題はない。むしろこのような場合に、駐車不能と判断して運転者に切り返し操作を促すことは不親切である。
本発明は、上記課題にかんがみてなされたもので、自車両を駐車枠に駐車するための的確な駐車支援を行う技術を提供することを目的とする。
上記の目的を達成するため、自車両の周囲の画像を取得することで駐車支援を行う構成において、自車両の左端および右端の予想軌跡線を前記自車両の動作に基づいて導出し、当該予想軌跡線の接線であって目標駐車枠の二つの長手辺と平行な二つの接線が目標駐車枠の二つの長手辺の内側に存在するか否かを判定する。自車両の左端および右端の予想軌跡線は自車両の動作に基づいて導出される。この二つの予想軌跡線の接線であって目標駐車枠の長手辺と平行な接線が目標駐車枠の長手辺の内側に存在することは、現状の自車両の動作を維持させることによって、目標駐車枠の長手辺の延長線である二直線の内側において自車両を当該二直線と平行な姿勢にすることができることと等価である。本発明の構成では、自車両の動作を示す情報によって特定される予想軌跡線と、駐車枠の長手辺の位置および傾きとから導出される接線の位置を判定することで、自車両を駐車枠の長手辺の延長線である二直線の内側で当該二直線と平行な姿勢にできるかどうか、すなわち切り返しをすることなく目標駐車枠に駐車可能であるかの判定を実現することができる。
尚、自車両の左端および右端の予想軌跡線の接線がいずれも目標駐車枠の内側であることを判定条件とする構成においては、自車両が旋回する際の内側の予想軌跡線が目標駐車枠の長手辺と干渉する場合を許容する。
自車両の動作は、自車両の予想進路、進行方向、位置、速度等であり、自車両動作情報取得手段は、当該自車両の動作を示す情報を取得する。自車両の動作は種々の手法によって取得することが可能であり、例えば、自車両に備えられた速度センサや舵角センサ、ジャイロセンサ、地磁気センサ等による検出情報を利用可能である。また、予想軌跡線導出手段は、自車両の動作を示す情報に基づいて前記予想軌跡線を導出することができればよく、そのための種々の構成を採用可能である。例えば、自車両のホイールベース等の情報から各舵角に応じた後進時の予想軌跡を示す情報が予め特定されている場合は、自車両の舵角センサから出力される舵角を示す情報をもとに、当該舵角に対応する予想軌跡線を導出することができる。
なお、画像取得手段は、自車両を駐車させる際の駐車枠が含まれ得る画像を取得することができればよく、自車両に搭載されたカメラによって自車両の周囲を撮影する構成等、種々の構成を採用可能である。むろん、本発明にて取得する画像は、カメラによって撮影した画像そのものであってもよいし、カメラによって斜め方向から自車両の路面を撮影した画像を俯瞰変換した画像であっても良い。俯瞰変換後の画像であれば、運転者に対して自車両と駐車枠との関係を極めて明確に伝えることができて好ましい。
目標駐車枠設定手段においては、検出した空き駐車枠を目標駐車枠として設定することができればよい。駐車枠の検出は、例えば、駐車枠の特徴(色、形状、枠以外の路面との差など)を画像から抽出する構成を採用可能である。空き駐車枠は、例えば、駐車枠の枠線の間が一様な画像(路面の画像)であること等を利用して検出することができる。
さらに、本発明においては、目標駐車枠の長手辺の外側に隣接する領域に障害物が存在するか否かを判定する障害物判定手段を備えていてもよい。障害物が存在すると判定された場合は、接線と予想軌跡線との接点が目標駐車枠の長手辺の自車両側の端点より自車両側に存在するとき、駐車可能であると判定してもよい。この構成を採用することにより、自車両が当該障害物と接触すること等を回避することができる。すなわち、当該接点が目標駐車枠の長手辺の自車両側の端点より自車両側に存在しないということは、目標駐車枠の手前で旋回操作を終了させる(自車両を目標駐車枠の長手辺に平行な姿勢にさせる)ことができないことを意味する。このような場合、目標駐車枠の長手辺の外側に隣接する領域に障害物が存在する状況においては、障害物に接触する可能性がある。障害物の判定は、2つの長手辺両方に対して行われても良いし、自車両が旋回して目標駐車枠に進入する際の自車両の内輪側の長手辺に対して行われても良い。また、接点の位置の判定は、1つの接点に対して行われても良いし、両方の接点に対して行われても良い。
また、この構成においては、目標駐車枠の長手辺の外側に隣接する領域に障害物が存在しない場合は、接点が長手辺の端点より自車両側に存在しなくても駐車不可能と判定しない。このため例えば、目標駐車枠に隣接するスペースが十分広い場合には、駐車可能と判定する許容範囲が広くなり、運転者の操作の自由度が増やすことが出来ると共に、的確に駐車可否を判定することができる。
尚、障害物とは例えば、目標駐車枠に隣接する駐車枠内に駐車されている他車両であってもよいし、塀、フェンス、崖、穴等であってもよい。また、目標駐車枠の長手辺に対する障害物の位置に応じて、駐車可能と判定すべき接点の位置を可変にしてもよい。すなわち、目標駐車枠の長手辺における自車両側の端点から障害物までの距離が長くなるほど、駐車の可否を判定するための接点の位置を自車両より遠くに設定する構成を採用可能である。例えば、前記長手辺の外側に隣接する領域に存在する障害物が、自車両からみて目標駐車枠の長手辺の中央より遠くに位置している場合は、前記端点と前記中央の位置との間の既定位置に接点が存在することをもって駐車可能と判定する構成を採用可能である。
さらに、本発明においては、前記画像を表示する画像表示手段を備えていてもよい。また、この構成において、自車両が駐車可能であると判定されるとき、予想軌跡線を強調表示するようにしてもよい。画像表示手段においては前記画像を表示することができればよく、各種のディスプレイ等によって構成可能である。予想軌跡線を強調表示することにより、現状の自車両の操作を維持することによって目標駐車枠に駐車可能であることを運転者に明確に認識させることができる。運転者に駐車可能であることを認識させることができればよいため、予想軌跡線を強調表示する以外にも、駐車判定手段による判定結果を示す情報を案内するいかなる手段を採用してもよく、例えば音声によって運転者に報知するようにしてもよい。また例えば、駐車可能と判定されない場合は予想軌跡線を表示せず、駐車可能と判定されるときだけ予想軌跡線を表示するようにしてもよい。予想軌跡線は2本の線として表示されることに限らず、予想軌跡線を輪郭として含む帯状の領域として表示されてもよい。
さらに、本発明のように、自車両の動作に基づいて導出される予想軌跡線の接線と目標駐車枠の枠線との位置関係に基づいて自車両が目標駐車枠内に駐車可能であるか判定する手法は、プログラムや方法としても適用可能である。また、以上のような駐車支援装置、プログラム、方法は、単独の駐車支援装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような駐車支援装置を備えたナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、駐車支援装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)ナビゲーション装置の構成:
(2)駐車支援処理:
(2−1)カメラ画像表示処理:
(2−2)駐車枠検出処理:
(2−3)予想軌跡線表示処理:
(3)他の実施形態:
(1)ナビゲーション装置の構成:
図1は、本発明にかかる駐車支援装置を含むナビゲーション装置10の構成を示すブロック図である。ナビゲーション装置10は、CPU,RAM,ROM等を備える制御部20と記憶媒体30とを備えており、記憶媒体30やROMに記憶されたプログラムを制御部20で実行することができる。本実施形態においては、このプログラムの一つとしてナビゲーションプログラム21を実施可能であり、当該ナビゲーションプログラム21はその機能の一つとして自車両を駐車する際の支援を行う機能を備えている。
自車両(ナビゲーション装置10が搭載された車両)には、ナビゲーションプログラム21にて駐車支援機能を実現するためにGPS受信部40とシフト装置41とカメラ42と車速センサ43と舵角センサ44と表示部45とが備えられており、これらの各部と制御部20との信号の授受は図示しないインタフェースによって実現されている。
GPS受信部40は、GPS衛星からの電波を受信し、図示しないインタフェースを介して自車両の現在位置を算出するための情報を出力する。制御部20は、この信号を取得して自車両の現在位置を取得する。また、制御部20は、図示しないインタフェースを介して自車両のシフト装置41からシフト位置を示す情報を取得することが可能である。
カメラ42は、自車両の周囲(本実施形態においては自車両の後方)を視野に含むように自車両に対して取り付けられており、撮影した画像を示す画像データを逐次出力する。制御部20は、図示しないインタフェースを介してこの画像データを取得して駐車支援や各種の案内に利用する。
車速センサ43は、自車両が備える車輪の回転速度に対応した信号を出力する。制御部20は、図示しないインタフェースを介してこの信号を取得し、自車両の速度を取得する。舵角センサ44は自車両のステアリングの回転角に対応した信号を出力する。制御部20は、図示しないインタフェースを介してこの信号を取得し、ステアリングの回転角を示す情報を取得する。本実施形態においては、予想軌跡線の導出や画像の合成、延長線の特定に際して前記自車両の速度およびステアリングの回転角が参照される。
制御部20は、ナビゲーションプログラム21を実行することにより、上述のようにして取得した各種情報に基づいて目的地までの経路等を示す情報や駐車支援のための情報を出力する。すなわち、制御部20は、画像によって各種の案内を行うための制御信号を表示部45に出力し、表示部45にその画像を表示する。むろん、スピーカーを利用して各種案内を行ってもよい。
本実施形態においては、以上のナビゲーションプログラム21の機能の一部として駐車支援のための画像を表示する機能を有しており、ナビゲーション装置10はこの処理によって本発明にかかる駐車支援装置として機能する。この処理を行うため、ナビゲーションプログラム21は、画像取得部21aと画像表示部21bと目標駐車枠設定部21cと自車両動作情報取得部21dと予想軌跡線導出部21eと障害物判定部21fと駐車判定部21gとを備えている。
また、記憶媒体30には、ナビゲーションプログラム21による案内を実施するための地図情報30aが記憶され、カメラ42にて撮影した画像を俯瞰画像に変換するための俯瞰変換データ30bが記憶されている。地図情報30aは、道路上に設定されたノードを示すノードデータやノード同士の連結を示すリンクデータ、目標物を示すデータ等を含み、自車両の位置の特定や目的地への案内に利用される。
俯瞰変換データ30bは、前記カメラ42にて取得した画像を俯瞰画像に変換するためのデータであり、カメラ42にて取得した画像における各画素の座標と俯瞰変換後の画像における各画素の座標とを対応づけたテーブルデータである。当該俯瞰変換データ30bは、変換前後の画像の座標を対応づけていればよく、画像として必要な全ての座標値について対応関係を規定しておいても良いし、代表的な座標値について対応関係を規定しておき代表的な座標値の間については補間処理によって算出しても良い。
画像取得部21aは、カメラ42から画像データを取得し、俯瞰変換データ30bに基づいて俯瞰変換を実施するモジュールであり、取得したデータは画像表示部21bと目標駐車枠設定部21cと障害物判定部21fとに受け渡される。画像表示部21bは、画像データが示す画像を表示するための信号を表示部45に出力する。本実施形態において、画像表示部21bは2以上の画像を重畳して表示することが可能であり、前記画像取得部21aが表示した俯瞰画像に対して後述する予想軌跡線導出部21eが示す自車両の予想軌跡線を重畳して表示部45に表示させることが可能である。また、後述する駐車判定部21gの判定結果に基づいて、予想軌跡線の色や太さを変更したり、点滅表示するなどして強調表示させる。また、駐車枠の延長線等を重畳して表示部45に表示させることも可能である。
目標駐車枠設定部21cは、画像取得部21aにて俯瞰変換された画像から空き駐車枠を検出し目標駐車枠として設定するモジュールである。本実施形態においては、駐車枠の長手方向に平行な2本の枠線を検出しその2本の枠線の内側に車両が存在しないことを検出すると、当該枠線のそれぞれについて端点を抽出し、その座標を取得する。端点の座標は、後述する障害物判定部21fや駐車判定部21gで行われる判定に利用される。また、前記目標駐車枠設定部21cにて設定された目標駐車枠が表示部45の表示範囲外になったときに、前記端点の座標に基づいて駐車枠の延長線を特定し、当該延長線を示す画像を生成する際に利用される。画像表示部21bは、当該延長線を示す画像を生成し、前記俯瞰画像に重畳した画像を表示部45に表示させる。
障害物判定部21fは、画像取得部21aにて俯瞰変換された画像と、目標駐車枠設定部21cで設定された目標駐車枠の位置とに基づいて目標駐車枠の長手辺に隣接する領域に障害物が存在するか否かを判定する。障害物の判定は、目標駐車枠の両隣に対して行われても良いし、自車両が旋回して目標駐車枠に進入する際の自車両の内輪側の長手辺に隣接する領域に対して行われても良い。障害物としては、他車両に限らず、塀、フェンス、崖、穴などであってもよい。
自車両動作情報取得部21dは、車速センサ43や舵角センサ44から出力される情報を取得するモジュールである。図示しないジャイロセンサ、地磁気センサ等による出力情報を利用してもよい。予想軌跡線導出部21eは自車両動作情報取得部21dが取得した自車両の動作を示す情報に基づいて、予想軌跡線を導出するモジュールである。
駐車判定部21gは、目標駐車枠設定部21cが設定した目標駐車枠の枠線の方向やその端点の位置と、予想軌跡線導出部21eによる予想軌跡線を示す情報と、障害物判定部21fの判定結果とに基づいて、自車両が目標駐車枠に駐車可能であるかを判定するモジュールである。
(2)駐車支援処理:
次に、以上の構成においてナビゲーション装置10が実施する案内処理を説明する。図2〜図6は、本実施形態におけるナビゲーションプログラム21の処理を示すフローチャートであり、駐車支援に関する処理を示している。本実施形態において、ナビゲーションプログラム21は自車両のイグニションスイッチをオンにすることによってカメラ42等の各種機器とともに起動される(ステップS100)。
ナビゲーションプログラム21は、自車両の案内処理等を実行しながら駐車支援処理の開始トリガを検出したか否かを判定している(ステップS200)。なお、本実施形態における開始トリガはシフト装置のシフトポジションがリバースに切り替わったことを示す信号であり、この開始トリガを検出するため、ナビゲーションプログラム21はシフト装置41からの信号を検出しており、この信号に基づいてリバースに切り替わったことを検出する。
ステップS200にて開始トリガを検出したときには、画像取得部21aがカメラ42からの画像を取得して俯瞰変換を行い、画像表示部21bが表示部45に俯瞰画像を表示する(ステップS300:カメラ画像表示処理)。なお、本実施形態においては、俯瞰画像の表示範囲と駐車枠との関係によって前記延長線を重畳するために、目標駐車枠設定部21cが目標駐車枠を検出する。当該目標駐車枠が表示部45における表示範囲外に存在するとき、延長線を画像に重畳するための処理が行われる(ステップS400:駐車枠検出・描画処理)。
また、本実施形態において、画像表示部21bは目標駐車枠への進入を確実に支援するために自車両の予想進路を示す予想軌跡線を重畳する機能を備えており、前記ステップS400に続いて当該予想軌跡線を表示する処理を行う(ステップS500)。本実施形態においては、カメラ42にて連続的に取得する画像の1フレームに対して以上のステップS300〜S500を実施して駐車支援を行っている。すなわち、以上の処理を実施した後、駐車支援の終了トリガ(本実施形態においては、シフト装置41にてシフトポジションがパーキングになったことを示す信号)を検出したか否かを判別し(ステップS600)、当該終了トリガが検出されなければ処理対象のフレームを次のフレームとし、ステップS300〜S500を繰り返す。
(2−1)カメラ画像表示処理:
次に、前記ステップS300における処理を詳細に説明する。この処理においては、画像取得部21aがカメラ42からの画像を取得し(ステップS310)、俯瞰変換データ30bを参照してカメラ42にて取得した画像の俯瞰画像を取得する(ステップS320)。すなわち、本実施形態において、駐車支援に際して運転者に提供する画像は自車両を上方から眺めた画像であり、運転者に対して直感的に分かりやすい画像を提供している。なお、俯瞰変換後の画像データは図示しないメモリに記録される。
図7,図8は表示部45に表示される俯瞰画像の例を示しており、図7A,図7B,図8A,図8Bのそれぞれにおいては、表示部45の画面の例を矩形(45a)にて示している。また、図7Aにおいては、空き駐車枠F(駐車枠の内側に車両が存在しない枠)の両脇の駐車枠に他車両Cが駐車しており、自車両Mが後進して空き駐車枠Fに駐車を試みている状態の俯瞰画像の例を示している。
本実施形態において、カメラ42は自車両Mの後部に取り付けられており、図7Aにおいて破線Eの下側の範囲が視野範囲である。この例において、前記俯瞰変換データ30bは、カメラ42にて路面を斜め方向に撮影したときの画像における座標を図7Aにおける破線Eの下側の座標に対応づけており、カメラ42にて取得した画像の座標をこの対応関係に基づいて変換し、前記図示しないメモリに画像データを記録することで図7Aに示す破線Eの下部のような俯瞰画像を得る。なお、本実施形態においては、俯瞰変換後の画像の一部を表示部45に表示するようになっており、俯瞰変換後の画像において既定の座標の画像を抜き出して前記メモリに記録するようになっている。
一方、本実施形態においては、破線Eの上部(カメラ42の視野外に相当する部分)において自車両M自体の画像および自車両Mの側方の画像を表示する構成を採用しており、画像表示部21bはこれらの画像を前記俯瞰変換後の画像に合成する処理を行う(ステップS330)。すなわち、自車両Mの画像データは予め用意されており、前記図示しないメモリに当該画像データを記録して既定位置に自車両Mを表示するための画像データとする。
さらに、自車両Mの側方の画像は、前フレームの画像に基づいて生成する。すなわち、自車両Mが後進する際には、現在より前のフレームにおけるカメラ42の視野範囲に現在のフレームにおけるカメラ42の視野範囲外の領域(自車両Mの側方の画像)が含まれている。従って、前記車速センサ43や舵角センサ44が出力する情報を取得し、自車両Mの動作を検出すれば、現在のフレームにおける自車両Mの側方の画像をそれ以前のフレームにおける画像に対応付けることができ、現在より前のフレームから現在のフレームにおける自車両Mの側方の画像を抽出することができる。
そこで、本実施形態においては、現在のフレームにおける自車両Mの側方の画像をそれ以前のフレームの画像から抽出し、適切な位置に表示されるように自車両Mの動作に基づいて適宜移動、回転を行い、前記図示しないメモリに記録する。以上のようにして表示部45に表示すべき画像データをメモリに記録したら、画像表示部21bは当該データを表示部45に出力し(ステップS340)、駐車支援のための画像を表示部45に表示する。以上のようなカメラ画像表示処理を前記図2に示すステップS300〜S600のループにて実施することにより、自車両Mの動作に応じて表示部45に図7Aや図7Bに示すような画像が表示される。
(2−2)駐車枠検出処理:
次に、前記ステップS400における処理を詳細に説明する。目標駐車枠設定部21cは、前記画像取得部21aにて取得した俯瞰変換後の画像に基づいて空き駐車枠を検出する処理および駐車枠の延長線を表示するための処理を行う。このために、目標駐車枠設定部21cは、目標駐車枠を未検出であるか否かを判別する(ステップS410)。すなわち、この判定タイミングより前のループにて、目標駐車枠を検出したことを示すフラグが設定されていたか否かを判別する。
ステップS410にて目標駐車枠が未検出であると判別されたときには、前記俯瞰画像内から白線を検出する処理を行う(ステップS420)。すなわち、予め決められた階調範囲(白に対応する階調範囲)の画素であって、そのエッジが直線状に並んでいる部分を検出する。当該直線の検出は公知の手法、例えば、ハフ変換等によって実施することができる。
白線検出処理を行うと、目標駐車枠設定部21cは、さらに白線の対を検出する(ステップS430)。すなわち、複数個の白線が検出され、これらの白線の中に略平行であり、かつ略等しい長さの組が存在するか否かを判別することにより、検出された白線が駐車枠の白線であるか否かを判別する。当該ステップS430にて白線の対が検出されなかったときには、図4に示すフローを抜けて図2に示すループに復帰する。
ステップS430にて白線の対が検出されたときには、これらの白線の間に車両が存在するか否かを白線間のパターンや色等に基づいて判別する(ステップS440)。すなわち、白線の間の画像が路面の画像に相当する一様な画像であれば車両が存在せず、白線の間の画像が路面より複雑な画像や車両の特徴を反映した画像であれば車両が存在すると判別することによって、駐車枠が空き駐車枠であるか否かを判定する。ステップS440の判別が偽であるときには、図4に示すフローを抜けて図2に示すループに復帰する。
ステップS440にて、白線の間に車両が存在しないと判別された(すなわち、空き駐車枠が検出された)ときには、その検出を示すフラグを設定し、当該空き駐車枠を目標駐車枠として設定し、それらの白線対の端点を示す座標を取得する(ステップS450)。例えば、図7Aに示す駐車枠Fの端点P1〜P4を特定し、俯瞰画像上での座標を特定する。
一方、ステップS410にて目標駐車枠が未検出であると判別されないときには、ステップS460以降の処理にて、駐車枠Fが表示部45の表示範囲外であるときのために延長線描画処理を行う。このため、車速センサ43および舵角センサ44が出力する情報を取得して自車両Mの変位量を検出し(ステップS460)、この変位量に基づいて現在のフレームの俯瞰画像における駐車枠の端点P1〜P4の座標が修正される(ステップS470)。すなわち、ステップS460を開始する以前の段階でメモリに記憶されている端点P1〜P4の座標は、前のフレームにおける俯瞰画像上の座標であるが、現在のフレームにおける俯瞰画像において端点P1〜P4の座標は自車両Mの変動に依存して変動する。そこで、前記ステップS330と同様に、車速センサ43および舵角センサ44に基づいて座標を修正する。
次に、端点P1〜P4の座標に基づいて駐車枠Fが表示部45の表示範囲外となっているか否かが判別される(ステップS480)。すなわち、上述のように、表示部45においては、俯瞰変換後の画像における座標系で予め設定された座標の範囲を表示する構成となっているため、駐車枠Fの端点P1〜P4の座標に基づいて当該駐車枠Fが表示部45の表示範囲外であるか否かを判別する。ステップS480にて、駐車枠Fが表示部45の表示範囲外であると判別されない場合、自車両Mと駐車枠Fとの関係は表示部45の表示にて明確であるため、図4に示すフローを抜けて図2に示すループに復帰する。
一方、ステップS480にて、駐車枠Fが表示部45の表示範囲外であると判別された場合、自車両Mと駐車枠Fとの関係が不明確になることを防止するため、駐車枠Fの延長線を描画するための処理を行う(ステップS490)。すなわち、駐車枠Fの端点を結ぶ直線を自車両M側に所定の位置まで延長する延長線画像が生成される。本実施形態においては、駐車枠Fの端点から自車両Mの後端まで直線を延長した場合の延長線を描画することとしており、駐車枠Fの延長線と自車両Mの後端との交点の座標を特定し、当該交点と駐車枠Fの端点とを結ぶ破線の画像データを生成し、画像表示部21bに受け渡す。この結果、画像表示部21bは、当該画像データを取得して前記図示しないメモリに記録し、表示部45に当該延長線を重畳した画像を表示する。
図7A,7B,8Aは、自車両Mにて切り返しを行って駐車を試みる場合の画像の流れに対応した例である。すなわち、図7Aは、自車両Mにて後進しながら駐車枠F(目標駐車枠)に接近して駐車を試みている際の俯瞰画像の例であり、図7Bは、自車両Mの一部を駐車枠Fに配置したものの、周りの他車両Cとの関係でそのまま後進を行うことができなくなっている場合の俯瞰画像の例である。
このような状況において自車両Mの運転者は、一旦前進して再度後進する切り返しを行うことになる。図8Aは、一旦自車両Mを前進させた場合の表示部45における表示例であり、この例においては、駐車枠Fが画面45aの表示範囲外に達している。この場合、表示部45の表示画像のみから駐車枠Fと自車両Mとの関係を把握することができないが、本実施形態においては上述のように駐車枠Fの端点P1,P2のそれぞれから、自車両M側に自車両Mの後端(図8Aに示す破線Bの位置)まで延長線Lが表示される。従って、自車両Mの運転者は画面45aの延長線Lによって極めて容易に自車両Mと駐車枠Fとの関係を把握することができる。むろん、延長線Lは駐車枠Fの延長線であることを示すことができればよく、破線、実線など種々の線を採用可能であるし、線を点滅させるなど表示態様としても種々の態様を採用可能である。
(2−3)予想軌跡線表示処理:
次に、前記ステップS500における処理を詳細に説明する。画像表示部21bは、適切に自車両Mを駐車枠Fに案内するため、自車両Mの予想軌跡を表示部45に表示し、さらに、当該予想軌跡が駐車枠Fに合致しているときに強調表示する。このため、自車両動作情報取得部21dは舵角センサ44が出力する情報を取得して自車両Mにおける舵角を取得し(ステップS510)、予想軌跡線導出部21eは当該舵角に基づいて自車両Mの予想軌跡線を描画するための座標を特定する(ステップS520)。
すなわち、本実施形態においては、予め自車両Mのホイールベース等の情報から、各舵角にて後進時に自車両の左後端と右後端とが通過することが予測される複数の位置(俯瞰画像上での座標)が特定されている。そこで、ステップS520において、予想軌跡線導出部21eは当該複数の位置を結ぶ線を生成して予想軌跡線とする演算を行い、この線を示す画像データを前記図示しないメモリに記録する。なお、本実施形態において、予想軌跡線は、自車両の左右後端の進路を示す線であり、例えば、図7A,図8Aに示す線Oが各状態における自車両Mの予想軌跡線である。以上のように、自車両の左右後端の進路が予想軌跡線として示されていれば、駐車枠Fに自車両を駐車する際に駐車済の他車両C等との関係を明確に把握することが可能であり、切り返しが必要であるか否かを容易に判定することが可能である。
さらに、本実施形態においては、自車両Mの駐車操作をより簡単にするため、他車両と干渉することなく自車両Mを駐車枠Fに駐車させられるような予想軌跡であるときに、その予想軌跡を強調表示することとしている。このために、駐車判定部21gは、予想軌跡線と駐車枠Fの枠線とが合致するか否かを判別する(ステップS530)。なお、ここではその予想軌跡線にて後進したときに駐車枠F内に自車両を駐車可能である状態を合致すると呼んでいる。ステップS530にて予想軌跡線と駐車枠Fの枠線とが合致すると判別されたときには、予想軌跡線導出部21eが予想軌跡線を強調するための設定を行い(ステップS540)、予想軌跡線と駐車枠Fの枠線とが合致しないときには当該ステップS540をスキップする。
すなわち、予想軌跡線を強調する際には、前記ステップS520にて図示しないメモリに記録した画像データを修正し、線を太くしたり、目立つ色に変更したり、線種を変更した状態の画像データを前記メモリに記録する。そして、画像表示部21bが、表示部45にて当該メモリに記録された画像データに基づく表示を実施する(ステップS550)ことにより、適切な進路であるときに予想軌跡線が強調され、進路が不適切であるときには予想軌跡線が強調されていないという状態で駐車支援を行うことができる。従って、運転者は極めて容易に駐車を行うことが可能である。なお、図8Bは、予想軌跡線Oを太線によって強調した場合の例である。
次に、前記ステップS530における処理を詳細に説明する。図6はステップS530における合致判定処理を示すフローチャートであり、図9は、合致判定時の自車両Mと駐車枠Fとの関係を例示する説明図である。駐車判定部21gは、予想軌跡線と駐車枠Fの枠線とが合致するか否かを判別するため、予想軌跡線の接線および接点を算出する(ステップS531)。ここで、予想軌跡線の接線は、前記駐車枠Fと平行な接線であり、駐車判定部21gは、前記ステップS520にて取得した予想軌跡線を描画するための座標を取得し、予想軌跡線を描画した状態での接線および接点を取得する。
予想軌跡線の接線および接点が得られたら、駐車判定部21gは、予想軌跡線の接線が駐車枠Fの白線対の内側に存在するか否かを判別する(ステップS532)。すなわち、予想軌跡線の接線が駐車枠Fの白線対の間に存在する場合、自車両Mを後進させて駐車枠Fの白線対の間で自車両の長手方向を白線対に平行に向けることができることを意味する。そこで、本実施形態においては、まず、予想軌跡線の接線が白線対の内側に存在するか否かを判別し、白線対の内側に存在すると判別されなければ図6の処理をスキップして図5に示す処理に復帰する。
ステップS532にて、予想軌跡線の接線が駐車枠Fの白線対の内側に存在すると判別されたとき、本実施形態においては、さらに、隣り合う駐車枠における他車両の有無を考慮して予想軌跡線と駐車枠Fとが合致するか否かを判別する。図9A,9Bにおいては、自車両Mと駐車枠Fの俯瞰図にて自車両Mの予想軌跡線Oとその接線LTおよび接点Pcを示している。
この例のいずれにおいても予想軌跡線Oは駐車枠Fの白線対の内側に存在するが、図9Aにおいては駐車枠Fより自車両側に接点Pcが存在するので、自車両Mがそのまま進行しても他車両Cと自車両Mとは干渉しない。一方、図9Bに示す例においては、駐車枠Fの間に接点Pcが存在するので、自車両Mがそのまま進行すると他車両Cと自車両Mとが干渉するおそれがある。
そこで、障害物判定部21fは、予想軌跡線の接線が存在する白線対の両隣が空き駐車枠であるか否かを判別し(ステップS533)、駐車判定部21gは当該両隣が空き駐車枠であれば合致判定とする(ステップS535)。すなわち、図5にてステップS530が真判定となるように設定する。ステップS533にて予想軌跡線の接線が存在する白線対の両隣が空き駐車枠であると判別されないとき、駐車判定部21gは接点Pcが駐車枠の手前(端点P1,P2と自車両Mとの間)に存在するか否かを判別する(ステップS534)。そして、当該ステップS534にて接点Pcが駐車枠の手前に存在すると判別されたときには合致判定(ステップS535)とし、接点Pcが駐車枠の手前に存在すると判別されないときには、当該ステップS535をスキップする。
以上説明したように、目標駐車枠の両隣に他車両が駐車されている場合、接線と予想軌跡線との接点が目標駐車枠の長手辺の自車両側の端点より自車両側に存在することを駐車可否の判定条件として判定することにより、両隣に駐車されている他車両に接触する可能性を回避することができる。また、目標駐車枠の両隣に他車両が駐車されていない場合は、接点が長手辺の端点より自車両側に存在しなくても駐車不可能と判定しないため、目標駐車枠に隣接するスペースが十分広い場合には、駐車可能と判定する許容範囲が広がり、運転者の操作の自由度を増やすことが出来る。
(3)他の実施形態:
以上の実施形態は、本発明を実施するための一例であり、自車両の動作に基づいて導出される予想軌跡線の接線と目標駐車枠の枠線との位置関係に基づいて自車両が目標駐車枠内に駐車可能であるか判定することができる限りにおいて、他にも種々の実施形態を採用可能である。
上述の実施形態においては、駐車枠Fが一旦表示部45に表示された後にその表示範囲外になったときに駐車枠の延長線を表示する構成としたが、駐車枠Fが表示部45に表示される前であっても駐車枠Fを検出できるのであればその延長線を表示可能である。より具体的には、カメラ42にて撮影した画像に駐車枠が含まれているが、画像を俯瞰変換してその一部を表示部45にて表示する際に駐車枠が画像表示範囲外となる場合もある。この場合には、駐車枠が表示範囲外であっても画像に基づいて駐車枠を検出することが可能であり、駐車枠の延長線を表示部45にて表示することが可能である。従って、切り返しを一回も行っていない状態で駐車枠の延長線を表示することが可能である。むろん、駐車枠の検出は俯瞰変換後の画像にて実施しても良いし、カメラ42にて撮影した画像にて実施しても良い。
さらに、上述の実施形態において、表示部45での表示画像は俯瞰画像であったが、俯瞰画像ではなく、カメラ42にて撮影した画像を用いて駐車支援を行っても良い。この場合でも、駐車枠が画像の表示範囲外であるときに駐車枠の延長線を表示することで、自車両と駐車枠との関係を明確に提示することが可能である。さらに、表示部45での画像の表示態様としては、自車両Mの位置を固定するほか、駐車枠Fの位置を固定する構成を採用しても良いし、他の基準物に対して固定してもよく種々の構成を採用可能である。
さらに、駐車支援の開始トリガとしては、シフト装置の出力信号に限定されず、運転者の指示によって駐車支援を開始しても良いし、ナビゲーション装置にて駐車場への進入が確認されたときに駐車支援を開始してもよく、種々の構成を採用可能である。また、上述の実施形態においては、駐車枠が白線であり平行な直線であることを前提にしていたが、むろん、駐車枠の特徴(色、形状、枠以外の路面との差など)を画像から抽出する、あらゆる構成を採用可能である。例えば、駐車枠の色が白線でなく他の色である場合には当該他の色の枠を検出する構成となるし、駐車枠が矩形の枠であれば当該矩形の枠を検出する構成となり、駐車枠の色、形状等に応じた構成となる。
さらに、上述の実施形態においては、自車両Mが駐車しようとしている空き駐車枠の両隣が空き駐車枠であるか否かを判別したが、むろん、一方が空き駐車枠であるか否かを判別し、一方が空き駐車枠であり、他方が駐車済の駐車枠である場合、当該駐車済の駐車枠上の他車両と自車両Mとが干渉するか否かを判別する構成としても良い。例えば、自車両を駐車しようとしている駐車枠の隣接枠において一方が空き駐車枠、他方が駐車済駐車枠であるとき、自車両Mの予想軌跡線が前記一方の空き駐車枠の内側に存在すれば予想軌跡線を強調するように設定し、当該予想軌跡線が前記他方の駐車済駐車枠の内側に存在すれば予想軌跡線を強調しないように設定するなどの構成を採用可能である。また、予想軌跡線と目標駐車枠と平行な接線との接点の位置の判定は、自車両の内周側または外周側のいずれか一方の予想軌跡線の接点に対して行われても良いし、両方の接点に対して行われても良い。
さらに、上述の実施形態においては、駐車枠の全てが表示部45の表示範囲外となっているときに延長線を表示するようにしていたが、駐車枠の一部が表示部45の表示範囲外になることによって自車両と駐車枠との関係が不明瞭となるのであれば、当該駐車枠の一部が表示範囲外となったときにその延長線を表示する構成とすることが可能である。また、縦列駐車を実施する場合においては、駐車枠の長手方向に平行な枠線を延長して表示する構成の他、駐車枠の短手方向に平行な枠線を延長して表示する構成を採用しても良い。
なお、駐車可能であることを運転者に報知する手段は上記実施形態の画像表示手段に限らず、駐車判定手段による判定結果を示す情報を案内するいかなる手段を採用してもよく、例えば、スピーカーを用いて音声により運転者に報知してもよい。また例えば、駐車可能と判定されない場合は予想軌跡線を表示せず、駐車可能と判定されるときだけ予想軌跡線を表示するようにしてもよい。予想軌跡線は2本の線として表示されることに限らず、予想軌跡線を輪郭として含む帯状の領域として表示されてもよい。
また、駐車判定部21gは、例えば目標駐車枠の長手辺に対する障害物の位置に応じて、駐車可能と判定する接点の位置の閾値を可変にしてもよい。すなわち、目標駐車枠の長手辺における自車両側の端点から障害物までの距離が長くなるほど、駐車の可否を判定するための接点の位置を自車両より遠くに設定する構成を採用可能である。例えば、前記長手辺の外側に隣接する領域に存在する障害物が、自車両からみて目標駐車枠の長手辺の中央より遠くに位置している場合は、前記端点と前記中央の位置との間の既定位置に接点が存在することをもって駐車可能と判定する構成を採用可能である。その結果、駐車可能と判定する許容範囲が広がり、運転者の操作の自由度をさらに増やすことが出来る。
駐車支援装置を含むナビゲーション装置のブロック図である。 駐車支援処理を示すフローチャートである。 カメラ画像表示処理のフローチャートである。 駐車枠検出/描画処理のフローチャートである。 予想軌跡線表示処理のフローチャートである。 合致判定処理のフローチャートである。 (7A)および(7B)は俯瞰画像の例を示す図である。 (8A)および(8B)は俯瞰画像の例を示す図である。 (9A)および(9B)は合致判定時の自車両Mと駐車枠Fとの関係を例示する説明図である。
符号の説明
10…ナビゲーション装置、20…制御部、21…ナビゲーションプログラム、21a…画像取得部、21b…画像表示部、21c…目標駐車枠設定部、21d…自車両動作情報取得部、21e…予想軌跡線導出部、21f…障害物判定部、21g…駐車判定部、30…記憶媒体、30a…地図情報、30b…俯瞰変換データ、40…GPS受信部、41…シフト装置、42…カメラ、43…車速センサ、44…舵角センサ、45…表示部

Claims (4)

  1. 自車両の周囲の画像を取得する画像取得手段と、
    前記取得した画像に含まれる空き駐車枠を目標駐車枠として設定する目標駐車枠設定手段と、
    前記自車両の動作を示す情報を取得する自車両動作情報取得手段と、
    前記自車両の動作に基づいて現在の舵角によって前記自車両を後進させる場合の前記自車両の左後端および右後端の予想軌跡線を導出する予想軌跡線導出手段と、
    前記自車両の左後端および右後端の予想軌跡線の接線であって前記目標駐車枠の二つの長手辺と平行な二つの接線が、前記二つの長手辺の内側に存在し、前記接線と前記予想軌跡線との接点が前記長手辺の前記自車両側の端点より前記自車両側に存在するとき、前記目標駐車枠の内側に前記自車両を駐車可能であると判定する駐車判定手段と、
    を備える駐車支援装置。
  2. 前記目標駐車枠の前記長手辺の外側に隣接する領域に障害物が存在するか否かを判定する障害物判定手段を備え、
    前記駐車判定手段は、前記障害物が存在すると判定され、前記接線が前記二つの長手辺の内側に存在し、前記接線と前記予想軌跡線との接点が前記長手辺の前記自車両側の端点より前記自車両側に存在するとき、駐車可能であると判定する、
    請求項1に記載の駐車支援装置。
  3. 前記画像を表示する画像表示手段を備え、
    前記画像表示手段は、前記自車両が駐車可能であると判定されるとき、前記予想軌跡線を強調表示する、
    請求項1または請求項2に記載の駐車支援装置。
  4. 自車両の周囲の画像を取得する画像取得工程と、
    前記取得した画像に含まれる空き駐車枠を目標駐車枠として設定する目標駐車枠設定工程と、
    前記自車両の動作を示す情報を取得する自車両動作情報取得工程と、
    前記自車両の動作に基づいて現在の舵角によって前記自車両を後進させる場合の前記自車両の左後端および右後端の予想軌跡線を導出する予想軌跡線導出工程と、
    前記自車両の左後端および右後端の予想軌跡線の接線であって前記目標駐車枠の二つの長手辺と平行な二つの接線が、前記二つの長手辺の内側に存在し、前記接線と前記予想軌跡線との接点が前記長手辺の前記自車両側の端点より前記自車両側に存在するとき、前記目標駐車枠の内側に前記自車両を駐車可能であると判定する駐車判定工程と、
    を含む駐車支援方法。
JP2006263104A 2006-09-27 2006-09-27 駐車支援装置および駐車支援方法 Expired - Fee Related JP5092330B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006263104A JP5092330B2 (ja) 2006-09-27 2006-09-27 駐車支援装置および駐車支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006263104A JP5092330B2 (ja) 2006-09-27 2006-09-27 駐車支援装置および駐車支援方法

Publications (2)

Publication Number Publication Date
JP2008080959A JP2008080959A (ja) 2008-04-10
JP5092330B2 true JP5092330B2 (ja) 2012-12-05

Family

ID=39352245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006263104A Expired - Fee Related JP5092330B2 (ja) 2006-09-27 2006-09-27 駐車支援装置および駐車支援方法

Country Status (1)

Country Link
JP (1) JP5092330B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140311A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 停车辅助信息的显示方法及停车辅助装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5287344B2 (ja) * 2009-02-26 2013-09-11 日産自動車株式会社 駐車支援装置及び障害物検知方法
CN102085864B (zh) * 2009-12-04 2013-07-24 财团法人工业技术研究院 控制车辆停车的方法与控制车辆停车系统
JP6365238B2 (ja) * 2014-10-29 2018-08-01 株式会社デンソー 駐車支援装置
JP6961882B2 (ja) * 2017-04-27 2021-11-05 ダイハツ工業株式会社 駐車支援装置
JP6932631B2 (ja) * 2017-12-12 2021-09-08 フォルシアクラリオン・エレクトロニクス株式会社 画像表示装置及び運転支援システム
EP4026743B1 (en) * 2019-09-06 2023-11-01 NISSAN MOTOR Co., Ltd. Parking assistance method and parking assistance device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3951465B2 (ja) * 1998-06-26 2007-08-01 アイシン精機株式会社 駐車補助装置
JP4615766B2 (ja) * 2000-12-15 2011-01-19 本田技研工業株式会社 駐車支援装置
JP4918200B2 (ja) * 2001-04-24 2012-04-18 パナソニック株式会社 駐車運転支援装置
JP4466200B2 (ja) * 2004-04-19 2010-05-26 株式会社豊田自動織機 駐車支援装置
JP2006117165A (ja) * 2004-10-22 2006-05-11 Nissan Motor Co Ltd 駐車支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140311A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 停车辅助信息的显示方法及停车辅助装置
CN108140311B (zh) * 2015-10-22 2021-08-24 日产自动车株式会社 停车辅助信息的显示方法及停车辅助装置

Also Published As

Publication number Publication date
JP2008080959A (ja) 2008-04-10

Similar Documents

Publication Publication Date Title
JP4844323B2 (ja) 駐車支援装置および駐車支援方法
JP4863791B2 (ja) 車両周辺画像生成装置および画像切替方法
JP5092330B2 (ja) 駐車支援装置および駐車支援方法
JP4432930B2 (ja) 駐車支援装置及び駐車支援方法
JP3695319B2 (ja) 車両周辺モニタ装置
WO2012043184A1 (ja) 駐車支援装置
JP4985250B2 (ja) 駐車支援装置
JP4696691B2 (ja) 駐車支援方法及び駐車支援装置
JP2005112004A (ja) 車両後退支援装置および方法
JP2012071635A5 (ja)
JP2003063340A (ja) 運転補助装置
JP2006175918A (ja) 駐車補助装置
JP2006311299A (ja) 駐車区画監視装置
JP2006224778A (ja) 駐車支援装置
JP5549235B2 (ja) 運転支援装置
JP4595902B2 (ja) 車両周辺画像表示システム及び車両周辺画像表示方法
JP2008279875A (ja) 駐車支援装置
JP3838884B2 (ja) 車両周辺表示装置、プログラムおよび記録媒体
JP2003182489A (ja) 駐車支援装置
JP2007124097A (ja) 車両周辺視認装置
JP5082905B2 (ja) 駐車支援装置、駐車支援方法及びコンピュータプログラム
JP4613884B2 (ja) 駐車支援装置
JP4674814B2 (ja) 車両用画像表示装置および画像合成方法
JP5195692B2 (ja) 運転支援装置
JP4785707B2 (ja) 障害物警告装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120903

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees