JP3933935B2 - Parking assistance device - Google Patents

Parking assistance device Download PDF

Info

Publication number
JP3933935B2
JP3933935B2 JP2002003658A JP2002003658A JP3933935B2 JP 3933935 B2 JP3933935 B2 JP 3933935B2 JP 2002003658 A JP2002003658 A JP 2002003658A JP 2002003658 A JP2002003658 A JP 2002003658A JP 3933935 B2 JP3933935 B2 JP 3933935B2
Authority
JP
Japan
Prior art keywords
parking
vehicle
boundary
displayed
target parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002003658A
Other languages
Japanese (ja)
Other versions
JP2003205806A (en
Inventor
知彦 遠藤
久志 里中
光彦 森田
清治 河上
克彦 岩▲崎▼
寛暁 片岡
良文 岩田
優 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Toyota Motor Corp
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Toyota Motor Corp, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2002003658A priority Critical patent/JP3933935B2/en
Publication of JP2003205806A publication Critical patent/JP2003205806A/en
Application granted granted Critical
Publication of JP3933935B2 publication Critical patent/JP3933935B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Steering Control In Accordance With Driving Conditions (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、駐車支援装置に関する。
【0002】
【従来の技術】
自動車を運転する際、車庫入れや縦列駐車などの駐車を行うのは比較的困難であり、特に初心者は駐車の際の運転操作が苦手であることが多い。そこで、駐車の際の運転操作を補助するための駐車支援装置が知られている。この種の駐車支援装置として、従来、たとえば特開平11−334470号公報に開示された駐車補助装置がある。この駐車補助装置は、車両の後方をカメラにより検出し、このカメラの映像を車内に設けられた表示器に後方画像として表示し、運転者の駐車時の運転操作を補助するものである。そして、ステアリング角度をステアリングセンサによって検出し、そのステアリング角度に基づいて、車両の走行予想軌跡を求め、ステアリング舵角に応じて走行予想軌跡を表示器に可変表示するというものである。したがって、運転者は、駐車前の初期位置において、画像に表示された走行予想軌跡を確認し、走行が可能であると判断した場合に、そのまま駐車のための運転操作を開始するものである。
【0003】
【発明が解決しようとする課題】
しかし、上記従来公報に開示された駐車補助装置では、走行予想軌跡を単に表示しているのみであり、駐車操作を行う運転者は、自らステアリングの角度を調整しなければならないものであった。これに対して、主に車庫入れ駐車のための運転操作を行うにあたり、駐車準備位置に車両が到達した際に、目標駐車位置を設定することにより、駐車準備位置と目標駐車位置から車両の移動距離およびステアリングの舵角を演算により算出して、駐車支援を行う駐車支援装置がある。この駐車支援装置では、駐車準備位置と目標駐車位置の相対関係から車両の移動経路を算出することにより、運転者がステアリングの操作を行うことなく、または操舵輪が指定された舵角となるようにステアリングを操作して、駐車を行うことができる。
【0004】
ところが、この駐車支援装置では、車両駐車領域に隣接する車両駐車領域等に駐車している他の車両等の障害物との接触を避けるために、側方に隣接する車両駐車領域等を、自車の通過領域から外して移動経路を設定していた。このため、実際には隣接する車両駐車領域に駐車する車両等がなく、自車の移動経路とすることができる場合でも、その移動経路は算出されなかった。したがって、駐車準備位置とすることができる範囲が相当狭い範囲に制限されてしまうので、運転者にとって利便性が低くなるという問題があった。この問題は、特に駐車補助装置を使用する頻度が高い初心者において顕著である。
【0005】
他方、上記従来公報に開示された駐車補助装置では、ステアリングの角度に応じて走行予想軌跡を平面的に示しているのみである。このため、たとえば車両の走行軌跡の高さ方向に突出する障害物、たとえば木の枝や隣の車両駐車領域に駐車している車両のノーズ部分などの障害物が自車の走行予想軌跡上に3次元的に突出していても、その認識を容易に行うことができないという問題があった。
【0006】
そこで、本発明の課題は、運転者、特に初心者が駐車のための運転操作を行う際に、初期位置を広く取ることができるようにすることによって、操作の利便性を高め、また、3次元的に障害物があった場合に、障害物を避けて駐車支援を行うことができる駐車支援装置を提供することにある。
【0007】
【課題を解決するための手段】
上記課題を解決した本発明は、車両外部を撮像する撮像手段と、撮像された画像を表示する表示手段を備えた駐車支援装置であって、設定された目標駐車位置を含む車両駐車領域を、目標駐車位置の幅方向に所定の幅をもって拡大して、駐車時の車両の通過を許容する拡大通過領域を設定する拡大通過領域設定手段と、目標駐車位置に基づいて、拡大通過領域の側方位置における車両の通過を禁止しながら目標駐車位置までの軌跡を算出する軌跡算出手段と、算出された軌跡に基づいて、車両通過領域の境界を算出する境界算出手段と、境界算出手段によって算出された境界に対応する画面上の所定位置に、境界目印を表示する表示制御手段と、備えることを特徴とする駐車支援装置である。
【0008】
本発明に係る駐車支援装置では、設定された目標駐車領域を含む車両通過領域を、目標駐車領域の幅方向に所定の幅をもって拡大して、車両の通過を許容する拡大通過領域を設定している。このため、駐車支援を開始する際の初期位置を広い範囲にすることができるので、駐車操作を行う際の運転者の利便性を高めることができる。
【0009】
ここで、境界目印が、高さ方向に延在するポールであるのが好適である。表示目印がポールであることにより、3次元的に存在する障害物、たとえば他の車両のノーズ部分や木の枝が存在する場合であっても、そのまま駐車支援を行うと、自車がこれらの障害物に接触することを確認できるので、その前に駐車支援を中止することができる。したがって、これらの3次元的な障害物がある場合でも、好適に障害物に接触することがないようにして駐車支援を行うことができる。
【0010】
また、画面上における拡大通過領域の仕切り線と境界の交点に、前記ポールを表示するのがさらに好適である。
【0011】
そして、境界が、軌跡から車幅方向に所定の安全マージンを見込んで算出されているのが好適である。境界に所定の安全マージンを見込むことにより、車両が障害物に非常に近接したぎりぎりの領域を通過することが防止できるので、障害物と自車の接触を好適に回避することができる。
【0012】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
【0013】
図1は、本発明の実施形態に係る駐車支援装置のブロック構成図、図2はモニタに表示された画像を示す図である。
【0014】
図1に示すように、本実施形態に係る駐車支援装置1は、車両に搭載され、その車両を駐車する際の駐車支援を行うものである。この駐車支援装置1は、電子制御装置である駐車支援ECU2を備えている。駐車支援ECU2は、駐車支援装置1全体の制御を行うものであり、CPU、ROM、RAM、入力信号回路、出力信号回路、電源回路などにより構成され、駐車支援制御ルーチンを含む各種の制御ルーチンが記憶されている。
【0015】
駐車支援ECU2には、本発明の撮像手段であるカメラ3、本発明の表示手段であるモニタ4、および目標駐車位置設定手段5が接続されている。
【0016】
カメラ3は、車両の後部または側部に配置された、たとえば広角レンズを備えるカメラであり、車両の外部であって後方を撮像するものである。撮像した画像は、モニタ4に表示される。このカメラ3は、常時車両の後方を撮像しているものでもよいし、消費電力低減のために車両が後方に移動する際に、撮像を開始するようにしてもよい。車両の後方への移動は、たとえばシフトレバーがリバースレンジに入ったことにより検出することができる。
【0017】
モニタ4は、車室内のたとえばインストルメントパネルに設置されており、ドライバの視界が届く位置に配置されている。図2に示すように、モニタ4には、カメラ3で撮像した画像のほか、駐車支援ECU2で算出された位置に表示される目標駐車位置を示す目標駐車枠11やポールPLなどが映し出される。なお、カメラ3は広角レンズを使用しているので、実際の画像は周辺部が歪むが、説明をわかりやすくするために、図2では、まっすぐに描いている。
【0018】
目標駐車位置設定手段5は、図2に示すように、モニタ4の画面上にタッチパネル式で表示されており、上下左右の矢印Y1〜Y4、および時計回り方向および反時計周り方向に回転する回転矢印Y5,Y6を備えている。これらの矢印Y1〜Y6に触れることにより、あらかじめ算出され、カメラ3で撮像された画像とともにモニタ4上に表示される目標駐車位置のデフォルト位置を回転・移動させて、目標駐車位置を設定することができる。
【0019】
また、モニタ4には、目標駐車位置が確定したと運転者が判断したときに触れる確定スイッチX1、および駐車支援を途中で中止したいときに触れる支援中止スイッチX2が表示されている。確定スイッチX1に触れることにより駐車支援が開始され、支援中止スイッチX2に触れることにより駐車支援が中止される。
【0020】
さらに、図1に示すように。駐車支援ECU2には、自動操舵手段6および始動スイッチ7が接続されている。自動操舵手段6は、車両の操舵輪を操舵するアクチュエータを備えており、駐車支援ECU2の制御信号を受けて操舵輪を操舵するものである。また、始動スイッチ7は、駐車支援モードのON・OFFを切り替えるためのスイッチであり、たとえばインストルメントパネルに装備されている。したがって、始動スイッチ7がONになっているときには、支援開始条件が成立したとき、たとえば図示しないシフトレバーがリバースレンジに入れられたときに、駐車支援モードに入って所定の処理が開始される。また、始動スイッチ7がOFFになっているときには、シフトレバーがリバースレンジに入れられて支援開始条件が成立しても、駐車支援モードには入らず、駐車支援のための処理は行われないようになっている。したがって、たとえば運転者が熟練の者であり、このような駐車支援装置1の利用を望まない場合には、始動スイッチ7をOFFにしておけばよい。
【0021】
次に、本実施形態に係る駐車支援装置の動作について説明する。
【0022】
図3は、本実施形態に係る駐車支援装置1の動作についてのフローチャートである。本実施形態では、図4に示すように、車両駐車領域が仕切り線によって区画B1,B2,…に区分けされた駐車場PAの1区画B2に車両Cを車庫入れ駐車するときの例について説明する。
【0023】
始動スイッチ7がONになっている状況下において、車両Cの運転者が区画B2への車庫入れ駐車を企図し、目標駐車位置の前を通過し、車両Mの後部を区画B2に向けるように旋回させて駐車準備位置P1に車両Cを移動させ、車室内における図示しないシフトレバーをリバースレンジに入れると、駐車支援モードに入る。駐車支援モードに入ると、まずカメラ3がONされ、カメラ3によって車両Cの周囲における後方の画像が撮影されて読み込まれる(S1)。カメラ3によって撮影された画像は、駐車支援ECU2を経由してモニタ4に出力され、図2に示すようにモニタ4に表示される(S2)。モニタ4に画像が表示されたら、自車Cを平面視したときの形状に相当する縦長の矩形である目標駐車位置P2の算出を行う(S3)。目標駐車位置P2は、まず、運転者がシフトレバーをリバースレンジに入れる前の車両の挙動等に基づいてデフォルト位置として算出され、このデフォルト位置が目標駐車位置P2としてモニタ4に表示される。モニタ4には、カメラ3で撮像された車両外部の後方の画像が表示されており、目標駐車位置P2は、この画像に重ねて表示される。このとき、モニタ4には、図2に示す目標駐車位置設定手段5となる矢印Y1〜Y6および途中で駐車支援を中止する場合に触れる支援中止スイッチX2が表示され、確定スイッチX1は表示されていない。
【0024】
目標駐車位置P2を算出したら、目標駐車位置P2を含む車両駐車領域を設定する。目標駐車領域は、目標駐車位置P2よりも一回り大きい縦長の矩形をなしており、たとえば目標駐車位置P2が縦4.5m、横1.8mであれば、車両駐車領域は縦5.0m、横2.3mに設定する。さらに、車両駐車領域を拡大して、たとえば幅0.25m〜0.5mの拡大通過領域Wを設定する(S4)。
【0025】
拡大通過領域Wの幅を設定するにあたり、通常の車両が隣接する区画B3に駐車している場合について考える。たとえば、区画B3の幅が2.3mであり、車両の横幅が1.8mとすると、区画B3の両側には、合計で0.5mの余裕幅があることになる。この余裕幅が両側に均等にあるとすると、片側には0.25mの余裕幅があることになる。この余裕幅の部分を拡大通過領域と考えて自車Cの通過を許容するものである。
【0026】
また、通常、車両駐車領域は、図4に示す区画B2の大きさとほぼ同じとなるように設定されるが、車両駐車領域が区画B2と一致しているときの拡大通過領域Wは、区画B2に隣接する区画B3の一部に設定される。この拡大通過領域Wを設定したら、駐車準備位置P1と目標駐車位置P2の相対関係に基づいて、車両駐車領域である区画B2および拡大通過領域Wの通過を許容し、かつ拡大通過領域Wの側方に相当する区画B3の他部の通過を禁止しながら、駐車準備位置P1から目標駐車位置P2までの軌跡Tを算出する(S5)。このように、軌跡Tが車両駐車領域のみならず、拡大通過領域の通過をも許容されることにより、駐車準備位置P1とすることができる幅が大きく広がるので、利用者の利便性を高めることができる。
【0027】
ここで、この拡大通過領域Wに他の車両Dなどの障害物がない場合には、自車Cは拡大通過可能領域Wを通過可能である。ところが、拡大通過領域Wは、図5に仮想線で示す他の車両Dが駐車している可能性のある区画B3内に設定されており、この拡大通過領域Wには障害物がある場合がある。このような障害物があるときには、運転者が支援の中止を選択できるように、モニタ4の画像上に自車Cが通過する際の境界を示すポールPLを表示する。このポールPLを表示するために、まず、図4および図5に仮想線で示す車両通過の境界Mを算出する(S6)。車両通過の境界Mは、たとえば車両の軌跡Tをそのまま利用してもよいが、より安全を期するために、所定の安全マージンを見込むのが好適である。安全マージンとして具体的には、車両の軌跡Tから所定の距離、たとえば0.25〜0.5mとすることができる。
【0028】
このような安全マージンを見込んだ上で、境界Mを算出したら、境界Mの上に運転者がその境界Mを確認できるような境界目印としてのポールPLを表示する位置を算出する(S7)。ポールPLの表示位置は、境界M上の所定の位置に設定されるが、ここでは、拡大通過領域Wの仕切り線と境界Mの交点をポールPLの表示位置として算出する。そして、算出されたポール表示位置に基づいて、図2に示すように、モニタ4の画面上にポールPLを表示する(S8)。
【0029】
ポールPLを表示したら、駐車支援が可能か否かの判断を行う(S9)。駐車支援可能か否かは、ステップS5の軌跡の算出に基づいて行われる。まず、駐車準備位置P1と目標駐車位置P2の相対的な位置関係に基づいて、駐車準備位置P1から目標駐車位置P2までの軌跡を描くことができない場合には、駐車支援が可能でないと判断する。また、軌跡を描くことができたとしても、その軌跡が区画B3における拡大禁止領域の側方の通過禁止領域を通過している場合には、駐車支援が可能でないと判断する。そして、これらのように駐車支援が可能でないと判断した場合には、モニタ4の画面に「ガイドできません」という表示を行う(S10)とともに、目標駐車枠11をたとえば赤色で表示する。このとき、確定スイッチX1が表示されている場合には、確定スイッチX1を消去する。
【0030】
その一方、拡大禁止領域の側方における通過禁止領域の通過を禁止しながら、駐車準備位置P1から目標駐車位置P2までの軌跡を描くことができる場合には、駐車支援が可能である判断する。そして、図2に示すように、モニタ4に確定スイッチX1を表示する(S11)とともに、目標駐車枠11をたとえば青色で表示する。このとき、「ガイドできません」という表示がある場合には、この表示を消して確定スイッチX1を表示する。
【0031】
こうして「ガイドできません」との表示を行うか、確定スイッチX1を表示したら、目標駐車位置P1の修正があったか否かの判断を行う(S12)。運転者がモニタ4の画面に表示された目標駐車位置設定手段5の矢印Y1〜Y6のいずれかに触れて目標駐車位置の修正を行った場合には、ステップS3に戻って目標駐車位置の算出を行う。また、目標駐車位置P1の修正がなかった場合には、支援中止条件が成立したか否かの判断を行う(S13)。支援中止条件が成立する場合とは、たとえば運転者が支援中止スイッチX2に触れた場合がある。また、シフトレバーをリバースレンジから外してドライブレンジに移動させ、あるいはステアリングを操作して車輪の舵角を変更した場合などとすることができる。ここで、モニタ4の画面上に表示されているポールPLにたとえば図5に示す他の車両Dが重なっている場合には、自車Cがこの他の車両と接触する危険性があるので、運転者は、支援中止スイッチX2を触れるようにする。こうして、ステップS13で支援中止条件が成立した場合には、制御を終了する。
【0032】
一方、ステップS13において、これらの支援中止条件を満たしていないと判断した場合には、駐車支援条件が確定したか否かを判断する(S14)。駐車支援条件が確定したか否かの判断は、たとえば運転者がモニタ4の画像上に表示されている確定スイッチX1に触れたか否かにより判断する。ここで、ステップS9における支援可能か否かの判断で支援が可能でないと判断されている場合には、モニタ4の画面上には確定スイッチX1が表示されていないため、確定したと判断されることはない。また、目標駐車位置等の駐車支援条件が確定していると運転者等が判断しておらず、確定スイッチX1に触れられていない場合には、そのままステップS12に戻って目標駐車位置P2の修正が行われたか否かの判断を行う。一方、駐車支援条件が確定したと運転者等が判断して、確定スイッチX1に触れた場合には、目標駐車位置P2の設定が完了し、駐車支援条件が確定する。そして、そのまま駐車支援を開始する(S15)。駐車支援を開始したら、自動操舵手段6が作動するので、運転者は、ステアリング操作が不要となる。そして、適宜スピードの調整を行うことにより、駐車支援の下で駐車操作を行うことができる。その後、車両を目標駐車位置P2に誘導して制御を終了する。
【0033】
このように、本実施形態に係る駐車支援装置1によれば、車両通過位置である目標駐車位置P2を、所定の幅をもって拡大した拡大車両領域として設定することにより、駐車支援の前に車両を駐車準備位置に止める際の駐車準備位置の選択幅を広げることができる。したがって駐車操作する際の運転者の利便性を高めることができる。また、車両通過領域の境界には、所定のマージンが付されているので、その分障害物との接触などの危険性を好適に回避し、安全な状態で駐車の際の車両操作を行うことができる。さらには、境界目印としてポールを用いており、高さ方向の障害物との接触をも好適に回避することができるので、他の車両のノーズ部分や木の枝などの3次元的な障害物との接触も、好適に回避する
ことができる。
【0034】
以上、本発明の好適な実施形態について説明したが、本発明は上記の実施形態に限定されるものではない。たとえば、上記実施形態では、境界目印として1本のポールを表示しているが、2本以上のポールを表示したり、あるいは境界に沿った連続する壁を表示したりすることもできる。ただし、多数のポールや連続する壁などの画像を表示することによって、その後方の画像が遮られるのでは、安全性の確保が難しいので、多数のポールや壁などは半透明として表示するのが望ましい。また、上記実施形態では、好適な態様として高さ方向に延在するポールを用いているが、これを平面的な点や直線で表示することもできる。さらには、境界を算出する際に、自車の軌跡から所定の安全マージンを見込んでいるが、この安全マージンを見込むことなく境界を設定することもできる。この場合の境界は、自車の軌跡と同一のものとなる。
【0035】
他方、上記実施形態では、境界目印となる1本のポールを表示する際に、通過拡大領域と境界の交点上に表示しているが、境界上における他の場所に表示することもできる。たとえば、カメラから境界に対して引いた接線と境界の交点や通過拡大領域内における境界の任意の位置などにポールを表示することもできる。
【0036】
さらに、上記実施形態では、自動操舵手段を設けているが、駐車支援を行うために、自動操舵手段のほか、自動制動手段や自動駆動手段を設けて、運転者が速度操作を行うことなく、駐車動作が行われるようにすることもできる。もちろん、これらのうちの1つまたは2つを設けて、運転者の駐車支援を行うようにすることもできる。
【0037】
【発明の効果】
以上のとおり、本発明によれば、運転者、特に初心者が駐車のための運転操作を行う際に、初期位置を広く取ることができるようにすることによって、操作の利便性を高め、また、3次元的に障害物があった場合に、障害物を避けて駐車支援を行うことができる駐車支援装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る駐車支援装置のブロック構成図である。
【図2】モニタに表示された画像を示す図である。
【図3】本実施形態に係る駐車支援装置の動作についてのフローチャートである。
【図4】自車が目標駐車領域に移動する状態を示す平面図である。
【図5】図4の要部拡大図である。
【符号の説明】
1…駐車支援装置、2…駐車支援ECU、3…カメラ、4…モニタ、5…目標駐車位置設定手段、6…自動操舵手段、7…始動スイッチ、C…自車(車両)、M…境界、P1…駐車準備位置、P2…目標駐車位置、PL…ポール、T…軌跡、W…拡大通過領域。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a parking assistance device.
[0002]
[Prior art]
When driving a car, it is relatively difficult to perform parking such as garage parking or parallel parking. In particular, beginners are often not good at driving when parking. Therefore, a parking assistance device for assisting a driving operation in parking is known. Conventionally, as this type of parking assist device, there is a parking assist device disclosed in, for example, JP-A-11-334470. The parking assist device detects the rear of the vehicle with a camera, displays the video of the camera as a rear image on a display provided in the vehicle, and assists the driver in driving when parking. Then, the steering angle is detected by a steering sensor, a predicted traveling locus of the vehicle is obtained based on the steering angle, and the predicted traveling locus is variably displayed on the display according to the steering angle. Therefore, when the driver confirms the predicted traveling locus displayed in the image at the initial position before parking and determines that traveling is possible, the driver starts the driving operation for parking as it is.
[0003]
[Problems to be solved by the invention]
However, the parking assist device disclosed in the above-mentioned conventional publication merely displays the predicted traveling locus, and the driver who performs the parking operation has to adjust the steering angle himself. On the other hand, when performing the driving operation mainly for parking in the garage, when the vehicle reaches the parking preparation position, the vehicle is moved from the parking preparation position and the target parking position by setting the target parking position. There is a parking assistance device that performs parking assistance by calculating a distance and a steering angle of a steering by calculation. In this parking assist device, the vehicle travel route is calculated from the relative relationship between the parking preparation position and the target parking position so that the driver does not perform steering operation or the steering wheel has a specified steering angle. You can park the car by operating the steering wheel.
[0004]
However, in this parking assistance device, in order to avoid contact with obstacles such as other vehicles parked in the vehicle parking area etc. adjacent to the vehicle parking area, the vehicle parking area etc. The travel route was set outside the vehicle passage area. For this reason, there is actually no vehicle or the like parked in the adjacent vehicle parking area, and the movement route is not calculated even when the movement route of the own vehicle can be used. Therefore, since the range that can be set as the parking preparation position is limited to a considerably narrow range, there is a problem that convenience for the driver is lowered. This problem is particularly noticeable for beginners who frequently use the parking assist device.
[0005]
On the other hand, in the parking assistance device disclosed in the above-mentioned conventional publication, only the predicted travel locus is shown in a plane according to the steering angle. For this reason, for example, obstacles that protrude in the height direction of the travel locus of the vehicle, for example, obstacles such as a tree branch or a nose portion of a vehicle parked in the adjacent vehicle parking area, are on the predicted travel locus of the host vehicle. Even if it protrudes three-dimensionally, there is a problem that it cannot be easily recognized.
[0006]
Therefore, an object of the present invention is to improve the convenience of operation by allowing a driver, particularly a beginner, to take a wide initial position when performing a driving operation for parking. An object of the present invention is to provide a parking assistance device capable of providing parking assistance while avoiding an obstacle when there is an obstacle.
[0007]
[Means for Solving the Problems]
The present invention that has solved the above problems is a parking assist device that includes an imaging unit that images the outside of the vehicle and a display unit that displays the captured image, and includes a vehicle parking area including a set target parking position. An enlarged passage area setting means for setting an enlarged passage area that allows a vehicle to pass during parking by enlarging with a predetermined width in the width direction of the target parking position, and a side of the enlarged passage area based on the target parking position. Calculated by a trajectory calculating means for calculating a trajectory to the target parking position while prohibiting passage of the vehicle at the position, a boundary calculating means for calculating a boundary of the vehicle passing area based on the calculated trajectory, and a boundary calculating means And a display control means for displaying a boundary mark at a predetermined position on the screen corresponding to the boundary.
[0008]
In the parking assistance device according to the present invention, the vehicle passing area including the set target parking area is enlarged with a predetermined width in the width direction of the target parking area, and an enlarged passing area that allows the vehicle to pass is set. Yes. For this reason, since the initial position at the time of starting parking assistance can be made into a wide range, the convenience of the driver at the time of parking operation can be improved.
[0009]
Here, the boundary mark is preferably a pole extending in the height direction. If the display mark is a pole, even if there are obstacles that exist three-dimensionally, such as nose parts of other vehicles or branches of trees, if parking assistance is performed as is, the vehicle will Since it can be confirmed that it touches an obstacle, parking assistance can be canceled before that. Therefore, even when there are these three-dimensional obstacles, it is possible to provide parking assistance so that the obstacles are not preferably touched.
[0010]
Further, it is more preferable to display the pole at the intersection of the partition line of the enlarged passage area and the boundary on the screen.
[0011]
Then, it is preferable that the boundary is calculated with a predetermined safety margin in the vehicle width direction from the locus. By expecting a predetermined safety margin at the boundary, it is possible to prevent the vehicle from passing through a marginal area very close to the obstacle, so that contact between the obstacle and the vehicle can be suitably avoided.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
[0013]
FIG. 1 is a block diagram of a parking assistance apparatus according to an embodiment of the present invention, and FIG. 2 is a diagram showing an image displayed on a monitor.
[0014]
As shown in FIG. 1, the parking assistance apparatus 1 which concerns on this embodiment is mounted in a vehicle, and performs the parking assistance at the time of parking the vehicle. The parking assistance device 1 includes a parking assistance ECU 2 that is an electronic control device. The parking assist ECU 2 controls the entire parking assist device 1, and is composed of a CPU, a ROM, a RAM, an input signal circuit, an output signal circuit, a power supply circuit, and the like, and various control routines including a parking assist control routine are provided. It is remembered.
[0015]
Connected to the parking assist ECU 2 are a camera 3 that is an imaging means of the present invention, a monitor 4 that is a display means of the present invention, and a target parking position setting means 5.
[0016]
The camera 3 is a camera provided with, for example, a wide-angle lens, which is disposed at the rear or side of the vehicle, and images the rear of the vehicle outside. The captured image is displayed on the monitor 4. The camera 3 may always capture the rear of the vehicle, or may start imaging when the vehicle moves backward to reduce power consumption. The backward movement of the vehicle can be detected, for example, when the shift lever enters the reverse range.
[0017]
The monitor 4 is installed in, for example, an instrument panel in the passenger compartment, and is disposed at a position where the driver's field of view can reach. As shown in FIG. 2, in addition to the image captured by the camera 3, the monitor 4 displays a target parking frame 11 indicating a target parking position displayed at a position calculated by the parking assist ECU 2, a pole PL, and the like. Since the camera 3 uses a wide-angle lens, the actual image is distorted at the periphery, but is drawn straight in FIG. 2 for easy understanding.
[0018]
As shown in FIG. 2, the target parking position setting means 5 is displayed on the screen of the monitor 4 as a touch panel, and rotates up and down, left and right arrows Y1 to Y4, and clockwise and counterclockwise. Arrows Y5 and Y6 are provided. By touching these arrows Y1 to Y6, the target parking position is set by rotating and moving the default position of the target parking position that is calculated in advance and displayed on the monitor 4 together with the image captured by the camera 3. Can do.
[0019]
The monitor 4 also displays a confirmation switch X1 that is touched when the driver determines that the target parking position has been confirmed, and a support stop switch X2 that is touched when the parking support is to be canceled halfway. Touching the confirmation switch X1 starts parking support, and touching the support stop switch X2 stops parking support.
[0020]
Furthermore, as shown in FIG. An automatic steering means 6 and a start switch 7 are connected to the parking assist ECU 2. The automatic steering means 6 includes an actuator for steering the steered wheels of the vehicle, and steers the steered wheels in response to a control signal from the parking assist ECU 2. Moreover, the start switch 7 is a switch for switching ON / OFF of parking assistance mode, for example, is equipped in the instrument panel. Therefore, when the start switch 7 is ON, when the assistance start condition is satisfied, for example, when a shift lever (not shown) is put in the reverse range, the parking assistance mode is entered and a predetermined process is started. Further, when the start switch 7 is OFF, even if the shift lever is put in the reverse range and the support start condition is satisfied, the parking support mode is not entered, and the process for parking support is not performed. It has become. Therefore, for example, when the driver is a skilled person and does not want to use such a parking assist device 1, the start switch 7 may be turned off.
[0021]
Next, operation | movement of the parking assistance apparatus which concerns on this embodiment is demonstrated.
[0022]
FIG. 3 is a flowchart about the operation of the parking assistance apparatus 1 according to the present embodiment. In the present embodiment, as shown in FIG. 4, an example will be described in which the vehicle C is parked in a garage B in one section B2 of a parking lot PA in which the vehicle parking area is divided into sections B1, B2,. .
[0023]
In a situation where the start switch 7 is ON, the driver of the vehicle C intends to park in the garage in the section B2, passes in front of the target parking position, and directs the rear part of the vehicle M to the section B2. When the vehicle C is turned to move the vehicle C to the parking preparation position P1 and a shift lever (not shown) in the passenger compartment is placed in the reverse range, the parking assist mode is entered. When the parking assistance mode is entered, the camera 3 is first turned on, and a rear image around the vehicle C is taken and read by the camera 3 (S1). The image taken by the camera 3 is output to the monitor 4 via the parking assist ECU 2 and displayed on the monitor 4 as shown in FIG. 2 (S2). If an image is displayed on the monitor 4, the target parking position P2 which is a vertically long rectangle corresponding to the shape when the host vehicle C is viewed in plan is calculated (S3). The target parking position P2 is first calculated as a default position based on the behavior of the vehicle before the driver puts the shift lever into the reverse range, and this default position is displayed on the monitor 4 as the target parking position P2. The monitor 4 displays a rear image outside the vehicle imaged by the camera 3, and the target parking position P2 is displayed so as to overlap this image. At this time, the monitor 4 displays the arrows Y1 to Y6 serving as the target parking position setting means 5 shown in FIG. 2 and the support stop switch X2 that is touched when the parking support is stopped halfway, and the confirmation switch X1 is displayed. Absent.
[0024]
After calculating the target parking position P2, a vehicle parking area including the target parking position P2 is set. The target parking area has a vertically long rectangle that is slightly larger than the target parking position P2. For example, if the target parking position P2 is 4.5 m long and 1.8 m wide, the vehicle parking area is 5.0 m long, Set the width to 2.3m. Further, the vehicle parking area is enlarged, and an enlarged passage area W having a width of 0.25 m to 0.5 m, for example, is set (S4).
[0025]
In setting the width of the enlarged passage area W, a case where a normal vehicle is parked in the adjacent section B3 will be considered. For example, if the width of the section B3 is 2.3 m and the lateral width of the vehicle is 1.8 m, there will be a total margin of 0.5 m on both sides of the section B3. If this margin width is even on both sides, there is a margin width of 0.25 m on one side. This marginal width portion is considered as an enlarged passage region and the passage of the host vehicle C is permitted.
[0026]
In addition, the vehicle parking area is usually set to be approximately the same as the size of the section B2 shown in FIG. 4, but the enlarged passing area W when the vehicle parking area coincides with the section B2 is the section B2. Is set to a part of the section B3 adjacent to. If this enlarged passage area W is set, based on the relative relationship between the parking preparation position P1 and the target parking position P2, the vehicle B is allowed to pass through the section B2 and the enlarged passage area W, and on the side of the enlarged passage area W. A trajectory T from the parking preparation position P1 to the target parking position P2 is calculated while prohibiting passage of the other part of the section B3 corresponding to the direction (S5). As described above, since the trajectory T allows not only the vehicle parking area but also the passage through the enlarged passage area, the width that can be set as the parking preparation position P1 is greatly widened, thereby improving the convenience for the user. Can do.
[0027]
Here, when there is no obstacle such as another vehicle D in the enlarged passage area W, the host vehicle C can pass through the enlarged passage area W. However, the enlarged passage area W is set in a section B3 in which another vehicle D indicated by a virtual line in FIG. 5 may be parked, and there may be an obstacle in the enlarged passage area W. is there. When there is such an obstacle, a pole PL indicating a boundary when the vehicle C passes is displayed on the image of the monitor 4 so that the driver can select the stop of the support. In order to display this pole PL, first, a vehicle passing boundary M indicated by a virtual line in FIGS. 4 and 5 is calculated (S6). For example, the vehicle trajectory T may be used as it is as the vehicle passing boundary M, but it is preferable to allow for a predetermined safety margin in order to ensure safety. Specifically, the safety margin can be a predetermined distance from the vehicle trajectory T, for example, 0.25 to 0.5 m.
[0028]
If the boundary M is calculated in view of such a safety margin, a position for displaying the pole PL as a boundary mark that allows the driver to confirm the boundary M is calculated on the boundary M (S7). The display position of the pole PL is set at a predetermined position on the boundary M. Here, the intersection of the partition line of the enlarged passage area W and the boundary M is calculated as the display position of the pole PL. Based on the calculated pole display position, the pole PL is displayed on the screen of the monitor 4 as shown in FIG. 2 (S8).
[0029]
If the pole PL is displayed, it is determined whether parking assistance is possible (S9). Whether or not parking assistance is possible is performed based on the calculation of the trajectory in step S5. First, based on the relative positional relationship between the parking preparation position P1 and the target parking position P2, it is determined that parking assistance is not possible when a locus from the parking preparation position P1 to the target parking position P2 cannot be drawn. . Even if the trajectory can be drawn, it is determined that parking assistance is not possible if the trajectory passes through the passage prohibition area on the side of the enlargement prohibition area in the section B3. If it is determined that parking assistance is not possible as described above, the display of “cannot be guided” is displayed on the screen of the monitor 4 (S10), and the target parking frame 11 is displayed in red, for example. At this time, if the confirmation switch X1 is displayed, the confirmation switch X1 is deleted.
[0030]
On the other hand, if the trajectory from the parking preparation position P1 to the target parking position P2 can be drawn while prohibiting the passage of the passage prohibition area on the side of the enlargement prohibition area, it is determined that parking assistance is possible. Then, as shown in FIG. 2, the confirmation switch X1 is displayed on the monitor 4 (S11), and the target parking frame 11 is displayed in blue, for example. At this time, if there is a display indicating “cannot guide”, the display is cleared and the confirmation switch X1 is displayed.
[0031]
When the display “cannot be guided” is displayed or the confirmation switch X1 is displayed, it is determined whether or not the target parking position P1 has been corrected (S12). When the driver touches any of the arrows Y1 to Y6 of the target parking position setting means 5 displayed on the screen of the monitor 4 and corrects the target parking position, the process returns to step S3 to calculate the target parking position. I do. If the target parking position P1 has not been corrected, it is determined whether or not the support cancellation condition is satisfied (S13). The case where the support stop condition is satisfied may be that the driver touches the support stop switch X2, for example. Further, the shift lever can be removed from the reverse range and moved to the drive range, or the steering angle can be changed by operating the steering. Here, for example, when another vehicle D shown in FIG. 5 overlaps the pole PL displayed on the screen of the monitor 4, there is a risk that the own vehicle C may come into contact with the other vehicle. The driver touches the support stop switch X2. Thus, when the support stop condition is satisfied in step S13, the control is terminated.
[0032]
On the other hand, if it is determined in step S13 that these support cancellation conditions are not satisfied, it is determined whether or not the parking support conditions are confirmed (S14). The determination as to whether or not the parking support condition has been determined is made based on, for example, whether or not the driver has touched the determination switch X1 displayed on the image of the monitor 4. If it is determined in step S9 whether or not support is possible, it is determined that support is not possible because the confirmation switch X1 is not displayed on the screen of the monitor 4. There is nothing. If the driver or the like has not determined that the parking support condition such as the target parking position has been confirmed and the confirmation switch X1 has not been touched, the process returns to step S12 to correct the target parking position P2. It is determined whether or not On the other hand, when the driver or the like determines that the parking support condition is confirmed and touches the confirmation switch X1, the setting of the target parking position P2 is completed, and the parking support condition is confirmed. And parking assistance is started as it is (S15). When the parking assistance is started, the automatic steering means 6 operates, so that the driver does not need a steering operation. And parking operation can be performed under parking assistance by adjusting speed appropriately. Thereafter, the vehicle is guided to the target parking position P2 and the control is terminated.
[0033]
As described above, according to the parking assistance device 1 according to the present embodiment, the target parking position P2 that is the vehicle passing position is set as an enlarged vehicle area that is enlarged with a predetermined width. The selection range of the parking preparation position when stopping at the parking preparation position can be expanded. Therefore, the convenience of the driver at the time of parking operation can be enhanced. In addition, since a predetermined margin is attached to the boundary of the vehicle passage area, it is possible to appropriately avoid dangers such as contact with obstacles, and to perform vehicle operations when parking in a safe state. Can do. Furthermore, a pole is used as a boundary mark, and contact with an obstacle in the height direction can be suitably avoided, so that a three-dimensional obstacle such as a nose part of another vehicle or a tree branch can be used. Contact with can also be suitably avoided.
[0034]
The preferred embodiments of the present invention have been described above, but the present invention is not limited to the above-described embodiments. For example, in the above embodiment, one pole is displayed as the boundary mark, but two or more poles can be displayed, or a continuous wall along the boundary can be displayed. However, since it is difficult to ensure safety if the images behind the many poles and continuous walls are displayed and the image behind them is blocked, it is difficult to ensure that many poles and walls are displayed as translucent. desirable. Moreover, in the said embodiment, although the pole extended in a height direction is used as a suitable aspect, this can also be displayed by a planar point or a straight line. Furthermore, when calculating the boundary, a predetermined safety margin is expected from the trajectory of the vehicle, but the boundary can be set without allowing for this safety margin. The boundary in this case is the same as the trajectory of the own vehicle.
[0035]
On the other hand, in the above-described embodiment, when one pole serving as a boundary mark is displayed, it is displayed on the intersection of the passage enlargement region and the boundary. However, it can be displayed at another location on the boundary. For example, poles can be displayed at the intersection of a tangent drawn from the camera with respect to the boundary and the boundary, or at an arbitrary position of the boundary in the enlarged passage area.
[0036]
Furthermore, in the above embodiment, the automatic steering means is provided, but in order to perform parking assistance, in addition to the automatic steering means, an automatic braking means and an automatic driving means are provided so that the driver does not perform a speed operation. A parking operation can also be performed. Of course, one or two of these may be provided to assist the driver in parking.
[0037]
【The invention's effect】
As described above, according to the present invention, when a driver, particularly a beginner, performs a driving operation for parking, the convenience of the operation is improved by allowing a wide initial position to be taken, When there is an obstacle in three dimensions, it is possible to provide a parking assistance device that can perform parking assistance while avoiding the obstacle.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram of a parking assistance apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an image displayed on a monitor.
FIG. 3 is a flowchart of the operation of the parking support apparatus according to the present embodiment.
FIG. 4 is a plan view showing a state in which the host vehicle moves to a target parking area.
FIG. 5 is an enlarged view of a main part of FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Parking assistance apparatus, 2 ... Parking assistance ECU, 3 ... Camera, 4 ... Monitor, 5 ... Target parking position setting means, 6 ... Automatic steering means, 7 ... Start switch, C ... Own vehicle (vehicle), M ... Boundary , P1 ... parking preparation position, P2 ... target parking position, PL ... pole, T ... locus, W ... enlarged passage area.

Claims (4)

車両外部を撮像する撮像手段と、撮像された画像を表示する表示手段を備えた駐車支援装置であって、
設定された目標駐車位置を含む車両駐車領域を、前記目標駐車位置の幅方向に所定の幅をもって拡大して、駐車時の車両の通過を許容する拡大通過領域を設定する拡大通過領域設定手段と、
前記目標駐車位置に基づいて、前記拡大通過領域の側方位置における車両の通過を禁止しながら前記目標駐車位置までの軌跡を算出する軌跡算出手段と、
算出された軌跡に基づいて、車両通過領域の境界を算出する境界算出手段と、
前記境界算出手段によって算出された境界に対応する前記画面上の所定位置に、境界目印を表示する表示制御手段と、
を備えることを特徴とする駐車支援装置。
A parking assist device including an imaging unit that images the outside of the vehicle and a display unit that displays the captured image,
An enlarged passage area setting means for enlarging a vehicle parking area including the set target parking position with a predetermined width in the width direction of the target parking position, and setting an enlarged passage area that allows the vehicle to pass during parking ; ,
Trajectory calculation means for calculating a trajectory to the target parking position while prohibiting passage of a vehicle at a lateral position of the enlarged passing area based on the target parking position;
Boundary calculating means for calculating the boundary of the vehicle passage area based on the calculated trajectory;
Display control means for displaying a boundary mark at a predetermined position on the screen corresponding to the boundary calculated by the boundary calculation means;
A parking assistance device comprising:
前記境界目印が、高さ方向に延在するポールである請求項1に記載の駐車支援装置。  The parking assistance device according to claim 1, wherein the boundary mark is a pole extending in a height direction. 前記画面上における前記拡大通過領域の仕切り線と前記境界の交点に、前記ポールを表示する請求項2に記載の駐車支援装置。  The parking assistance device according to claim 2, wherein the pole is displayed at an intersection of a partition line of the enlarged passage area and the boundary on the screen. 前記境界が、前記軌跡から車幅方向に所定の安全マージンを見込んで算出されている請求項1から請求項3のうちのいずれか1項に記載の駐車支援装置。  The parking assistance device according to any one of claims 1 to 3, wherein the boundary is calculated from the locus in anticipation of a predetermined safety margin in a vehicle width direction.
JP2002003658A 2002-01-10 2002-01-10 Parking assistance device Expired - Lifetime JP3933935B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002003658A JP3933935B2 (en) 2002-01-10 2002-01-10 Parking assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002003658A JP3933935B2 (en) 2002-01-10 2002-01-10 Parking assistance device

Publications (2)

Publication Number Publication Date
JP2003205806A JP2003205806A (en) 2003-07-22
JP3933935B2 true JP3933935B2 (en) 2007-06-20

Family

ID=27643196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002003658A Expired - Lifetime JP3933935B2 (en) 2002-01-10 2002-01-10 Parking assistance device

Country Status (1)

Country Link
JP (1) JP3933935B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101365498B1 (en) * 2012-09-06 2014-03-13 주식회사 만도 Smart parking assist system of vehicle and control method thereof

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4457664B2 (en) * 2003-12-25 2010-04-28 株式会社エクォス・リサーチ Parking assistance device
WO2005108171A1 (en) * 2004-05-06 2005-11-17 Matsushita Electric Industrial Co., Ltd. Parking assisting apparatus
JP4089674B2 (en) * 2004-09-29 2008-05-28 株式会社デンソー Contact derailment avoidance navigation system
JP3977368B2 (en) 2004-09-30 2007-09-19 クラリオン株式会社 Parking assistance system
KR100716324B1 (en) * 2005-12-15 2007-05-11 현대자동차주식회사 Method for parking set in auto parking system
JP4793171B2 (en) * 2006-08-25 2011-10-12 株式会社デンソー Parking assistance device
JP4935458B2 (en) * 2007-03-28 2012-05-23 株式会社デンソー Driving assistance device
JP5104171B2 (en) * 2007-09-28 2012-12-19 日産自動車株式会社 Parking assistance device and parking assistance method
JP4661917B2 (en) * 2008-07-25 2011-03-30 日産自動車株式会社 Parking assistance device and parking assistance method
JP4790037B2 (en) * 2009-03-23 2011-10-12 トヨタ自動車株式会社 Parking assistance device
JP6100221B2 (en) * 2014-09-12 2017-03-22 アイシン精機株式会社 Delivery support apparatus and delivery support method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1178693A (en) * 1997-09-16 1999-03-23 Niles Parts Co Ltd Monitor device for vehicle
JP3445197B2 (en) * 1998-10-08 2003-09-08 松下電器産業株式会社 Driving operation assist device
JP4061757B2 (en) * 1998-12-03 2008-03-19 アイシン・エィ・ダブリュ株式会社 Parking assistance device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101365498B1 (en) * 2012-09-06 2014-03-13 주식회사 만도 Smart parking assist system of vehicle and control method thereof

Also Published As

Publication number Publication date
JP2003205806A (en) 2003-07-22

Similar Documents

Publication Publication Date Title
JP5713623B2 (en) Driver assistance method
US7598887B2 (en) Parking assist apparatus
JP3729786B2 (en) Parking assistance device
US6940423B2 (en) Device for monitoring area around vehicle
JP3927512B2 (en) Parking assistance device
JP4235051B2 (en) Parking assistance device
US7660659B2 (en) Driving support apparatus
JP3575364B2 (en) Steering support device
JP3692082B2 (en) Parking assistance device
JP3607994B2 (en) Vehicle periphery monitoring device
JP5872517B2 (en) Vehicle periphery display device
JP4635017B2 (en) Parking assistance device
JP2003175852A (en) Parking mode selecting device for vehicle
JP3933935B2 (en) Parking assistance device
JP5044136B2 (en) Parking assistance device
JP2005329915A (en) Parking support device
GB2359796A (en) Vehicle reversing aid for parallel parking
JP5852076B2 (en) Vehicle periphery display device
JP2004203365A (en) Parking supporting device
JP2009101776A (en) Vehicular parking support device
JP3885039B2 (en) Parking assistance device
JP2009126353A (en) Parking support device
JP6373916B2 (en) Parking exit support device
JP2001055099A (en) Steering support device at parallel parking
JP4110937B2 (en) Parking assistance device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070314

R151 Written notification of patent or utility model registration

Ref document number: 3933935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140330

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250