JP5109224B2 - 駐車空間検出装置 - Google Patents

駐車空間検出装置 Download PDF

Info

Publication number
JP5109224B2
JP5109224B2 JP2004254692A JP2004254692A JP5109224B2 JP 5109224 B2 JP5109224 B2 JP 5109224B2 JP 2004254692 A JP2004254692 A JP 2004254692A JP 2004254692 A JP2004254692 A JP 2004254692A JP 5109224 B2 JP5109224 B2 JP 5109224B2
Authority
JP
Japan
Prior art keywords
distance
parking
detection
vehicle
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004254692A
Other languages
English (en)
Other versions
JP2006071425A (ja
Inventor
久志 里中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2004254692A priority Critical patent/JP5109224B2/ja
Publication of JP2006071425A publication Critical patent/JP2006071425A/ja
Application granted granted Critical
Publication of JP5109224B2 publication Critical patent/JP5109224B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明は、駐車支援する際に用いる駐車空間を検出する駐車空間検出装置に関する。
車両を縦列駐車や並列駐車する場合、ステアリングホイールを操作しながら車両をバックさせなければならないので、運転者にとっては非常に難しい運転操作が要求される。そこで、このような駐車時の運転者の運転操作を支援するために、駐車支援装置が開発されている。駐車支援装置では、駐車するために必要となる駐車空間を検出し、その駐車空間に応じて駐車コースを求め、音声出力やディスプレイ表示等によって駐車案内を行う(特許文献1参照)。
この際、的確な駐車案内を行うためには、駐車車両等によって形成される駐車空間を高精度に検出することが重要となる。そこで、駐車支援装置では、車両の移動量と車両の左右両側の物体までの各距離を検出し、この検出した移動量と各距離に基づいて駐車空間を検出している。そのために、車両には、移動量を検出するための移動量センサ(例えば、車速センサ)や左側の距離を検出するための車両左側面に取り付けられる距離センサ(例えば、超音波センサ)及び右側の距離を検出するための車両右側面に取り付けられる距離センサが備えられている。
特開2003−104149号公報
各距離センサでは、検出周期(例えば、超音波センサの場合には発振周期が検出周期に相当する)毎に、物体までの距離を検出している。したがって、駐車車両等の障害物の端部(すなわち、駐車空間の端部)の位置を検出する場合、その検出分解能は距離センサの検出周期に依存する。この検出周期(発振周期)を制御するのは駐車支援装置のECU[Electronic Control Unit]であり、ECUの処理能力に応じて決まる。駐車空間を検出するためには少なくとも左右両側の2個の距離センサが必要となり、従来の駐車支援装置では左右両側で同じ精度で検出を行っている。そのため、ECUでは、常時、2個以上の距離センサの発振制御を行わなければならないので、その処理能力の制限から発振周期を十分に短くできない場合がある。発振周期が長いほど、検出分解能が低下し、障害物の端部の位置を検出精度が低下する。そのため、実際に駐車案内が必要な側の駐車空間の検出精度も低下し、駐車案内の精度も低下する。
そこで、本発明は、駐車空間を高精度に検出する駐車空間検出装置を提供することを課題とする。
本発明に係る駐車空間検出装置は、車両の移動量を検出する移動量検出手段と、検出周期毎に車両進行方向に対して左右両側の物体までの距離を各々検出する複数の距離検出手段とを備え、移動量検出手段で検出した移動量及び車両の移動中に距離検出手段で検出した物体までの距離に基づいて駐車空間を検出する駐車空間検出装置において、駐車方向を設定する駐車方向設定手段と、駐車方向設定手段で駐車方向を設定した後、複数の距離検出手段のうち当該設定した駐車方向側を検出するための距離検出手段の検出周期を他の距離検出手段の検出周期より短い周期に設定する検出周期設定手段とを備え、駐車方向設定手段は、複数の距離検出手段のうち車両の移動中に第1所定距離以上の距離を検出する距離検出手段がある場合、当該第1所定距離以上となった位置を物体の端部とし、当該第1所定距離以上を検出している間に物体の端部から移動量検出手段で検出した移動量が所定移動量以上となったときには当該第1所定距離以上となる距離を検出した距離検出手段の検出する側を駐車方向として設定することを特徴とする。また、本発明に係る駐車空間検出装置は、車両の移動量を検出する移動量検出手段と、検出周期毎に車両進行方向に対して左右両側の物体までの距離を各々検出する複数の距離検出手段とを備え、移動量検出手段で検出した移動量及び車両の移動中に距離検出手段で検出した物体までの距離に基づいて駐車空間を検出する駐車空間検出装置において、駐車方向を設定する駐車方向設定手段と、駐車方向設定手段で駐車方向を設定した後、複数の距離検出手段のうち当該設定した駐車方向側を検出するための距離検出手段の検出周期を他の距離検出手段の検出周期より短い周期に設定する検出周期設定手段とを備え、駐車方向設定手段は、複数の距離検出手段のうち車両の移動中に第2所定距離以下から第1所定距離以上となる距離を検出する距離検出手段がある場合、当該第2所定距離以下から第1所定距離以上となった位置を物体の端部とし、当該第1所定距離以上となった位置から移動量検出手段で検出した移動量が所定移動量以上となったときには当該第2所定距離以下から第1所定距離以上となる距離を検出した距離検出手段の検出する側を駐車方向として設定することを特徴とする。
この駐車空間検出装置では、移動量検出手段により車両の移動量を検出するとともに、複数の距離検出手段により車両進行方向の左右両側の物体までの各距離をそれぞれ検出する。そして、駐車空間検出装置では、左右両側の物体までの各距離により駐車車両等の障害物が存在しているか否かを検知するとともに移動量により障害物が存在していない間隔等を検知することにより、駐車空間を検出する。この際、駐車空間検出装置では、駐車方向設定手段により車両進行方向に対して左側あるいは右側のどちら側に駐車するかの駐車方向を設定する。そして、駐車空間検出装置では、検出周期設定手段により設定した駐車方向側の物体を検出するための距離検出手段の検出周期を他の距離検出手段の検出周期より短くする。つまり、駐車空間検出装置の処理能力には制限があるので、複数の距離検出手段のうち駐車方向側の距離検出手段の単位時間当たりの検出回数を増加し、他の距離検出手段の単位時間当たりの検出回数を減らす。これにより、駐車方向側の距離検出手段の車両移動方向の検出分解能が向上し、障害物が存在する位置(駐車空間の端部)を高精度に検出できる。その結果、実際に駐車案内が必要な側の駐車空間を高精度に検出でき、この駐車空間を用いて的確な駐車案内を行うことができる。
本発明の上記駐車空間検出装置では、駐車方向を検出するための駐車方向検出手段を備え、駐車方向設定手段では、駐車方向検出手段で検出した駐車方向を設定する構成としてもよい。
この駐車空間検出装置では、駐車方向検出手段により運転者から入力される情報や運転者自身の駐車時の変化等を利用して駐車方向を検出し、駐車方向設定手段によりこの検出した駐車方向により駐車方向を設定する。この場合、駐車空間の始端を検出する前に駐車方向を設定可能な場合もあるので、駐車空間の始端及び終端を高精度に検出できる場合がある。
本発明の上記駐車空間検出装置では、駐車方向検出手段は、ウインカスイッチであり、駐車方向設定手段は、ウインカスイッチで右が入力された場合には車両進行方向に対して右側を駐車方向として設定し、ウインカスイッチで左が入力された場合には車両進行方向に対して左側を駐車方向として設定するようにしてもよい。
この駐車空間検出装置では、運転者の駐車する際の操作を利用し、運転者によって入力されるウインカスイッチの情報を用いて駐車方向を検出する。つまり、ウインカスイッチで右が入力されている場合、駐車空間検出装置では、駐車方向設定手段により車両進行方向に対して右側に駐車すると判断し、駐車方向を右側と設定する。一方、ウインカスイッチで左が入力されている場合、駐車空間検出装置では、駐車方向設定手段により車両進行方向に対して左側に駐車すると判断し、駐車方向を左側と設定する。
本発明の上記駐車空間検出装置では、駐車方向検出手段は、運転者の視線を検出する視線検出手段であり、駐車方向設定手段は、視線検出手段で検出した視線方向に基づいて駐車方向を設定するようにしてもよい。
この駐車空間検出装置では、駐車する際に運転者が駐車する側を向くことを利用し、運転者の視線を用いて駐車方向を検出する。つまり、駐車空間検出装置では、運転者の視線を検出し、駐車方向設定手段によりその検出した視線に基づいて駐車方向を設定する。
本発明の上記駐車空間検出装置では、駐車方向設定手段は、車両の移動中に距離検出手段で検出した物体までの距離、または、移動量検出検出手段で検出した移動量及び車両の移動中に距離検出手段で検出した物体までの距離に基づいて駐車方向を設定する構成としてもよい。
この駐車空間検出装置では、車両進行方向に対して左右両側の障害物の存在状況に基づいて駐車方向を設定する。そのために、駐車空間検出装置では、駐車方向設定手段により、車両移動中の左右両側の物体までの各距離あるいは車両の移動量及び車両移動中の左右両側の物体までの各距離に基づいて障害物の存在の有無や障害物が存在していない距離等を検知する。この場合、障害物の端部(駐車空間の始端)を検出した後に駐車方向を設定可能なので、駐車空間の終端を高精度に検出できる。
本発明の上記駐車空間検出装置では、駐車方向設定手段は、複数の距離検出手段のうち車両の移動中に第2所定距離以下から第1所定距離以上となる距離を検出した距離検出手段の検出する側を駐車方向として設定するようにしてもよい。
この駐車空間検出装置では、駐車方向設定手段により、複数の距離検出手段で検出した車両移動中の各距離が第2所定距離以下か否かを判断する。そして、第2所定距離以下となる距離を検出した距離検出手段がある場合、駐車方向設定手段により、車両移動中にその距離検出手段で検出した距離が第1所定距離以上となったか否かを判断する。さらに、その検出した距離が第1所定距離以上となった場合、駐車方向設定手段により、その距離検出手段が検出する側を駐車方向として設定する。つまり、駐車車両等の障害物が存在する場合、車両が障害物の端部を通過するとき、距離検出手段で検出する距離が短い距離(第2所定距離以下の距離)から長い距離(第1所定距離以上の距離)に変化する。障害物を通過した後の引っ込んだ空間は駐車空間となる確率が高いので、その引っ込んだ空間がある側を駐車方向とする。
本発明の上記駐車空間検出装置では、駐車方向設定手段は、複数の距離検出手段のうち車両の移動中に第1所定距離以上の距離を検出する距離検出手段がある場合、当該第1所定距離以上となった位置を物体の端部とし、当該第1所定距離以上を検出している間に移動量検出手段で検出した移動量が所定移動量以上となったときには当該第1所定距離以上となる距離を検出した距離検出手段の検出する側を駐車方向として設定するようにしてもよい。
この駐車空間検出装置では、駐車方向設定手段により、複数の距離検出手段で検出した車両移動中の各距離が第1所定距離以上か否かを判断する。そして、第1所定距離以上となる距離を検出した距離検出手段がある場合、駐車方向設定手段により、車両移動中に第1所定距離以上の距離を検出している間に、移動量検出手段で検出した移動量が所定移動量以上か否かを判断する。その検出した移動量が所定移動量以上となった場合、駐車方向設定手段により、その距離検出手段が検出する側を駐車方向として設定する。つまり、車両からある程度は離れた距離(第1所定距離以上の距離)に障害物が存在しない状態がある程度の距離(所定移動量)続いている空間は駐車空間となる確率が高いので、その空間がある側を駐車方向とする。
本発明の上記駐車空間検出装置では、駐車方向設定手段は、複数の距離検出手段のうち車両の移動中に第2所定距離以下から第1所定距離以上となる距離を検出する距離検出手段がある場合、当該第2所定距離以下から第1所定距離以上となった位置を物体の端部とし、当該第1所定距離以上となった位置から移動量検出手段で検出した移動量が所定移動量以上となったときには当該第2所定距離以下から第1所定距離以上となる距離を検出した距離検出手段の検出する側を駐車方向として設定するようにしてもよい。
この駐車空間検出装置では、駐車方向設定手段により、複数の距離検出手段で検出した車両移動中の各距離が第2所定距離以下か否かを判断する。そして、第2所定距離以下となる距離を検出した距離検出手段がある場合、駐車方向設定手段により、その距離検出手段で検出した距離が第1所定距離以上となったか否かを判断する。さらに、その検出した距離が第1所定距離以上となった場合、駐車方向設定手段により、その第1所定距離以上となった位置(すなわち、障害物の端部)から移動量検出手段で検出した移動量が所定移動量以上か否かを判断する。その検出した移動量が所定移動量以上となった場合、駐車方向設定手段により、その距離検出手段が検出する側を駐車方向として設定する。つまり、この引っ込んだ状態がある程度の距離続いている空間は駐車空間となる確率が高いので、その空間がある側を駐車方向とする。
本発明の上記駐車空間検出装置では、所定移動量は、駐車支援する際に必要な駐車空間における車両進行方向の長さより短いと好適である。
この駐車空間検出装置では、駐車方向を設定する際に用いる所定移動量を駐車支援する際に必要な駐車空間における車両進行方向の長さより短くすることにより、駐車空間の終端(次の障害物の端部)を検出する前に駐車方向を設定できる。したがって、駐車空間の終端を高精度に検出することができる。なお、駐車支援する際に必要な駐車空間の長さは、車両の大きさや駐車形態に応じて設定され、例えば、縦列駐車の場合には車両の全長に応じて設定され、並列駐車の場合には車両の全幅に応じて設定される。
本発明の上記駐車空間検出装置では、駐車方向設定手段は、複数の距離検出手段で各々検出した左側の物体までの距離と右側の物体までの距離とを比較し、短い方の距離を検出した距離検出手段の検出する側を駐車方向として設定する構成としてもよい。
この駐車空間検出装置では、駐車方向設定手段により、複数の距離検出手段で各々検出した左側の物体までの距離と右側の物体までの距離とを比較し、車両の側方に駐車車両等の障害物が存在するか否かを判断する。短い方の距離を検出している側には障害物が存在するので、駐車方向設定手段により、その短い方を検出している距離検出手段の検出する側を駐車方向と設定する。つまり、障害物が存在し、その障害物の端部は駐車空間の始端となる可能性が高いので、その障害物が存在する側を駐車方向とする。この場合、駐車空間の始端を検出する前に駐車方向を設定するので、駐車空間の始端及び終端を高精度に検出できる。
本発明によれば、駐車方向側の距離検出手段の検出周期を短くすることにより、駐車空間を高精度に検出することができる。
以下、図面を参照して、本発明に係る駐車空間検出装置の実施の形態を説明する。
本実施の形態では、本発明に係る駐車空間検出装置を、駐車支援装置における駐車空間検出機能として適用する。本実施の形態に係る駐車支援装置は、車両の側方に存在する物体までの距離を検出するために車両の左側面と右側面に1個づつ超音波センサを備えるとともに、車両の移動量を検出するために車速センサを備えている。そして、本実施の形態に係る駐車空間検出装置では、車両の移動中に超音波センサで検出した距離及び車速センサの検出値に基づく移動量に基づいて駐車空間を検出する。
図1〜図3を参照して、本実施の形態に係る駐車支援装置1の構成について説明する。図1は、本実施の形態に係る駐車支援装置の構成図である。図2は、図1の駐車支援装置における駐車空間検出機能の説明図である。図3は、図1のECUにおける超音波センサに対する発振制御を示す表である。
駐車支援装置1は、車両を駐車する際の運転者の運転操作を支援するために、音声出力とディスプレイ表示により駐車案内を行う。特に、駐車支援装置1では、的確な駐車案内を行うために、駐車空間を高精度に検出する。そのために、駐車支援装置1は、右側超音波センサ10、左側超音波センサ11、車速センサ12、操舵角センサ13、シフトポジションセンサ14、バックカメラ15、駐車支援スイッチ16、ディスプレイ17、スピーカ18及びECU19を備えている。
なお、本実施の形態では、右側超音波センサ10及び左側超音波センサ11が特許請求の範囲に記載する複数の距離検出手段に相当し、車速センサ12が特許請求の範囲に記載する移動量検出手段に相当し、ECU19が特許請求の範囲に記載する駐車方向設定手段及び検出周期設定手段に相当する。
右側超音波センサ10は、車両の右側面の前方側に配置され、車両進行方向に対して右側に存在する物体までの距離を検出する距離センサである。右側超音波センサ10では、検出した距離を右側距離信号としてECU19に送信する。左側超音波センサ11は、車両の左側面の前方側に配置され、車両進行方向に対して左側に存在する物体までの距離を検出する距離センサである。左側超音波センサ11では、検出した距離を左側距離信号としてECU19に送信する。なお、物体を検出できない場合(つまり、超音波センサ10,11の検出範囲内に物体が存在しない場合)、各距離信号には無限大等の物体までの距離を検出不能であることが示される。
超音波センサ10,11では、発振周期(検出周期)毎に、所定の周波数の超音波を発生し、その発生した超音波を受波する。そして、超音波センサ10,11では、発振してから受波するまでの時間を計測することによって物体までの距離を検出する。超音波センサ10,11では、ECU19から右側発振制御信号、左側発振制御信号をそれぞれ受信し、各発振制御信号に示されている発振周期に応じてそれぞれ発振する。2つの超音波センサ10,11を合わせた単位時間当たりの検出回数の最大値はECU19における処理能力によって規定されており、一方の超音波センサの発振周期を長くした場合(つまり、単位時間当たりの検出回数を少なくした場合)には他方の超音波センサの発振周期をその長くした分短くできる(つまり、単位時間当たりの検出回数を多くできる)。
車速センサ12は、車輪の回転速度を検出する車輪速センサであり、その検出値を車速信号としてECU19に送信する。ECU19において車速センサ12の検出値に基づいて車速及び車両の走行距離(移動量)を推定するが、車速センサ12以外にもトランスミッションの回転数を検出するセンサ等の他の車速センサを用いてもよい。操舵角センサ13は、ステアリングホイールから入力される操舵角を検出するセンサであり、その検出値を操舵角信号としてECU19に送信する。シフトポジションセンサ14は、運転者によって選択されているシフトレバーの位置を検出するセンサであり、その検出値をシフトポジション信号としてECU19に送信する。
バックカメラ15は、車両の後方に配置され、車両の後方を撮像するカメラである。バックカメラ15は、CCD[Charge coupled device]等の撮像素子を備えるデジタルカメラであり、デジタル画像データからなる撮像画像を画像信号としてECU19に送信する。シフトレバーでリアレンジが選択された場合、ディスプレイ17ではバックカメラ15で撮影した画像に自動で切り換る。
駐車支援スイッチ16は、駐車支援の開始、縦列駐車、並列駐車を選択するためのスイッチであり、1つのスイッチからなる。駐車支援スイッチ16が1回押されると駐車支援の開始が選択され、2回押されると縦列駐車が選択され、3回押されると並列駐車が選択され、4回押されると駐車支援の中止が選択される。したがって、1回以上かつ3回以下の回数押されている場合、駐車支援装置1では駐車支援を行う。駐車支援が終了すると、この押された回数はリセットされる。駐車支援スイッチ16では、その押された回数をスイッチ信号としてECU19に送信する。駐車支援スイッチ16は、ディスプレイ17の画面上に設けられるタッチスイッチでよいし、あるいは、機械式のスイッチでもよい。
ディスプレイ17は、カーナビゲーション画面、テレビ画面、駐車支援の駐車案内画面(バックカメラ15の撮像画面)等の様々な画面を表示するための液晶ディスプレイである。ディスプレイ17では、駐車支援装置1等の各装置からの映像信号を受信し、映像信号に応じて画面表示する。
スピーカ18は、カーナビゲーションの音声、テレビの音声、駐車支援の駐車案内音声等の様々な音声を出力するためのスピーカである。スピーカ18では、駐車支援装置1等の各装置からの音声信号を受信し、音声信号に応じて音声出力する。
ECU19は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]等からなる電子制御ユニットである。ECU19では、ROMに記憶されている専用のプログラムをRAMにロードし、CPUによってプログラムに記述された各処理を実行する。ECU19では、各種センサ10,11,12,13,14、バックカメラ15、駐車支援スイッチ16からの各種信号を取り入れ、超音波センサ発振制御処理、駐車方向設定処理、駐車空間検出処理、駐車支援処理等の各種処理を行う。そして、ECU19では、駐車支援を行う場合、ディスプレイ17やスピーカ18を利用して駐車案内を行う。なお、本実施の形態では、特許請求の範囲に記載する駐車方向設定手段及び検出周期設定手段はECU19においてプログラム(ソフトウエア)が実行されることによってそれぞれ構成される(駐車方向設定処理、超音波センサ発振制御処理が相当する)。
ECU19では、車速センサ12からの車速信号に基づいて車速を演算するとともに走行距離(車両の移動量)を演算する。そして、ECU19では、車速が検出開始車速以下になったか否かを判定する。検出開始車速以下になった場合、ECU19では、超音波センサ10,11に対する発振制御を開始し、超音波センサ10,11による距離検出を開始する。検出開始車速は、車両が駐車する際に必要となる低車速まで車速が低下したか否かを判定するための車速である。駐車支援装置1では、低車速の場合には、常時、駐車支援に対する準備を行うために(駐車空間を検出するために)超音波センサ10,11による検出を行う。
ECU19では、検出開始時には、2つの超音波センサ10,11で許容される最も短い発振周期を示す各発振制御信号を設定し、各超音波センサ10,11にそれぞれ送信する(図3の表のNO.1参照)。つまり、ECU19が2つの超音波センサ10,11に対する制御に許容できる処理能力において最速で2つの超音波センサ10,11を発振させ、左右両側を同一の精度で検出する。この超音波センサ10,11による距離検出は、検出開始車速以下の車速であれば、走行中及び停止中に常時行われる。
ECU19では、超音波センサ10,11からの各距離信号に示される各距離が障害物存在検知距離EL以内か否かをそれぞれ判定する(図2参照)。障害物存在検知距離ELとしては、自車両Aの側方に駐車車両B等の障害物が存在しているか否かを判定するための短い距離が設定される。障害物が自車両Aの側方に存在している場合、その障害物を通過すると駐車空間が存在する可能性が高いので、自車両Aの側方に障害物が存在しているか否かを判定する。図2の例では、実線で描かれる自車両Aの位置では、左側超音波センサ11で検出した距離が障害物存在検知距離EL以内となる。
障害物存在検知距離EL以内となる距離を検出した超音波センサがある場合、ECU19では、その超音波センサからの距離信号で示される距離が障害物未存在検知距離NL以上か否かを判定する(図2参照)。障害物未存在検知距離NLは、自車両Aの側方に存在していた障害物が自車両Aが進行することによって側方に存在しなくなったか否かを判定するための距離が設定され、障害物存在検知距離ELより長い距離が設定される。自車両Aの側方に存在していた障害物を通過した場合、その障害物の端部が駐車空間の始端SEとなる可能性が高いので、その障害物の端部の位置を検出する。ECU19では、その超音波センサからの距離信号で示される距離が障害物存在検知距離EL以内から障害物未存在検知距離NL以上に切り換った位置を障害物の端部(すなわち、駐車空間の始端SE)と検知する。図2の例では、駐車車両Bの前端において左側超音波センサ11で検出した距離が障害物存在検知距離EL以内から障害物未存在検知距離NL以上となり、駐車空間の始端SEとなる。
障害物の端部を検知した場合、ECU19では、車速信号に基づく走行距離からその障害物の端部からの距離を演算し、その演算した距離が駐車空間検出可能距離AL以上になったか否かを判定する(図2参照)。この際、ECU19では、障害物の端部からの距離を判定している側を検出している超音波センサからの距離信号に示される距離が障害物存在検知距離EL以内となった場合(つまり、障害物存在検知距離EL以内に次の障害物が存在する場合)には駐車空間検出可能距離ALによる判定を中止し、再度、障害物の端部の検知するための処理を行う。駐車空間検出可能距離ALは、検知した障害物の端部から駐車するために必要な空間が存在するか否かを判定するための距離であり、駐車支援する際に最低限必要となる駐車空間の車両進行方向の長さより若干短い距離が設定される。この最低限必要となる駐車空間の車両進行方向の長さは、車両の全長や全幅及び駐車形態に応じて設定され、例えば、縦列駐車の場合には自車両Aの全長より長い長さであり、並列駐車の場合には自車両Aの全幅より広い幅である。図2の例の場合、駐車車両Bの前端から駐車空間検出可能距離AL以上の空間が存在するので、その側方を走行中の自車両Aの位置(一点鎖線で描かれている自車両Aの位置)では、左側超音波センサ11で検出した距離が障害物未存在検知距離NL以上となる。なお、ECU19では、駐車支援スイッチ16からのスイッチ信号による押された回数に応じて縦列駐車かあるいは並列駐車かを判断し、その駐車の形態に応じて駐車空間検出可能距離ALを設定する。
障害物の端部から駐車空間検出可能距離AL以上となった場合、ECU19では、障害物の端部を検知した側(すなわち、障害物存在検知距離EL以内から障害物未存在検知距離NL以上となる距離を検出した超音波センサが検出する側)を駐車方向と設定する。つまり、自車両Aが障害物を通過した後に障害物が存在しない状態が駐車支援する際に最低限必要な距離以上続いている場合には、駐車支援に必要な駐車空間を検出できるので、そちら側を駐車方向として設定する。
左側又は右側の一方の側を駐車方向と設定した場合、ECU19では、駐車方向と設定した側を検出する超音波センサの発振周期を短い周期とし、他方の超音波センサの発振周期を長い周期とした発振制御信号を設定し、各超音波センサ10,11にそれぞれ送信する(図3の表のNo.2、No.3参照)。つまり、駐車方向側の超音波センサを優先的に高速発振させ、駐車空間を検出する側の検出精度(検出分解能)を上げる。この際、ECU19が2つの超音波センサ10,11に対する制御に許容できる処理能力に制限があるので、高速発振させた分と相殺するために、駐車方向と逆側の超音波センサを低速発振させ、駐車空間を検出しない側の検出精度を落とす。駐車空間を検出しない側も低速で超音波センサによる検出を継続するのは、この駐車空間を検出しない側も駐車空間が出現する可能性があるので、引き続き障害物を検知するためである。
なお、駐車方向と逆側の超音波センサの発振を完全に停止し、駐車方向側の超音波センサのみを発振させるようにしてもよい。この場合、2つの超音波センサ10,11を同速で発振させる場合に比べて、駐車方向側の超音波センサをその速度の2倍の速度で発振させることができ、2倍の検出精度(検出分解能)が得られる。
両側を駐車方向と設定した場合、ECU19では、2つの超音波センサ10,11で許容される最も短い発振周期を示す各発振制御信号を設定し、各超音波センサ10,11にそれぞれ送信する(図3の表のNO.4参照)。つまり、両側に駐車空間を検出できる可能性があるので、2つの超音波センサ10,11を同速で発振させ、左右両側を同一の精度で検出を行う。この場合、操舵角センサ13からの操舵角信号による操舵角に基づいて運転者がステアリングホイールを切った側とは逆側を駐車方向と判定し、その駐車方向と判定した側の超音波センサを優先的に発振させるようにしてもよい。
駐車方向を設定後、ECU19では、駐車方向と設定している側の超音波センサからの距離信号で示される距離が障害物存在検知距離EL以内になったか否かを判定する(図2参照)。その距離が障害物存在検知距離EL以内になった場合、ECU19では、その超音波センサからの距離信号で示される距離が障害物未存在検知距離NL以上から障害物存在検知距離EL以内に切り換った位置を次の障害物の端部(すなわち、駐車空間の終端EE)と検知する。2つの障害物の間に形成される駐車空間検出可能距離AL以上の空間(始端SEから終端EEまでの空間)が駐車空間である。図2の例では、駐車車両Cの後端において左側超音波センサ11で検出した距離が障害物未存在検知距離NL以上から障害物存在検知距離EL以内となり、駐車空間の終端EEとなる。
また、ECU19では、障害物未存在検知距離NL以上から障害物存在検知距離EL以内に切り換ったときに、駐車方向と設定している側の超音波センサからの距離信号で示される距離により障害物までの距離を取得し、障害物の角(図2の例の場合、車両Cの右側後端の角)の位置を検知する。この障害物の角の位置は、駐車支援する際の重要なポイントとなる。さらに、ECU19では、車速センサ12からの車速信号に基づく走行距離及び操舵角センサ13からの操舵角信号に基づく操舵角から、その障害物の角あるいは駐車空間に対する自車両Aの位置を演算する。
この駐車空間の終端EEの検出においては、駐車空間を検出する側の超音波センサを優先発振させている場合、2つの超音波センサ10,11を同速で発振させている場合に比べて駐車空間の終端EEの位置の検出精度が高くなる。というのは、超音波センサを高速で発振させるほど、その超音波センサでの単位時間当たりに検出回数が増加し、走行中の検出間隔が短くなる。検出間隔が短くなるほど、超音波センサで検出した距離が障害物未存在検知距離NL以上から障害物存在検知距離EL以内となる位置を検出する際の検出分解能も向上する。ちなみに、検出間隔については、自車両Aの車速が低速になるほど、短くなる。
駐車空間を検出すると、ECU19では、スイッチ信号に基づいて駐車支援を行うか否かを判断する。駐車支援を行うと判断した場合、ECU19では、駐車空間と自車両Aの位置に基づいて駐車コースを演算する。さらに、ECU19では、駐車コースから駐車案内を決定する。
駐車案内時には、ECU19では、バックカメラ15からの画像信号による車両の後方の画像に検出した駐車空間及び駐車案内に応じた運転操作画面を示した画像を生成し、その画像の映像信号をディスプレイ17に送信する。また、ECU19では、駐車案内に応じた運転操作音声を生成し、その音声信号をスピーカ18に送信する。この際、ECU19では、車速信号に基づく走行距離及び操舵角信号に基づく操舵角並びにシフトポジション信号に基づくシフトレバーの位置から、駐車コースにおける自車両Aの位置を検知し、その位置に応じて駐車案内の運転者操作画面と運転操作音声を設定している。なお、駐車案内としては、演算した駐車コースに従って操舵角等を車両側で制御する自動駐車でもよい。
図1〜図3を参照して、駐車支援装置1の動作について説明する。特に、ECU19における駐車空間を検出するまでの処理については、図4のフローチャートに沿って説明する。図4は、ECUにおける駐車空間を検出するまでの処理の流れを示すフローチャートである。
車速センサ12では、各輪の回転速度を検出し、その検出値を車速信号としてECU19に送信する。ECU19では、車速信号に基づいて、車速及び走行距離を演算する。そして、ECU19では、車速が検出開始車速以下か否かを判定し、車速が検出開始車速以下になるまで超音波センサ10,11による距離検出を停止する(S1)。
車速が検出開始車速以下になると、ECU19では、超音波センサ10,11に対する発振制御を開始する(S2)。発振制御開始時には、ECU19では、同一の発振周期を示した各発振制御信号を設定し、超音波センサ10,11にそれぞれ送信する。2つの超音波センサ10,11では、同一の発振周期毎に発振し、同一の検出周期毎に物体までの距離を検出する。そして、超音波センサ10,11では、各距離信号をECU19に送信する。この際、自車両Aは、走行しているので、側方に存在する駐車車両等の障害物を通過する場合がある。障害物の側方を通過中には、超音波センサ10,11で検出する距離は、短くなる。
ECU19では、超音波センサ10,11の発振周期(検出周期)毎に各距離信号を受信する。そして、ECU19では、各距離信号に示される各距離が障害物存在検知距離EL以内か否かをそれぞれ判定する(S3)。自車両Aの側方に障害物が存在しない場合、その各距離は障害物存在検知距離EL以上である。一方、自車両Aの側方に障害物が存在すると、その障害物が存在する側の超音波センサで検出した距離が障害物存在検知距離EL以内となる。障害物存在検知距離EL以内になると、ECU19では、その超音波センサで検出した距離が障害物未存在検知距離NL以上か否かを判定する(S3)。自車両Aの走行によって障害物を通過すると、その超音波センサで検出した距離が障害物未存在検知距離NL以上となる。障害物未存在検知距離NL以上になると、ECU19では、その超音波センサで検出した距離が障害物存在検知距離EL以内から障害物未存在検知距離NL以上に切り換った位置を障害物の端部と検知する(S3)。
なお、障害物の端部を検知できなかった場合に駐車支援スイッチ16からのスイッチ信号に示される情報で駐車支援開始(縦列駐車又は並列駐車)となっているときには、ECU19では、障害物が存在しないので、駐車支援スイッチ16を押された付近に大きな駐車空間を設定する。
障害物の端部を検知すると、ECU19では、走行距離からその障害物の端部からの距離を演算し、その端部からの距離が駐車空間検出可能距離AL以上になったか否かを判定する(S4)。その端部が検知された障害物の近くに他の障害物が存在しない場合、その端部からの距離が駐車空間検出可能距離AL以上となる。駐車空間検出可能距離AL以上になると、ECU19では、障害物の端部を検知した側を駐車方向と設定する(S5)。駐車方向としては、自車両Aの左側又は右側の一方が設定されるが、左右両側においてS3及びS4の判定条件を満たす場合には左右両側に対して駐車方向と設定する場合もある。
なお、障害物の端部からの距離が駐車空間検出可能距離AL以上とならない場合、端部を検出した障害物の近くに他の障害物が存在するので、駐車空間を設定することができない。この場合、S3の処理に戻って、ECU19では、その近くに存在する他の障害物の端部を検知する。
駐車方向を設定すると、ECU19では、その駐車方向側の超音波センサを優先的に発振させるために、その駐車方向側の超音波センサに対する発振制御信号に短い周期の発振周期を設定するとともに駐車方向とは逆側の超音波センサに対する発振制御信号に長い周期の発振周期を設定し、設定した各発振制御信号を超音波センサ10,11にそれぞれ送信する。駐車方向側の超音波センサでは、短い発振周期毎に発振し、短い検出周期毎に物体までの距離を検出する。一方、駐車方向と逆側の超音波センサでは、長い発振周期毎に発振し、長い検出周期毎に物体までの距離を検出する。なお、左右両側を駐車方向と設定している場合、ECU19では2つの超音波センサ10,11に対する各発振制御信号に同一の発振周期を設定し、2つの超音波センサ10,11では同一の発振周期毎に発振する。
ECU19では、右側超音波センサ10が優先的に発振しているか否かを判定し、左側超音波センサ11が優先的に発振して場合にはS8の処理に移行する(S6)。右側超音波センサ10が優先的に発振している場合、ECU19では、右側超音波センサ10で検出した距離が障害物存在検知距離EL以内になったか否かを判定する(S7)。自車両Aの走行によって自車両Aの右側に次の障害物が存在すると、その検出した距離が障害物存在検知距離EL以内になる。障害物存在検知距離EL以内になると、ECU19では、右側超音波センサ10で検出した距離が障害物未存在検知距離NL以上から障害物存在検知距離EL以内に切り換った位置を障害物の端部と検知する(S7)。これにより、自車両Aの右側に存在する駐車空間の始端SEと終端EEが検知される。さらに、ECU19では、障害物未存在検知距離NL以上から障害物存在検知距離EL以内に切り換ったときに、右側超音波センサ10で検出した距離により障害物までの距離を取得し、障害物の角の位置も検知する(S7)。
ECU19では、左側超音波センサ11が優先的に発振しているか否かを判定し、右側超音波センサ10が優先的に発振して場合には処理を終了する(S8)。左側超音波センサ11が優先的に発振している場合、ECU19では、左側超音波センサ11で検出した距離が障害物存在検知距離EL以内になったか否かを判定する(S9)。自車両Aの走行によって自車両Aの左側に次の障害物が存在すると、その検出した距離が障害物存在検知距離EL以内になる。障害物存在検知距離EL以内になると、ECU19では、左側超音波センサ11で検出した距離が障害物未存在検知距離NL以上から障害物存在検知距離EL以内に切り換った位置を障害物の端部と検知する(S9)。これにより、自車両Aの左側に存在する駐車空間の始端SEと終端EEが検知される。さらに、ECU19では、障害物未存在検知距離NL以上から障害物存在検知距離EL以内に切り換ったときに、左側超音波センサ11で検出した距離により障害物までの距離を取得し、障害物の角の位置も検知する(S9)。
なお、各超音波センサ10,11で検出した距離が障害物存在検知距離EL以内とならない場合、自車両Aの側方に次の障害物が存在しない。そこで、ECU19では、一方しか障害物が存在しないので、その一方の障害物の端部を基準にして大きな駐車空間を設定する。また、左右両側を駐車方向と設定している場合、S7及びS9の処理を両方実行し、左右両側の駐車空間を検出する。
駐車空間を検出すると、ECU19では、運転者が駐車支援を要求している場合には、駐車空間と自車両Aの位置に基づいて駐車コースを演算し、駐車コースから駐車案内を決定する。そして、ECU19では、自車両Aの位置と駐車案内に応じて運転操作画面と運転操作音声を順次設定する。さらに、ECU19では、運転操作画面に応じて映像信号を設定してディスプレイ17に送信するとともに、運転操作音声に応じて音声信号を設定してスピーカ18に送信する。ディスプレイ17では、自車両Aの後方の画像とともに運転操作を表示する。スピーカ18では、運転操作音声を出力する。この際、運転者は、この運転操作の案内に従って、ステアリングホイール、ブレーキペダル、アクセルペダル、シフトレバーを操作する。すると、駐車空間内に自車両Aを簡単に駐車させることができる。
この駐車支援装置1によれば、駐車方向を設定し、その駐車方向を設定した側の超音波センサを優先的に発振させるので、その超音波センサの検出分解能が向上する。その結果、駐車空間を高精度に検出でき、その駐車空間を用いて的確な駐車案内を行うことができる。さらに、駐車支援装置1では、従来の駐車支援装置に備わる車速センサや超音波センサの検出値を用いて駐車方向を設定するので、ECU19における処理の追加により簡単に駐車方向設定手段及び検出周期設定手段を構成することができる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では駐車空間検出機能が駐車支援装置に組み込まれる構成としたが、駐車空間検出装置単体で構成してもよい。
また、本実施の形態では距離検出手段として超音波センサを適用したが、各種レーダセンサ、カメラ等の他のものを適用してもよい。カメラの場合、検出周期としては撮像画像を取り入れるサンプリング周期が相当し、駐車方向が設定されるとその駐車方向側のカメラのサンプリング周期を短くする。
また、本実施の形態では障害物の端部を検出し、その端部から駐車空間検出可能距離以上の空間が存在する場合に駐車方向を設定する構成としたが、障害物の端部を検出した時点で駐車方向を設定する構成としてもよいし、障害物未存在検知距離以上である空間が駐車空間検出可能距離以上続く場合に駐車方向を設定する構成としてもよい。また、右側超音波センサで検出した距離と左側超音波センサで検出した距離とを比較し、その距離が短い方(つまり、駐車車両等の障害物が存在する方)を駐車方向と設定する構成としてもよい。この場合、障害物の存在を検出した時点で超音波センサの優先発振が可能となるので、駐車空間における始端及び終端を高精度に検出することが可能となる。
また、ECUにおいてウインカスイッチからのウインカ情報を取り入れ、ウインカ情報で右と入力されている場合には駐車方向を右側と設定し、ウインカ情報で左と入力されている場合には駐車方向を左側と設定する構成としてもよい。また、運転者の視線を検出する装置を設け、当該装置からECUにおいて視線情報を取り入れ、運転者の視線が右方向の場合には駐車方向を右側と設定し、左方向の場合には駐車方向を左画輪と設定する構成としてもよい。この場合、ウインカ情報や視線情報で駐車方向を設定できた時点で超音波センサの優先発振が可能となるので、駐車空間における始端及び終端を高精度に検出することが可能な場合もある。
本実施の形態に係る駐車支援装置の構成図である。 図1の駐車支援装置における駐車空間検出機能の説明図である。 図1のECUにおける超音波センサに対する発振制御を示す表である。 図1のECUにおける駐車空間を検出するまでの処理の流れを示すフローチャートである。
符号の説明
1…駐車支援装置、10…右側超音波センサ、11…左側超音波センサ、12…車速センサ、13…操舵角センサ、14…シフトポジションセンサ、15…バックカメラ、16…駐車支援スイッチ、17…ディスプレイ、18…スピーカ、19…ECU

Claims (3)

  1. 車両の移動量を検出する移動量検出手段と、検出周期毎に車両進行方向に対して左右両側の物体までの距離を各々検出する複数の距離検出手段とを備え、前記移動量検出手段で検出した移動量及び車両の移動中に前記距離検出手段で検出した物体までの距離に基づいて駐車空間を検出する駐車空間検出装置において、
    駐車方向を設定する駐車方向設定手段と、
    前記駐車方向設定手段で駐車方向を設定した後、前記複数の距離検出手段のうち当該設定した駐車方向側を検出するための距離検出手段の検出周期を他の距離検出手段の検出周期より短い周期に設定する検出周期設定手段と
    を備え、
    前記駐車方向設定手段は、前記複数の距離検出手段のうち車両の移動中に第1所定距離以上の距離を検出する距離検出手段がある場合、当該第1所定距離以上となった位置を物体の端部とし、当該第1所定距離以上を検出している間に前記物体の端部から前記移動量検出手段で検出した移動量が所定移動量以上となったときには当該第1所定距離以上となる距離を検出した距離検出手段の検出する側を駐車方向として設定することを特徴とする駐車空間検出装置。
  2. 車両の移動量を検出する移動量検出手段と、検出周期毎に車両進行方向に対して左右両側の物体までの距離を各々検出する複数の距離検出手段とを備え、前記移動量検出手段で検出した移動量及び車両の移動中に前記距離検出手段で検出した物体までの距離に基づいて駐車空間を検出する駐車空間検出装置において、
    駐車方向を設定する駐車方向設定手段と、
    前記駐車方向設定手段で駐車方向を設定した後、前記複数の距離検出手段のうち当該設定した駐車方向側を検出するための距離検出手段の検出周期を他の距離検出手段の検出周期より短い周期に設定する検出周期設定手段と
    を備え、
    前記駐車方向設定手段は、前記複数の距離検出手段のうち車両の移動中に第2所定距離以下から第1所定距離以上となる距離を検出する距離検出手段がある場合、当該第2所定距離以下から第1所定距離以上となった位置を物体の端部とし、当該第1所定距離以上となった位置から前記移動量検出手段で検出した移動量が所定移動量以上となったときには当該第2所定距離以下から第1所定距離以上となる距離を検出した距離検出手段の検出する側を駐車方向として設定することを特徴とする駐車空間検出装置。
  3. 前記所定移動量は、駐車支援する際に必要な駐車空間における車両進行方向の長さより短いことを特徴とする請求項1又は請求項2に記載の駐車空間検出装置。
JP2004254692A 2004-09-01 2004-09-01 駐車空間検出装置 Expired - Fee Related JP5109224B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004254692A JP5109224B2 (ja) 2004-09-01 2004-09-01 駐車空間検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004254692A JP5109224B2 (ja) 2004-09-01 2004-09-01 駐車空間検出装置

Publications (2)

Publication Number Publication Date
JP2006071425A JP2006071425A (ja) 2006-03-16
JP5109224B2 true JP5109224B2 (ja) 2012-12-26

Family

ID=36152224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004254692A Expired - Fee Related JP5109224B2 (ja) 2004-09-01 2004-09-01 駐車空間検出装置

Country Status (1)

Country Link
JP (1) JP5109224B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007253819A (ja) * 2006-03-23 2007-10-04 Toyota Motor Corp 駐車支援装置
JP4432929B2 (ja) 2006-04-25 2010-03-17 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP4613871B2 (ja) * 2006-05-09 2011-01-19 トヨタ自動車株式会社 駐車支援装置
JP4386083B2 (ja) * 2007-02-27 2009-12-16 トヨタ自動車株式会社 駐車支援装置
US8301343B2 (en) 2007-05-02 2012-10-30 Toyota Jidosha Kabushiki Kaisha Vehicle behavior control device
KR101202917B1 (ko) * 2010-11-03 2012-11-20 주식회사 만도 차량의 주차제어시스템
JP5857527B2 (ja) * 2011-08-23 2016-02-10 日産自動車株式会社 駐車支援装置
JP2014100958A (ja) * 2012-11-16 2014-06-05 Toyota Motor Corp 駐車支援装置及び制御装置
US10814913B2 (en) 2017-04-12 2020-10-27 Toyota Jidosha Kabushiki Kaisha Lane change assist apparatus for vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2524186B2 (ja) * 1988-03-29 1996-08-14 インダストリアル テクノロジイ リサーチ インスティテュート 自動車バックパ―キング自動装置
JP2004009791A (ja) * 2002-06-04 2004-01-15 Mitsubishi Motors Corp 駐車支援装置
JP4045895B2 (ja) * 2002-08-22 2008-02-13 日産自動車株式会社 駐車スペース検出装置
DE10257722A1 (de) * 2002-12-11 2004-07-01 Robert Bosch Gmbh Einparkhilfe

Also Published As

Publication number Publication date
JP2006071425A (ja) 2006-03-16

Similar Documents

Publication Publication Date Title
JP4020128B2 (ja) 目標位置設定装置およびそれを備えた駐車支援装置
JP4900232B2 (ja) 車両用駐車支援装置および映像表示方法
JP2008013015A (ja) 車両周辺画像生成装置および画像切替方法
JP4321357B2 (ja) 駐車支援装置
JP7465668B2 (ja) 車載装置、駐車支援システム及び駐車支援方法
JP2008207732A (ja) 運転支援装置
JP4816512B2 (ja) 運転支援装置
JP5109224B2 (ja) 駐車空間検出装置
JP5971197B2 (ja) 駐車支援装置
JP2008030705A (ja) 車両周辺画像表示システム
JP7555712B2 (ja) 駐車支援装置及び駐車支援方法
JP4432736B2 (ja) 駐車支援システム
JP7400338B2 (ja) 駐車支援装置
JP4946816B2 (ja) 駐車支援装置、駐車支援方法及びコンピュータプログラム
JP6662655B2 (ja) 車両用画像表示装置
JP7492369B2 (ja) 駐車支援装置及び駐車支援方法
JP2005178464A (ja) 駐車支援装置
JP5160753B2 (ja) 車載用装置
CN112644467A (zh) 停车辅助装置、停车辅助方法、以及非暂时性存储介质
JP7518734B2 (ja) 駐車支援装置及び駐車支援方法
JP7492377B2 (ja) 車載装置及び出庫支援方法
WO2021157241A1 (ja) 駐車支援装置及び駐車支援方法
JP2020090163A (ja) 車両用表示装置
JP7576454B2 (ja) 駐車支援装置及び駐車支援方法
JP7573377B2 (ja) 駐車支援装置、及び駐車支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120924

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees