JP4491978B2 - 車両の後退支援装置および後退支援方法 - Google Patents

車両の後退支援装置および後退支援方法 Download PDF

Info

Publication number
JP4491978B2
JP4491978B2 JP2001053007A JP2001053007A JP4491978B2 JP 4491978 B2 JP4491978 B2 JP 4491978B2 JP 2001053007 A JP2001053007 A JP 2001053007A JP 2001053007 A JP2001053007 A JP 2001053007A JP 4491978 B2 JP4491978 B2 JP 4491978B2
Authority
JP
Japan
Prior art keywords
vehicle
parking
display
trajectory
locus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001053007A
Other languages
English (en)
Other versions
JP2001315600A (ja
Inventor
俊明 柿並
庄二 河田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2001053007A priority Critical patent/JP4491978B2/ja
Publication of JP2001315600A publication Critical patent/JP2001315600A/ja
Application granted granted Critical
Publication of JP4491978B2 publication Critical patent/JP4491978B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/10Automatic or semi-automatic parking aid systems

Landscapes

  • Steering Control In Accordance With Driving Conditions (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車両の後退を支援する後退支援装置および後退支援方法に関するものであり、例えば、駐車や一時的な退避のために車両を後退させる場合、車両の後方画像をカメラにより撮影し、車内の表示器(モニタ)に後方画像と車両の予想軌跡(予想後退軌跡)を表示させて、ドライバーの後退操作を支援する装置および方法に係わる。
【0002】
【従来の技術】
従来から後退支援装置として、縦列駐車や車庫入れ等の駐車に不慣れな初心者を駐車操作時に補助する方法が知られている。例えば、特開平7−17328号公報では車体の周囲にCCDカメラや距離測定を行う距離センサを設け、車両の周辺の様子を探知し、車両の室内に設けられたディスプレィ上に車両周辺の周辺画像を鳥瞰図的に表示してドライバに周囲の状況を提供している。
【0003】
また、特開昭59−201082号公報においては、ステアリング舵角をステアリングセンサにより検出し、駐車操作時のステアリング操舵角を計算して指示角と操舵角を簡易なディスプレィにより出力している。また、特開平8−2357号公報に示されるものでは車両の後方に設けられた物体検知用の測距センサにより、障害物(特に、駐車しようとする駐車スペースの隣りに駐車している車等)との距離を測り、その距離に応じて最大舵角による転舵開始位置を検出し、転舵開始位置をドライバに報知する方法が知られている。
【0004】
【本発明が解決しようとする課題】
しかしながら、上記した従来の方法では様々なセンシング技術を用いて、車両の周辺の障害物を検知することが前提となっており、その処理のためのシステムが複雑になってしまう。また、測距センサ等により近くにある障害物との距離を測り報知する方法では、駐車スペースの隣りに駐車している車がない場合や人や物等の急な飛び出しに対しての対応が困難で、適切に駐車を補助するものではないため、初心者にとって安心して駐車操作を行うことは難しい。
【0005】
そこで、本発明は上記の問題点に鑑みてなされたものであり、初心者でも安心して駐車の操作が行えること、駐車操作時の補助が適切になされる車両の後退支援装置およびその方法を提供することを技術的課題とする。
【0006】
【課題を解決するための手段】
上記の課題を解決するために講じた技術的手段は、駐車操作時に車両の後方を撮像するカメラ(17)と、該カメラからの映像を後方画像として表示する表示手段(13)と、車両状態を検出する検出手段(2,3,5,6)と、該検出手段からの情報と車両特性に基づいて自走行に係る予想軌跡(20)を算出する算出手段(11)を備え、前記予想軌跡を座標変換した上で前記後方画像に重ねて前記表示手段に表示する車両の後退支援装置(1)において、該後退支援装置は、駐車開始時に前記予想軌跡であってステアリング舵角に応じた第1予想軌跡(20a)を前記表示手段に表示し、さらに、ドライバーが駐車を意図する方向に前記第1予想軌跡が前記表示手段に表示された場合に前記ドライバーが操作することによって前記第1予想軌跡を特定する固定手段(4c)と、該固定手段により前記第1予想軌跡が特定された場合に前記第1予想軌跡を目標軌跡(20a)とする設定手段(11)とを備えており、駐車操作時に前記目標軌跡と、前記予想軌跡であってステアリング舵角に応じて変化する第2予想軌跡(20’)を前記表示手段に表示前記表示手段に表示された前記目標軌跡に対して前記表示手段に表示された前記第2予想軌跡をあわせるように前記ドライバーが操作することで、前記ドライバーの駐車操作を補助するように構成したことである。
【0007】
これによれば、駐車開始時にステアリング舵角に応じた第1予想軌跡を表示段に表示させ、ドライバーは特定条件になった場合(ドライバーが駐車を意図する方向に前記第1予想軌跡が前記表示手段に表示された場合)に第1予想軌跡を定することにより、そのときの軌跡を目標軌跡とした上で、表示手段には駐車操作時にステアリング舵角に応じて変化する第2予想軌跡に表示させ、目標軌跡に対し第2予想軌跡の誘導が可能となる。この場合、基準となる目標軌跡に第2予想軌跡を一致させるよう操作すれば良いので、難しい操作を必要としない。例えば、縦列駐車時におけるよう、ステアリングを恐る恐る所定区間の間ずっと保持するという操作は必要なくなるため、駐車に不慣れな初心者でも一切難しい操作を必要とせず、安心して駐車操作が行えるものとなる。
【0008】
この場合、さらに誘導手段を備え、該誘導手段は、目標軌跡と検出手段からの情報に基づいて報知が行われるようにすれば、固定された目標軌跡と検出手段からの情報(例えば、シフトレバーの状態、ステアリング状態、走行状態等)に基づいて目標軌跡からのずれ量を算出し、算出されたずれ量または位置関係に応じた適切な表示または音声による報知が可能となるので、駐車操作時における駐車補助が適切になされる装置となる。
【0024】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
【0025】
図1は車両の後退支援装置を駐車補助装置1に適用した場合のシステム構成図である。この図において、駐車補助装置1を制御するコントローラ16には車両の後方を撮影するCCDカメラ(以下、カメラと称す)17、ステアリングホイール(ステアリング)21の操舵角(転舵角ともいう)を検出するステアリングセンサ2、トランスミッションのシフトレバーのリバース(R)状態を検出するシフトレバーリバーススイッチ3、通常の駐車場への駐車あるいは車庫入れ等に行う駐車(以下、このような駐車形態を並列駐車と称す)或いは縦列駐車を指示したり、車両に関する情報から求めた軌跡20を表示させて特定条件の基でその軌跡20を固定指示し、駐車操作時に駐車アシスト機能を動作させる駐車スイッチ4(並列スイッチ4a、縦列スイッチ4b、確定スイッチ4c)、および、従動輪の左右の車輪速度を検出する車輪速センサ5,6からの信号が入力されている。
【0026】
コントローラ16はこれらの信号を基にディスプレィ13上に車両の後方画像と後述する走行予想軌跡20(20a,20c,20’)等を表示できるようになっている。また、この装置1には音声合成機能が付加されており、音声合成回路7によりメモリに予め記憶された音声合成出力がなされ、スピーカ8からドライバに対して音声合成による出力が発せられるようになっている。
【0027】
コントローラ16の内部には制御を司るCPU11、ディスプレィ13にグラフィックスを描画するグラフィックス描画回路12、グラフィックス信号とカメラ17からの後方画像を重ね合わせるスーパーインポーズ回路9、カメラ画像から同期信号を抽出してグラフィックス描画回路12へ供給する同期分離回路10、カメラ17からの信号を受けて駐車区画(駐車スペース)30の画像認識を行う駐車区画検出用の画像認識装置15が設けられている。尚、この画像認識装置15はコントローラ16に別体で設けることも可能である。
【0028】
ディスプレィ13には、本実施形態においては並列、縦列、確定の駐車スイッチ4がタッチパネル式により設けられているが、これに限定されるものではなく別体で設けられても良い。更に、ディスプレィ上にはステアリング舵角の状態により点灯状態が変化する舵角表示マーカーが設けられるようにしても良い。この場合、ステアリング舵角の状態により表示マーカーは左,右,中央のいずれかが点灯し、ステアリング21がどちら方向に転舵されているかが、後方画像と一緒にわかるようにすることも可能である。尚、ここでいうステアリング舵角とは、ステアリング21を回したときの中立位置からの操舵角(転舵角)であっても、左右の車輪が進行方向から向く実舵角であっても良い。また、音声合成は、車両状態と駐車スペース30との位置関係を求め、その関係に応じてCPU内のメモリに予め決められた言語をスピーカ8から出力し、ドライバー(運転者)に対して適切な指示を出し、例えば、駐車操作等に代表される後退操作時に、補助しながら誘導するものである。
【0029】
図2は、駐車補助装置1を車両に取り付けた場合の取付図を示す。後方を撮像するカメラ17は車両後方のナンバープレートの上中央付近に取り付けられ、光軸を水平方向から下方に向けて設置される。具体的には、車両後方の中央に水平状態からの下方角度θが約30度の状態で取り付けられ、カメラ自体は広角レンズにより左右140度の視野を確保し、後方8m程度までの領域を撮影できる。
【0030】
また、車両の室内のセンターコンソールにはパネル面にディスプレィ13が備え付けられ、グローブボックス上方にはコントローラ16が内部に設けられている。更に、駐車操作時に駐車補助を要求する駐車スイッチ4は、ドライバーが操作し易いセンターコンソール近傍に設けられている。
【0031】
次に、ステアリングセンサ2について、図3を参照して説明する。このステアリングセンサ2は市販のものを用いており、ステアリング21の操舵角を検出する。これは、ステアリングコラムシャフト23と一体回転するようにスリット板2aが取付けられており、90°の位相差がついた2組のフォトインタラプタ2c,2bが取付けられている。この構成において、ディスク板2aに円周状に設けられた複数のスリットの回転により、光を通過または遮断してフォトトランジスタをオン/オフさせることにより、A相、B相の2つの信号パルスを出力している(図4参照)。これは、ステアリング21の回転方向によりA相に対し、B相は90°位相が遅れるか、または、進んで出力されるようになっており、この2つの信号により、ステアリング21を右に転舵しているのか、左に転舵しているのかがわかる。尚、本実施形態では、ステアリング舵角が1°/パルスのものを使用している。
【0032】
次に、図5を参照してコントローラ16の処理について説明する。コントローラ16は電源オン(車両に設けられる図示しないアクセサリースイッチがオン)により、図5に示されるプログラムが実行される。まず最初のステップS101ではこの処理に必要なメモリに各種初期値を設定し、その後のステップS102においてシフトリバーススイッチ3の状態をチェックする。ここで、シフトリバーススイッチ3がリバースでないならばステップS102以降の処理を行わず、駐車補助の処理を行わない。
【0033】
一方、シフトリバーススイッチ3がオン(リバースの状態)であると、ステップS103を行う。最初にドライバーが通常の駐車操作(並列駐車)を要求しているのか縦列駐車を要求しているのかをディスプレィ上に設けられた駐車スイッチ4の状態から判断する。ステップS103では図12に示す縦列駐車スイッチ4bが押下された場合にはステップS104以降の処理を行い、並列駐車スイッチ4aが押下された場合にはステップS118以降の処理を行うよう、駐車要求の状態により振り分けられる。
【0034】
(並列駐車)
ここで、まず並列駐車について説明する。並列駐車を行う場合にはドライバーは並列駐車スイッチ4aを押すと、並列駐車の処理が始まる。ステップS118においてステアリングセンサ2からステアリングセンサ値Nを読み込み、それを基に駐車操作時の旋回半径Rの算出を行う。具体的には、ステアリングセンサ2の読み込みをA相信号の立ち上がりエッジ検出時にメインプログラムに割り込みを発生させ、図6に示す割り込み処理を実行する。つまり、図6のステップS201においてB相信号の状態をチェックし、B相信号がハイ(H:高電位)なら、ステップS202においてステアリングカウント値Nをインクリメントし、ロー(L:低電位)ならデクリメントしてその値をメモリに記憶する。この場合、ステアリングカウント値Nは、1パルスが1°のため、θ=Nとなる。
【0035】
しかし、上記に示すステアリング値Nのカウントのみではステアリング21の絶対舵角が不定となってしまうため、図7に示す中立点処理によりステアリング舵角の中立点を検出し、N=0として中立点を決める。そこで、図7を参照して中立点決定について説明する。この処理では1秒周期のタイマ割り込みで実行される。ここでは、通常、車輪に備えつけられている公知の左右の車輪速センサ5,6からの信号により車体速度も算出する。
【0036】
ステップS301,ステップS302では左右の車輪速センサ5,6からの信号(パルス)はコントローラ内部のCPU11に内蔵されたハードウェアカウンタによりカウントされ、このタイマ割り込みルーチンで左右の車輪速が読み出され、車輪速センサ値が記憶されるメモリのNR,NLに記憶される。読み出しの後、カウンタ自体はクリアされ、NR,NLは1秒毎のパルス数を示すものとなる。
【0037】
次のステップS303においてNR,NLからその平均値(NR+NL)/2を演算し、この値にタイヤの周長を乗算し、公知の方法により容易に車速Vが求められる。次に、ステアリングセンサ2の基準設定であるが、ステップS304からステップS306では車速V、所定速度(10Km/h)以上の時に左右の車輪速センサ5,6のパルス差がほとんどない状態をもって車両が直進状態であるとみなし、ステップS306でステアリングカウンタNを零にしてリセットすることで、ステアリング舵角の中立点が求められる。
【0038】
ステアリング舵角θが求まったら、図5のメインルーチンに戻り、次のステップS119において以下に示す走行予想軌跡20(20a,20’)の演算および表示を行う。そこで、走行予想軌跡20(20a,20’)の求め方について説明する。
【0039】
図8に示されるように低速時(ここでは、10Km/h以下とする)の旋回中心Oは車両後方の車軸の延長線上に存在し、幾何学的関係により車両特性(ステアリング操舵角(ステアリング舵角)θと車両のホイールベースL)から、旋回半径Rは、R=L/tanθという関係式により求まる。この場合、ステアリング舵角θ=0の場合には、車両は直進している状態であり、R=∞となる。
【0040】
そこで、図9ではカメラ上でのグラフィックス表示座標(x,y)を示し、図示の座標系を使用し、座標変換の方法を図11に示す。ここで用いるカメラ17は図10に示されるように路面から上方Hcの高さで光軸を水平状態から下方にθ=30°だけ傾けて取り付けられている。カメラ17のレンズは広角で焦点深度が深くとられて、路面の画像をCCDデバイスに描画するように構成されている。このため、路面座標系(X,Z)とディスプレィ上での座標系(x,y)には以下に示すような写像関係が成立する。
【0041】
具体的には、(X,Y,Z):路面座標、(x,y):CCD素子面のカメラ座標、f:カメラのレンズ焦点距離、(x’,y’,z’):レンズ座標、θ:カメラ取付け角度、Hc:路面からの取付け高さとすると、
x=f・x’/z’,y=f・y’/z’・・・(1)
x’=X として、
y’=Zsinθ+(Y−Hc)cosθ} ・・・(2)
z’=Zcosθ−(Y−Hc)sinθ ・・・(3)
という関係式が成立する。ここで、路面上の座標のみに限定すれば、Y=0となり、x,yを上記の関係式により求めれば、
x=f・X/(Zcosθ+Hc・sinθ) ・・・(4)
y=f・(Zsinθ+Hc・cosθ)/(Zcosθ+Hc・sinθ)
・・・(5)
となる。つまり、路面上の点(X,Z)をカメラ17で撮影した場合のディスプレィ上でのグラフィックス画面上での座標(x,y)を(4),(5)の関係式より求めることができる。
【0042】
上記の方法により求めた(x,y)の走行予想軌跡20をディスプレィ上に表示する場合(走行予想軌跡20の表示色:例えば、黄色)、車庫入れや駐車場での駐車の如く車両前部を直角方向にふる形態の駐車(並列駐車)の場合では、その表示方法は図12に示される形態を取っている。この場合、走行予想軌跡20の長さlは固定長(例えば、並列駐車では3m)にしたり、一定の角度分とし、旋回状態と直進状態で色を変化させたり、予想軌跡20の最後端20cを区別し易い表示にしたりすることもできる。
【0043】
次のステップS120では、ドライバーの意図する駐車スペース30に予想軌跡20の最後端(先端部を含む領域)20cが白線内にきちんと入り、駐車が可能であるかがドライバーにより判断される。ここで、駐車スペース30の白線内に確実な駐車が可能であると判断された場合には、ドライバーはディスプレィ上の確定スイッチ4cを押下する。確定スイッチ4cが押下された後、確定スイッチ4cの表示は消える。しかし、確定スイッチ4cが押下されない場合には駐車操作に支障があり、正確に駐車の誘導が行えないと判断し、ステップS102に戻り、S102以降の処理を繰り返すが、確定スイッチ4cが押下された場合にはステップS121以降の処理を行う。この確定スイッチ4cは、並列駐車の場合にはステアリング舵角に応動した予想軌跡20の向きがドライバーが駐車を意図した駐車スペース内に入り、更に、左右の車幅で表示される予想軌跡20の範囲内に障害物がない状態(物体や他の車両がない状態、或いは、人がその範囲内にいない状態)のときに押下されるようにすることで、ドライバーは予想軌跡20の範囲内に障害物がないことが確認でき、ドライバーの駐車操作時における意志を尊重した上で予想軌跡20の固定が行える。
【0044】
確定スイッチ4cが押下された場合、確定スイッチ4cの画面表示は消えると共に、そのとき表示される予想軌跡20を駐車操作時に補助する際に基準となる目標軌跡20aとする。つまり、特定条件の下で予想軌跡20が目標軌跡20aとなる。この場合、目標軌跡20aとして軌跡を固定した際の目標軌跡20aの表示色は、例えば、未確定時の黄色から確定時の青色に変更される。また、参考線20dは、また、自車両のバンパーから後方に所定距離(例えば、50cm)だけ離れた位置を示す参考線20d(表示色:例えば、赤色)を車幅方向に対して表示するようにしている。この参考線20dはディスプレィ上に表示される後方画像内で障害物までの大体の距離感をドライバーに対して与えることができ、自車のバンパー等がぶつかり易い、危険度の高い領域に注意が行くよう視覚化した表示がなされる。また、目標軌跡20aには参考線20dの後方(ディスプレィ上では上方向)に転舵位置を示した転舵位置基準線20eが車幅方向に目標軌跡20aと同色で表示される。
【0045】
ステップS122では車両の移動量が左右の車輪速センサ5,6から出力されるパルス波形からの情報より移動距離がCPU11で算出され、同時にステアリング舵角がステップS118と同じ算出方法により求められる。ステップS123では現在位置から目標軌跡の最後端20cまでの目標軌跡20aを表示させるべく指令が、CPU11からグラフィックス描画回路12にCPU11から出力され、スーパーインポーズ回路9によりディスプレィ上に表示される。ステップS124では目標軌跡20aの最後端20cまでの予想軌跡20’をステップS119で算出した同様の方法により求め、ディスプレィ上に表示を行う。尚、この場合、予想軌跡20’はステアリング舵角に応じて変化する予想軌跡20と実質的に同じものが表示されるが、ここで、予想軌跡20’は目標軌跡設定後の軌跡を示すものとする。ステップS125ではステアリング舵角により可変表示される予想軌跡20’と固定された目標軌跡20aとの車幅方向でのずれ量をCPU11内部で演算により求め、ステップS126において求めたずれ量に基づいて表示と音声によりドライバーに報知する。
【0046】
その後、ステップS127では目標軌跡20aの最終端20cに到達したかが左右の車輪速センサ5,6からの情報を基にした移動距離によりわかり、目標軌跡20aの最後端20cにまだ到達していない場合には、ステップS118に戻り、ステップS118からステップS127の処理を繰り返す。一方、ステップS127において目標軌跡20aの最後端20cに最終端が20cが到達した場合には並列駐車の操作が完了したものとする。この場合、ドライバーはシフトレバーをリバース以外の状態にすることにより、駐車操作を終えようとしているのかをシフトレバーの状態から判断する。ここで、シフトレバーがまだリバースである場合にはステップS122に戻り、ステップS122以降の処理を繰り返すが、シフトレバーがリバースでなくなったときにはディスプレィ上の表示を未表示状態として駐車処理を終了する。
【0047】
(縦列駐車)
次に、縦列駐車の処理について説明する。通常、縦列駐車はドライバーが道路端の縦列駐車が行えるスペースを見つけ車両を停止させる。その後、ステアリング21を駐車させたい方向に転舵し、ある距離まで下がった位置でステアリング21を反対方向に転舵して車両を幅寄せし、車両を路肩または歩道がある場所等においては縁石40に沿って平行な状態で駐車を行うものである。これは、図14に示されるように、車両の旋回中心が異なる2つの円弧を組み合わせたS字形状の軌跡上を車両が走行し、距離Lだけバックした地点で、路幅方向にDだけ移動し、道路に沿って平行になる操作を行うものである。
【0048】
この場合、幾何学的に考えてみると、旋回半径Rとした場合、予め車両特性(ホイールベース、最小旋回半径等)により幾何学的に決定される距離L(=Rsinθ、例えば、6m程)に相当する長さ(Lは、曲線長さではない)で走行予想軌跡20をディスプレィ上に表示すれば、走行予想軌跡20の最後端20cより遠方に駐車中の車両あるいは物体が存在する場合、自車は初期位置(図14のa位置)から駐車可能であることが駐車動作開始前に予見することができる。この場合、駐車操作を行う際に、自車の近くで縦列駐車をしている車両と平行になった状態(縦列駐車初期位置)でステアリング21を最大転舵またはそれに近い角度まで転舵した場合、切り返し点(変極点)PTを有する旋回中心が異なるS字形状の予想軌跡20を表示させる。これは、車両特性(ステアリング特性)から、ステアリング21が転舵された量に対応して旋回半径Rが定まり、所定の距離Dだけ幅寄せを行うのに必要な前後方向の移動距離Lが決められ、幾何学的に演算により求めることができる。よって、カメラ17から見た投影像に変換することは前述した方法により容易である。また、別の方法としては、ステアリングシャフトに装着されたステアリングセンサ2からの舵角情報と、車両のステアリングギア比・ホイールベースからその車両の旋回半径Rを求めることができる。具体的には、図15において縦列駐車初期状態からステアリング21の切り返し点PTまでの回転角度をθ、車幅をWr、既に縦列駐車中の車両と縦列駐車を行おうとしている車両との車幅中心をDとした場合、D=2R(1―cosθ),D=Wr+dという関係式が求まる。例えば、R=4mとした場合には、θ=49.5°となり、縦列駐車の可能な最少距離はD=6.08mとなる。
【0049】
図5に戻り、ステップS104以降に示す縦列駐車操作時における処理を説明する。ステップS104からステップS106の処理は並列駐車時における上記した処理と同じである。縦列駐車時の処理では、車両を最初に図14に示すa位置に停車させた状態からスタートする。a位置というのは自車の近くで縦列駐車している車両から所定距離d(約、1m)だけ離れ平行になっている状態にする。この状態のもとでステアリング21を転舵して縦列駐車時にはS字型の予想軌跡20をディスプレィ上に表示させ、S字型の予想軌跡20の最後端20cが駐車スペース後方に駐車中の車両にかからない状態且つドライバーが縦列駐車を意図する方向において最初の予想軌跡20を表示させ、この予想軌跡20の表示される範囲内に障害物がない状態(物体や他の車両がない状態、或いは、人がその範囲内にいない状態)のときに、確定スイッチ4cを押下する。このように、確定スイッチ4aを縦列駐車の操作時にも並列駐車時と同様な形態でディスプレィ上に設けることにより、ドライバーの駐車操作時の意志を尊重し、ドライバーが意図したように予想軌跡20を目標軌跡20aとして確定し、その軌跡状態を固定するという方法がとられる。
【0050】
ステップS108では車両の移動量が左右の車輪速センサ5,6から出力されるパルス波形からの情報より移動距離がCPU11で算出され、同時にステアリング舵角がステップS104と同じ算出方法により求められる。ステップS109では現在位置から目標軌跡の最後端20cまでの目標軌跡20aを表示させるべく指令が、CPU11からグラフィックス描画回路12にCPU11から出力され、スーパーインポーズ回路9によりディスプレィ上に表示される。ステップS110ではステアリング21をきりかえ転舵を行う図14に示す転舵点(変極点に一致)PTまでの予想軌跡20’(目標軌跡20aを設定後のステアリング舵角に応じて変化する軌跡とする)の確定を、ステップS105およびS119で算出した同様の方法により求め、ディスプレィ上に表示を行う。ステップS111ではステアリング舵角により可変表示される目標軌跡20a設定後の予想軌跡20’と、確定スイッチ4cの押下により表示固定された目標軌跡20aとの車幅方向でのずれ量をCPU11内部で演算により求め、ステップS112において求めたずれ量に基づいて、表示と音声によりドライバーに報知する。このように、ディスプレィ表示と音声合成により誘導が行われるので、駐車操作時に適切且つ確実な誘導が行える。
【0051】
その後、ステップS113ではシフトレバーの状態がリバース状態であるか否かが判断される。ここで、シフトレバーがリバース状態でない場合になったときには駐車操作が必要なくなったものとしてディスプレィ表示を非表示とし、図5に示す駐車時の処理を終了する。一方、シフトレバーが操作されず、未だリバース状態を維持している場合にはステップS114において演算された走行距離を基にして転舵点PTに到達したかが判断される。ここで、転舵点PTにまだ到達していない状態の場合にはステップS108に戻り、ステップS108からの処理を繰り返すが、転舵点PTに到達した場合には駐車初期段階で設定した目標軌跡20aの最後端20cに到達したかが同じく演算された走行距離を基にして判断される。目標軌跡20aの最後端20cにまだ到達していない場合にはステップS117において転舵点を更新した後、ステップS108に戻って同じ処理を繰り返すが、目標軌跡20aの最後端20cに到達した場合には縦列駐車が完了したものとしてステップS116において軌跡表示を非表示にし、ディスプレィ画面を消してこの処理を終える。
【0052】
以上のような処理に基づき、本発明における駐車操作時の駐車シーケンスについて、順を追って説明する。
【0053】
(並列駐車の場合)
この縦列駐車操作時の特徴としては、予想軌跡20を用いた駐車可能性をドライバーが判断し、駐車できそうだと判断されたときの予想軌跡20を目標軌跡20aに設定して、目標軌跡20a上を予想軌跡20’がトレースするように表示させると同時に音声で駐車操作を状況に応じて適切にガイドする方法を取っている。尚、この場合、目標軌跡20aの再設定できる方法および予想軌跡20のみを表示する方法を選択可能とすることができる。
【0054】
具体的には、図12と図13に示され、理想としては駐車区画30の駐車白線31の端から約2mに車両を図12に示すR1状態で停止させる(初期状態)。そのとき、シフトレバーをリバースに入れると図5のフローチャートに示す処理がなされる。尚、ステアリング舵角が直進方向に向く状態ではディスプレィ上に後方画面に車両特性から演算された軌跡20が図12の(a)のように表示される。この状態では軌跡20は最後端20cを含め黄色で表示され、更に後方の距離感がドライバーにわかるように車幅方向に後方50cmを示す参考線20dが赤色で表示されると同時に、音声合成機能により、「並列駐車で案内します」というメッセージがスピーカ8から出力されると共に、チャイム1(例えば、ピーンとかポーンというチャイム)が鳴り、「ハンドルを回し予想コースを駐車区画30に向けて確定スイッチを押します」というメッセージがスピーカ8より出力される。車両状態がR1の状態でステアリング21を操作し、舵角転舵を行い予想軌跡20を図12の(b)の如くドライバーが目的とする駐車区画30に向ける。その後、目的の駐車区画30に合ったのでディスプレィ下の確定スイッチ4cをドライバーは押下する。確定スイッチ4cが操作されるとその軌跡20は目標軌跡20aとなり固定され、表示色が青色に切り換わる。
【0055】
バックを開始すると、予想軌跡20’と共に目標軌跡20aが共にディスプレィ上に表示され、「バックを開始します」というメッセージが流れた後、チャイム2(例えば、チャイム1とは異なる形態のチャイム)が鳴り、「バックします」というメッセージがスピーカ8より出力される。この場合、図12の如く右旋回してバック中の場合には「右後方も注意して下さい」というメッセージがスピーカ8より出力される。図12では車両位置がR2に位置するディスプレィ表示画面を(c)に示し、車両状態がR3に位置するディスプレィ表示画面を(d)に示す。その後、図13に移り、目標軌跡20aの最後端20cに自車両が接近し、図13の(a)の如く最後端20cに到達した場合には、「ハンドルを合わせます」というメッセージがスピーカ8より出力される。すると、図13の(b)の如くドライバーは固定された目標軌跡20aに予想軌跡20が一致するよう動かし、目標の駐車位置に合ったら確定スイッチ4cをドライバーは押下する。すると、再度、予想軌跡20’と共に目標軌跡20aが表示され、「バックを開始します」、チャイム2が鳴り、「ハンドルをそのままでバックします」というメッセージがスピーカ8より出力される。ドライバーは後方の安全を確認しながらバックを行い、50cmの参考線20dを目安にして後方の安全を確認しながらバックを行い、図13の(c)の如く目標軌跡20aの最後端20cに到達した場合に駐車操作を終了する。更に駐車スペース30の奥に行きたい場合には、ステップS118からの処理を繰り返すことができる。
【0056】
(縦列駐車の場合)
次に、縦列駐車の場合について、図16から図18を参照して説明する。この縦列駐車操作時の特徴としては、S字型予想軌跡20,20により縦列駐車できる可能性を判断し、予想軌跡20を目標軌跡20aに設定して、目標軌跡20a上を予想軌跡20と実質的には同じ予想軌跡20’がトレースするように表示させると同時に音声で縦列駐車における操作をガイドする方法を取っている。尚、この場合、ステアリング操作の切り遅れ、あるいは切りすぎにより目標軌跡20aから外れた場合には予想軌跡20を参照して目標軌跡20aに戻れるように操作することも可能であることは言うまでもない。
【0057】
図16に示すように、車両状態がL1の状態(隣りの車に平行となり約1m離れた状態を初期状態とする)で停止し、シフトレバーをリバースに入れ、予想軌跡20内もしくはその近くに車両および障害物がないことを確認する。この状態で、「縦列駐車で案内します」というメッセージがスピーカ8より流れてくる。その後、チャイム1が鳴り、今度は「ハンドルを回して駐車スペースを確認できたら、確定スイッチを押して下さい」というメッセージがスピーカ8より出力される。すると、ドライバーはステアリングを操作し、縦列駐車が可能なコースを調べ、図16の(b)の如く駐車可能なコースが見つかったら、確定スイッチ4cを押す。確定スイッチ4cが押されると予想軌跡20の表示は黄色から青色に変り、軌跡が目標軌跡20aとして固定される。その後、「バックを開始します」というメッセージが流れ、チャイム2が鳴り、「バックして下さい」というメッセージがスピーカ8より出力される。この状態では目標軌跡20aとステアリング舵角に応動する予想軌跡20が共に表示される。ドライバーは図16の(b)の如く左に転舵しバックすると、「右前方も注意して下さい」というメッセージが流れ、図16の(d)の如く最初の転舵点PTの位置に接近し、図17の(a)の如く転舵点PTに到達すると、今度は、チャイム2が鳴ると共に、「ハンドルを合わせて下さい」というメッセージがスピーカ8より出力される。すると、ドライバーは図17の(b)の如く目標軌跡20aに予想軌跡20が一致するよう操作し、直進状態でバックする。その後、車両状態がS3の位置に到達すると、次の転舵位置に接近していることから、図17の(c)に示す状態でチャイム2が鳴り、「ハンドルをそのままでバックして下さい」というメッセージがスピーカ8より出力される。更に、図18の(a)の如く転舵位置に到達すると今度は、チャイム1が鳴り、「ハンドルを合わせて下さい」というメッセージが流れ、ドライバーは舵角を調整し、目標軌跡20aに一致させるよう操作を行う。この場合、右に転舵しバックしていることから、図18の(b)に示す状態では「左方向も注意して下さい」というメッセージが流れ、ゴールに接近していることから今度は、チャイム1が鳴ると共に、「後方を確認して下さい」というメッセージが流れ、図18の(c)の如くゴールに到達したのでシフトレバーをパーキングに入れ駐車を終了する。
【0058】
以上のように、駐車操作の補助が行われている場合、音声合成回路7により予め決められた音声信号をスピーカ8より出力し、その時の操作状況に応じて予め決められた音声メッセージをドライバーに対して出力し、音声により駐車操作時の案内を適切に行うことにより駐車に不慣れな初心のドライバーでも適切に補助することができる。
【0059】
尚、本実施形態においては、駐車補助装置およびその方法について説明したが、これに限定されるものではなく、例えば、山岳道路や狭い道等で対向車が来た場合の一時的な車両の退避として、車両を後退させる場合等の後方支援装置やその方法にも適用が可能である。
【0060】
【効果】
本発明によれば、駐車開始時にステアリング舵角に応じた第1予想軌跡を表示手段に表示させ、ドライバーは特定条件になった場合に第1予想軌跡を固定することにより、その軌跡を目標軌跡とした上で、表示手段には駐車操作時にステアリング舵角に応じて変化する第2予想軌跡に表示させ、固定された目標軌跡に対し第2予想軌跡の誘導が可能となり、基準となる目標軌跡に第2予想軌跡を一致させるよう操作すれば良いので、どの様な駐車形態であっても難しい操作を必要としない。
【0061】
この場合、誘導手段は、目標軌跡と検出手段からの情報に基づいて報知が行われるようにすれば、固定された目標軌跡と検出手段からの情報に基づいて目標軌跡からのずれ量を算出し、算出されたずれ量または位置関係に応じた適切な報知ができるので、駐車操作時における駐車補助が適切になされる装置とすることができる。
【0062】
また、特定条件は、ドライバーが駐車を意図する方向に第1予想軌跡が表示された時、第1予想軌跡内に障害物がない状態とすれば、ドライバーの駐車意志を尊重し、駐車操作時の安全確認がなされた上で第1予想軌跡を固定しての駐車が可能となる。
【0063】
これによれば、予想軌跡を表示させ、ある時点における予想軌跡を目標軌跡として表示手段に固定表示し、その目標軌跡を表示した後も予想軌跡を表示しつづけるようにしたので、表示手段に表示される予想軌跡を見ながら予想軌跡を目標軌跡に追従させるようにすれば良いので、不慣れな初心者でも難し操作を必要とせず、安心して操作が行える。
【0064】
本発明によれば、現在における予想軌跡を現在軌跡として表示し、ある特定された予想軌跡を目標軌跡として固定表示すると共に、車両後方画像を現在・目標軌跡と重畳表示する表示手段とを備えたので、ドライバーは車両後方画像に重畳表示される目標軌跡に対して現在軌跡を合わせるよう操作を行えば良く、不慣れな初心者でも難しい操作を必要とせず、安心して操作が行える。
【0065】
この場合、後退状態は少なくとも車両のステアリング舵角に基づいて算出されるようにしたので、ステアリング舵角に基づき後退状態を正確に知ることができる。
【0066】
また、目標軌跡は予想軌跡の終端が所望の車両後退方向または位置と一致した時点で特定されるようにしたので、車両の後退時に運転者の意志を尊重した目標軌跡の設定ができる。
【0067】
更に、現在軌跡が目標軌跡に近付くように、車両の運転者を音声で誘導する誘導手段を備えたことにより、現在軌跡が目標軌跡に近付くように、音声で誘導されるので、適切な誘導ができる。
【0068】
また、現在軌跡が目標軌跡に近付くように、車両の運転者を表示手段上の表示によって誘導する誘導手段を備えたことにより、現在軌跡が目標軌跡に近付くように、表示手段上での誘導が可能となるので、適切な誘導ができる。
【0069】
更に、本発明によれば、車両の後退時に車両後方の映像を撮像し、車両の後退状態を検出する。後退状態と車両特性に基づいて、車両の予想軌跡を算出し、現在における予想軌跡を後方画像に重畳させてモニタ上に現在軌跡として表示した後、ある特定された予想軌跡を後方画像と重畳させてモニタ上に目標軌跡として固定し、固定表示後も現在軌跡を続けて表示するようにしたことにより、運転者は固定された目標軌跡に現在軌跡をあわせるように操作すれば、難しい操作は必要なく、不慣れな初心者でも安心して後退時の操作が行える。
【0070】
この場合、後退状態は、少なくとも車両のステアリング舵角に基づいて算出されるようにしたので、ステアリング舵角に基づき後退状態を正確に知ることができる。
【0071】
また、目標軌跡は予想軌跡の終端が所望の車両後退方向または位置と一致した時点で特定されるようにしたので、車両の後退時に運転者の意志を尊重した目標軌跡の設定ができる。
【0072】
更に、目標軌跡は予想軌跡の終端が所望の車両後退方向または位置と一致した時点で特定されるようにしたので、車両の後退時に運転者の意志を尊重した目標軌跡の設定ができる。
【0073】
更にその上、現在軌跡が目標軌跡に近付くように、車両の運転者を音声で誘導する誘導手段を備えたことにより、現在軌跡が目標軌跡に近付くように、音声で誘導されるので、適切な誘導ができる。
【図面の簡単な説明】
【図1】本発明の一実施形態における車両の後退支援装置を駐車補助装置に適用した場合のシステム構成図である。
【図2】本発明の一実施形態における駐車補助装置を車両へ取付けた場合の取付図である。
【図3】本発明の一実施形態におけるステアリングセンサを示し、(a)はステアリングコラムシャフトへ取り付けた場合のステアリングセンサの平面図、(b)はステアリングセンサのスリット板とフォトインタラプタの概要を示した斜視図である。
【図4】図3に示すステアリングセンサのA相とB相の出力を示すタイミングチャートである。
【図5】本発明の一実施形態におけるコントローラの駐車時の処理を示すフローチャートである。
【図6】本発明の一実施形態におけるコントローラのステアリングセンサ信号処理を示すフローチャートである。
【図7】本発明の一実施形態におけるコントローラのステアリングセンサの中立点処理を示すフローチャートである。
【図8】本発明の一実施形態における走行予想軌跡の算出に用いる説明図である。
【図9】本発明の一実施形態におけるカメラおよびディスプレィのグラフィックス表示座標である。
【図10】本発明の一実施形態における車両の後退支援装置のカメラを車両へ取り付けた場合の取り付け状態を示した図である。
【図11】本発明の一実施形態における車両の後退支援装置の座標変換方法を説明する説明図である。
【図12】本発明の一実施形態における並列駐車の動作説明図である。
【図13】本発明の一実施形態における並列駐車の図12に続く動作説明図である。
【図14】縦列駐車の動作説明図である。
【図15】本発明の一実施形態における走行予想軌跡の算出に用いる説明図である。
【図16】本発明の一実施形態における縦列駐車の動作説明図である。
【図17】本発明の一実施形態における縦列駐車の図16に続く動作説明図である。
【図18】本発明の一実施形態における縦列駐車の図17に続く動作説明図である。
【符号の説明】
1 駐車補助装置(後退支援装置)
2 ステアリングセンサ(検出手段)
3 シフトレバーリバーススイッチ(検出手段)
4 駐車スイッチ
4c 確定スイッチ(固定手段)
5,6 車輪速センサ(検出手段)
7 音声合成回路(誘導手段)
8 スピーカ(誘導手段)
9 スーパーインポーズ回路
12 グラフィックス描画回路
11 CPU(算出手段)
13 ディスプレィ(表示手段)
17 CCDカメラ(カメラ)
20,20’ 走行予想軌跡(現在軌跡となる第2予想軌跡、誘導手段)
20a 走行予想軌跡(第1予想軌跡、目標軌跡)
21 ステアリングホイール(ステアリング)

Claims (2)

  1. 駐車操作時に車両の後方を撮像するカメラと、該カメラからの映像を後方画像として表示する表示手段と、車両状態を検出する検出手段と、該検出手段からの情報と車両特性に基づいて自走行に係る予想軌跡を算出する算出手段を備え、前記予想軌跡を座標変換した上で前記後方画像に重ねて前記表示手段に表示する車両の後退支援装置において、
    該後退支援装置は、
    駐車開始時に前記予想軌跡であってステアリング舵角に応じた第1予想軌跡を前記表示手段に表示し、
    さらに、ドライバーが駐車を意図する方向に前記第1予想軌跡が前記表示手段に表示された場合に前記ドライバーが操作することによって前記第1予想軌跡を特定する固定手段と、
    該固定手段により前記第1予想軌跡が特定された場合に前記第1予想軌跡を目標軌跡とする設定手段とを備えており、
    駐車操作時に前記目標軌跡と、前記予想軌跡であってステアリング舵角に応じて変化する第2予想軌跡を前記表示手段に表示前記表示手段に表示された前記目標軌跡に対して前記表示手段に表示された前記第2予想軌跡をあわせるように前記ドライバーが操作することで、前記ドライバーの駐車操作を補助することを特徴とする車両の後退支援装置。
  2. 前記後退支援装置は、さらに、誘導手段を備え、該誘導手段は、前記目標軌跡と前記検出手段からの情報に基づいて表示または音声による報知が行われることを特徴とする請求項1に記載の車両の後退支援装置。
JP2001053007A 2000-02-29 2001-02-27 車両の後退支援装置および後退支援方法 Expired - Lifetime JP4491978B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001053007A JP4491978B2 (ja) 2000-02-29 2001-02-27 車両の後退支援装置および後退支援方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-54237 2000-02-29
JP2000054237 2000-02-29
JP2001053007A JP4491978B2 (ja) 2000-02-29 2001-02-27 車両の後退支援装置および後退支援方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010004990A Division JP5012914B2 (ja) 2000-02-29 2010-01-13 車両の後退支援装置および後退支援方法

Publications (2)

Publication Number Publication Date
JP2001315600A JP2001315600A (ja) 2001-11-13
JP4491978B2 true JP4491978B2 (ja) 2010-06-30

Family

ID=26586412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001053007A Expired - Lifetime JP4491978B2 (ja) 2000-02-29 2001-02-27 車両の後退支援装置および後退支援方法

Country Status (1)

Country Link
JP (1) JP4491978B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1148461B1 (en) * 2000-04-05 2004-09-22 Matsushita Electric Industrial Co., Ltd. Driving operation assisting method and system
JP4058369B2 (ja) * 2003-03-27 2008-03-05 トヨタ自動車株式会社 駐車支援装置
JP3818654B2 (ja) * 2003-06-26 2006-09-06 トヨタ自動車株式会社 車両用走行支援装置
DE102004027640A1 (de) * 2004-06-05 2006-06-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum unterstützten Einparken eines Kraftfahrzeuges
JP4414959B2 (ja) 2005-11-16 2010-02-17 アイシン精機株式会社 駐車支援装置
JP5309442B2 (ja) * 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4793171B2 (ja) * 2006-08-25 2011-10-12 株式会社デンソー 駐車支援装置
JP4992800B2 (ja) * 2008-04-02 2012-08-08 株式会社デンソー 駐車支援装置
JP5266926B2 (ja) * 2008-07-23 2013-08-21 日産自動車株式会社 車線維持支援装置及び車線維持支援方法
JP5472026B2 (ja) 2010-06-29 2014-04-16 トヨタ自動車株式会社 駐車支援装置
WO2012059966A1 (ja) * 2010-11-01 2012-05-10 トヨタ自動車株式会社 駐車支援装置
EP2618108B1 (en) * 2012-01-19 2018-10-17 Volvo Car Corporation Driver assisting system
CN103832355B (zh) * 2012-11-23 2015-12-02 怡利电子工业股份有限公司 倒车导引线系统的导引方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082357A (ja) * 1994-06-20 1996-01-09 Nissan Motor Co Ltd 車両用駐車補助装置
JPH09180100A (ja) * 1995-12-22 1997-07-11 Mitsubishi Motors Corp 駐車判定方法及び装置
JPH11321686A (ja) * 1998-05-15 1999-11-24 Honda Motor Co Ltd 車両の自動操舵装置
JPH11339194A (ja) * 1998-05-28 1999-12-10 Aisin Seiki Co Ltd 駐車補助装置
JP2000280823A (ja) * 1999-03-31 2000-10-10 Aisin Seiki Co Ltd 駐車補助装置
JP2001010431A (ja) * 1999-06-29 2001-01-16 Fujitsu Ten Ltd 車両の駐車支援装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082357A (ja) * 1994-06-20 1996-01-09 Nissan Motor Co Ltd 車両用駐車補助装置
JPH09180100A (ja) * 1995-12-22 1997-07-11 Mitsubishi Motors Corp 駐車判定方法及び装置
JPH11321686A (ja) * 1998-05-15 1999-11-24 Honda Motor Co Ltd 車両の自動操舵装置
JPH11339194A (ja) * 1998-05-28 1999-12-10 Aisin Seiki Co Ltd 駐車補助装置
JP2000280823A (ja) * 1999-03-31 2000-10-10 Aisin Seiki Co Ltd 駐車補助装置
JP2001010431A (ja) * 1999-06-29 2001-01-16 Fujitsu Ten Ltd 車両の駐車支援装置

Also Published As

Publication number Publication date
JP2001315600A (ja) 2001-11-13

Similar Documents

Publication Publication Date Title
JP5012914B2 (ja) 車両の後退支援装置および後退支援方法
JP4096445B2 (ja) 駐車補助装置
JP3575279B2 (ja) 駐車補助装置
US7363130B2 (en) Parking assist systems, methods, and programs
JP3562335B2 (ja) 駐車補助装置
KR101806619B1 (ko) 차량의 주차 안내 장치 및 방법
JP4466200B2 (ja) 駐車支援装置
JP3607994B2 (ja) 車両用周辺監視装置
JP4491978B2 (ja) 車両の後退支援装置および後退支援方法
EP1861304A1 (en) Parking assistance apparatus
JP2003137051A (ja) 車両用周辺監視装置
WO2006016433A1 (ja) 運転支援装置及び運転支援方法
KR20030001289A (ko) 주차지원장치
JP2008037320A (ja) 駐車支援装置、駐車支援方法及び駐車支援プログラム
JP6318204B2 (ja) 駐車出庫支援装置
JP2004203365A (ja) 駐車支援装置
JP2003045269A (ja) 駐車支援装置のスイッチ
JP3726175B2 (ja) 駐車補助装置
JP3762855B2 (ja) 駐車補助装置
JP3882565B2 (ja) 駐車支援装置
JP6373916B2 (ja) 駐車出庫支援装置
JP5012670B2 (ja) 駐車支援装置、駐車支援方法及びコンピュータプログラム
JP3767610B2 (ja) 駐車補助装置
JP3693912B2 (ja) 相対位置検出装置及びその相対位置検出装置を備えた駐車補助装置
JP4110937B2 (ja) 駐車支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100329

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140416

Year of fee payment: 4