JP4536889B2 - 車両の運転支援装置 - Google Patents

車両の運転支援装置 Download PDF

Info

Publication number
JP4536889B2
JP4536889B2 JP2000265150A JP2000265150A JP4536889B2 JP 4536889 B2 JP4536889 B2 JP 4536889B2 JP 2000265150 A JP2000265150 A JP 2000265150A JP 2000265150 A JP2000265150 A JP 2000265150A JP 4536889 B2 JP4536889 B2 JP 4536889B2
Authority
JP
Japan
Prior art keywords
vehicle
displayed
driving support
steering angle
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000265150A
Other languages
English (en)
Other versions
JP2001191877A (ja
Inventor
和広 崎山
俊宏 清水
和也 佐古
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2000265150A priority Critical patent/JP4536889B2/ja
Publication of JP2001191877A publication Critical patent/JP2001191877A/ja
Application granted granted Critical
Publication of JP4536889B2 publication Critical patent/JP4536889B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Steering Controls (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車両の進行方向を撮像する映像に基づいて、車両の運転者に対して運転支援のための情報を表示する運転支援装置に関する。
【0002】
【従来の技術】
自動車などの車両を安全に運転するためには、車両の外部の状況を充分に把握する必要がある。車両の運転者は、主として視覚に基づいて車両外部の状況を認識する。しかしながら、運転者は車両の車体内部の運転席から車体外部を見なければならないので、車体によって視覚が妨げられてしまう。そこで、従来から車体にビデオカメラなどの撮像装置を装着して、車両の外部の映像を運転席近傍で表示し、運転者の支援を行うことについて、提案がなされている。
【0003】
本件出願人からも、たとえば特願平10−288255、特願平10−301207、特願平10−301208、特願平10−353425、特願平10−353426および特願平11−179718などで、映像に基づく運転支援についての提案が行われている。
【0004】
車両の運転支援は、特に車両が駐車しようとする際に有用となる。車両の駐車の際の運転支援に関連する先行技術としては、たとえば特開昭64−14700に、車両の後退時に後方または側後方視界の画像と予測軌跡とを画面に表示する構成が開示されている。この先行技術では、後方を撮像した映像に、車両のステアリング角に従って予想される予想軌跡の画像を表示するので、ステアリングの切り角の確認と後方の安全の確認とを合わせて行うことが可能であると期待される。さらに、車両の予測軌跡上に、車両の輪郭線を一括表示して、遠近感などが感覚的に分かりやすくなるように表示する考え方も示されている。また、特開平7−44799には、車両に対して縦列駐車や車庫入れなどを行おうとする際に、各種のセンサを用いて駐車スペースの長さを検出し、駐車可能か否かを報知して運転を支援する先行技術が開示されている。この先行技術では、駐車スペースの位置や車両特性等のデータから、ステアリング等の操作量を演算し、運転支援のための表示あるいは自動制御を行うことも開示されている。
【0005】
車両の周囲の映像を撮像して車両の運転の支援を行う先行技術は、たとえば実開昭57−150044、特開平4−239400、特開平5−143894、特開平6−255423、特開平7−192199、特開平10−257482および特開平10−283592などに開示されている。
【0006】
実開昭57−150044には、通常時は選択された情報を表示する映像表示機での表示内容を、異常事態発生時に、通常表示から異常事態に関係する情報を表示する異常表示に切換えて、運転支援を行う先行技術が開示されている。特開平4−239400には、車両の天井に回転雲台を介して水平に360°回転可能なカメラを取付け、車両の周囲の所望の方向を撮像し、撮像した各方向の画像を運転者に見やすいように画像処理して表示装置に同時に、かつ適宜分割して表示する先行技術が開示されている。特開平5−143894には、車両の左前方、前方および右前方の映像を3つのカメラで撮像し、3分割して表示するとともに、ステアリング角に応じて分割表示における左右方向の画像の表示面積を代える先行技術が開示されている。特開平6−255423には、カメラで撮像した画像を、距離センサで計測する距離に基づく距離目盛とともに表示し、また距離に応じた大きさで障害物付近の映像を拡大して表示して、運転の支援を行う先行技術が開示されている。特開平7−192199には、ステレオ画像から、障害物を3次元解析して、車両側部の延長線との距離を算出し、車両が狭路を通過する際などに、障害物との隙間を算出して表示する先行技術が開示されている。特開平10−257482には、車両の後方画像と、左側方画像および右側方画像とを合成して、1画面にシームレスの状態で表示する先行技術が開示されている。特開平10−283592には、カメラで撮像する画像を3次元解析して、自車両と障害物との接触可能性を判断して判断結果を報知し、またその関係を画像表示する先行技術が開示されている。
【0007】
【発明が解決しようとする課題】
車両の運転支援を映像に基づいて行う際であっても、運転者はあくまでも直接自己の視覚に基づいて状況判断を行い、運転支援のための表示は補助的に利用するのに留まるべきである。また、運転席周辺に配置する表示手段には、大きさの制限もある。このため、運転支援を有効に行うためには、映像ばかりではなく、その映像に対して車両の予想される進路などを表示することが望ましい。予想される進路などは、運転者が直接周囲を見るだけでは絶対に得ることができない情報であるので、非常に有用である。
【0008】
しかしながら、カメラなどで撮像する映像中での予測進路は、車体に対するカメラの取付位置に基づく映像の見え方や、車両のステアリング角、さらには車両の車幅やホイールベースなどによっても変化するはずであり、これらのデータを実際の車両に合わせないと、正確な進路予測を行うことができず、有用な運転支援を行うことはできない。運転支援装置についても、工業製品としての、量産性に考慮すると、多くの種類の車両に搭載可能であることが好ましい。しかも、各車両の仕様に応じて、必要なデータが容易に入力可能であることが好ましい。さらに、進路予測に必要なステアリング角は、現状では、一般の車両に検出用のセンサなどが設けられていることはないので、できるだけ容易に検出可能にすることが望ましい。
【0009】
本発明の目的は、搭載する車両の仕様の違いを容易に吸収して、精度の高い支援を行うことができる車両の運転支援装置を提供することである。
【0010】
【課題を解決するための手段】
本発明は、車両の周囲をカメラで撮像し、映像とともに運転支援のための情報を表示手段に表示する車両の運転支援装置において、
車両のステアリング角を検出するステアリング角センサと、
ステアリング角センサによって検出されるステアリング角に基づいて、車両の進行経路を予測して、進行予測曲線として算出する進行予測手段と、
車両の複数の仕様について、進行予測手段によって算出される進行予測曲線に沿って車両が進行する際に占める空間に関するデータが、予め格納されるメモリと、
メモリに格納されるデータを、車両の仕様に従って選択するための入力操作を受ける選択操作手段と、
進行予測手段によって算出される進行予測曲線を基準に、選択操作手段に対する入力操作に従って選択されるデータを用い、運転支援のための情報として、車両の進行に伴って通過すると予測される空間に関連する予測進路を算出し、表示手段に表示させるとともに、車両の進行速度を示す信号および車両に搭載される変速機の切換え状態を示す信号が入力される制御手段とを含み、
前記制御手段は、変速機の切換え状態が後進状態であると判断し、さらに車両の進行速度が予め定める速度よりも小さいと判断すると、前記メモリ内に設けられるフラグを所定の値にセットするとともに、カメラによって撮像された車両の後方映像および車両の両側方を延長した状態を表すガイドラインを表示手段に表示させ、さらにステアリング角センサからステアリング角を取得して、予測進路を表示手段に表示させ、変速機の切換え状態が後進状態でないと判断し、さらに前記フラグが前記所定の値にセットされていると判断すると、予め定められた時間だけ、カメラによって撮像された車両の後方映像および予測進路を表示手段に表示させ、かつガイドラインは表示させないことを特徴とする車両の運転支援装置である。
【0011】
本発明に従えば、車両の周囲の映像とともに運転支援のための情報を表示する車両の運転支援装置は、カメラおよび表示手段とともに、ステアリング角センサと、進行予測手段と、メモリと、選択操作手段と、制御手段とを含む。ステアリング角センサは車両のステアリング角を検出する。進行予測手段は、ステアリング角センサによって検出されるステアリング角に基づいて、車両の進行経路を予測して、進行予測曲線として算出する。メモリは、車両の複数の仕様について、進行予測手段によって算出される進行予測曲線に沿って車両が進行する際に占める空間に関するデータが予め格納される。選択操作手段は、メモリに格納されるデータを、車両の仕様に従って選択するための入力操作を受ける。制御手段は、進行予測手段によって算出される進行予測曲線を基準として、選択操作手段に対する入力操作に従って選択されるデータを用い、運転支援のための情報として、車両の進行に伴って通過すると予測される空間に関連する予測進路を算出して表示手段に表示させる。運転支援のための情報として、車両の仕様に従ってメモリから選択されるデータに基づいて、車両の進行予測曲線に沿って車両が進行するのに伴って通過すると予測される空間に関連する進路が算出される。表示手段に映像とともに表示する際には、予測される進路を表示手段に表示される映像に適合させて表示させ、精度の高い予測進路の表示によって分かりやすい運転支援を行うことができる。予め複数の車両の仕様に対してデータがメモリに格納され、選択操作手段でデータを選択することによって、個別のデータを直接入力するよりも、簡単に高精度な進路予測を行わせることができる。
【0012】
また本発明で前記メモリには、車両のホイールトレッド、ホイールベース、キングピンオフセット量、または前記カメラの取付高さが前記データとして格納されることを特徴とする。
【0013】
本発明に従えば、メモリには車両のホイールトレッドおよびホイールベースと、カメラの取付け高さとがデータとして格納される。ホイールトレッドから、車軸の両端での車輪の接地面間の距離が分かり、ホイールベースから4輪車の前後の車軸間の距離が分かるので、ステアリング角に基づいて進路を算出して予測することが容易となる。カメラの取付け高さもデータとして与えられるので、カメラによって撮像される地面の状態とカメラの撮像方向との関係から、地面上で算出される進行予測曲線が、カメラの撮像する映像中でどのように見えるかを、容易に算出することができる。必要なデータは、メモリに格納されているデータのうちから選択すればよいので、選択操作を行うだけで、必要なデータを得ることができ、車両の仕様の違いなどに対応させるためのデータを改めて入力するような手間をかけないでも、有効な運転支援を行わせることができる。
【0014】
また、車両に関するデータは、ホイールトレッド、ホイールベース、またはキングピンオフセット量であるので、他の部分が少し異なるような車両の仕様の違いを吸収して、メモリに格納するデータを共用することができ、重複する記憶によって有効に使用可能なメモリの記憶空間が塞がれてしまうのを防ぐことができる。
【0015】
さらに本発明は、前記制御手段は、車両の進行速度が予め定める速度以上となるときには、表示手段に予測進路を表示させないことを特徴とする。
【0016】
本発明に従えば、表示手段には、予測される予測進路が表示されるので、ステアリング角に基づいて変化する予測進路を分かりやすく表示することができる。さらに、車両の進行速度が予め定める速度以上となるときには、予測進路を表示させないので、車両の運転者は車両の運転のためにのみ視覚を集中させることができる。
【0017】
さらに本発明は、前記制御手段は、車両の進行速度が予め定める速度以上となるときには、表示手段にガイドラインを表示させないことを特徴とする。
【0018】
本発明に従えば、車両の運転支援のためにガイドラインを表示する。車両の速度が予め定める速度以上となると、ガイドラインを表示させないように切換える。進行速度が予め定める速度以上では、ガイドラインが表示されていない状態で、予測進路を容易に把握することができる。
【0019】
また本発明で前記制御手段は、前記予め定める速度を、車載機器の使用制限速度に対応させることを特徴とする。
【0020】
本発明に従えば、ガイドラインや予測される進路を表示しないようになる予め定める速度は、車載機器の使用制限速度に対応して決定されるので、車載機器の使用状態と連動して有効な運転支援を行わせることができる。
【0021】
さらに本発明は、前記制御手段は、車両の進行速度に応じて、表示手段に表示される予測進路の長さまたは色を変化させることを特徴とする。
【0022】
本発明に従えば、車両が予め定める速度よりも低速で進行しているときと、停止しているときとで、予測進路が表示されるときの長さまたは色を変化させるので、車両の進行状態か停止状態かを分かりやすく表示しながら、進行速度に適合した状態で運転支援を行うことができる。
【0023】
また本発明で前記制御手段は、車両の進行速度に応じて段階的に、表示手段に表示される予測進路の長さおよび色を変化させることを特徴とする。
【0024】
本発明に従えば、車両が進行する速度に応じて段階的に予測進路の長さまたは色を代えるので、車両の進行速度に対応して安全性を向上させることができる。
【0025】
さらに本発明は、車両の進行方向に存在する障害物を探知する障害物探知手段をさらに含み、
前記制御手段は、表示手段に表示される予測進路の長さまたは色を、障害物探知手段の探知結果に従って変化させることを特徴とする。
【0026】
本発明に従えば、障害探知手段によって探知される障害物の探知結果に応じて予測進路の長さまたは色を変化させるので、障害物が存在するときに障害物の存在を容易に認識し、障害物までの距離についての情報を得て、障害物の回避について有効な運転支援を行わせることができる。
【0027】
また本発明で前記障害探知手段は、探知される障害物までの距離に応じて、予め定める複数段階の探知信号を出力し、前記制御手段は、表示手段に表示される予測進路の長さまたは色を、障害探知手段から出力される探知信号に応じて、該複数段階で変化させることを特徴とする。
【0028】
本発明に従えば、予測進路の長さまたは色を、障害物までの距離に応じて変化させるので、障害物への接近などに関する運転支援を分かりやすく行わせることができる。
【0033】
【発明の実施の形態】
図1は、本発明の実施の一形態としての運転支援装置である駐車アシスト装置1の概略的なシステム構成を示す。本実施形態の駐車アシスト装置1は、駐車場2の白線2aなどに沿って車両3が行進して駐車しようとする際に、車両3の運転者に対して情報ディスプレイ4を表示手段として、映像による運転支援を行う。情報ディスプレイ4の表示画面上には、車両の予測進路5aと、車体の延長線であるガイドライン5bとが駐車場2の映像とともに表示される。車両3の運転者は、情報ディスプレイ4に表示される後方の映像とともに、予測進路5aおよびガイドライン5bに基づいて、駐車場での運転操作に対する支援を受ける。
【0034】
情報ディスプレイ4に表示される運転支援のための情報は、車両3に搭載される電子制御ユニット(以下、「ECU」と略称する)の1つである駐車アシストECU6によって作成される。駐車アシストECU6には、車両3のステアリングホイール7や変速機8に対する操作結果を表す信号が入力される。また、駐車アシストECU6は、スピーカ9によって警告や音声案内なども行う。
【0035】
情報ディスプレイ4で表示する駐車場2の映像は、カメラユニット10によって撮像する。カメラユニット10は、車両3の車体の後方の上部に装着され、その視野10aが駐車場2に向けられている。カメラユニット10からは、たとえばNTSC方式で映像信号が出力され、駐車アシストECU6に入力される。駐車アシストECU6では、カメラユニット10が撮像する映像に重ねて、予測進路5aやガイドライン5bを表示するような画像処理を行い、NTSC方式の映像信号として情報ディスプレイ4に出力する。
【0036】
予測進路5aは、ステアリングホイール7の操作に対応して、ステアリング軸11の角度に応じて変化する。ステアリング軸11からステアリング角を検出するために、ステアリング角検出装置12がステアリング軸11が車体外に露出する部分の近傍に設置される。ステアリング角検出装置12内にはステアリング角センサ13が設けられ、ステアリング角の検出結果を表す信号が駐車アシストECU6に入力される。駐車アシストECU6は、ステアリング角センサ13が検出するステアリング角に基づいて車両3の進行予測曲線を算出し、車両3の前後輪間のホイールベースや、車軸の両端でのタイヤの接地部分間の距離としてのホイールトレッド、および/またはキングピンオフセット量に基づいて、進行予測曲線に沿って車両が進行する際に占める空間を表す予測進路5aを算出する。
【0037】
情報ディスプレイ4の表示面上での予測進路5aの見え方は、カメラユニット10が取付けられている位置にも関連するので、駐車アシストECU6では、カメラユニット10の取付け位置についての情報も用いて、予測進路5aを情報ディスプレイ4上に表示する。カメラユニット10の取付け位置についての情報は、車体の側方を延長した状態を示すガイドライン5bを、情報ディスプレイ4上に表示する際にも利用する。ガイドライン5bの方向は、カメラユニット10の視野10aに対して固定されているので、カメラユニット10の取付け位置に応じて変化する。
【0038】
情報ディスプレイ4での表示は、周囲の明るさに応じて調整される。周囲の明るさは、車両3の照明系の点灯状態などを制御するために用いるコンライトセンサ14からの出力に基づいて行われる。コンライトセンサ14が感知する車両3の周囲の明るさに応じて、明るさやコントラストなどが調整され、分かりやすい運転支援が行われるように制御される。
【0039】
車両3には、ナビゲーション装置15やオーディオ装置16などの車載機器も搭載される。特に車両の運転に関連するナビゲーション装置15には、車両の進行速度に応じて、動作速度に対する制限が設けられている。たとえば10km/hが基準速度となって、10km/hよりも低速でのみ動作する機能が設けられている。
【0040】
また、車両3が後退する際に、路面に障害物などが存在するか否かを、バックソナー17によって探知可能にしている。障実探知手段としてのバックソナー17は、超音波を用いて、障害物を探知している。本実施形態の駐車アシストECU6は、バックソナー17からの出力も利用して、情報ディスプレイ4での表示状態を変化させている。
【0041】
駐車アシストECU6内には、全体の制御を行うCPU18と、情報ディスプレイ4での表示のための画像処理を行う画像処理回路19とが含まれる。CPU18には、車両3の速度を示す信号や、変速機8の切換え状態を示す信号が、コンライトセンサ14やバックソナー17からの信号とともに入力される。CPU18は、これらの信号に基づいて、画像処理回路19を制御し、情報ディスプレイ4での表示状態を変化させることができる。
【0042】
図2は、図1の駐車アシストECU6内に含まれる画像処理回路19の電気的構成を示す。画像処理回路19内での画像処理は、デジタル信号プロセッサ(以下、「DSP」と略称する)20によって行われる。カメラユニット10が撮像する映像は、NTSC信号の形式でアンプ+フィルタ回路22に入力される。この映像入力はアナログ信号であるので、アナログデジタル変換(以下、「ADC」と略称する)回路23で、デジタル信号に変換され、フィールドバッファ回路24に記憶される。アンプ+フィルタ回路22からの映像出力は、同期分離回路25にも与えられ、水平同期や垂直同期用の同期信号が分離され、DSP20に入力される。
【0043】
DSP20には、ADC26を介して、ステアリング角センサ13からのステアリング角検出信号も入力される。DSP20は、プログラムメモリ27に予め格納されているプログラムに従って画像処理を行う。画像処理の際に、図1に示す予測進路5aやガイドライン5bの表示用の画像も形成する。これらの画像は、データメモリ28に予め格納されているデータに基づく演算によって作成する。データメモリ28には、予め複数種類の車両3の使用毎に、車両3の車幅に対応して、車軸の両端での車輪の接地部分間の幅を表すホイールトレッドと、前後の車軸間の距離を表すホイールベースと、キングピンオフセット量と、各車体でカメラユニット10を取付ける位置とを表すデータが予め格納される。これらのデータは、必ずしも全部必要ではないけれども、全部あれば進路の予測精度を高めることができる。保存メモリ29は、バッテリで記憶内容がバックアップされ、DSP20が画像処理を行う際に用いるデータやパラメータなどで、保存が必要なデータを記憶しておくことができる。
【0044】
DSP20による画像処理の結果生成される画像は、スイッチ(以下、「SW」と略称する)回路30によって出力が切換え可能な2つのフィールドバッファ回路31,32に記憶される。SW回路30によって選択された画像信号は、デジタルアナログ変換(以下、「DAC」と略称する)回路33でアナログ信号に変換される。DAC回路33から出力されるアナログ信号は、フィルタ+アンプ回路34を介して、情報ディスプレイ4に映像出力として与えられる。画像処理回路19全体の動作用の電力は、電源35から供給される。電源35の投入時などには、リセット回路36からリセット信号が供給される。DSP20による動作は、CLK+分周回路37から供給されるクロック信号やこれを分周した信号に同期して行われる。
【0045】
なお、データメモリ28に予め格納されている車両の使用に応じたデータの切換えは、選択操作手段としてのDIPスイッチ38のスイッチを操作して行うことができる。データメモリ28は、たとえばフラッシュメモリなど、電気的に書込みが可能な不揮発性メモリで構成され、駐車アシスト装置1を装着可能な車両3についての必要な仕様について、データが仕様毎に予め作成されて格納されている。DIPスイッチ38の設定状態と使用との関係は、データの作成者が準備する。DIPスイッチ38の設定は、サービス向上などで、駐車アシスト装置1のユーザが、使用する車両3を決定した後で行う。DIPスイッチ38に代えて、ジャンパなどを用いることもできる。
【0046】
図3は、図1の実施形態での駐車アシストECU6による概略的な制御手順を示す。ステップa0で電源が投入されると、動作が開始される。ステップa1では、変速機8が後進状態に投入されているか否かを示すリバース信号の状態を判断する。リバース信号がONであれば、ステップa2で、車両3の後退速度が10km/hよりも小さいか否かが判断される。後退速度が10km/h未満であると判断されるときには、ステップa3で、駐車アシストECU6内のメモリに設けられるフラグであるON Flagを1にセットする。次にステップa4で、カメラユニット10が撮像する後方映像を情報ディスプレイ4に表示させる。この際にガイドライン5bも表示させる。
【0047】
ステップa5では、ウインカ信号の状態を判断する。ウインカ信号がOFFであれば、ステップa6でステアリング角センサ13からの出力に基づいて、ステアリング舵角取得を行う。ステップa7では、バックソナー17からの入力の判断を行う。バックソナー17は、予め設定される距離よりも近い位置に障害物を検出すると、連続するビープ音で障害物の存在を知らせる。このビープ音を検出すると、ステップa8で、図4で示すような第1の進路予測の表示を行う。ステップa7で、バックソナー17が、予め定める距離の範囲内に障害物を探知していないときには、連続したビープ音は発生されないので、ステップa9に移る。ステップa9では、車両3の後退速度が、0よりも大きい、すなわち車両が停止していないで走行中であるか否かが判断される。車両が停止していないときには、ステップa10で、図5に示すような第2の進路予測表示を行う。ステップa9で、車両が停止していると判断されるときには、図6に示すような第3の進路予測表示を行う。ステップa8、ステップa10またはステップa11の後は、ステップa1に戻る。
【0048】
ステップa1で、リバース信号がOFFであると判断されるときには、ステップa12に移り、ON Flagが1となっているか否かを判断する。ON Flagが1となっていれば、駐車アシストECU6内のタイマを、一定時間、たとえば1秒間セットする。次にステップa14で、情報ディスプレイ4上に、カメラユニットによって撮像される後方映像の表示を行う。ただしこの場合には予測進路5aを表示するけれども、ガイドライン5bは表示しない。この後方映像表示は、ステップa13でタイマにセットした時間だけ行う。タイマにセットした時間が経過した後、またはステップa2で、速度が10km/h以上であると判断されるときには、ステップa15で、情報ディスプレイ4の画面表示を、運転支援のための情報の前に表示していた状態、たとえばナビゲーション装置15での経路案内用の画面などに復帰させる。次にステップa16で、ON Flagを0にリセットする。ステップa16の終了後、またはステップa12でONFlagが1にセットされていないと判断されるとき、ステップa17で、動作手順を終了する。
【0049】
本実施形態では、ステップa5で、ウインカ信号を判断している。ウインカ信号がONであると判断されるときには、ステップa18で、ONになっているのが左右のいずれであるかを判断する。左側がONになっていると判断されるときには、ステップa19で、左側に縦列駐車を行う際のガイドラインを表示する。ステップa18で、印加のうちの右側がONになっていると判断されるときには、ステップa20で、右側に縦列駐車を行うための縦列駐車用ガイドラインを表示する。これらの縦列駐車用のガイドラインの表示も、図2のプログラムメモリ27に格納されているプログラムと、データメモリ28に格納されているデータとに基づいて行うことができる。
【0050】
図4は、図3のステップa8で表示される第1の予測進路についての表示状態を示す。情報ディスプレイ4の表示画面上に表示される映像40は、カメラユニット10の撮像する画像に予測進路41やガイドライン42が重ね合わされて形成される。ガイドライン42には、距離目盛43も合わせて表示される。映像40の一部には、直接の目視確認を促すための注意表示44も行われる。図5は、図3のステップa10で表示される第2の予測進路の表示状態を示す。また図6は、図3のステップa11で表示される第3の予測進路の表示状態を示す。
【0051】
図4、図5、図6に示す映像40での予測進路41は、長さと色とを変化させている。予測進路41は、ステアリング角および車両についてのデータに基づいて、随時書換えられ、左右の車幅線と車両後端部から5mまでで囲われた範囲が表示される。図4に示す状態では、障害物が近くに存在しているので、予測進路41を赤色で表示し、かつ長さもたとえば0.5m程度に短く表示する。図6に示す状態では、車両3が停止しているので、予測進路41はたとえば水色で表示し、長さも5mまで長く表示する。図5は、図4と図6との中間の状態であり、予測進路41はたとえばオレンジ色で表示し、長さも2m程度の中間の長さとなる。
【0052】
各図でのガイドライン42は、情報ディスプレイ4の中央部に固定した状態で左右対称に表示する。車両の後端部から0.5m離れた位置から5mまでの距離に相当する部分がガイドライン42として表示される。ガイドライン42に合わせて、距離を表す距離目盛43も表示する。これらの予測進路41およびガイドライン42の表示に合わせて、カメラユニット10では、車両後方の死角も含めた範囲での障害物確認を可能とするため、広角タイプのレンズを用いる。
【0053】
図7は、本発明の実施の他の形態として、図4、図5および図6に示すような予測進路41の長さと色との変化を、速度のみに対応させる場合の制御手順を示す。ただし、本実施形態では、図3のステップa5、ステップa18〜ステップa20の制御は行わない。本実施形態で、ステップb0からステップb4までの各ステップ、ステップb6、ステップb8、ステップb10〜ステップb17までの各ステップは、図3のステップa0〜ステップa4、ステップa6、ステップa8、ステップa10からステップa17までの各ステップとそれぞれ同等である。本実施形態では、ステップb6でステアリング舵角を取得した後、ステップb7で、速度が予め定める第2段階の速度、たとえば5km/hを超えているか否かを判断する。速度が5km/hを超えていると判断されるときには、ステップb8で第1段階の予測進路41の表示を行う。ステップb7で、速度が5km/hを超えていないと判断されるときには、ステップb9で、速度が0より大きい、すなわち速度が5km/h以下でかつ0より大きいか否かを判断する。停止していないと判断されるときには、ステップb10で第2の予測進路の表示を行い、停止していると判断されるときにはステップb11で第3の予測進路の表示を行う。
【0054】
図8は、本発明の実施のさらに他の形態として、バックソナー17が障害物の探知を行った後、ビープ音の連続とビープ音の断続とで、障害物までの距離の違いに応じた動作を行う場合の制御手段を示す。バックソナー17は、障害物までの距離が所定値以下になるとビープ音を連続的に発生させる。距離が所定値よりも離れていれば、ビープ音は断続的に発生される。本実施形態では、図4と図5に示す表示状態をそれぞれ対応させて、障害物が全く探知されないときに図6に示すような表示状態として、バックソナー17のみに表示状態の変化を対応させる。図8のステップc7およびステップc9で、バックソナー17からの信号の違いに応じて進行予測曲線の表示モードを代える動作を除いて、本実施形態は図7に示す実施形態に類似し、ステップc0からステップc6、ステップc8、ステップc10からステップc17までの各ステップは、図7のステップb0からステップb6、ステップb8、ステップb10からステップb17までの各ステップとそれぞれ同等である。
【0055】
以上で説明した実施形態では、車速や障害物までの距離に応じて、予測進路41やガイドライン42の長さと色とを変化させているけれども、一方のみを変化させてもよい。また車速や距離に応じて連続的に変化させてもよい。いずれにしても、運転者に、状況の変化を認識させることができる。
【0056】
図9は、図1に示すステアリング角検出装置12の構成を分解した状態で示す。ステアリング角検出装置12は、車体に取付けられる取付用ブラケット50によって支えられる。ステアリング軸11には、軸用歯車51が装着される。軸用歯車51は、2分割可能であり、ステアリング軸11の側方から装着することができる。軸用歯車51にステアリング軸11から伝達される角変位は、ステアリング角センサ13の回転軸に取付けられる検出歯車52に伝達される。ステアリング角センサ13は、検出歯車52が軸用歯車51と噛合するように、取付用ブラケット50に取付けられる。軸用歯車51は、ステアリング軸11の外径が違っても取付可能となるように、スペーサ53を介して取付けられる。車両3の車種の違いによるステアリング軸11の外径の違いは、スペーサ53の厚さの違いによって調整される。取付用ブラケット50に取付けられるステアリング角センサ13や検出歯車52と、ステアリング軸11に装着される軸用歯車51とは、ユニットカバー54,55を組合わせて形成される空間内に収容される。ユニットカバー54,55間は、結合ねじ56によって結合される。また、分割可能な軸用歯車51は、締付ねじ57によって締付けられ、ステアリング軸11に装着される。取付用ブラケット50は、取付ナット58によって、車体から出ているボルトに取付けられる。取付用ブラケット50の基端側には、取付部59が形成され、ボルトが挿通される取付孔60が設けられている。
【0057】
図10は、図9に示すステアリング角検出装置12で、ステアリング角を検出する部分の構成を示す。軸用歯車51の歯数は、検出歯車52の歯数よりも多くなるように形成される。噛合している軸用歯車51が1回転する間に、検出歯車52はたとえば2.5回転する。軸用歯車51は、ラバーなどの弾性体によるスペーサ53を介してステアリング軸11に取付けられる。取付けの際には、ステアリング角が0°、すなわち中立状態となるようにしておく。軸用歯車51をステアリング軸11に取付け、検出歯車52が軸用歯車51と噛合する状態でステアリング角センサ13を取付ブラケットに取付けた後ではステアリング角センサ13は、ステアリング角に対応した電圧を出力する。出力電圧が0Vのときには、中立位置を表す。ステアリング角の方向に応じて±の符号が変化し、角度の増大に応じて出力電圧の絶対値が増大する。
【0058】
図11は、取付用ブラケット50の形状を示す。取付用ブラケット50は、車両の使用に応じてたとえば図11(a)に示すような取付用ブラケット50aや図11(b)に示すような取付用ブラケット50bのように使い分ける。取付用ブラケット50a,50bは、たとえば2mm厚程度の鉄板を加工して、取付部59、取付孔60、ステアリング軸挿通部61、ステアリング角センサ取付部62などを形成する加工を行う。図11(b)に示す取付用ブラケット50bでは、さらに段差部63が形成される。
【0059】
図12は、取付用ブラケット50を取付けるための車体側の構成を示す。取付用ブラケット50は、ステアリング軸11が露出しているステアリング軸露出部64の近傍に取付ける。ステアリング軸露出部64は、ステアリング軸を支持するステアリングコラムチューブ65を車体66に支持するための支持ボルト67を利用して取付ける。支持ボルト67のねじ部に取付部59の取付孔60を挿入し、図9に示す取付ナット58で固定する。
【0060】
図13は、車種によって異なるステアリング軸露出部64近傍の状況を示す。図13(a)や図13(b)に示すように、ステアリングコラムチューブ65が比較的短い車種に対しては、図11(a)に示すような取付用ブラケット50aを用いる。図13(c)に示すように、ステアリングコラムチューブ65が比較的長い車種に対しては、図11(b)に示すように段差部63を有する取付用ブラケット50bを用いる。
【0061】
以上説明した実施形態では、車両が駐車する際の運転支援を行っているけれども、車両が前進する場合の運転支援も予測進路を表示して同様に行うことができる。車両の前方は、運転者が直接視認することができるけれども、ステアリング角に応じた進路の予測は、比較的経験を積んだ運転者でないと正確に行うことができない。本発明を適用すれば、ステアリング角に応じた予測進路を正確に表示することができ、分かりやすい運転支援を行わせることができる。
【0062】
【発明の効果】
以上のように本発明によれば、メモリに予め格納されるデータを選択して、カメラの撮像する映像とともに表示する車両の進行予測曲線に沿った予測進路の算出に用いることができるので、複数の異なる仕様の車両に搭載する場合であっても、予めメモリにデータを格納しておくことによって、同一構成の装置で有効な運転支援を行わせることができる。
【0063】
また本発明によれば、進路の算出のために用いるデータは、車両のホイールトレッド、ホイールベース、キングピンオフセット量、またはカメラの取付け高さで構成されるので、外観上は異なる車種であっても、ホイールトレッド、ホイールベース、キングピンオフセット量またはカメラの取付け高さが同一になる車種では、異なるデータとする必要がなく、細かい仕様の違いなどがあっても、共通なデータとしてメモリに格納されるデータで、多くの車種などに対して対応させることができる。
【0064】
さらに本発明によれば、車体の現在の向きとステアリング角とに基づく予測進路を表示することができる。車両の進行速度が予め定める速度以上となると、予測進路の表示を行わないので、車両の運転者は表示手段の表示内容に注意をそらされないで、車両の周囲についての視覚による観察に注意力を集中させることができ、安全性を向上させることができる。
【0065】
さらに本発明によれば、車両の両側方を延長した状態を示すガイドラインをカメラの撮像する映像中に表示して、車両の向きや距離などを案内することができきる。車両が予め定める速度以上で進行するときにはガイドラインを表示しないので、車両の運転者は直接周囲の状況を確認する方に注意力を集中させることができる。
【0066】
また本発明によれば、運転支援のためにガイドラインや予測進路を表示しなくなる予め定める速度を、車載機器の使用制限速度に対応して決定するので、車載機器と合わせて、低速での運転支援を効率的に行うことができる。車速が高くなるときには、表示手段に表示する情報よりも、外部の状況を視覚によって確認する方が好ましいので、表示手段で運転者の注意をさらすことがないようにして、安全性の向上を図ることができる。
【0067】
また本発明によれば、予測進路の長さまたは色を、車両の進行速度に応じて変化させるので、車両の進行状態に応じて適切な運転を行わせることができる。
【0068】
また本発明によれば、予測進路の長さと色とを、車両の進行速度に応じて段階的に変化させるので、速度に応じて安全性を高めた状態で運転支援を行わせることができる。
【0069】
さらに本発明によれば、車両の予測進路の長さまたは色は、障害物の探知結果に基づいて変化させるので、車両の進路上に障害物が存在するときに、障害物までの接近状態に応じて分かりやすい表示を行い、安全性を高めることができる。
【0070】
また本発明によれば、障害探知手段が障害物を検知するときには距離に応じて予め定める複数段階の探知信号を出力し、表示手段に表示する予測進路の長さまたは色を探知信号の出力に応答して変化させるので、障害物探知手段の探知結果と予測進路の表示とを対応させて、障害物への接近についての注意を集中しやすくすることができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態の運転支援装置としての駐車アシスト装置1の概略的なシステム構成を示すブロック図である。
【図2】図1の駐車アシストECU6内に設けられる画像処理回路19の概略的な電気的構成を示すブロック図である。
【図3】図1の駐車アシストECU6による制御手順を示すフローチャートである。
【図4】図1の情報ディスプレイ4で表示される映像の一例を示す図である。
【図5】図1の情報ディスプレイ4で表示される情報の他の例を示す図である。
【図6】図1の情報ディスプレイ4で表示される情報のさらに他の例を示す図である。
【図7】本発明の実施の他の形態として、図1の駐車アシストECUによる制御手順を示すフローチャートである。
【図8】本発明の実施のさらに他の形態として、図1の駐車アシストECU6による制御手順を示すフローチャートである。
【図9】図1のステアリング角検出装置12の構成を分解して示す斜視図である。
【図10】図9で、ステアリング角を検出する部分の構成を示す簡略化した斜視図である。
【図11】図9の取付用ブラケット50の形状を示す斜視図である。
【図12】図9のステアリング角検出装置12を取付けるステアリング軸露出部64の一例を示す図である。
【図13】ステアリング軸露出部64が車種によって異なることを示す図である。
【符号の説明】
1 駐車アシスト装置
2 駐車場
3 車両
4 情報ディスプレイ
5a,41 予測進路
5b,42 ガイドライン
6 駐車アシストECU
7 ステアリングホイール
8 変速機
9 スピーカ
10 カメラユニット
11 ステアリング軸
12 ステアリング角検出装置
13 ステアリング角センサ
17 バックソナー
18 CPU
19 画像処理回路
20 DSP
27 プログラムメモリ
28 データメモリ
38 DIPスイッチ
40 映像
50,50a,50b 取付用ブラケット
51 軸用歯車
52 検出歯車
64 ステアリング軸露出部
65 ステアリングコラムチューブ
66 車体
67 支持ボルト

Claims (9)

  1. 車両の周囲をカメラで撮像し、映像とともに運転支援のための情報を表示手段に表示する車両の運転支援装置において、
    車両のステアリング角を検出するステアリング角センサと、
    ステアリング角センサによって検出されるステアリング角に基づいて、車両の進行経路を予測し、進行予測曲線として算出する進行予測手段と、
    車両の複数の仕様について、進行予測手段によって算出される進行予測曲線に沿って車両が進行する際に占める空間に関するデータが、予め格納されるメモリと、
    メモリに格納されるデータを、車両の仕様に従って選択するための入力操作を受ける選択操作手段と、
    進行予測手段によって算出される進行予測曲線を基準に、選択操作手段に対する入力操作に従って選択されるデータを用い、運転支援のための情報として、車両の進行に伴って通過すると予測される空間に関連する予測進路を算出し、表示手段に表示させるとともに、車両の進行速度を示す信号および車両に搭載される変速機の切換え状態を示す信号が入力される制御手段とを含み、
    前記制御手段は、変速機の切換え状態が後進状態であると判断し、さらに車両の進行速度が予め定める速度よりも小さいと判断すると、前記メモリ内に設けられるフラグを所定の値にセットするとともに、カメラによって撮像された車両の後方映像および車両の両側方を延長した状態を表すガイドラインを表示手段に表示させ、さらにステアリング角センサからステアリング角を取得して、予測進路を表示手段に表示させ、変速機の切換え状態が後進状態でないと判断し、さらに前記フラグが前記所定の値にセットされていると判断すると、予め定められた時間だけ、カメラによって撮像された車両の後方映像および予測進路を表示手段に表示させ、かつガイドラインは表示させないことを特徴とする車両の運転支援装置。
  2. 前記メモリには、車両のホイールトレッド、ホイールベース、キングピンオフセット量、または前記カメラの取付高さが前記データとして格納されることを特徴とする請求項1記載の車両の運転支援装置。
  3. 前記制御手段は、車両の進行速度が予め定める速度以上となるときには、表示手段に予測進路を表示させないことを特徴とする請求項1記載の車両の運転支援装置。
  4. 前記制御手段は、車両の進行速度が予め定める速度以上となるときには、表示手段にガイドラインを表示させないことを特徴とする請求項1記載の車両の運転支援装置。
  5. 前記制御手段は、前記予め定める速度を、車載機器の使用制限速度に対応させることを特徴とする請求項3または4記載の車両の運転支援装置。
  6. 前記制御手段は、車両の進行速度に応じて、表示手段に表示される予測進路の長さまたは色を変化させることを特徴とする請求項1記載の車両の運転支援装置。
  7. 前記制御手段は、車両の進行速度に応じて段階的に、表示手段に表示される予測進路の長さまたは色を変化させることを特徴とする請求項6記載の車両の運転支援装置。
  8. 両の進行方向に存在する障害物を探知する障害物探知手段をさらに含み、
    前記制御手段は、表示手段に表示される予測進路の長さまたは色を、障害物探知手段の探知結果に従って変化させることを特徴とする請求項1記載の車両の運転支援装置。
  9. 前記障害探知手段は、探知される障害物までの距離に応じて、予め定める複数段階の探知信号を出力し、前記制御手段は、表示手段に表示される予測進路の長さまたは色を、障害探知手段から出力される探知信号に応じて、該複数段階で変化させることを特徴とする請求項8記載の車両の運転支援装置。
JP2000265150A 1999-10-27 2000-09-01 車両の運転支援装置 Expired - Fee Related JP4536889B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000265150A JP4536889B2 (ja) 1999-10-27 2000-09-01 車両の運転支援装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-305305 1999-10-27
JP30530599 1999-10-27
JP2000265150A JP4536889B2 (ja) 1999-10-27 2000-09-01 車両の運転支援装置

Publications (2)

Publication Number Publication Date
JP2001191877A JP2001191877A (ja) 2001-07-17
JP4536889B2 true JP4536889B2 (ja) 2010-09-01

Family

ID=26564250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000265150A Expired - Fee Related JP4536889B2 (ja) 1999-10-27 2000-09-01 車両の運転支援装置

Country Status (1)

Country Link
JP (1) JP4536889B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4530392B2 (ja) * 2001-08-10 2010-08-25 日本精機株式会社 車両用監視装置
KR20040009274A (ko) * 2002-07-23 2004-01-31 현대모비스 주식회사 전방주차 보조장치 및 그 제어방법
US7552140B2 (en) * 2002-07-25 2009-06-23 Temic Automotive Of North America, Inc. Smart owner's manual
JP4507939B2 (ja) * 2005-03-28 2010-07-21 カシオ計算機株式会社 撮影装置及びプログラム
JP5013504B2 (ja) * 2005-05-30 2012-08-29 株式会社ジェイテクト 電動パワーステアリング装置用制御装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4877813B2 (ja) * 2007-05-10 2012-02-15 アルパイン株式会社 車両運転支援装置
JP5297608B2 (ja) * 2007-07-24 2013-09-25 トヨタ自動車株式会社 注意喚起装置
JP5429514B2 (ja) * 2008-06-03 2014-02-26 アイシン精機株式会社 駐車支援装置
JP2010264945A (ja) * 2009-05-18 2010-11-25 Panasonic Corp 駐車支援装置、駐車支援方法及び駐車支援プログラム
JP5549235B2 (ja) * 2010-01-20 2014-07-16 株式会社デンソー 運転支援装置
KR101316465B1 (ko) 2012-06-29 2013-10-08 현대자동차주식회사 충돌 방지 시스템 및 방법
JP6407596B2 (ja) * 2014-07-15 2018-10-17 株式会社デンソーテン 画像処理装置、及び、運転支援システム
JP6541318B2 (ja) * 2014-09-10 2019-07-10 アイテル株式会社 運転支援装置
CN104197888B (zh) * 2014-09-28 2016-09-28 上海隧道工程有限公司 一种立杆垂直度检测方法
JP2016122966A (ja) 2014-12-25 2016-07-07 富士通テン株式会社 データ再生装置、データ再生方法及びプログラム
JP6793448B2 (ja) * 2015-10-26 2020-12-02 株式会社デンソーテン 車両状態判定装置、表示処理装置および車両状態判定方法
JP6487824B2 (ja) * 2015-11-10 2019-03-20 ヤンマー株式会社 作業車両
JP6673191B2 (ja) 2016-12-27 2020-03-25 トヨタ自動車株式会社 警報出力装置
JP6760210B2 (ja) * 2017-06-16 2020-09-23 株式会社Jvcケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
WO2018230021A1 (ja) * 2017-06-16 2018-12-20 株式会社Jvcケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
JP6760211B2 (ja) * 2017-06-16 2020-09-23 株式会社Jvcケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0492734A (ja) * 1990-08-07 1992-03-25 Mazda Motor Corp 車載コンピュータの制御装置及びその制御方法
JPH0876816A (ja) * 1994-09-05 1996-03-22 Nippondenso Co Ltd アジャスト機能付き電子制御装置
JPH1027100A (ja) * 1996-07-11 1998-01-27 Mitsubishi Electric Corp プログラムデータ書換装置
JPH1155656A (ja) * 1997-08-06 1999-02-26 Matsushita Electric Ind Co Ltd 車両側方監視装置
JPH11157404A (ja) * 1997-11-26 1999-06-15 Toyota Motor Corp 駐車支援装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6414700A (en) * 1987-07-08 1989-01-18 Aisin Aw Co Device for displaying prospective track of vehicle
JP2819145B2 (ja) * 1989-03-14 1998-10-30 富士重工業株式会社 ステアリングセンサの故障判定方法
JP3362584B2 (ja) * 1995-12-22 2003-01-07 三菱自動車工業株式会社 駐車判定装置
JPH10119802A (ja) * 1996-10-23 1998-05-12 Toyota Autom Loom Works Ltd パワーステアリング装置におけるハンドル角補正装置及び車両
JPH10282233A (ja) * 1997-04-07 1998-10-23 Honda Motor Co Ltd 車両の障害物検出装置
JPH11259798A (ja) * 1998-03-10 1999-09-24 Nissan Motor Co Ltd 車両用表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0492734A (ja) * 1990-08-07 1992-03-25 Mazda Motor Corp 車載コンピュータの制御装置及びその制御方法
JPH0876816A (ja) * 1994-09-05 1996-03-22 Nippondenso Co Ltd アジャスト機能付き電子制御装置
JPH1027100A (ja) * 1996-07-11 1998-01-27 Mitsubishi Electric Corp プログラムデータ書換装置
JPH1155656A (ja) * 1997-08-06 1999-02-26 Matsushita Electric Ind Co Ltd 車両側方監視装置
JPH11157404A (ja) * 1997-11-26 1999-06-15 Toyota Motor Corp 駐車支援装置

Also Published As

Publication number Publication date
JP2001191877A (ja) 2001-07-17

Similar Documents

Publication Publication Date Title
JP4536889B2 (ja) 車両の運転支援装置
EP1102226B1 (en) Vehicle driving support system, and steering angle detection device
JP4782963B2 (ja) 駐車する車両の周辺状況を監視するための装置
JP2001006097A5 (ja)
JP4426014B2 (ja) 車両の駐車支援装置
JP2001006097A (ja) 車両の運転支援装置
JP6760122B2 (ja) 周辺監視装置
JP5182137B2 (ja) 車両周辺表示装置
JP2006051850A (ja) 運転支援装置及び運転支援方法
JP2010064750A (ja) 運転支援装置
JP2000127851A (ja) 車両の運転支援装置
JP4350838B2 (ja) 車両の運転支援装置
JP5617396B2 (ja) 運転支援装置
JP2007112360A (ja) 運転支援装置
JP2007142765A (ja) 車両周辺監視装置
JP2010149847A (ja) 運転支援装置
JP4861449B2 (ja) 車両の運転支援装置
JP2010076765A (ja) 走行記録装置
JP4927904B2 (ja) 車両の運転支援装置
JP2010143577A (ja) 運転支援装置
JP2004051063A (ja) 車両周辺視認装置
JP4825298B2 (ja) 運転支援装置
JP5270527B2 (ja) 運転支援装置
JPH1044863A (ja) サイドセーフミラー装置
JP2010137857A (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100617

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4536889

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140625

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees