JP4275507B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP4275507B2
JP4275507B2 JP2003367243A JP2003367243A JP4275507B2 JP 4275507 B2 JP4275507 B2 JP 4275507B2 JP 2003367243 A JP2003367243 A JP 2003367243A JP 2003367243 A JP2003367243 A JP 2003367243A JP 4275507 B2 JP4275507 B2 JP 4275507B2
Authority
JP
Japan
Prior art keywords
driver
risk factor
voice
vehicle
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003367243A
Other languages
English (en)
Other versions
JP2005134971A (ja
Inventor
俊孝 大和
浩 柴田
正博 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2003367243A priority Critical patent/JP4275507B2/ja
Publication of JP2005134971A publication Critical patent/JP2005134971A/ja
Application granted granted Critical
Publication of JP4275507B2 publication Critical patent/JP4275507B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車両の走行にかかる情報を取得し、取得した情報に基づいて運転者に対する報知や車両操作への介入を行う運転支援装置に関し、特に危険要因の方向を特定して運転者に効果的に注意を促すことのできる運転支援装置に関するものである。
近年、車両の走行にかかる各種情報を取得し、運転者に対する報知や運転の補助、さらには運転への介入を行うことで車両事故を防止し、また事故の被害を低減する技術が考案されている。
例えば、特許文献1は、ステアリング操作を支援して所定の走行軌跡を走行させる運転支援装置において、運転者の運転操作に対する集中度合いを判定し、その度合いをステアリング支援の制御ゲインに反映する技術を開示している。
また、特許文献2は、カーナビゲーションシステムの画面を水平方向に3分割し、通常の画面に加え、車両の右斜め後方の画像と車両の左斜め後方の画像とを表示することで、自車両周辺の安全に関する情報を提供する技術を開示している。
さらに、特許文献3は、車両が後退して駐車場を進行する際に、ステアリング角によって進路を予測するとともに、カメラユニットを用いて目標駐車位置を検出し、予測進路と目標駐車位置に基づいてディスプレイに情報表示を行ったり、スピーカから音声案内を出力して運転操作を支援する技術を開示している。
また、特許文献4は、自車両前後の画像を撮像して後続車両が自車両に対して危険であるか否かを判定し、その危険度が高いほど間隔の短い警告音を出力することで運転者の前方に対する注意をできるだけ妨げずに警告をおこなう技術を開示している。
特開2000−211543号公報 特開2001−114048号公報 特開2001−10429号公報 特開2002−279598号公報
ところで、車両の運転は、基本的に運転者の操作によるものであり、上述したような技術は運転の支援を行うものである。しかしながら、上述した従来の技術では、運転支援は独立して危険の度合いを判断して運転者への報知や操作への介入を行っていたために、運転者が既に察知している危険と運転者が察知していない危険とを同様に処理していた。
そのため、運転者は既に察知している危険について再三警告を受けるという煩雑さを感じるという問題があり、さらに重要な問題としては、必要な警告、すなわち運転者が察知していない危険についての警告が遅れる可能性がある。
すなわち、従来の運転支援装置では、運転者と支援装置の協働がなされていないという問題点があり、運転者に真に必要な警告や補助を優先的に実行する運転支援装置の実現が重要な課題であった。
また、運転者に対して警告をおこなう場合、危険要因がどの方向に存在するかが重要な情報となる。しかし、従来の警告方法では、運転者に危険要因の方向を伝えるためにはモニタに表示するか、音声で説明を行う必要があった。このように運転者にモニタ表示や音声に注意を払わせ、その意味を認識させることで危険を報知する方法では、認識すること自体に時間を要してその分対応が遅れる要因があるため、より迅速な対応がとれるような工夫が望まれている。
すなわち、従来の運転支援装置では、危険についての情報提供の方法が効率的ではなく、十分な支援ができないという問題点があった。そこで、運転者に対して危険の方向を直感的に報知することで運転者による迅速な対応を可能とし、運転の安全性をより高めることが重要な課題であった。
本発明は、上記に鑑みてなされたものであって、運転者と協働し、運転者が認識していない危険に対する警告や補助を優先的かつ効果的に実行可能な運転支援装置を提供することを目的とする。
上述した課題を解決し、目的を達成するため、発明に係る運転支援装置は、車両の走行にかかる情報を取得し、取得した情報に基づいて運転者に対する報知および/または車両操作への介入を行う運転支援装置であって、車両に対する危険要因を検出し、該検出された危険要因の自車両に対する相対方向を特定する危険要因判定手段と、前記危険要因判定手段が特定した前記危険要因の相対方向をもとに、前記運転者に対する報知内容および/または前記車両操作への介入内容を決定する支援内容決定手段と、を備えたことを特徴とする。
発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因の相対方向をもとに、運転者に対する報知内容や前記車両操作への介入内容を決定する。
また、発明に係る運転支援装置は、前記運転者の視線方向を検出する視線方向検出手段をさらに備え、前記支援内容決定手段は、前記視線方向検出手段によって検出された運転者の視界外に危険要因が存在する場合に、当該危険要因に関する情報を優先的に運転者に報知することを特徴とする。
この発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定するとともに運転者の視線方向を検出し、運転者の視界外に存在する危険要因についての情報を優先的に運転者に報知する。
また、発明に係る運転支援装置は、前記危険要因に関する情報を音声によって報知する音声報知手段をさらに備え、前記音声報知手段は、前記危険要因判定手段が特定した危険要因の相対方向と、運転者に対する音声の出力方向とを一致させることを特徴とする。
この発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させる。
また、発明に係る運転支援装置は、前記音声報知手段は、複数のスピーカを備え、該複数のスピーカの選択、組み合わせ、出力の制御、および出力タイミングの制御によって前記音声の出力方向を決定することを特徴とする。
この発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、複数のスピーカの選択、組み合わせ、出力の制御、および出力タイミングの制御によって運転者に対する音声の出力方向と危険要因の相対方向とを一致させる。
また、発明に係る運転支援装置は、前記音声報知手段は、100Hz以上の音を使用して音声による報知を実行することを特徴とする。
この発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させて100Hz以上の音で報知処理を行う。
また、発明に係る運転支援装置は、前記音声報知手段は、400Hz以上5000Hz未満の音声を使用して音声による報知を実行することを特徴とする。
この発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させて400Hz以上5000Hz未満の音で報知処理を行う。
また、発明に係る運転支援装置は、前記音声報知手段は、前記危険要因の内容に対応して出力する音声の種別を選択することを特徴とする。
この発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させて危険要因の内容に対応した音声で報知処理を行う。
また、発明に係る運転支援装置は、前記音声報知手段は、前記運転者の年齢に対応して出力する音声の周波数帯を選択することを特徴とする。
この発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させ、運転者の年齢に応じた周波数の音で報知処理を行う。
また、発明に係る運転支援装置は、前記音声報知手段は、外部に接続されたオーディオ装置とスピーカを共用し、前記危険要因が存在する場合に前記オーディオ装置からの出力音声の音量を下げて前記音声による報知を行うことを特徴とする。
この発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、スピーカを共用して出力中のオーディオ装置からの音声の音量を下げて報知処理を行う。
また、発明に係る運転支援装置は、前記危険要因に関する情報を表示する表示手段をさらに備え、前記音声報知手段は、前記危険要因判定手段が特定した危険要因の相対方向が運転者の死角である場合に、前記表示手段の方向と音声の出力方向とを一致させることを特徴とする。
この発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向が運転者の死角であれば、表示手段の方向と運転者に対する音声の出力方向とを一致させる。
また、発明に係る運転支援装置は、前記危険要因に関する情報を表示する複数の表示手段と、前記視線方向検出手段によって検出された運転者の視線方向に基づいて前記複数の表示手段のいずれに情報表示を行うかを選択する表示制御手段と、をさらに備えたことを特徴とする。
この発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定するとともに運転者の視線方向を検出し、危険要因についての情報を運転者の視界に近い表示手段に表示する。
また、発明に係る運転支援装置は、前記視線方向特定手段は、運転者を撮影する撮影手段と、前記撮影手段が撮影した画像に対して画像処理を実行して前記視線方向を特定する画像処理手段と、を備えたことを特徴とする。
この発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定するとともに、運転者の画像を撮影し、撮影した画像に対して画像処理を行うことで運転者の視線方向を検出する。
発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因の相対方向をもとに、運転者に対する報知内容や前記車両操作への介入内容を決定するので、危険要因の方向に基づいて運転者への支援を効果的に実行可能な運転支援装置を得ることができるという効果を奏する。
また、発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定するとともに運転者の視線方向を検出し、運転者の視界外に存在する危険要因についての情報を優先的に運転者に報知するので、運転者と協働し、運転者が認識していない危険に対する真に必要な支援を行う運転支援装置を得ることができるという効果を奏する。
また、発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させるので、危険要因の方向を運転者に直感的に報知して迅速な対応を行わせ、運転の安全性を向上可能な運転支援装置を得ることができるという効果を奏する。
また、発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、複数のスピーカの選択、組み合わせ、出力の制御、および出力タイミングの制御によって運転者に対する音声の出力方向と危険要因の相対方向とを一致させるので、運転者に危険要因の方向を直感的に報知する、簡易な構成の運転支援装置を得ることができるという効果を奏する。
また、発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させて100Hz以上の音で報知処理を行うので、運転者に危険要因の方向を直感的にかつ効果的に報知する運転支援装置を得ることができるという効果を奏する。
また、発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させて400Hz以上5000Hz未満の音で報知処理を行うので、運転者に危険要因の方向を直感的に、かつ走行ノイズに影響されることなく報知可能な運転支援装置を得ることができるという効果を奏する。
また、発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させて危険要因の内容に対応した音声で報知処理を行うので、危険要因の方向および内容を直感的に報知可能な運転支援装置を得ることができるという効果を奏する。
また、発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させ、運転者の年齢に応じた周波数の音で報知処理を行うので、危険要因の方向を直感的に、かつ効果的に報知可能な運転支援装置を得ることができるという効果を奏する。
また、発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、スピーカを共用して出力中のオーディオ装置からの音声の音量を下げて報知処理を行うので、オーディオ装置からの出力の音質を低下させることなく、危険要因についての情報を効果的に報知可能な運転支援装置を得ることができるという効果を奏する。
また、発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向が運転者の死角であれば、表示手段の方向と運転者に対する音声の出力方向とを一致させるので、運転者に危険要因の方向を直感的に伝達し、かつ死角に存在する危険要因に対して効果的な情報提供をおこなう運転支援装置を得ることができるという効果を奏する。
また、発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定するとともに運転者の視線方向を検出し、危険要因についての情報を運転者の視界に近い表示手段に表示するので、運転操作を阻害することなく、危険要因についての情報を効果的に表示可能な運転支援装置を得ることができるという効果を奏する。
また、発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定するとともに、運転者の画像を撮影し、撮影した画像に対して画像処理を行うことで運転者の視線方向を検出するので、簡易な構成で運転者の視線方向を検出して運転者と協働し、運転者が認識していない危険に対する支援を行う運転支援装置を得ることができるという効果を奏する。
以下に添付図面を参照して、この発明に係る運転支援装置の好適な実施例を詳細に説明する。
本発明の実施例にかかる運転支援装置の概要構成を図1に示す。同図に示すように、運転支援装置1は、自車両の経路誘導を行うナビゲーションシステム2、および通信や記憶媒体からの読み出しによって取得した音楽情報などを出力するオーディオ装置3と接続する。
また、運転支援装置1は、その内部に車内カメラ11、車外マイク12、通信処理部13、レーダ14、車外カメラ15、画像処理部21、運転者状態判定部22、危険判定部23、位置情報取得部24、支援内容決定部25、動作制御部31、警告制御部32、表示制御部33、音声制御部34、モニタm1,m2、スピーカS1〜S6を有する。尚、画像処理部21、運転者状態判定部22、危険判定部23、位置情報取得部24、支援内容決定部25、動作制御部31、警告制御部32、表示制御部33および音声制御部34は、マイクロコンピュータにより実現され、入力信号に基づき演算処理を行って動作制御用の信号等を出力して各種動作を実現する。ここで、各手段はそれぞれ独立したマイク六コンピュータによって実現しても良いし、複数の手段を単一のマイクロコンピュータ内で実現しても良い。
車内カメラ11は自車両内、主に運転手の顔近傍を撮像する撮像手段であり、撮像した画像を画像処理部21に出力する。画像処理部21は、車内カメラ11が撮像した画像に対して画像処理をおこなって運転者の頭部の画像を抽出し、運転者状態判定部22に出力する。運転者状態判定部22は、画像処理部21が抽出した運転者の頭部の画像をもとに、運転者の視線方向を判定し、支援内容決定部25に出力する。
車外マイク12は、車両外の音声を取得して危険判定部23に出力する。また、通信処理部13は、路車間通信や、車両間通信などの通信を行う処理部であり、受信した情報を危険判定部23に出力する。
さらに、レーダ14は自車両周辺を走査して走査結果を危険判定部23に出力し、車外カメラ15は自車両周辺の画像を撮像して危険判定部23に出力する。また、位置情報取得部24は、ナビゲーションシステム2から自車両の位置情報や経路情報を取得して危険判定部23に出力する。
危険判定部23は、車外マイク12、通信処理部13、レーダ14、車外カメラ15、位置情報取得部24などが出力する情報を用いて、自車両に対する危険の有無を判定する。なお、これらの情報は自車両の危険判定に使用可能な情報の一例であり、他の情報を用いてもよいことは言うまでもない。具体的には、自車両周辺の情報を取得する他の手段や、自車両の動作を制御するエンジン、ブレーキ、ステアリングなどの情報、さらには自車両の運転者や、周辺車両の運転者に関する情報を使用することができる。
危険判定部23は、その内部に危険内容判定部23a、危険方向判定部23b、危険度合判定部23c、危険時刻判定部23dを有する。危険内容判定部23は、危険判定部23に入力された情報をもとに、危険の内容を判定する。例えば、自車両の近傍に危険要因が存在する場合、その危険要因が車両であるのか、自転車であるのか、歩行者であるのかなどを判定する。
また、危険方向判定部23bは、危険判定部23に入力された情報をもとに、危険要因の自車両に対する相対方向を判定する。さらに、危険度合判定部23cは、危険の度合い、すなわちその危険がどれほどの被害をもたらすのかを判定する。例えば、接触事故が発生する危険があるのか、衝突事故が発生する危険があるのか、人身事故が発生する危険があるのかなどを判定する。また、危険時刻判定部は、事故が発生する時刻を予測する処理部であり、危険の回避にどれほどの猶予があるのかを示すものである。
危険判定部23は、危険内容判定部23a、危険方向判定部23b、危険度合判定部23cおよび危険時刻判定部23dの判定結果を、支援内容決定部25に出力する。
支援内容決定部25は、危険判定部23からの出力と、運転者状態判定部22からの出力とをもとに、支援の内容を決定して動作制御部31や警告制御部32に出力する。ここで運転の支援には、運転者に対して危険要因の存在を報知する「警告」と運転操作への補助や介入を行う「動作制御」とがある。
支援内容決定部25は、危険時刻判定部23dによる判定結果、すなわち危険の回避までの猶予時間をもとに、「警告」のみを行うのか「動作制御」を行うのかを決定する。さらに、支援内容決定部25は、運転者の視線方向をもとに、警告の内容および動作制御の内容を決定する。
具体的には、運転者の視界外の危険要因に対する警告は、運転者の視界内の危険要因に対する警告に比して優先して実行する。すなわち、運転者の視界外の危険要因に対する警告はより早いタイミングで行い、また、運転者の視界外と視界内に同時に危険要因を発見した場合には、視界外の危険要因を先に警告する。同様に、運転者の視界外の危険要因を回避するための動作制御は、運転者の視界内の危険要因に対する回避動作に比して優先し、より早いタイミングで実行する。
また、支援内容決定部25は、音声によって警告を行う場合に、危険要因の方向と警告音の方向とを一致させる。すなわち、自車両の左後方に危険要因が存在する場合には、運転手の左後方から警告音が聞こえるように制御する。
動作制御部31は、支援内容決定部25が決定した支援内容をもとに、「動作制御」を実行する。具体的には、動作制御部31は、車両に搭載された各種制御危機、例えばエンジン電子制御装置、ブレーキ電子制御装置、ステアリング電子制御装置などと接続しており、これらの電子制御装置を操作して運転操作の支援や、動作への介入を行う。
警告制御部32は、支援内容決定部25が決定した支援内容をもとに、「警告」を実行する。具体的には、警告制御部33は、表示制御部33および音声制御部34と接続している。
表示制御部33は、モニタm1,m2に表示する表示内容を制御する処理部である。また、表示制御部33は、その内部に表示合成部33aを有する。モニタm1,m2は、運転者への警告のみに用いるものではなく、ナビゲーションシステム2による予定経路の表示や指示と共用される。そこで、表示合成部33aは、警告制御部32によって指示された警告の内容と、ナビゲーションシステム2によって指示された経路表示とを切り替えて、もしくは同時に表示させる処理を行う。
なお、モニタm1,m2に表示する内容は、警告制御部32による警告や、ナビゲーションシステムによる経路情報に限定されるものではなく、他の電子機器とも共用可能である。例えば、オーディオ装置3による音声出力に関し、曲名や受信しているラジオ局などを表示するために用いても良い。また、モニタm1,m2がスイッチやタッチパネルを備えている場合、これらの入力インタフェースも各電子機器で共用することが可能である。
音声制御部34は、スピーカS1〜S6から出力する音声の内容を制御する処理部である。また、音声制御部34は、その内部に音声方向制御部34aおよび音声合成部34bを有する。
スピーカS1〜S6は、運転者への警告のみに用いるものではなく、ナビゲーションシステム2による経路の指示や、オーディオ装置3からの音声出力と共用される。そこで、音声合成部34bは、警告制御部32によって指示された警告の内容と、ナビゲーションシステム2やオーディオ装置3に指示された経路表示とを切り替えて、もしくは同時に出力する処理を行う。
一般に、オーディオ装置3による演奏などの音声出力中に警告音を出力する場合、特定のスピーカを警告音の出力に切り替えて割り当てるので、警告音を出力しているスピーカからは演奏などの出力はなされない。しかしながら、このようにスピーカからの出力を切り替えることとすると、オーディオ装置の出力の質が低下してユーザに不満を感じさせるのみならず、警告音の出力に使用しないスピーカでは、他のスピーカで警告音が出力されているか否かに関わらずに同一の音量で出力がなされるので、運転者による警告音の認識率が低下するという問題がある。
そこで、音声合成部34bでは、警告音の出力をする場合に複数のスピーカを総合的に制御し、オーディオ装置3からの出力に供する音量を全体的に低下するとともに警告音を合成して出力する。そのため、オーディオ装置3の出力の質を下げることなく、運転者に効果的に警告をおこなうことができる。
さらに、音声合成部32bでは、自車両が繁華街など人通りの多い場所を走行する場合に、オーディオ装置3からの出力に供する音量を低下させて車両外部の音声を聞きやすくし、運転者の安全運転を支援する。ここで、車外マイク12が集音した車両外部の音声をスピーカから出力することで、運転者に対してさらに効率的に車両外の様子を伝えることができる。
音声方向制御部34aは、スピーカS1〜S6の選択、組み合わせ、出力音量の制御、および出力タイミングの制御によって警告音声の出力方向が危険要因の方向に一致するように制御する。
すなわち、危険要因と同一方向にスピーカS1〜S6のいずれかがあれば、同一方向のスピーカから警告音を出力することで、運転者はどの方向に危険要因が存在するのかを直感的に知ることができる。
また、危険要因と同一方向にスピーカが存在しない場合、複数のスピーカを組み合わせて使用し、その出力音量や出力タイミングを制御することでスピーカ間の特定方向から音声が聞こえるように制御することができる。
このとき、それぞれのスピーカについて、どの程度の音量の差や出力タイミングの差を設けるかは、出力させたい方向とスピーカの配置、出力する警告音の周波数によって決定される。
ところで、スピーカS1〜S6から出力する警告音は、任意に設定することができる。例えば、危険要因に対する情報を読み上げる声を使用しても良いし、危険要因の種類(車、単車、自転車、人)などに対応する模式的な音を使用しても良い。危険要因の種類に対応する模式的な音としては、エンジン音、クラクション音、ベル音などを利用することができる。
さらに、警告音の周波数帯は、音の方向性を感じることのできる100Hz以上が望ましく、さらには400Hz以上5000Hz未満であることが望ましい。この400Hz〜5000Hzは、人間の耳に聞きやすく、かつ車両走行によるノイズが発生することの少ない周波数帯であり、運転者への効果的な警告に適する。
また、人間の可聴範囲は年齢と共に変化するので、運転者の年齢などの情報がある場合には、年齢に応じて異なる警告音を使用することがさらに好適である。
つぎに、車両の居室について説明する。図2は、車両の居室について説明する説明図である。同図に示すように、自車両30の運転席近傍には、室内カメラ11およびモニタm1を配置している。また、助手席前方にスピーカS1を、運転席前方にスピーカS2を配置し、運転席側のドアにスピーカS4を、助手席側のドアにスピーカS3を配置している。さらに、後部座席左側にスピーカS5を、後部座席右側にスピーカS6を配置している。また、後部座席と運転席・助手席との間にモニタm2を配置している。
スピーカS1〜S6は、音声制御部34によって制御され、運転者に対して任意の方向から警告を発することができる。例えば、車両の右側に危険要因が存在する場合、スピーカS4から警告を発し、車両の後方に危険要因が存在する場合にはスピーカS5およびスピーカS6を協働させて警告音を発する。また、車両の左前方に危険要因が存在する場合には、スピーカS1〜S3を協働させ、その出力のバランスによって危険要因の方向からの警告出力を実現する。
なお、スピーカの数および配置は必ずしもこの図2に示した配置に限定されるものではなく、任意の方向からの警告を行うことができればどのような数および配置であっても良い。運転者を中心として3以上のスピーカを備えれば、その配置と出力制御によって任意方向からの音声を作成可能である。
ところで、このように危険要因の方向と警告音の出力方向とを一致させるのは、運転者に直感的に危険要因の方向を察知させ、運転者が必要に応じてその方向を視認できるようにする効果がある。しかし、車両には構成上の死角、すなわち運転者が視認不可能な方向が存在する。例えば、運転席が右側であれば、車両の左後方が死角になることが多い。また、車両の上方も死角である。駐車場など高さ制限のある場所で、車高の高い車やアンテナを伸ばした車では、上方を十分に確認できない場合が多い。
そこで、危険要因の方向が車両の死角である場合には、モニタに情報を表示すると共にモニタ方向から警告音を出力するように構成してもよい。このように構成したならば、危険要因が視認可能であれば運転者に直接に目視させ、危険要因が視認不可能であれば(危険要因が死角に存在すれば)、運転者にモニタの確認を促すことができる。また、死角方向を車外カメラにて撮像し、撮像した画像をモニタに表示したならば、モニタの確認によって直接目視の代替をおこなうことが可能となる。
また、情報を表示するモニタは、運転席用に配置されたモニタm1に限定されるものではない。例えば、車両を後退させて駐車する場合など、運転者が後方を目視しながら運転操作をおこなっている場合、モニタm2に情報を表示することで、運転操作を中断させることなく必要な情報を提示することができる。
なお、運転者が前方を目視しているか、後方を目視しているか、すなわちモニタm1とモニタm2のどちらが運転者にとって確認が容易であるかは、運転者状態判定部22が判定した運転者の視線方向に基づいて判断すれば良い。
ここでモニタm2は、運転者への情報提供のために専用に設けても良いし、後部座席に座ったユーザに音楽情報や動画などを供するモニタと共用しても良い。モニタm2を運転席と後部座席とで共用する場合には、モニタm2を回動可能とし、運転者の使用に供する場合と後部座席での使用に供する場合とで表示面の方向を変更するようにすればよい。
つぎに、運転支援装置1による支援の具体例について説明する。図3および図4は、運転支援装置1による支援の具体例を説明する説明図であり、図3は運転者が左前方を目視している状態を、図4は運転者が右前方を目視している状態を示す。
図3および図4では、自車両C0が走行している道路において、左前方から他車両C1が道路に進入中であり、右前方から他車両C3が道路に進入中である。ここで、他車両C1,C2は自車両C0に対する危険要因として作用する。
運転支援装置1は、自車両C0の周囲に判定領域R1および判定領域R2を設定している。この判定領域R1,R2は、危険判定部23による危険判定を模式化したものであり、判定領域R2内に危険要因を検出したならば「警告」を実行する必要があり、判定領域R1内に危険要因を検出したならば「動作制御」を実行する必要があることを示す。
図3および図4では、他車両C1,C2はそれぞれ判定領域R2に入っており、判定領域R1には入っていない。そこで、運転支援装置1は、他車両C1,C2について運転者に対して「警告」を行う必要があると判断する。
ここで、図3では、運転者状態判定部22は、運転者は左前方を見ていると判定しており、運転者の視界V1に他車両C1が存在する。そこで、運転者は他車両C1の存在を認識していると推測できる。従って、運転支援装置1は、運転者の視界V1の外に存在する他車両C2についての警告を選択的に、もしくは優先的に実行する。
一方、図4では、運転者状態判定部22は、運転者は右前方を見ていると判定しており、運転者の視界V2に他車両C2が存在する。そこで、運転者は他車両C2の存在を認識していると推測できる。従って、運転支援装置1は、運転者の視界V2の外に存在する他車両C1についての警告を選択的に、もしくは優先的に実行する。
つぎに、運転支援装置1による処理動作について説明する。図5は、運転支援装置1の処理動作を説明するフローチャートである。この図5に示したフローは、自車両の走行中に繰り返し実行される。同図に示すように、まず、危険判定部23は、自車両および周辺の各種情報を取得し、危険判断をおこなう(ステップS101)。その結果、自車両に危険がなければ(ステップS102,Yes)、運転支援装置1は処理を終了する。
一方、自車両に危険があれば(ステップS102,No)、支援内容決定部25は、動作制御が必要であるか否かを判定する(ステップS103)。動作制御が必要である場合(ステップS103,Yes)、動作制御31によって自車両の動作を制御し(ステップS105)、処理を終了する。
一方、動作制御が必要でなければ(ステップS103,No)、運転者状態判定部22が運転者の視線方向を検出する(ステップS104)。その結果、運転者の視界の外に危険要因が存在しなければ(ステップS106,No)、すなわち運転者が既に危険要因を認識していれば、運転支援装置1は処理を終了する。
しかし、運転者の視界の外に危険要因が存在するならば(ステップS106,Yes)、警告制御部32は運転者に対する警告処理を実行して(ステップS107)、処理を終了する。
なお、このフローは運転支援装置1で実行可能な処理フローの一例であり、他のフローを使用しても良い。たとえば、このフローでは警告時に運転者の視線方向を加味しているが、動作制御においても運転者の視線方向を加味するようにしてもよい。また、運転者の視界内に危険要因が存在する場合にも警告を実行するようにし、危険要因が運転者の視界内に存在するか視界外に存在するかで警告内容を異ならせても良い。
つぎに、運転者に対する警告処理(図5に示したステップS107)についてさらに詳細に説明する。上述したように、運転者に警告音を出力する場合、常に危険要因の方向から警告音を出力する方法と、危険要因の方向が死角である場合にはモニタ方向から警告音を出力する方法とがある。
まず、常に危険要因の方向から警告音を出力する場合について説明する。図6は、常に危険要因の方向から警告音を出力する場合の処理動作について説明するフローチャートである。この警告処理フローでは、まず、危険方向判定部23bが判定した危険要因の方向を取得し(ステップS201)、その後、スピーカS1〜S6の音量(ボリューム)や出力タイミング(遅れ)を制御して警告音の方向と危険要因の方向とを一致させる(ステップS202)。
そして、スピーカS1〜S6から警告音を出力する(ステップS203)とともに、運転者の視界に近いモニタに危険要因に関する情報を表示して(ステップS204)、処理を終了する。
つぎに、危険要因の方向が死角である場合にはモニタ方向から警告音を出力する場合について説明する。図7は、危険要因の方向が死角である場合にはモニタ方向から警告音を出力する場合の処理動作について説明するフローチャートである。この警告処理フローでは、まず、危険方向判定部23bが判定した危険要因の方向を取得し(ステップS301)、その後、危険要因の方向が運転者の死角であるか否かを判定する(ステップS302)。
危険要因の方向が運転者の死角ではない場合(ステップS302,No)、音声方向制御部34aは、スピーカS1〜S6の音量(ボリューム)や出力タイミング(遅れ)を制御して警告音の方向と危険要因の方向とを一致させる(ステップS304)。
一方、危険要因の方向が運転者の死角である場合(ステップS302,Yes)、音声方向制御部34aは、スピーカS1〜S6の音量(ボリューム)や出力タイミング(遅れ)を制御して警告音の方向とモニタの方向とを一致させる(ステップS303)。ここで、モニタは運転者の視界に近いモニタを使用する。
ステップS303終了後、もしくはステップS304終了後、音声制御部34は、スピーカS1〜S6から警告音を出力する(ステップS305)とともに、運転者の視界に近いモニタに危険要因に関する情報を表示して(ステップS306)、処理を終了する。
つぎに、モニタへの具体的な表示例について説明する。図8−1および図8−2は、それぞれモニタm1,m2に表示する警告表示の具体例を示す図である。図8−1に示した表示画面40は、その表示画面上に方向表示領域41、情報表示領域42および画像表示領域43を作成している。
方向表示領域41は、自車両の模式図を表示するとともに、自車両の模式図に対する危険要因の方向を表示することで、運転者が簡易に危険要因の方向を認識できるようにしている。また、情報表示領域42は、危険要因に関する情報を文字などで表示する領域であり、画像表示領域43は、車外カメラなどで撮像した危険要因の画像を表示する領域である。
また、図8−2に示した表示画面50は、その表示画面上に方向表示記号51、情報表示領域52および画像表示領域53を作成している。方向表示記号51は、表示画面全体を自車両に見立て、自車両対する危険要因の方向を表示することで、運転者が簡易に危険要因の方向を認識できるようにしている。また、情報表示領域52は、危険要因に関する情報を文字などで表示する領域であり、画像表示領域53は、車外カメラなどで撮像した危険要因の画像を表示する領域である。
このように表示画面40,50では、危険要因の方向、危険要因の詳細な情報、および危険要因の画像を表示することで、運転者に対して簡易かつ詳細に報知を行うことができる。
上述したように、本実施例では、自車両に対する危険要因の方向を判定し、運転者が危険要因の方向を見ていない場合に、その危険要因についての警告や動作介入を優先的に行うので、運転者と協働し、運転者に真に必要な警告や補助を優先的に実行することができる。
また、運転者に警告を行う場合に、スピーカの音量や出力タイミングを制御して、危険要因の方向と警告音の出力方向とを一致させるので、危険要因の方向を運転者に直感的に認識させて迅速な対応を可能とし、運転の安全性を飛躍的に高めることができる。
以上のように、本発明にかかる運転支援装置は、安全な車両走行の実現に有用であり、特に、運転者に真に必要な支援を選択し、効果的に実行することに適している。
本発明の実施例にかかる運転支援装置の概要構成を説明する概要構成図である。 車両の居室について説明する説明図である。 図1に示した運転支援装置による支援の具体例を説明する説明図である。 図1に示した運転支援装置による支援の具体例を説明する説明図である。 図1に示した運転支援装置の処理動作を説明するフローチャートである。 常に危険要因の方向から警告音を出力する場合の処理動作について説明するフローチャートである。 危険要因の方向が死角である場合にはモニタ方向から警告音を出力する場合の処理動作について説明するフローチャートである。 モニタに表示する警告表示の具体例を説明する説明図である。 モニタに表示する警告表示の具体例を説明する説明図である。
符号の説明
1 運転支援装置
2 ナビゲーションシステム
3 オーディオ装置
11 車内カメラ
12 車外マイク
13 通信処理部
14 レーダ
15 車外カメラ
21 画像処理部
22 運転状態判定部
23 危険判定部
23a 危険内容判定部
23b 危険方向判定部
23c 危険度合判定部
23d 危険時刻判定部
24 位置情報取得部
25 支援内容決定部
31 動作制御部
32 警告制御部
33 表示制御部
33a 表示合成部
34 音声制御部
34a 音声方向制御部
34b 音声合成部
40,50 表示画面
41 方向表示領域
42,52 情報表示領域
43,53 画像表示領域
51 方向表示記号
m1,m2 モニタ
S1〜S6 スピーカ
C0 自車両
C1,C2 他車両
R1,R2 判定領域
V1,V2 視界

Claims (10)

  1. 車両の走行にかかる情報を取得し、取得した情報に基づいて運転者に対する報知および
    /または車両操作への介入を行う運転支援装置であって、
    前記運転者の視線方向を検出する視線方向検出手段と、
    前記車両に対する複数の危険要因を検出し、検出された複数の危険要因それぞれの自車両に対する相対方向を特定する危険要因判定手段と、
    前記危険要因判定手段が特定した前記複数の危険要因それぞれの相対方向のうち、前記視線方向検出手段により検出された運転者の視線方向とは別方向の危険要因に対する前記運転者への報知内容および/または前記車両操作への介入内容を、前記視線方向検出手段により検出された運転者の視線方向と同方向の危険要因よりも優先して決定する支援内容決定手段と、
    を備えたことを特徴とする運転支援装置。
  2. 前記危険要因に関する情報を音声によって報知する音声報知手段をさらに備え、前記音声報知手段は、前記危険要因判定手段が特定した危険要因の相対方向と、運転者に対する音声の出力方向とを一致させることを特徴とする請求項に記載の運転支援装置。
  3. 前記音声報知手段は、複数のスピーカを備え、該複数のスピーカの選択、組み合わせ、出力の制御、および出力タイミングの制御によって前記音声の出力方向を決定することを特徴とする請求項に記載の運転支援装置。
  4. 前記音声報知手段は、100Hz以上の音を使用して音声による報知を実行することを特徴とする請求項またはに記載の運転支援装置。
  5. 前記音声報知手段は、400Hz以上5000Hz未満の音声を使用して音声による報知を実行することを特徴とする請求項に記載の運転支援装置。
  6. 前記音声報知手段は、前記危険要因の内容に対応して出力する音声の種別を選択することを特徴とする請求項2〜5のいずれか一つに記載の運転支援装置。
  7. 前記音声報知手段は、前記運転者の年齢に対応して出力する音声の周波数帯を選択することを特徴とする請求項2〜6のいずれか一つに記載の運転支援装置。
  8. 前記音声報知手段は、外部に接続されたオーディオ装置とスピーカを共用し、前記危険要因が存在する場合に前記オーディオ装置からの出力音声の音量を下げて前記音声による報知を行うことを特徴とする請求項2〜7のいずれか一つに記載の運転支援装置。
  9. 前記危険要因に関する情報を表示する表示手段をさらに備え、前記音声報知手段は、前記危険要因判定手段が特定した危険要因の相対方向が運転者の死角である場合に、前記表示手段の方向と音声の出力方向とを一致させることを特徴とする請求項2〜8のいずれか一つに記載の運転支援装置。
  10. 前記危険要因に関する情報を表示する複数の表示手段と、前記視線方向検出手段によって検出された運転者の視線方向に基づいて前記複数の表示手段のいずれに情報表示を行うかを選択する表示制御手段と、をさらに備えたことを特徴とする請求項1〜9のいずれか一つに記載の運転支援装置。
JP2003367243A 2003-10-28 2003-10-28 運転支援装置 Expired - Fee Related JP4275507B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003367243A JP4275507B2 (ja) 2003-10-28 2003-10-28 運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003367243A JP4275507B2 (ja) 2003-10-28 2003-10-28 運転支援装置

Publications (2)

Publication Number Publication Date
JP2005134971A JP2005134971A (ja) 2005-05-26
JP4275507B2 true JP4275507B2 (ja) 2009-06-10

Family

ID=34645303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003367243A Expired - Fee Related JP4275507B2 (ja) 2003-10-28 2003-10-28 運転支援装置

Country Status (1)

Country Link
JP (1) JP4275507B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9527442B2 (en) 2012-11-29 2016-12-27 Honda Access Corp. Driver dangerous driving reporting device
WO2018031673A1 (en) 2016-08-10 2018-02-15 Surround.IO Corporation Method and system for providing information via collected and stored metadata using inferred attentional model

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292881A (ja) * 2004-03-31 2005-10-20 Clarion Co Ltd 車両位置報知装置及び車両位置報知システム
JP4692106B2 (ja) * 2005-06-30 2011-06-01 ヤマハ株式会社 車両用警告装置
JP2007065704A (ja) * 2005-08-29 2007-03-15 Alpine Electronics Inc 車両用警報装置
JP4882587B2 (ja) * 2006-08-09 2012-02-22 株式会社デンソー 車両用情報提供装置
JP4420002B2 (ja) 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
US7792641B2 (en) * 2007-06-12 2010-09-07 Palo Alto Research Center Incorporated Using long-range dynamics and mental-state models to assess collision risk for early warning
US8352173B2 (en) * 2007-06-12 2013-01-08 Palo Alto Research Center Incorporated Two-level grouping of principals for a collision warning system
JP4957589B2 (ja) * 2008-03-06 2012-06-20 アイシン・エィ・ダブリュ株式会社 障害物警告装置、障害物警告方法及びコンピュータプログラム
JP2009301123A (ja) * 2008-06-10 2009-12-24 Fuji Heavy Ind Ltd 車両の運転支援装置
JP5345350B2 (ja) * 2008-07-30 2013-11-20 富士重工業株式会社 車両の運転支援装置
JP5217860B2 (ja) * 2008-09-30 2013-06-19 日産自動車株式会社 死角画像表示装置および死角画像表示方法
JP2010173366A (ja) * 2009-01-27 2010-08-12 Mitsubishi Electric Corp 車載ネットワーク装置
RU2514924C2 (ru) * 2009-12-18 2014-05-10 Хонда Мотор Ко., Лтд. Прогнозирующий человеко-машинный интерфейс с использованием технологии обнаружения взгляда, индикаторов "мертвых" зон и водительского опыта
JP2012212351A (ja) * 2011-03-31 2012-11-01 Mazda Motor Corp 車両用情報提供装置
JP5867171B2 (ja) * 2012-03-05 2016-02-24 株式会社デンソー 運転支援装置及びプログラム
JP2013257769A (ja) * 2012-06-13 2013-12-26 Toyota Motor Corp 運転支援装置
JP5849040B2 (ja) * 2012-11-28 2016-01-27 富士重工業株式会社 車両の運転支援制御装置
JP6252365B2 (ja) * 2014-06-11 2017-12-27 株式会社デンソー 安全確認支援システム、安全確認支援方法
JP6017499B2 (ja) 2014-06-26 2016-11-02 京セラドキュメントソリューションズ株式会社 電子機器および報知音出力プログラム
JP6555175B2 (ja) 2016-04-01 2019-08-07 株式会社デンソー 運転支援装置及び運転支援プログラム
US11475773B2 (en) 2018-08-03 2022-10-18 Nec Corporation Alert of occurrence of pre-dangerous state of vehicle
JP2020047128A (ja) * 2018-09-21 2020-03-26 パイオニア株式会社 情報処理装置、情報処理方法、情報処理プログラム、及び記憶媒体
JP7092062B2 (ja) * 2019-02-20 2022-06-28 日本電信電話株式会社 イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム
JP7016900B2 (ja) * 2019-04-11 2022-02-07 三菱ロジスネクスト株式会社 制御装置、制御方法及びプログラム
EP3722522B1 (en) 2019-04-11 2024-03-27 Mitsubishi Logisnext Co., Ltd. Control device, control method, and program
JPWO2020213022A1 (ja) * 2019-04-15 2021-10-14 三菱電機株式会社 視線監視装置および視線監視方法
JP7531265B2 (ja) * 2019-06-07 2024-08-09 本田技研工業株式会社 運転支援装置、運転支援方法および運転支援プログラム
JP6849017B2 (ja) * 2019-07-01 2021-03-24 株式会社デンソー 運転支援装置及び運転支援プログラム
KR102689721B1 (ko) * 2019-07-22 2024-07-29 엘지디스플레이 주식회사 디스플레이 장치 및 이를 포함하는 차량
KR102689725B1 (ko) * 2019-07-22 2024-07-29 엘지디스플레이 주식회사 디스플레이 장치 및 이를 포함하는 차량
JP2021099704A (ja) * 2019-12-23 2021-07-01 株式会社Jvcケンウッド 車両用報知制御装置、車両用報知システム、報知方法及びプログラム
JP7674291B2 (ja) 2022-02-22 2025-05-09 トヨタ自動車株式会社 車両運転支援装置
JPWO2023189084A1 (ja) * 2022-03-30 2023-10-05

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230132A (ja) * 1993-02-03 1994-08-19 Nissan Motor Co Ltd 車両用障害物検出装置
JPH1142988A (ja) * 1997-07-25 1999-02-16 Yazaki Corp 車両用後側方監視方法及び車両用後側方監視装置
JP2001199296A (ja) * 2000-01-17 2001-07-24 Matsushita Electric Ind Co Ltd 警報装置、振動体を有する運転座席、警報装置を車両に搭載した移動体
JP4385392B2 (ja) * 2000-06-15 2009-12-16 マツダ株式会社 車両用情報提供装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9527442B2 (en) 2012-11-29 2016-12-27 Honda Access Corp. Driver dangerous driving reporting device
WO2018031673A1 (en) 2016-08-10 2018-02-15 Surround.IO Corporation Method and system for providing information via collected and stored metadata using inferred attentional model
EP3496969A4 (en) * 2016-08-10 2020-09-16 Xevo Inc. METHOD AND SYSTEM FOR PROVIDING INFORMATION VIA METADATA COLLECTED AND STORED USING A DEDICATED ATTENTION MODEL

Also Published As

Publication number Publication date
JP2005134971A (ja) 2005-05-26

Similar Documents

Publication Publication Date Title
JP4275507B2 (ja) 運転支援装置
EP4003805B1 (en) System and method for a combined visual and audible spatial warning system
JP4846426B2 (ja) 車両周囲監視装置
JP2003291688A (ja) 表示方法、運転支援装置、プログラム
US20170015242A1 (en) Method and system to warn of a vehicle moving in the wrong direction of travel
JP7584377B2 (ja) 案内装置、案内制御装置、案内方法、およびプログラム
JP2005328181A (ja) 周囲確認装置
JP2020067979A (ja) 車両用障害物報知装置
JP2013191050A (ja) 車両周辺監視装置
JP5054555B2 (ja) 車両周辺映像表示装置
JP2020077127A (ja) 運転支援装置
JP2008257636A (ja) 運転支援装置
JP2005122390A (ja) 運転支援装置
JP2013161440A (ja) 車両周辺監視装置
JP4873255B2 (ja) 車両用報知システム
JP2010149847A (ja) 運転支援装置
JP2015008453A (ja) カメラ装置および警告方法
JP2024008575A (ja) 情報処理装置および情報処理方法
JP2007133732A (ja) 安全走行支援装置
JP2010076765A (ja) 走行記録装置
JP5281421B2 (ja) 車載システム
JP2014010807A (ja) 運転支援装置
JP2020013369A (ja) 運転支援装置、運転支援システム、及び運転支援プログラム
JP2013171391A (ja) 車両周辺監視システム
JP2010116155A (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090303

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090304

R150 Certificate of patent or registration of utility model

Ref document number: 4275507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140313

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140313

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees