JP4239841B2 - 車両用運転支援装置 - Google Patents

車両用運転支援装置 Download PDF

Info

Publication number
JP4239841B2
JP4239841B2 JP2004029703A JP2004029703A JP4239841B2 JP 4239841 B2 JP4239841 B2 JP 4239841B2 JP 2004029703 A JP2004029703 A JP 2004029703A JP 2004029703 A JP2004029703 A JP 2004029703A JP 4239841 B2 JP4239841 B2 JP 4239841B2
Authority
JP
Japan
Prior art keywords
vehicle
driver
information
driving support
behavior prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004029703A
Other languages
English (en)
Other versions
JP2005222325A (ja
Inventor
良雄 向山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2004029703A priority Critical patent/JP4239841B2/ja
Publication of JP2005222325A publication Critical patent/JP2005222325A/ja
Application granted granted Critical
Publication of JP4239841B2 publication Critical patent/JP4239841B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、概して、車車間通信を利用して自車両走行情報の送信及び他車両走行情報の受信を行い、自車両と他車両の交錯可能性を判定する車両用運転支援装置に係り、特に、自車両走行情報のうち自車両行動予測については運転者に確認・選択を求めた上で送信する車両用運転支援装置に関する。
従来、車両に搭載され、他の車両に搭載された通信装置と情報をやりとりするいわゆる車車間通信(例えば、特許文献1参照)を利用して、車両間で互いの走行情報を交換し、自車両と他車両の交錯可能性を判定し、交錯可能性の高い場合に運転者に情報提供する運転支援装置が知られている(例えば、特許文献2参照)。
また、インフラ側に設置されたセンサやカメラを利用して、車両と他の移動体との衝突の回避を図る手法も提案されている(例えば、特許文献3及び4参照)。
特開平11−110693号公報 特開2000−348299号公報 特開2001−148098号公報 特開2002−260192号公報
上述のような交錯可能性判定において判定精度を高めるためには、自車両及び他車両の今後の(近い将来の)行動を正確に予測することが必要となる。
しかしながら、上記従来の装置では、行動予測の精度に欠け、交錯可能性判定における正確さが不十分であると考えられる。具体的には、上記特許文献2〜4に開示された装置では、実際の運転者の意思が考慮されておらず、装置側の判断のみに依存しているため、各車両がどのような行動をとるのかを必ずしも正確に予測できない場合も生じ得る。
なお、上記特許文献2には、運転者によるウインカ操作及び経路案内に基づいて右折・左折・直進を予測することが開示されている。しかしながら、ウインカは、発進、停車、合流、分流、車線変更、追い越し、又は、仲間同士の合図、などの他の意思表示にも用いられ得るものである。また、単なるウインカの消し忘れや、ウインカ操作無しでの右左折も実際にはあり得る。したがって、運転者の意思を確認することなく、ウインカ操作から行動を予測しても実際の行動とは異なる場合が生じ得る。経路案内の場合も同様であり、近道をするためや案内された経路中に通行止めが存在する場合などに運転者が案内された経路に従わない場合も多々あり得るため、案内経路から行動を予測しても実際の行動とは異なる場合が生じ得る。
さらに、上記特許文献3及び4に開示された装置には、インフラ設備に依存するために利用可能範囲が限定的であるという問題もある。
本発明はこのような課題を解決するためのものであり、周辺車両に送信する自車両走行情報の内容に運転者の意思を反映させる車両用運転支援装置を提供することを主たる目的とする。
上記目的を達成するための本発明の第一の態様は、通信を利用して自車両走行情報の送信及び他車両走行情報の受信を行う車両用運転支援装置であって、
自車両の走行状態に関する情報を取得する自車両情報取得手段と、自車両運転者の運転操作を検出する運転操作検出手段と、
自車両周辺の状況に関する情報を取得する周辺情報取得手段と、
上記自車両情報取得手段及び上記周辺情報取得手段によってそれぞれ取得された自車両走行状態及び周辺状況と、上記運転操作検出手段によって検出された運転操作とに基づいて、自車両の行動を予測する自車両行動予測手段と、
上記自車両行動予測手段による自車両行動予測結果を運転者に提示し、確認を求める確認要求手段と、
運転者に提示された自車両行動予測結果を、運転者によって確認されたものであるか否かを示す信頼度情報と共に、前記自車両走行情報として送信する送信手段と、を有する車両用運転支援装置である。
この第一の態様において、上記確認要求手段は、例えば、上記自車両行動予測結果とそれに対する運転者からの応答(確認・承認及び/又は拒否・否定)を求めるメッセージとを運転者に提示し、これらに対する運転者からの応答(すなわち、提示された内容を正しいものとして承認する肯定応答、又は、提示された内容が不正確であるものとして拒否する否定応答)を検出する。ここで、上記提示は、例えば、ヘッド・アップ・ディスプレイ(HUD)、ナビゲーション・システムのディスプレイ、又は、インパネ内に設けられたディスプレイなどを利用して視覚的に行われてもよく、或いは、スピーカなどを利用して聴覚的に行われてもよく、或いは、これらを組み合わせて行われてもよい。また、上記検出は、運転者の口頭による応答を音声認識を利用して検出してもよく、或いは、専用のスイッチ若しくはボタン又はナビゲーション・システムのインターフェースを利用して運転者による入力・選択を検出してもよい。
この第一の態様によれば、運転者によって確認(承認)され、もはや「予定」に近い自車両行動予測が発信されるため、周辺車両が当該車両に関する精度の高い走行情報を取得することができる。これにより、各車両における交錯可能性判定の精度の向上が図られる。
なお、この第一の態様において、上記自車両行動予測手段は、運転者に提示した自車両行動予測結果が運転者によって承認される確率が高くなるように、過去の自車両走行状態、周辺状況、及び運転操作とそのときに行われた実際の自車両行動(すなわち、そのときの運転者の意思)との関係を予め学習データとして蓄積しておき、取得された自車両走行状態、周辺状況、及び運転操作に関する情報を上記学習データに照らして自車両行動を予測することが好ましい。
この場合、上記自車両行動予測手段は、2以上の自車両行動を予測すると共に、これら2以上の自車両行動予測結果を各結果の上記学習データに対するヒット数の多い順に優先順位を付け、上記確認要求手段は、上記2以上の自車両行動予測結果を上記優先順位に従って1つずつ運転者に提示することができる。
このように2以上の自車両行動予測結果を1つずつ運転者に提示する場合、上記送信手段は、運転者による確認が所定時間内に行われなかったとき、その時点で運転者に提示されている自車両行動予測結果を上記自車両走行情報として送信することができる。その際、受信側である他車両が受信した情報の精度を推測できるように、上記自車両行動予測結果が該結果が運転者によって確認されたものであるか否かを示す信頼度情報と共に送信される、及び/又は、上記送信手段が、運転者による確認が所定時間内に行われなかったとき、上記自車両行動予測結果を該結果の上記学習データに対するヒット数を示す頻度情報と共に送信する、ことが好ましい。
上記目的を達成するための本発明の第二の態様は、通信を利用して自車両走行情報の送信及び他車両走行情報の受信を行う車両用運転支援装置であって、
自車両の走行状態に関する情報を取得する自車両情報取得手段と、
自車両運転者の運転操作を検出する運転操作検出手段と、
自車両周辺の状況に関する情報を取得する周辺情報取得手段と、
上記自車両情報取得手段及び上記周辺情報取得手段によってそれぞれ取得された自車両走行状態及び周辺状況と、上記運転操作検出手段によって検出された運転操作とに基づいて、自車両の行動を予測する自車両行動予測手段と、
上記自車両行動予測手段による1以上の自車両行動予測結果を運転者に提示する情報提示手段と、
上記1以上の自車両行動予測結果の中から運転者により選択された結果が運転者により入力される入力インターフェース手段と、
運転者に提示された自車両行動予測結果を、運転者によって確認されたものであるか否かを示す信頼度情報と共に、前記自車両走行情報として送信する送信手段と、を有する車両用運転支援装置である。
この第二の態様において、上記情報提示手段は、例えば、例えば、ヘッド・アップ・ディスプレイ(HUD)、ナビゲーション・システムのディスプレイ、又は、インパネ内に設けられたディスプレイなどの視覚的提示手段により実現されてもよく、或いは、スピーカなどの聴覚的提示手段により実現されてもよく、或いは、これらを組み合わせて実現されてもよい。
また、この第二の態様において、上記入力インターフェース手段は、例えば、運転者の口頭による応答を検出する音声認識手段により実現されてもよく、或いは、専用のスイッチ若しくはボタン又はナビゲーション・システムのインターフェースを利用して実現されてもよい。
この第二の態様によれば、運転者によって選択され、もはや「予定」に近い自車両行動予測が発信されるため、周辺車両が当該車両に関する精度の高い走行情報を取得することができる。これにより、各車両における交錯可能性判定の精度の向上が図られる。
なお、この第二の態様において、上記自車両行動予測手段は、運転者の意図した行動が提示した自車両行動予測結果に含まれている確率が高くなるように、過去の自車両走行状態、周辺状況、及び運転操作とそのときに行われた実際の自車両行動(すなわち、そのときの運転者の意思)との関係を予め学習データとして蓄積しておき、取得された自車両走行状態、周辺状況、及び運転操作に関する情報を上記学習データに照らして自車両行動を予測することが好ましい。
この場合、上記自車両行動予測手段は、予測された上記1以上の自車両行動予測結果に各結果の上記学習データに対するヒット数の多い順に優先順位を付け、上記情報提示手段は、上記1以上の自車両行動予測結果を上記優先順位と共に提示することができる。
このように提示された自車両行動予測結果に優先順位が付与される場合に、運転者による選択が所定時間内に行われなかったとき、上記送信手段は、最も高い優先順位の自車両行動予測結果のみを上記自車両走行情報として送信してもよく、或いは、少なくとも最も高い優先順位の自車両行動予測結果を含む1以上の自車両行動予測結果を上記自車両走行情報として送信してもよい。その際、受信側である他車両が受信した情報の精度を推測できるように、上記自車両行動予測結果が該結果が運転者によって選択されたものであるか否かを示す信頼度情報と共に送信される、及び/又は、上記送信手段が、運転者による選択が所定時間内に行われなかったとき、上記自車両行動予測結果を該結果の上記学習データに対するヒット数を示す頻度情報と共に送信する、ことが好ましい。
さらに、上記第一及び第二の態様において、上記車両用運転支援装置が、上記自車両行動予測手段による自車両行動予測結果と受信した上記他車両走行情報とに基づいて、自車両と他車両の交錯可能性を判定する判定手段を更に有すると、自車両における交錯可能性判定の精度も向上する。
本発明によれば、周辺車両に送信する自車両走行情報の内容に運転者の意思を反映させる車両用運転支援装置を提供することができる。
以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。なお、通信を利用して他車両との交錯可能性を判定する車両用運転支援装置の基本概念、主要なハードウェア構成、作動原理、及び基本的な制御手法等については当業者には既知であるため、詳しい説明を省略する。また、特に断りの無い限り、ここでいう車車間通信には、インフラを経由した車両間での通信、すなわち個々のリンクの一部又は全部が路車間通信として実現される車両間での通信も含まれるものとする。
まず、図1を用いて、本発明の一実施例に係る車両用運転支援装置の構成について説明する。図1は、本実施例に係る車両用運転支援装置100の概略構成図である。本実施例は、車車間通信が可能な車両用運転支援装置を前提とするものであり、車両用運転支援装置100は車車間通信を行うための基本的なシステム構成を有する。
本実施例に係る車両用運転支援装置100は、車車間通信に利用可能な送信機/受信機101(以下、単に「送受信機101」という)を有する。送受信機101は、通信用のアンテナ102を備え、無線周波数帯の電波(例えば、60GHz帯のミリ波)を送受信することにより他車両との車車間通信を実現する。通信方式には、例えば、スペクトラム拡散方式を採用することができる。
また、車両用運転支援装置100は、高速通信バスなどを介して送受信機101に接続された信号処理装置103を有する。信号処理装置103は、更に、送受信するデータを一時的に格納する送受信データバッファ104を有する。信号処理装置103は、車車間通信により送受信機101が受信した他車両の走行情報(以下、「他車両受信データ」という)を送受信データバッファ104に格納すると共に、後述するゲートウェイ装置105やデータ管理ECU106などに他車両受信データに基づいて生成した信号(以下、「他車両情報信号」という)を送出する。
また、車両用運転支援装置100は、高速通信バスなどを介して信号処理装置103に接続されたゲートウェイ装置105を有する。ゲートウェイ装置105は、信号処理装置103と自車両の各種制御装置や各種情報装置等との間を相互接続する。
ゲートウェイ装置105には、高速通信バスなどを介して、例えば、ナビゲーション・システム、オーディオ装置、カメラ、又は携帯電話等のマルチメディア系装置106、自車両に搭載された各種制御装置や各種センサ等の制御系装置107、及び、自車両に搭載された各種電装部品108、が接続される。
したがって、ゲートウェイ装置105には、図1に示すように、ナビゲーション・システムなどの情報装置の各種状態を示す状態信号及び/又は画像信号、各種制御装置による制御信号、各種センサによる検出信号、各種スイッチのオン/オフ信号、などの多種多様な信号(以下、「自車両情報信号」という)が入力される。
なお、本実施例では、図示した又は上述の各種情報が自車両情報信号に含まれるものとしたが、本発明は、ゲートウェイ装置105に入力される自車両情報信号に含まれる情報を限定するものではなく、自車両情報信号には車車間通信で他車両又は自車両にとって有益となり得るあらゆる情報が含まれ得る。車車間通信を有益なものとする観点から、ゲートウェイ装置105に入力される自車両情報信号には、可能な限り多種多様な情報が含まれることが望ましい。例えば、加速度センサと車輪速センサの検出値に基づいて推定された走行路面と車輪の間の摩擦係数といった各種信号に基づいて得られた情報が含まれてもよい。
ゲートウェイ装置105に入力された自車両情報信号は、信号処理装置103に送出される。信号処理装置103は、自車両情報信号に含まれる各種自車両情報を送受信データバッファ104に格納すると共に、この各種自車両情報に基づいて生成した自車両の走行情報(以下、「自車両送信データ」という)を送受信機101に送出する。送受信データバッファ104に格納される各種自車両情報は、例えば、ゲートウェイ装置105からの入力毎に更新される。
また、車両用運転支援装置100は、信号処理装置103に接続されたデータ管理ECU109(データ管理用の電子制御ユニット)を有する。データ管理ECU109は、図示しないバスを介して相互接続されたCPU、ROM、及びRAM等からなるマイクロコンピュータとして構成される。
信号処理装置103は、データ管理ECU109により制御される。すなわち、信号処理装置103は、データ管理ECU109からの指令に応じて、送受信データバッファ104に格納された他車両受信データに基づいてゲートウェイ装置105に送出する他車両情報信号を生成すると共に、送受信データバッファ104に格納された自車両情報に基づいて送受信機101に送出すべき自車両送信データを生成する。自車両送信データは、送受信機101のアンテナ102を介して送信される。また、データ管理ECU109は、送受信機101への自車両送信データの送出サイクル(すなわち、送受信機10の送信サイクル)を制御する。
なお、本実施例において、信号処理装置103や送受信データバッファ104の機能は、ゲートウェイ装置105、データ管理ECU109、又は送受信機101に組み込まれてもよい。また、データ管理ECU109の機能は、他のECU(例えば、追従走行用ECUなど)によって実現されてもよい。
データ管理ECU109には、車車間通信により得られる他車両走行情報及び自車両走行情報を利用する各種の通信利用システム110が接続され得る。この通信利用システム110は、例えば、先行車両との車間距離や先行車両の速度等に基づいて警報を出力する警報システムや、他車両との関係(例えば相対速度)に基づいて該他車両との衝突を回避するように自車両の走行を制御する車両制御システム、或いは、先行車両に追従するように自車両の走行を制御する追従走行システム、などである。これら通信利用システム110は、ゲートウェイ装置105にも接続され得る。
本実施例では、通信利用システム110として、特に、アンテナ102及び送受信機101を介して他車両から受信された他車両走行情報と自車両走行情報とに基づいて、自車両と他車両との交錯可能性を判定するシステムと、交錯可能性が高い場合に衝突回避措置を実行する衝突防止システムとを備えるものとする。
本実施例に係る衝突防止システムは、自車両と交錯する可能性のある他車両の存在について運転者に情報及び/又は警報を提供する。この情報及び/又は警報は、ナビゲーション・システムのディスプレイ上やインストゥルメント・パネル上に視覚的に提供されてもよく、ホログラム虚像としてフロント・ウィンドウ上に視覚的に提供されてもよく、スピーカから音声として聴覚的に提供されてよく、これらを適宜組み合わせて提供されてもよい。情報が提供されるタイミングは任意に設定することができ、例えば交差点の手前150メートルなどのように設定することができる。同様に、提供される情報の具体的内容及び提供方法も任意である。
いずれの場合であっても、交錯可能性が高いほど運転者への注意喚起の程度が大きくなるように段階的な情報内容及び情報提供方法が設定されることが好ましい。また、警告を行っても対応策が行われない場合には、制御介入を行うものとしてもよい。
ここで、図2〜図4を用いて、信号処理装置103が生成する自車両送信データについて説明する。本実施例において、信号処理装置103は、車車間通信の対象となる他車両が決定される前と、決定された後とで異なる自車両送信データを生成する。図3は、車車間通信の対象となる他車両が決定される前に生成される自車両送信データ(すなわち、車車間通信を開始する前の自車両送信データであり、以下、車車間通信実行中の自車両送信データと区別するために「事前送信データ」という)の一例を示す。
図2(a)に示すように、事前送信データのデータ構造には、ベーシック・データ・コードと、その前後に付加されたヘッダ及びフッタとが含まれる。ヘッダは、ベーシック・データ・コードのデータ内容を示す情報と共に、必要な各種情報(例えば、送信サイクルの変更情報)を含み、ベーシック・データ・コードの開始位置を指示する。
また、図2(b)に示すように、ベーシック・データ・コードには、必須情報としてユニーク・コードが含められる。ユニーク・コードは、車両毎に付与された固有のコードであり、例えばIPアドレスである。
また、ベーシック・データ・コードには、好ましくは、車両の位置情報及び車種コードが含められる。車両の位置情報は、現時点の自車両の位置を示す情報であり、例えば、GPS受信機(図示せず)が受信したGPS信号に基づいて演算された自車両の位置情報(ゲートウェイ装置105に入力される自車両情報信号に含まれる)である。車種コードは、自車両の車種を受信側が判別可能なコードであり、例えば、四輪車の場合にはナンバープレートの車種番号でもよく、二輪車の場合には排気量別に割り当てられた特定の英数字でもよい。より細かい個別の車種情報として、トラック、バス、ワンボックス、セダン、オープンカーなどの情報が含まれてもよく、車体(ボディ)の色の情報が含まれてもよい。
事前送信データは、例えば一定の送信サイクルで、常時、繰り返し送信される。この事前送信データが所定の領域内に存在する他車両により受信されると、受信した他車両が本実施例に係る車両用通信装置100を搭載していれば、該他車両からの同様の事前送信データが自車両により受信される。そして、受信した事前送信データに含まれる上述のユニーク・コードを互いに認識し合うことで、これらの車両間で車車間通信が成立・開始される。別の方法として、他車両からの事前送信データからユニーク・コードを認識した上で、該他車両に車車間通信を要求する要求信号を送信してもよい。この場合、該他車両から肯定応答信号を受信することで、該他車両との間に車車間通信が成立・開始される。
図3は、車車間通信の対象となる相手先車両が決定された後に生成される自車両送信データ(すなわち、車車間通信実行中の自車両送信データ)の一例を示す。車車間通信実行中の自車両送信データは、例えば、一定の送信サイクルで繰り返し送信される。なお、車車間通信の対象となる他車両が決定された後は、上述の事前送信データを送信せずに後述する車車間通信実行中の自車両送信データのみを車車間通信の対象となる相手先他車両に送信してもよく、或いは、車車間通信実行中の自車両送信データと共に、事前送信データも依然として常時送信するものとしてもよい。
図3(a)に示すように、車車間通信実行中の自車両送信データは、上述の事前送信データに対して、エクステンション・データ・コードと、その前に付加されたエクステンション・ヘッダとが追加されたデータ構造を有する。エクステンション・ヘッダは、エクステンション・データ・コードのデータ内容を示す情報を含み、エクステンション・データ・コードの開始位置を指示する。
図3(b)に示すように、エクステンション・データは、必須情報として、車車間通信を行う対象である相手先車両のユニーク・コード(ラベルa)を含む。また、エクステンション・データ・コードには、送受信データバッファ104に更新・格納されている自車両情報(例えば、図示するラベルb、c、d、e、f・・・)が選択的に組み込まれ得る。したがって、自車両送信データは、可変長のデータ構造である。
自車両送信データの作成、すなわち自車両情報の選択(及び、選択された自車両情報の配列)は、上述のように、データ管理ECU109の指令に応じて、信号処理装置103によって実行される。
次いで、図4を用いて、本実施例に係る交錯可能性判定システムによる自車両行動予測処理について説明する。図4は、本実施例に係る自車両行動予測処理の流れを示すフローチャートである。
まず、運転支援装置100の通常の車車間通信動作として、上述のように、自車両走行情報を送信すると共に、他車両走行情報が受信される(S401)。
次いで、車車間通信により取得した他車両走行情報(特に、位置情報)や自車両周辺監視センサ(周辺監視カメラ、レーダ)や路車間通信により取得した周辺状況情報に基づき、自車両周辺に他車両などの移動体が存在するか否かが判定される(S402)。
周辺移動体が存在しない場合(S402の「NO」)、正確な自車両行動予測結果を自車両走行情報として発信する必要性は低いと判断し、行動予測を行わずに1ルーチンを終了する(S401へ戻る)。
自車両周辺に他車両などの移動体が存在する場合(S402の「YES」)、次いで、自車両行動予測を実行するための所定のトリガ操作又はトリガ状況を待機する(S403)。ここで、所定のトリガ操作とは、例えば、ウインカSWオン、アイドルSWオフ且つブレーキSWオフ、オートクルーズシステム制御オン、アイドルSWオン且つブレーキSWオフ→オン、ブレーキSWオン→オフ且つアイドルSWオン→オフ、などであり、所定のトリガ状況とは、例えば、ナビ経路案内が右左折を指示した状況、制限速度を大幅に超過した状況、ABS・TRC・VSC制御が開始された(又は制御開始直前の警告が出た)状況、交錯可能性が高い他車両が認知された状況、自車両現在位置が所定のエリア内に位置する状況、などである。
このような所定のトリガが無い場合(S403の「NO」)、正確な自車両行動予測結果を自車両走行情報として発信する必要性は低い状況であると判断し、行動予測を行わずに1ルーチンを終了する(S401へ戻る)。
上述のような所定のトリガが発生した場合(S403の「YES」)、次いで、自車両の行動予測処理を実行し(S404)、右左折/直進、発進/停車、合流/分流、車線変更、追い越し、単なるウインカ消し忘れ、などの種々の自車両行動を予測する。このS404における処理は、図5に示すサブルーチンによって行われる。
このサブルーチンにおいては、まず、自車両情報(現在位置情報、操作状況、走行速度、など)、車車間通信により取得した他車両走行情報(現在位置情報、操作状況、走行速度、など)、及び、自車両周辺監視センサ(周辺監視カメラ、レーダ)や路車間通信やナビゲーション・システムにより取得した周辺状況情報、を収集する(S501)。なお、ここで収集される情報を以下では総称的に「現在情報」と呼ぶ。
次いで、学習データ読み込みのために、このサブルーチンに入ったトリガ(S402)が運転者によるトリガ操作に分類されるトリガであるか否かが判定される(S502)。トリガが運転者のトリガ操作による場合(S502の「YES」)、運転者の操作に応じて過去に行われた実際の自車両行動の履歴データが学習データとして読み込まれ(S503)、トリガがトリガ状況の発生による場合(S502の「NO」)、周辺状況に応じて過去に行われた実際の自車両行動の履歴データが学習データとして読み込まれる(S504)。
このように学習データが読み込まれると、学習データ中の各履歴データとその時点における自車両位置、自車両操作、走行速度、他車両状況などとのマッチングをとり(S505)、現在の状況と合致するケースが学習データ中に存在するか否かを判定する(S506)。
学習データ中に現在の状況と合致するケース(同じ場所で、同じ操作/同じ周辺状況、など)が存在する場合(S506の「YES」)、その合致した学習データ(履歴データ)に基づいて自車両行動予測が行われる(S507)。すなわち、過去に行った行動が今回も行われるであろうと予測する。
例えば、ナビゲーション・システムの走行履歴情報から、その運転者が日常的に右折(左折)している交差点近傍で右(左)ウインカSWがオンされた場合には右折(左折)行動と予測する。また、例えば、自宅や勤務先などその運転者が日常的に自車両を駐車している駐車場所への出入口近傍でウインカSWがオンされた場合には、右左折行動と予測する。また、ナビゲーション・システムの走行履歴情報から、その運転者が安全確認のために日常的に数秒間停止している交差点近傍で減速した場合や、自宅又は設定目的地直前で減速した場合には停止行動と予測する。
このように学習データから自車両行動が予測される場合、学習データに対するヒット数(すなわち、現状に合致したデータが履歴に登場する頻度)が頻度情報として行動予測結果に付与される(S508)。
他方、学習データ中に現状と合致するデータが存在しない場合(S506の「NO」)、収集された様々な現在情報を複合的に考慮して自車両行動を予測する(S509)。予測の具体例を図6〜8に示す。図6はウインカ操作時の右左折行動予測例であり、図7はウインカ操作時の車線変更行動予測例であり、図8はブレーキ操作時の停止行動予測例である。ここでは、いずれの予測例においても、一例として、各行動が行われる可能性が高い場合、可能性が低い(無い)場合、及び、行われるか否か判断ができない場合、の3段階に分類されている。当業者には明らかなように、より細かい分類(例えば、可能性レベル0〜可能性レベル4の5段階、など)を採用することも当然可能である。また、このような予測は、他車両から受信した他車両走行情報に基づく他車両の行動予測にも用いることができる。
ウインカ操作時の自車両の行動予測の一具体例を図9に示す。図9では、各車両に本実施例に係る運転支援装置が搭載されており、車車間通信を利用して互いの走行情報をやりとりしているものとする。図9において、車両A1は、車車間通信により、車両A2(左ウインカSWオン)、A3(左ウインカSWオン)、及びA4(右ウインカSWオン)の行動予測結果を取得できるため、自車両の走行車線及び車速などから最適な運転支援として減速及び左車線への車線変更を支援する。
また、車両A2は、自車両の行動予測として、前方の車両A4を避けるために左車線への車線変更行動を予測し、車両A3は、交差点近傍で且つ減速中(又は低速度走行中)であることから、左折行動を予測する。さらに、車両A4は、交差点内で停止中であるため、右折待ちと予測する。
また、図9において、車両B1は、車両B2(右ウインカSWオン)、及びB3(ウインカSWオフ)の行動予測結果を取得することができる。車両B2は、自車両行動予測として、路側停止中で且つ右ウインカSWオンのため、発進及び本線合流行動を予測する。また、車両B3は、ウインカ操作は行っていないが、交差点内の右折車線で停止中で、且つ、後続車両が右ウインカSWオンで停止中であることから、右折待ちと予測する。
さらに、図9において、車両C1は、車両C2(左ウインカSWオン)の行動予測結果を取得することができる。車両C2は、本線上の交差点の無いところで左ウインカSwをオンさせており、且つ、減速中であり、且つ、左手に駐車場が存在するため、自車両行動を左折と予測できる。
ところで、本実施例では、学習データから予測する場合(S507)も、現在情報から予測する場合(S509)も、自車両行動予測結果は車両側で1つにまで絞り込まず、考え得る複数の(例えば3つの)結果を算出するものとする。
このようにして得られた複数の行動予測結果は、次いで、ヘッド・アップ・ディスプレイ(HUD)やナビゲーション・システムのディスプレイ、又はインパネ内に設けられたディスプレイなどのメッセージの表示可能な装置により運転者に対して提示される(S510)。この視覚的提示にはスピーカなどからの音声メッセージが伴うことが望ましい。
また、本実施例において、これら複数の予測結果は、行われる可能性が高いと思われる順に並べて表示される。学習データからの予測結果の場合、頻度情報(ヒット数)順に並べられる。
さらに、この予測結果提示(S510)に伴い、運転者に対して、提示された複数の自車両行動予測結果の中から運転者が行おうとしている行動に一致又は略一致するものを選択するように促すメッセージも視覚的及び/又は聴覚的に提示され、そして運転者による選択を待機する(S511)。
運転者による選択は、運転者が口頭で行い、それを運転支援装置側で音声認識を利用して検出できるようにしてもよく、或いは、運転者が専用のスイッチ(若しくはボタン)を操作して行うようにしてもよく、或いは、運転者がナビゲーション・システムのインターフェース(リモコンやタッチパネルなど)を利用して行うことができるようにしてもよい。ここで、上記専用のスイッチとは、例えば、AT車のフットレストや、ハンドルパッド、アームレストなどに設けることが考えられる。例えば、アームレストに設ける場合、専用スイッチをテンキーとし、「番号」+「OK(若しくはEnter)」を押すことによって選択を行うことができるようにしてもよく、或いは、リモコン・ドア・ミラー用のミラー・コントロール・スイッチのような「4方向スイッチ」とし、各方向に選択肢番号を予め割り当てて、操作された方向に応じて提示された予測結果を選択することができるようにしてもよい。さらに、本実施例において、上記選択は、運転者以外の車両乗員によって行われてもよい。
このようにして運転者によって1つの行動予測結果が選択されると(S511の「YES」)、選択された行動予測結果に該結果が運転者によって選択(確認・承認)されたものであることを示す信頼度情報が付与され(S512)、そして車車間通信を利用して例えばブロードキャストで送受信機101により車外へ発信される(S513)。また、選択された行動予測結果は、その時の自車両位置及び運転者操作及び/又は周辺状況と関連付けて記憶され、学習データの一部として蓄積される。既に同一の学習データが存在する場合、実行された回数が記憶される。
他方、運転者による選択が検出されない場合(S511の「NO」)、提示されてから所定時間が経過したか否かが判定され(S514)、所定時間経過していなければ(S514の「NO」)、S511に戻り、引き続き運転者による選択を待機する。所定時間が経過しても運転者が選択しない場合(S514の「YES」)、少なくとも最も可能性が高いと考えられる行動予測結果を含む1以上の行動予測結果が運転支援装置側で自動的に選択され、車車間通信を利用して例えばブロードキャストで送受信機101により車外へ発信される(S515)。この自動的に選択され送信される1以上の行動予測結果には、該結果が運転者によって選択(確認・承認)されたものではないことを示す信頼度情報が付与されてもよい。
以上で図4のS404のサブルーチンが終了する。図4の説明に戻る。このようにして運転者により又は自動的に選択された自車両行動予測結果は、次いで、車車間通信により取得された他車両走行情報と共に、自車両と他車両の交錯可能性の判定に用いられる。交錯可能性が低い又は無いと判定され、回避措置が不要と判定された場合(S405の「NO」)、1ルーチンが終了し、S401に戻る。回避措置が必要と判定された場合(S405の「YES」)、上述のような衝突防止システムが起動する(S406)。
その後、車車間通信が終了していなければ(S407の「NO」)、本フローがS401が繰り返し実行され、例えばIGオフなどにより車車間通信自体が終了した場合には(S407の「YES」)、本処理も終了する。
このように、本実施例によれば、運転者によって選択・確認・承認された自車両行動予測結果を周辺車両に送信することができるため、情報の信頼性・確実性が高まり、自車両及び受信した周辺車両における交錯可能性判定等における判定精度が向上し、運転支援システムの動作ミス(必要場面での提供忘れ、不必要場面での介入、提供内容のミス)が少なくなる。
また、本実施例によれば、行動予測結果を装置側で1つに絞り込まず、運転者に複数個の選択肢を提示し、最終的な判断は運転者に任せることによって、装置側の処理負荷が軽減される。
また、本実施例によれば、運転者による選択・確認・承認が行われなかった場合でも、その時点における自車両現在位置における学習データが蓄積されていれば、過去にその場所で行われた行動、すなわち過去に運転者によって選択された行動、が予測結果として送信されるため、自車両送信情報の信頼性が向上する。
なお、上記実施例では、自車両行動予測結果が自車両送信データの一部として送信される場合について述べたが、当業者には明らかなように、行動予測結果だけが別途単独の情報として送信されてもよい。
また、上記実施例では、装置側で選択された複数の行動予測結果が同時又は略同時に運転者に提示される場合について述べたが、当業者には明らかなように、行われる可能性が高いと思われる順に1つずつ提示されてもよい。その場合、運転者は、現在提示されている行動予測結果に対する「OK(確認)」及び「NG(不承認)」又は「NEXT(次を表示)」を選択する。
このように順次提示される場合に選択が所定時間行われなければ、その時点で提示されている一行動予測結果が送信される。この場合に、運転者によって選択されていない旨の信頼度情報を付与しない或いは運転者によって選択された旨の信頼度情報を付与するものとすれば、運転者による選択を「NEXT(次を表示)」だけとし、所望の行動予測結果が提示された時点で放置することにより、運転者は所望の選択を実行することができるため、運転者の操作が簡素化される。
また、上記実施例において、音声認識を利用して運転者が口頭で(音声で)選択・確認・承認を行う場合、運転者は提示されていない行動を装置側に入力・伝達してもよい。その場合、運転者によって入力・伝達された行動予測が新たに学習される。
また、上記実施例において、上述のように音声認識を利用する場合などの運転者が提示された行動予測結果以外にも自由な選択・入力が可能な場合、装置側は、運転者によるの返答を運転状況や道路状況に照らし、過去の履歴である学習データの内容から大きく乖離していると判断すればその運転者の返答を無視しても(入力・選択がなかったものとして扱っても)よい。また、このような乖離状況が発生した場合には、運転者に何らかの異常があるものと判定することによって、本装置は視線や脈拍による運転者監視センサの代替又は補完ともなり得る。
また、上記実施例において、行動予測処理に所定時間以上掛かる場合など演算負荷が大きい又は大きいと予測される場合、時間が要した上に不確実な情報を送信するよりはむしろ行動予測不能又は行動不明という旨の情報を送信した方が好ましいと思われる。
また、上記実施例において、学習データには、運転者がかつて実行したことのない行動がデフォルト行動として含まれてもよい。デフォルト行動としては、例えば、明らかな危険行動/迷惑行動、明らかな直進行動/右左折行動、などが考えられる。
さらに、上記実施例において、提示内容と選択内容の比較及びその頻度から自己学習すると共に、選択内容と実際の実行内容の比較及びその頻度も自己学習し、選択された自車両行動がどの程度の割合で実際に行動されたかの評価値が上述の信頼度情報に含められてもよい。
本発明は、車両用運転支援装置に利用できる。搭載される車両の外観、重量、サイズ、走行性能等は問わない。
本発明の一実施例に係る車両用運転支援装置の概略構成図である。 (a)本発明の一実施例に係る事前送信データのデータ構造の一例を示す図である。(b)本発明の一実施例に係るベーシック・データ・コードのデータ構造の一例を示す図である。 (a)本発明の一実施例に係る自車両送信データのデータ構造の一例を示す図である。(b)本発明の一実施例に係るエクステンション・データのデータ構造の一例を示す図である。 本発明の一実施例に係る自車両行動予測処理の流れを示すフローチャートである。 図4のS404のサブルーチン処理の流れを示すフローチャートである。 本発明の一実施例に係るウインカ操作時の右左折行動予測例を示す図である。 本発明の一実施例に係るウインカ操作時の車線変更行動予測例を示す図である。 本発明の一実施例に係るブレーキ操作時の停止行動予測例を示す図である。 本発明の一実施例に係るウインカ操作時の自車両の行動予測例を示す図である。
符号の説明
100 車両用運転支援装置
101 送受信機
102 アンテナ
103 信号処理装置
104 送受信データバッファ
105 ゲートウェイ装置
106 マルチメディア系装置
107 車両制御系装置
108 その他の電装部品
109 データ管理ECU
110 通信利用システム

Claims (12)

  1. 通信を利用して自車両走行情報の送信及び他車両走行情報の受信を行う車両用運転支援装置であって、
    自車両の走行状態に関する情報を取得する自車両情報取得手段と、
    自車両運転者の運転操作を検出する運転操作検出手段と、
    自車両周辺の状況に関する情報を取得する周辺情報取得手段と、
    前記自車両情報取得手段及び前記周辺情報取得手段によってそれぞれ取得された自車両走行状態及び周辺状況と、前記運転操作検出手段によって検出された運転操作とに基づいて、自車両の行動を予測する自車両行動予測手段と、
    前記自車両行動予測手段による自車両行動予測結果を運転者に提示し、確認を求める確認要求手段と、
    運転者に提示された自車両行動予測結果を、運転者によって確認されたものであるか否かを示す信頼度情報と共に、前記自車両走行情報として送信する送信手段と、
    を有することを特徴とする車両用運転支援装置。
  2. 請求項1記載の車両用運転支援装置であって、
    前記自車両行動予測手段は、過去の自車両走行状態、周辺状況、及び運転操作とそのときに行われた実際の自車両行動との関係を予め学習データとして蓄積しておき、取得された自車両走行状態、周辺状況、及び運転操作に関する情報を前記学習データに照らして自車両行動を予測する、
    ことを特徴とする車両用運転支援装置。
  3. 請求項2記載の車両用運転支援装置であって、
    前記自車両行動予測手段は、2以上の自車両行動を予測すると共に、これら2以上の自車両行動予測結果を各結果の前記学習データに対するヒット数の多い順に優先順位を付け、
    前記確認要求手段は、前記2以上の自車両行動予測結果を前記優先順位に従って1つずつ運転者に提示する、
    ことを特徴とする車両用運転支援装置。
  4. 請求項3記載の車両用運転支援装置であって、
    前記送信手段は、運転者による確認が所定時間内に行われなかったとき、その時点で運転者に提示されている自車両行動予測結果を前記自車両走行情報として送信する、
    ことを特徴とする車両用運転支援装置。
  5. 請求項4記載の車両用運転支援装置であって、
    前記送信手段は、運転者による確認が所定時間内に行われなかったとき、前記自車両行動予測結果を該結果の前記学習データに対するヒット数を示す頻度情報と共に送信する、
    ことを特徴とする車両用運転支援装置。
  6. 通信を利用して自車両走行情報の送信及び他車両走行情報の受信を行う車両用運転支援装置であって、
    自車両の走行状態に関する情報を取得する自車両情報取得手段と、
    自車両運転者の運転操作を検出する運転操作検出手段と、
    自車両周辺の状況に関する情報を取得する周辺情報取得手段と、
    前記自車両情報取得手段及び前記周辺情報取得手段によってそれぞれ取得された自車両走行状態及び周辺状況と、前記運転操作検出手段によって検出された運転操作とに基づいて、自車両の行動を予測する自車両行動予測手段と、
    前記自車両行動予測手段による1以上の自車両行動予測結果を運転者に提示する情報提示手段と、
    前記1以上の自車両行動予測結果の中から運転者により選択された結果が運転者により入力される入力インターフェース手段と、
    運転者に提示された自車両行動予測結果を、運転者によって選択されたものであるか否かを示す信頼度情報と共に、前記自車両走行情報として送信する送信手段と、
    を有することを特徴とする車両用運転支援装置。
  7. 請求項6記載の車両用運転支援装置であって、
    前記自車両行動予測手段は、過去の自車両走行状態、周辺状況、及び運転操作とそのときに行われた実際の自車両行動との関係を予め学習データとして蓄積しておき、取得された自車両走行状態、周辺状況、及び運転操作に関する情報を前記学習データに照らして自車両行動を予測する、
    ことを特徴とする車両用運転支援装置。
  8. 請求項7記載の車両用運転支援装置であって、
    前記自車両行動予測手段は、予測された前記1以上の自車両行動予測結果に各結果の前記学習データに対するヒット数の多い順に優先順位を付け、
    前記情報提示手段は、前記1以上の自車両行動予測結果を前記優先順位と共に提示する、
    ことを特徴とする車両用運転支援装置。
  9. 請求項8記載の車両用運転支援装置であって、
    前記送信手段は、運転者による選択が所定時間内に行われなかったとき、最も高い優先順位の自車両行動予測結果のみを前記自車両走行情報として送信する、
    ことを特徴とする車両用運転支援装置。
  10. 請求項8記載の車両用運転支援装置であって、
    前記送信手段は、運転者による選択が所定時間内に行われなかったとき、少なくとも最も高い優先順位の自車両行動予測結果を含む1以上の自車両行動予測結果を前記自車両走行情報として送信する、
    ことを特徴とする車両用運転支援装置。
  11. 請求項9又は10のいずれか一項記載の車両用運転支援装置であって、
    前記送信手段は、運転者による選択が所定時間内に行われなかったとき、前記自車両行動予測結果を該結果の前記学習データに対するヒット数を示す頻度情報と共に送信する、
    ことを特徴とする車両用運転支援装置。
  12. 請求項1乃至11のいずれか一項記載の車両用運転支援装置であって、
    前記自車両行動予測手段による自車両行動予測結果と受信した前記他車両走行情報とに基づいて、自車両と他車両の交錯可能性を判定する判定手段を更に有する、
    ことを特徴とする車両用運転支援装置。
JP2004029703A 2004-02-05 2004-02-05 車両用運転支援装置 Expired - Fee Related JP4239841B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004029703A JP4239841B2 (ja) 2004-02-05 2004-02-05 車両用運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004029703A JP4239841B2 (ja) 2004-02-05 2004-02-05 車両用運転支援装置

Publications (2)

Publication Number Publication Date
JP2005222325A JP2005222325A (ja) 2005-08-18
JP4239841B2 true JP4239841B2 (ja) 2009-03-18

Family

ID=34997901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004029703A Expired - Fee Related JP4239841B2 (ja) 2004-02-05 2004-02-05 車両用運転支援装置

Country Status (1)

Country Link
JP (1) JP4239841B2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4984499B2 (ja) * 2005-11-24 2012-07-25 トヨタ自動車株式会社 運転支援装置
JP4735346B2 (ja) * 2006-03-09 2011-07-27 株式会社豊田中央研究所 運転支援装置及び運転支援システム
JP4735430B2 (ja) * 2006-06-14 2011-07-27 日産自動車株式会社 合流支援装置
WO2008015966A1 (fr) * 2006-08-04 2008-02-07 Panasonic Corporation Indicateur d'informations de collision et procédé associé
DE102006039183A1 (de) * 2006-08-21 2008-03-20 Siemens Ag Fahrerassistenzsystem zur lokalen und zeitlichen Bewertung und Prädiktion der Fahrdynamik eines Fahrzeugs
JP4973069B2 (ja) * 2006-08-29 2012-07-11 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP2008120288A (ja) * 2006-11-14 2008-05-29 Aisin Aw Co Ltd 運転支援装置
JP2008234593A (ja) * 2007-03-23 2008-10-02 Toyota Motor Corp 車両の行動予測装置
JP2008250871A (ja) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd 車両運転警告装置
JP4935622B2 (ja) * 2007-10-26 2012-05-23 株式会社デンソー 車両追突防止装置
JP4985319B2 (ja) * 2007-10-29 2012-07-25 トヨタ自動車株式会社 走行支援装置
JP2009123043A (ja) * 2007-11-16 2009-06-04 Aisin Aw Co Ltd ナビゲーション装置及びプログラム
JP4900967B2 (ja) * 2008-03-31 2012-03-21 株式会社エクォス・リサーチ 運転支援装置及び運転支援方法
JP5018608B2 (ja) * 2008-04-07 2012-09-05 トヨタ自動車株式会社 走行支援装置、及び走行支援システム
JP4930441B2 (ja) * 2008-04-09 2012-05-16 トヨタ自動車株式会社 運転支援装置
JP5169525B2 (ja) * 2008-06-20 2013-03-27 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法および運転支援プログラム
CN103632556B (zh) * 2008-10-08 2015-12-09 丰田自动车株式会社 驾驶辅助装置及方法
JP2010259021A (ja) * 2009-04-28 2010-11-11 Sanyo Electric Co Ltd 無線装置
JP2011129106A (ja) * 2009-11-19 2011-06-30 Sanyo Electric Co Ltd 無線装置
JP5620868B2 (ja) * 2011-03-31 2014-11-05 パイオニア株式会社 位置処理装置、位置処理方法及び位置処理用プログラム
JP5663438B2 (ja) * 2011-09-06 2015-02-04 本田技研工業株式会社 車両の運転支援装置
JP2014078271A (ja) * 2012-04-13 2014-05-01 Adc Technology Inc 車載用画像表示装置
JP6490687B2 (ja) * 2013-08-02 2019-03-27 エルジー エレクトロニクス インコーポレイティド 近距離通信を用いた交通情報取得方法及びそのための装置
EP2949536B1 (en) * 2014-05-30 2016-10-05 Honda Research Institute Europe GmbH Method for controlling a driver assistance system
WO2016080452A1 (ja) * 2014-11-19 2016-05-26 エイディシーテクノロジー株式会社 自動運転制御装置
JP6455304B2 (ja) * 2015-05-08 2019-01-23 株式会社デンソー 運転支援装置および運転支援方法
JP6582799B2 (ja) * 2015-09-24 2019-10-02 日産自動車株式会社 サポート装置及びサポート方法
DE102016205141A1 (de) * 2015-11-04 2017-05-04 Volkswagen Aktiengesellschaft Verfahren und Fahrzeugkommunikationssystem zum Bestimmen einer Fahrintention für ein Fahrzeug
JP6443323B2 (ja) * 2015-12-25 2018-12-26 トヨタ自動車株式会社 運転支援装置
JP2018005302A (ja) 2016-06-27 2018-01-11 本田技研工業株式会社 車両の進行方向予測装置
EP3364393A1 (en) * 2017-02-20 2018-08-22 Continental Automotive GmbH A method and apparatus for safe operation of a vehicle
JP6547880B2 (ja) * 2018-07-03 2019-07-24 株式会社デンソー 運転支援装置および運転支援方法
JP7390204B2 (ja) 2020-02-07 2023-12-01 三菱重工機械システム株式会社 経路推定装置、経路推定方法、及びプログラム

Also Published As

Publication number Publication date
JP2005222325A (ja) 2005-08-18

Similar Documents

Publication Publication Date Title
JP4239841B2 (ja) 車両用運転支援装置
JP6501851B2 (ja) マン・マシン・インターフェース・システムを有する運転支援装置
US9815459B2 (en) Collision avoidance support device
JP6575818B2 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム
JP5979259B2 (ja) 衝突回避制御装置
JP6323385B2 (ja) 車両走行制御装置
CN110582439B (zh) 驾驶辅助方法以及利用了该驾驶辅助方法的驾驶辅助装置、驾驶辅助系统
JP5613398B2 (ja) 交差点運転支援装置
US20190126942A1 (en) Assistance system, portable terminal, and vehicular device
CN111361552B (zh) 自动驾驶系统
JP4765566B2 (ja) 運転行動評価装置
JP4476575B2 (ja) 車両状況判定装置
CN110050301A (zh) 车辆控制装置
JP2016168985A (ja) 走行制御装置
CN111762147A (zh) 控制装置、控制方法以及存储程序的存储介质
CN111731295B (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
JP4134803B2 (ja) 車載用電子装置
JP2007048042A (ja) 走行支援装置および走行支援方法
JP2005215753A (ja) 車両用通信装置
JP2020128168A (ja) 車両制御装置、車両制御方法、車両およびプログラム
CN113511196B (zh) 车辆及其控制装置
JP2019079363A (ja) 車両制御装置
JP4502844B2 (ja) 警告装置及び警告方法
JP2006072617A (ja) 車両用運転支援システム
JP7119846B2 (ja) 車両の走行制御方法及び走行制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4239841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees