JP4911453B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP4911453B2
JP4911453B2 JP2006212167A JP2006212167A JP4911453B2 JP 4911453 B2 JP4911453 B2 JP 4911453B2 JP 2006212167 A JP2006212167 A JP 2006212167A JP 2006212167 A JP2006212167 A JP 2006212167A JP 4911453 B2 JP4911453 B2 JP 4911453B2
Authority
JP
Japan
Prior art keywords
gaze
temporary stop
driver
support
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006212167A
Other languages
English (en)
Other versions
JP2008037201A (ja
Inventor
正昭 上地
和也 佐々木
麻純 小花
紘一 西谷
洋明 小坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006212167A priority Critical patent/JP4911453B2/ja
Priority to US12/297,646 priority patent/US8280602B2/en
Priority to PCT/IB2007/002218 priority patent/WO2008015551A2/en
Priority to EP07804690A priority patent/EP2046598B1/en
Publication of JP2008037201A publication Critical patent/JP2008037201A/ja
Application granted granted Critical
Publication of JP4911453B2 publication Critical patent/JP4911453B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0014Adaptive controllers

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Regulating Braking Force (AREA)
  • Navigation (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Description

本発明は、運転支援装置に関するものである。
車両の一時停止を支援する運転支援装置が知られている。特許文献1には、一時停止が必要な地点の手前で運転者が減速操作を行わない場合に警報を発するか、または車両を強制減速させる運転支援装置が記載されている。この運転支援装置では、スロットル開度やブレーキ操作といった運転者による減速操作に基づいて、一時停止地点における運転者の停止意志の有無が判断される。
特開平10−76922号公報
しかしながら、運転者は、一時停止地点であることを認識していない場合でも、交差点形状などの道路環境状況によっては減速操作を行うことがある。したがって、運転者による減速操作から、運転者が一時停止地点で車両を停止させるか否かを精度よく判別することが困難であった。
そこで、本発明は、運転者が車両を一時停止させるか否かを精度よく判別することができ、適切な運転支援を提供することが可能な運転支援装置を提供することを目的としている。
本願発明者は、実験の解析結果より、一時停止場面での運転者に共通の傾向を見出した。運転者は、一時停止位置の手前における減速中にその一時停止位置を示す指標物を注視した場合に、一時停止位置で停止する確立が高く、一時停止位置の手前における減速中にその一時停止位置を示す指標物を注視しなかった場合には、一時停止位置で停止しない確立が高かった。すなわち、運転者は、一時停止位置の手前における減速中に一時停止位置を示す指標物を注視しなかった場合には、一時停止位置を見落としている可能性が高い。なお、一時停止位置とは、一時停止することが定められている位置であり、一時停止位置を示す指標物とは、一時停止線や道路標識などである。
そこで、本発明の運転支援装置は、一時停止位置の手前における運転者の運転操作を支援する支援手段と、一時停止位置に対する運転者の注視行動を検出する注視行動検出手段とを備え、支援手段は、注視行動検出手段により検出される車両減速中における注視行動の有無に応じて、運転操作の支援仕様を切り替える。
この運転支援装置によれば、支援手段は、一時停止位置に対する運転者の注視行動であって、一時停止位置の手前における車両減速中に注視行動検出手段により検出される注視行動の有無に応じて、運転操作の支援仕様が切り替えられる。これによって、運転者が車両を一時停止位置で停止させるか否かを精度よく判別することができると共に、適切な運転支援を提供することができる。
上記支援手段は、車両減速中に注視行動が検出されなかった場合に、運転操作の支援の介入タイミングを早めるように支援仕様を切り替えることが好ましい。
この構成によれば、車両減速中に注視行動が検出されなかった場合に、支援手段によって運転操作の支援の介入タイミングが早められるので、一時停止位置を認識している運転者に煩わしい支援を提供することなく、一時停止位置を見落としている運転者にはより安全な支援を提供することができる。
上記運転支援装置は、運転者の視線方向を検出する視線方向検出手段と、一時停止位置を示す指標物の位置を検出する指標位置検出手段とを更に備え、注視行動検出手段は、視線方向検出手段により検出された運転者の視線方向と、指標位置検出手段により検出された指標物の位置とに基づいて、運転者の注視行動を検出することが好ましい。
この運転支援装置によれば、注視行動検出手段は、運転者の視線方向と一時停止位置を示す指標物の位置とに基づいて、運転者の注視行動が検出される。そのため、運転者が一時停止位置を注視しているか否かを精度よく検出することができる。その結果、運転者が車両を一時停止位置で停止させるか否かを精度よく判別することができる。
上記運転支援装置は、自車両の進行方向前方に設けられた一時停止位置を検出する一時停止位置検出手段と、運転者による減速操作を検出する減速操作検出手段と、一時停止位置が検出され、かつ減速操作が検出された場合に、該減速操作が開始された時刻に基づいて注視行動を検出する注視行動検出期間を設定する設定手段とを更に備え、上記支援手段は、設定手段により設定された注視行動検出期間内における注視行動の有無に応じて、運転操作の支援仕様を切り替えることが好ましい。
この運転支援装置によれば、一時停止位置検出手段によって一時停止位置が検出され、かつ減速操作検出手段によって減速操作が検出された場合に、設定手段によって、該減速操作が開始された時刻に基づいて注視行動検出期間が設定されるので、この注視行動検出期間を、一時停止位置における車両減速中に設定することができる。この注視行動検出期間内における注視行動の有無に応じて、支援手段が運転操作の支援仕様を切り替えるので、運転者が車両を一時停止位置で停止させるか否かを精度よく判別することができると共に、適切な運転支援を提供することができる。
上記設定手段は、車両の走行状態から該車両が停止するまでに要する時間を予測し、この予測時間をさらに考慮して注視行動検出期間を設定することが好ましい。
本願発明者の実験の解析結果によれば、一時停止する直前に一時停止位置を示す指標物に視線を向けているか否かによって、運転者が一時停止するか否かを判別することができる。
この構成によれば、設定手段によって、車両の走行状態から該車両が停止するまでに要する時間が予測され、この予測時間をさらに考慮して注視行動検出期間が設定されるので、一時停止する直前の注視行動を検出することができる。そのため、運転者の注視行動をより精度よく検出することができ、運転者が車両を一時停止位置で停止させるか否かをより精度よく判別することができる。
上記運転支援装置は、運転者が注視行動を行うタイミングを学習する注視タイミング学習手段を更に備え、上記設定手段は、注視タイミング学習手段により学習されたタイミングに応じて、注視行動検出期間を補償することが好ましい。
この運転支援装置によれば、設定手段が、注視タイミング学習手段により学習された運転者の注視行動のタイミングに応じて、注視行動検出期間を補償するので、運転者の癖に応じて、注視行動検出期間を変更することができる。その結果、運転者の注視行動をより精度よく検出することができ、運転者が車両を一時停止位置で停止させるか否かをより精度よく判別することができる。
上記運転支援装置は、車両の周囲環境および運転者の状態に基づいて、注視行動の遅れ時間を求める遅れ時間取得手段を更に備え、上記設定手段は、遅れ時間取得手段により取得された遅れ時間に応じて、注視行動検出期間を補償することが好ましい。
車両の周囲環境とは、前方車両の一時停止有無、自車両の進行方向、および走行道路と交差道路との道幅比などであり、運転者の状態とは、運転者の会話有無などである。このような車両の周囲環境および運転者の状態では、運転者が一時停止位置を示す指標物を注視するタイミングが遅れることがある。
この運転支援装置によれば、遅れ時間取得手段によって、車両の周囲環境および運転者の状態に基づいて、注視行動の遅れ時間が求められ、この遅れ時間に応じて、設定手段によって注視行動検出期間が補償されるので、車両の周囲環境および運転者の状態に起因して注視行動が遅れても、運転者の注視行動を精度よく検出することができる。その結果、運転者が車両を一時停止位置で停止させるか否かをより精度よく判別することができる。
上記運転支援装置は、一時停止位置ごとに通行履歴を記憶する記憶手段と、記憶手段に通行履歴が記憶されている一時停止位置において、該一時停止位置と関連付けられた道路標識以外の注視対象物を学習する注視対象物学習手段とを更に備え、注視行動検出手段は、注視対象物学習手段により学習された注視対象物に対する運転者の注視行動を検出し、注視対象物に対する注視行動を一時停止位置に対する注視行動とみなすことが好ましい。
走行している道路が既知の道路であり、運転者が一時停止位置の存在を既に認識している度合いが高い場合、運転者は、一時停止線といった一時停止位置と関連付けられた道路標識ではなく、他の物体を一時停止指標として車両を一時停止させることがある。
この運転支援装置によれば、注視対象物学習手段が、記憶手段に通行履歴が記憶されている一時停止位置において、該一時停止位置と関連付けられた道路標識以外の注視対象物を学習し、注視行動検出手段は、学習された注視対象物に対する運転者の注視行動を検出する共に、該注視対象物に対する注視行動を一時停止位置に対する注視行動とみなす。したがって、運転者が一時停止線を認識したか否かをより精度よく検出することができ、運転者が車両を一時停止位置で停止させるか否かをより精度よく判別することができる。
上記支援手段は、車両に付与する制動力を自動的に調節することにより、運転支援を実行することが好ましい。
この構成では、支援手段によって、車両に付与される制動力が自動的に調節されるので、安全な運転支援を提供することができる。
本発明によれば、運転支援装置において、運転者が車両を一時停止させるか否かを精度よく判別することができ、適切な運転支援を提供することができる。
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
[第1の実施形態]
図1は、本発明の第1の実施形態に係る運転支援装置の構成を示す図である。図1に示す運転支援装置1は、車両の一時停止位置における一時停止を支援する装置である。一時停止位置とは、一時停止することが定められている位置である。運転支援装置1は、レーダセンサ10、車速センサ12、ブレーキセンサ14、CCDカメラ16、カーナビゲーションシステム18、視線計測装置20、運転支援システム22、および電子制御ユニット(以下、ECU:Electrical Control Unitという)30を備えている。
なお、ブレーキセンサ14は、特許請求の範囲に記載の減速操作検出手段として機能し、カーナビゲーションシステム18は、特許請求の範囲に記載の一時停止位置検出手段として機能し、視線計測装置20は、特許請求の範囲に記載の注視行動検出手段および視線方向検出手段として機能する。また、視線計測装置20は、CCDカメラ16と共に特許請求の範囲に記載の指標位置検出手段として機能し、運転支援システム22は、ECU30と共に特許請求の範囲に記載の支援手段として機能する。
レーダセンサ10は、自車両と他車両との距離および他車両の速度を検出する。例えば、レーダセンサ10は、ミリ波信号を送受信するミリ波レーダセンサである。レーダセンサ10は、検出した他車両までの距離および他車両の速度をレーダ信号としてECU30へ送信する。
車速センサ12は、自車両の速度を検出する。例えば、車速センサ12は、車輪の回転速度を検出することによって自車両の速度を検出する。車速センサ12は、検出した自車両の速度を車速信号として運転支援システム22およびECU30へ送信する。
ブレーキセンサ14は、運転者によるブレーキペダルの操作の有無を検出することによって、運転者による減速操作を検出する。ブレーキセンサ14は、検出したブレーキ操作の有無情報をブレーキ信号としてECU30へ送信する。
CCDカメラ16は、自車両前方における所定の範囲の画像を撮影する。CCDカメラ16は、撮影した画像を画像信号として視線計測装置20およびECU30へ送信する。
カーナビゲーションシステム18は、一時停止位置といった道路情報を記憶しており、自車両の進行方向前方における最も近い一時停止位置を検出すると共に、自車両と一時停止位置との距離を求める。カーナビゲーションシステム18は、これらの一時停止位置および一時停止位置までの距離をカーナビ信号として運転支援システム22およびECU30へ送信する。
視線計測装置20は、運転者の画像を撮影し、その画像より運転者の視線方向を検出する(視線方向検出手段)。また、視線計測装置20は、CCDカメラ16から画像信号を受けて、画像信号が示す画像から運転者の視野画像を抽出すると共に、この視野画像を画像処理することによって一時停止位置を示す指標物の位置を検出する(指標位置検出手段)。一時停止位置を示す指標物とは、一時停止線や道路標識などである。以下では、説明の明瞭化のために、一時停止位置を示す指標物を一時停止線とする。
また、視線計測装置20は、この視野画像に視線方向を重畳させ、視線方向と一時停止線の位置の方向とが一致したときに、運転者が一時停止線を注視したことを検出する(注視行動検出手段)。
図2は、視線計測装置における注視行動の検出概念を示す図である。図2では、視野画像Aに、運転者の視線方向を示すマークBが、ある時間間隔で重畳されている。本実施形態では、視線計測装置20は、視線方向を示すマークBが一時停止線Cの中心から注視認定半径R内に1.5秒以上連続して入っていた場合に、視線が一時停止線の位置に向いており、視線方向と一時停止線の位置の方向とが一致したと検出する。視線計測装置20は、検出した注視行動の有無を注視行動信号としてECU30へ送信する。
次に、図1および図3を参照しながら、ECU30について説明する。図3は、ECUが行う処理を時系列的に示すタイムチャートである。ECU30は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するROM、演算結果などの各種データを記憶するRAM、および12Vバッテリによってその記憶内容が保持されるバックアップRAM等により構成されている。
このような構成により、ECU30には、停止行動学習部31、減速操作判定部32、注視行動検出期間設定部(設定手段)33、および支援制御部34が構築されている。なお、支援制御部34は、運転支援システム22と共に特許請求の範囲に記載する支援手段として機能する。
停止行動学習部31は、運転者が、普段、車両を一時停止させるか否かを学習する。具体的には、停止行動学習部31は、過去の一時停止位置の通過回数と、各一時停止位置における停止回数とを記憶しており、これらの通過回数と停止回数とから過去の一時停止割合を算出する。本実施形態では、停止行動学習部31は、算出した一時停止割合が所定値80%より大きい場合に、この運転者が、通常、一時停止位置で停止する運転者であることを学習する。
そのために、停止行動学習部31は、各一時停止場面において、車両が一時停止線で停止したか否かを判定し、その判定回数および停止回数をそれぞれ上記した通過回数、停止回数としてカウントすると共に、そのカウント値を記憶する。
具体的には、停止行動学習部31は、各一時停止場面において、レーダセンサ10からレーダ信号を受けると共に、車速センサ12から速度信号を受ける。また、停止行動学習部31は、カーナビゲーションシステム18からカーナビ信号を受ける。停止行動学習部31は、カーナビ信号が示す一時停止位置および一時停止位置までの距離から、一時停止位置の前後5mの範囲を求める。停止行動学習部31は、この一時停止位置の前後5mの範囲において、速度信号が示す速度が0km/hとなったときに、車両が一時停止線で停止したと判定する。なお、停止行動学習部31は、例えば、車両速度が5km/h以下となったときに停止と判定してもよい。停止行動学習部31は、判定回数および停止回数をカウントすると共に、そのカウント値を記憶する。
ただし、レーダ信号が、前方に他車両が存在することを示しているときには、停止行動学習部31は、運転者の意思で車両が停止したものとは判断せず、判定回数および停止回数をカウントしないようにしてもよい。
減速操作判定部32は、運転者が車両の減速操作を開始したか否かを判定する。具体的には、減速操作判定部32は、ブレーキセンサ14からブレーキ信号を受けると共に、CCDカメラ16から画像信号を受ける。また、減速操作判定部32は、カーナビゲーションシステム18からカーナビ信号を受ける。減速操作判定部32は、画像信号およびカーナビ信号から、自車両と一時停止線との距離を求める。減速操作判定部32は、図3に示すように、求めた一時停止線までの距離が所定値Paに達したことをトリガーとし、一時停止線に対して予め設定されたPb手前からPc手前までの減速操作検出区間において、ブレーキ信号がブレーキ操作を示したか否かを判定する。この減速操作検出区間にブレーキ操作が検出されなかった場合、減速操作判定部32は、強制制御信号を運転支援システム22へ送信する。本実施形態では、減速操作検出区間は、一時停止線に対して50m手前から20m手前までの区間である。
注視行動検出期間設定部33は、車速センサ12から速度信号を受けると共に、カーナビゲーションシステム18からカーナビ信号を受ける。注視行動検出期間設定部33は、速度信号が示す自車両の現在速度V、カーナビ信号が示す一時停止線までの現在距離D、および、ある時間間隔における現在速度Vの変化量から求められた現在減速度Gbに基づく下式(1)を用いて、一時停止までの予測時間Tzを算出する。
D=1/2・Gb・Tz+V・Tz・・・(1)
また、注視行動検出期間設定部33は、ブレーキセンサ14からブレーキ信号を受ける。注視行動検出期間設定部33は、ブレーキ信号がブレーキ操作開始を示すときに、ブレーキ操作の開始時刻を注視行動検出期間の開始タイミングとして設定する。また、注視行動検出期間設定部33は、算出した一時停止までの予測時間Tzから所定時間Taを減算した時間を注視行動検出期間として終了タイミングを設定する。このようにして、一時停止予測地点を時刻0秒とすると、注視行動検出期間設定部33は、図3に示すように、−Tzから−Taまでを注視行動検出期間として設定する。本実施形態では、所定時間Taは、後述する第1の一時停止支援および第2の一時停止支援において設定される所定減速度G1,G2を用いて、車両を安全に停止可能な時間であり、注視行動検出期間は、約−3秒〜−5秒である。
支援制御部34は、注視行動検出期間設定部33によって設定された注視行動検出期間に、運転者が一時停止線を注視するか否かを判別し、運転支援システム22を制御する。具体的には、支援制御部34は、注視行動検出期間に視線計測装置20から注視行動信号を受けた場合には、第1の一時停止支援を示す制御信号を運転支援システム22へ出力し、注視行動検出期間に視線計測装置20から注視行動信号を受けなかった場合には、第2の一時停止支援を示す制御信号を運転支援システム22へ出力する。
運転支援システム22は、一時停止位置の手前における運転者の運転操作を支援するシステムであり、ECU30からの強制制御信号および制御信号に応じて、運転操作の支援仕様を切り替える。運転支援システム22は、制御信号を受けた場合には、この制御信号に応じて第1の一時停止支援または第2の一時停止支援を行い、強制制御信号を受けた場合には、第3の停止支援を行う。例えば、運転支援システム22は、ブレーキアシストシステムやプリクラッシュセーフティシステム(PCS)であり、ブレーキアクチュエータのブレーキ油圧などを制御することによって、ブレーキ介入を行う。
具体的には、運転支援システム22は、車速センサ12から速度信号を受けると共に、カーナビゲーションシステム18からカーナビ信号を受ける。運転支援システム22は、制御信号が第1の一時停止支援を示しているときには、速度信号が示す現在速度と所定減速度G1とから一時停止するために必要な距離を算出する。運転支援システム22は、この算出した距離が、カーナビ信号が示す一時停止線までの距離に比べて大きくなるギリギリのタイミングで、所定減速度G1を用いて第1の一時停止支援を行う。本実施形態では、G1=0.4Gである。
一方、運転支援システム22は、制御信号が第2の一時停止支援を示しているときには、速度信号が示す現在速度と所定減速度G2とから一時停止するために必要な距離を算出する。運転支援システム22は、算出した距離が、カーナビ信号が示す一時停止線までの距離に比べて大きくなるタイミングで、所定減速度G2にて第2の一時停止支援を行う。本実施形態では、G2=0.2Gである。
図4は、本実施形態および従来の運転支援システムによる一時停止支援の概念を示す図である。図4(b)には、従来の運転支援システムによる一時停止支援の概念が示されている。図4(b)では、直線5が減速度0.4Gを用いた一時停止支援を行うか否かの境界線、すなわち支援減速度閾値を表しており、直線5に対して斜線領域は一時停止支援を要しない未支援領域であり、直線5に対して斜線領域の反対領域は一時停止支援を要する支援領域である。
一方、図4(a)には、本実施形態の運転支援システム22による第1の一時停止支援および第2の一時停止支援の概念が示されている。図4(a)では、直線6が所定減速度G1=0.4Gを用いた第1の一時停止支援を行うか否かの境界線、すなわち支援減速度閾値を表しており、直線6に対して斜線領域は第1の一時停止支援を要しない未支援領域であり、直線6に対して斜線領域の反対領域は第1の一時停止支援を要する支援領域である。同様に、直線7が所定減速度G2=0.2Gを用いた第2の一時停止支援を行うか否かの境界線、すなわち支援減速度閾値を表しており、直線7に対して斜線領域は第2の一時停止支援を要しない未支援領域であり、直線7に対して斜線領域の反対領域は第2の一時停止支援を要する支援領域である。また、−Tz〜−Taの期間が注視行動検出期間である。
このようにして、運転支援システム22では、第2の一時停止支援の所定減速度G2は第1の一時停止支援の所定減速度G1より小さいので、第2の一時停止支援の介入タイミングは、第1の一時停止支援の介入タイミングより早くなる。
また、運転支援システム22は、ECU30から強制制御信号を受けた場合、カーナビ信号が示す一時停止線までの現在距離と速度信号が示す自車両の現在速度とから、自車両が一時停止線で速度0km/hとなるために必要な減速度Gaを算出する。本実施形態では、運転支援システム22は、算出した減速度Gaが所定減速度G1より大きい場合に、急ブレーキを要するにも拘らず運転者が減速行動を行っていないと判断し、直ちに減速度Gaにてブレーキ介入を行う。
次に、運転支援装置1の動作を説明する。
(手順1)
まず、ECU30の停止行動学習部31によって、予め、運転者が、普段、車両を一時停止位置で一時停止させる運転者であるか否かが学習される。具体的には、過去の一時停止位置の通過回数と各一時停止位置における停止回数とから過去の一時停止割合が算出され、算出された一時停止割合が所定値80%より大きい場合に、この運転者が、通常、一時停止位置で停止する運転者であることが学習される。
ここで、普段から一時停止しない運転者の支援は本発明の対象ではないので、説明を省略する。一方、運転者が、普段、車両を一時停止位置で停止させる運転者である場合には、以下の処理が行われる。
また、レーダセンサ10が、他車両までの距離および他車両の速度を検出してレーダ信号としてECU30へ送信し、車速センサ12が、自車両の速度を検出して車速信号として運転支援システム22およびECU30へ送信し、ブレーキセンサ14が、ブレーキ操作の有無を検出してブレーキ信号としてECU30へ送信し、CCDカメラ16が、自車両前方の画像を撮影して画像信号として視線計測装置20およびECU30へ送信し、カーナビゲーションシステム18が、一時停止位置および一時停止位置までの距離をカーナビ信号として運転支援システム22およびECU30へ送信する。視線計測装置20は、運転者の画像から運転者の視線方向を検出すると共に、CCDカメラ16からの画像信号から一時停止線の位置を検出し、視線方向と一時停止線の位置の方向との一致に基づく注視行動の有無を注視行動信号としてECU30へ送信する。
(手順2)
次いで、減速操作判定部32によって、運転者が減速行動を開始したか否かが判定される。具体的には、一時停止線までの距離およびブレーキ操作の有無に基づいて、一時停止線に対して50m手前から20m手前までの減速操作開始検出区間−Pb〜−Pcにおいて、ブレーキ信号がブレーキ操作開始を示したか否かが判定される。
(手順3)
次いで、減速操作判定部32によって、運転者が減速行動を開始しないと判定された場合には、強制制御信号が運転支援システム22へ送信される。すると、運転支援システム22によって、第3の一時停止支援が行われる。具体的には、現在速度と一時停止線までの現在距離とから、車両を一時停止線で停止させるために必要な減速度Gaが算出される。算出された減速度Gaが所定値Gmaxより大きいときには、急ブレーキを要するにも拘らず、運転者が減速行動を行っていないと判断され、算出された減速度Gaによりブレーキ介入が行われる。なお、算出された減速度Gaが所定値Gmax以下である場合には、上記した運転支援システム22による第3の停止支援処理が繰り返される。
(手順4)
一方、減速操作判定部32によって、運転者が減速行動を開始したと判定された場合には、注視行動検出期間設定部33によって、現在速度V、一時停止線までの現在距離D、および現在減速度Gbに基づく上記(1)式より、一時停止までの予測時間Tzが算出される。
(手順5)
次いで、注視行動検出期間設定部33によって、注視行動検出期間が設定される。具体的には、ブレーキ操作の開始時刻が注視行動検出期間の開始タイミングとされ、算出された一時停止までの予測時間Tzから所定時間Taを減算した時間が注視行動検出期間として、終了タイミングが設定される。すなわち、一時停止予測地点を時刻0とすると、−Tzから−Taまでの注視行動検出期間が設定される。
次いで、支援制御部34によって、注視行動検出期間−Tz〜−Taに、運転者が一時停止線を注視するか否かが判別され、制御信号が出力される。具体的には、注視行動検出期間−Tz〜−Taに、視線計測装置20からの注視行動信号が運転者の注視行動を示す場合には、第1の一時停止支援を示す制御信号が出力される。一方、注視行動検出期間−Tz〜−Taに、視線計測装置20からの注視行動信号が運転者の注視行動を示さない場合には、第2の一時停止支援を示す制御信号が出力される。
(手順6)
次いで、支援制御部34によって、第1の一時停止支援を示す制御信号が出力された場合には、運転支援システム22によって、第1の一時停止支援が行われる。具体的には、現在速度と所定減速度G1=0.4Gとから一時停止するために必要な距離が算出される。この算出された距離が、一時停止線までの現在距離に比べて大きくなるギリギリのタイミングにおいて、所定減速度G1=0.4Gを用いてブレーキ介入が行われる。換言すれば、現在速度と現在距離との関係が、図4に示す斜線領域から直線6を超えて支援領域に入るギリギリのタイミングにおいて、直線6が示す支援減速度閾値G1=0.4Gを用いてブレーキ介入が行われる。
(手順7)
一方、支援制御部34によって、第2の一時停止支援を示す制御信号が出力された場合には、運転支援システム22によって、第2の一時停止支援が行われる。具体的には、現在速度と所定減速度G2=0.2Gとから一時停止するために必要な距離が算出される。算出された距離が、一時停止線までの現在距離に比べて大きくなるタイミングにおいて、所定減速度G2=0.2Gを用いてブレーキ介入が行われる。換言すれば、現在速度と現在距離との関係が、図4に示す斜線領域から直線7を超えて支援領域に入るタイミングにおいて、直線7が示す支援減速度閾値G2=0.2Gを用いてブレーキ介入が行われる。
ここで、本願発明者が行った実験の解析結果について説明する。図5は、一時停止交差点における運転者の行動を解析した結果を示す図である。図5によれば、一時停止交差点における運転者の行動は、順に、知覚行動、減速行動、停止行動、確認行動、発進行動、加速行動の6つのステップに分割されることがわかる。
各ステップにおける運転者の行動を更に解析すると、知覚行動では、一時停止標識知覚動作、一時停止線知覚動作、横断歩道知覚動作、横断者知覚動作、交差車両知覚動作、前方車両減速および停止知覚動作、停止位置および減速度の判断動作が順に行われることがわかる。次いで、減速行動では、ブレーキペダルに足をのせ替えおよび踏み込む動作、一時停止線注視動作が順に行われることがわかる。次いで、停止行動では、停止線前後で一時停止動作、前方確認動作(特に、横断者確認動作)、発進動作(ブレーキをいつでも踏めるように少し加速動作)、左右確認動作、交差車両の接近を確認できる位置で一時停止動作が順に行われる。次いで、確認行動では、交差車両および左右確認動作が行われ、発進行動および加速行動では、それぞれ発進動作、加速動作が行われることがわかる。
本願発明者は、実験結果を解析したところ、減速行動における一時停止注視動作が行われたときに、運転者がその後の停止行動を行う可能性が高く、一時停止注視動作が行われなかったときに、運転者がその後の停止行動を行わない可能性が高いことを見出した。具体的には、運転者は、減速中であって、一時停止の約3秒前から5秒前の期間に一時停止線を注視すれば、一時停止する確率が高く、減速中であって、一時停止の約3秒前から5秒前の期間に一時停止線を注視しなければ、一時停止しない確立が高かった。すなわち、運転者は、ブレーキをかけ始めた後に一時停止線を注視すれば、一時停止線を認知している可能性が高く、ブレーキをかけ始めた後に一時停止線を注視しなければ、一時停止線を見落としている可能性が高いと考えられる。
本実施形態の運転支援装置1によれば、支援制御部34は、一時停止位置の手前における車両減速中に、視線計測装置20によってその一時停止位置に対する運転者の注視行動が検出されたか否かを判別することができるので、運転者が車両を一時停止位置で停止させるか否かを精度よく判別することが可能である。また、運転支援システム22は、この支援制御部34による注視行動の検出結果に応じて、運転操作の支援仕様(第1の一時停止支援、第2の一時停止支援、第3の停止支援)を切り替えるので、適切な運転支援を提供することができる。
また、本実施形態の運転支援装置1によれば、車両減速中に注視行動が検出されなかった場合に、支援制御部34および運転支援システム22によって、第2の一時停止支援の介入タイミングが第1の一時停止支援より早められるので、一時停止位置を認識している運転者に煩わしい支援を提供することなく、一時停止位置を見落としている運転者にはより安全な支援を提供することができる。また、第2の一時停止支援を従来より早く開始することによって、第1の一時停止支援の所定減速度G1に比べて第2の一時停止支援の所定減速度G2を小さくすることが可能であり、一時停止線を見落としている運転者に対する煩わしさをも低減することができる。
また、本実施形態の運転支援装置1によれば、視線計測装置20は、運転者の視線方向と一時停止線の位置の方向との一致に基づいて、運転者の注視行動を検出することができるので、運転者が一時停止線を認識したか否かをより精度よく検出することができる。その結果、運転者が車両を一時停止線で停止させるか否かを精度よく判別することができる。
また、本実施形態の運転支援装置1によれば、カーナビゲーションシステム18によって一時停止線が検出され、かつブレーキセンサ14によって減速操作が検出された場合に、注視行動検出期間設定部33によって、該減速操作が開始された時刻に基づいて、一時停止位置における車両減速期間である注視行動検出期間が設定される。したがって、運転者の注視行動を精度よく検出することができ、運転者が車両を一時停止位置で停止させるか否かを精度よく判別することができる。
更に、本実施形態の運転支援装置1によれば、注視行動検出期間設定部33によって、車両の走行状態から該車両が停止するまでに要する時間Tzが予測され、この予測時間をさらに考慮して注視行動検出期間の終了タイミングTaが設定される。したがって、一時停止する確立が高い注視行動期間である(実験結果)、一時停止の約3秒前から5秒前の期間を注視行動検出期間として設定することができるので、運転者の注視行動をより精度よく検出することができ、運転者が車両を一時停止位置で停止させるか否かをより精度よく判別することができる。その結果、より適切な運転支援を提供することができる。
また、本実施形態の運転支援装置1によれば、減速行動と、停止直前の注視行動検出期間における一時停止指標に対する注視行動から一時停止エラーを判別するので、従来の減速行動からのエラー推定手法よりも、見落としに起因する一時停止エラーを精度よく且つ早いタイミングで判別することができ、一時停止のための支援をより早く安全に実行することができる。
[第2の実施形態]
図6は、本発明の第2の実施形態に係る運転支援装置の構成を示す図である。図6に示す運転支援装置1Aは、運転支援装置1においてカーナビゲーションシステム18に代えてカーナビゲーションシステム18Aを備えており、運転支援システム22に代えて運転支援システム22Aを備えている。また、運転支援装置1Aは、ECU30に代えてECU30Aを備えており、更に音声センサ24を備えている。運転支援装置1Aのその他の構成は、運転支援装置1と同一であるので説明を省略する。
カーナビゲーションシステム18Aは、一時停止位置および自車両と一時停止位置との距離と共に、経路案内情報をカーナビ信号としてECU30Aへ送信する。経路案内中でないときには、カーナビゲーションシステム18Aは、経路案内情報の代わりに一時停止線の以前の通過履歴をカーナビ信号として送信する。
音声センサ24は、運転者が同乗者と会話していたり、電話している際の運転者の音声を検出する。音声センサ24は、検出した運転者の音声の有無情報を音声信号としてECU30Aへ送信する。
ECU30Aは、ECU30において注視行動検出期間設定部33の代わりに注視行動検出期間設定部33Aを有しており、更に注視行動遅れ時間取得部(注視行動遅れ時間取得手段)36を有している。ECU30Aのその他の構成は、ECU30と同一であるので説明を省略する。
注視行動遅れ時間取得部36は、車両の周囲環境や運転者の状態に基づいて、運転者の注視行動の遅れ時間を算出する。運転者の注視行動が遅れる車両の周囲環境としては、前方車両の一時停止有無、自車両の進行方向、および走行道路と交差道路との道幅比などであり、運転者の注視行動が遅れる運転者の状態としては、運転者の会話有無などである。本実施形態では、注視行動遅れ時間取得部36は、これらの車両の周囲環境や運転者の状態における注視行動の遅れ時間を以下のように算出する。
(a)前方車両の一時停止有無による遅れ時間の算出方法
注視行動遅れ時間取得部36は、前方車両が一時停止交差点を停止せずに通過した場合に、遅れ時間Tx1を算出する。具体的には、注視行動遅れ時間取得部36は、レーダセンサ10からレーダ信号を受けると共に、カーナビゲーションシステム18Aからカーナビ信号を受ける。注視行動遅れ時間取得部36は、レーダ信号が示す自車両と他車両との距離、他車両の速度、および、ある時間間隔における自車両と他車両との距離と他車両の速度とから他車両の減速度を求める。また、注視行動遅れ時間取得部36は、カーナビ信号から一時停止線の位置および交差点の位置を求める。
本実施形態では、注視行動遅れ時間取得部36は、前方の他車両が一時停止交差点中央から50m手前から一時停止線中央10m先までの距離にあるときに、前方の他車両の速度V1、減速度A1、および自車両と他車両との距離D1を検出する。図7は、注視行動遅れ時間取得部における遅れ時間を算出するためのフローチャートを示す図である。図7に示すように、注視行動遅れ時間取得部36は、以下の条件(i),(ii),(iii)を全て満たす場合に、下式(2)を用いて遅れ時間Tx1を算出する。条件(i),(ii),(iii)のうち少なくとも何れか1つを満たさない場合には、遅れ時間Tx1を算出しない。
(i)D1<α1 (α1は定数であり、例えば50m)
(ii)V1>β1 (β1は定数であり、例えば10km/h)
(iii)A1>γ1 (γ1は負の定数であり、例えば1m/s
Tx1=m1・(α1−D1)/α1+l1・(V1−β1)/β1+n1・(A1−γ1)/γ1・・・(2)
m1,l1,n1は、任意の係数である。
(b)自車両の進行方向による遅れ時間の算出方法
注視行動遅れ時間取得部36は、自車両が一時停止交差点で直進する場合に、遅れ時間Tx2を設定する。具体的には、カーナビゲーションシステム18が経路案内中のときには、注視行動遅れ時間取得部36は、カーナビ信号が示す経路案内方向が直進である場合に、所定の遅れ時間Tx2を設定し、経路案内方向が右折または左折である場合には、所定の遅れ時間Tx2を設定しない。本実施形態では、遅れ時間Tx2は1秒である。
一方、カーナビゲーションシステム18が経路案内中でないときには、注視行動遅れ時間取得部36は、カーナビ信号が示す以前の通過履歴から、通過回数N2、この通過回数N2のうち直進した確立P2を求め、以下の条件(iv),(v)を全て満たす場合に、所定の遅れ時間Tx2を設定する。条件(iv),(v)のうち少なくとも何れか1つを満たさない場合には、遅れ時間Tx2を設定しない。
(iv)N2>α2 (α2は定数であり、例えば10回)
(v)P2>β2 (β2は定数であり、例えば0.8)
なお、注視行動遅れ時間取得部36は、曜日や時間帯などのパラメータを判定条件に加えて確立精度を上げてもよい。
(c)走行道路と交差道路との道幅比による遅れ時間の算出方法
注視行動遅れ時間取得部36は、交差車線の道幅が自車両線に比べて狭い場合に、遅れ時間Tx3を設定する。具体的には、注視行動遅れ時間取得部36は、カーナビ信号が示す道路情報から、走行道路の道幅W1および交差道路の道幅W2を求め、道幅比W2/W1を算出し、以下の条件(vi)を満たす場合に、下式(3)を用いて遅れ時間Tx3を算出する。条件(vi)を満たさない場合には、遅れ時間Tx3を算出しない。
(vi)W2/W1<α3 (α3は定数であり、例えば0.7)
Tx3=m3・(α3−W2/W1)・・・(3)
m3は任意の係数である。
(d)運転者の会話有無による遅れ時間の算出方法
注視行動遅れ時間取得部36は、運転者が同乗者と会話中である場合や電話中である場合に、遅れ時間Tx4を設定する。具体的には、注視行動遅れ時間取得部36は、音声センサ24から音声信号を受ける。注視行動遅れ時間取得部36は、ブレーキ信号が示す減速操作開始後、音声信号が運転者の会話があることを示した場合に、遅れ時間Tx4を設定する。本実施形態では、遅れ時間Tx4は1秒である。音声信号が運転者の会話があることを示さない場合に、遅れ時間Tx4を設定しない。なお、運転者の音声を認識する手法以外にも、携帯電話の通話中や鳴動中の電波を検出した場合に遅れ時間Tx4を設定してもよい。
次いで、注視行動遅れ時間取得部36は、これらの遅れ時間Tx1〜Tx4の総和を算出し、その総和を注視行動の遅れ時間Tとする。
注視行動検出期間設定部33Aは、この注視行動の遅れ時間Tに応じて、注視行動検出期間を補償する。具体的には、注視行動検出期間設定部33Aは、この注視行動の遅れ時間Tに応じて、注視行動検出期間の終了タイミング−Taを遅れ時間Tだけ遅延し、−Ta+Tとする。
運転支援システム22Aは、注視行動遅れ時間取得部36によって算出された注視行動の遅れ時間Tに応じて、第2の一時停止支援のための支援減速度閾値を変更する。具体的には、運転支援システム22Aは、算出された注視行動の遅れ時間Tと所定減速度G2と基づく下式(4)により、支援減速度閾値G4を設定する。
G4=G2−m5・T・・・(4)
m5は任意の係数である。
運転支援システム22Aは、速度信号が示す現在速度と支援減速度閾値G4とから一時停止するために必要な距離を算出する。運転支援システム22Aは、算出した距離が、カーナビ信号が示す一時停止線までの距離に比べて大きくなるタイミングで、支援減速度閾値G4にて第2の一時停止支援を行う。
上記(4)式から明らかなように、支援減速度閾値G4は所定減速度G2より小さい値となるので、運転支援システム22Aは、運転支援システム22による第2の一時停止支援より早く、ブレーキ介入を行うこととなる。
図8は、本実施形態の運転支援システムによる一時停止支援の概念を示す図である。図8に示されるように、注視行動検出期間が−Tz〜(−Ta+T)に拡大される。直線7aに示される第2の一時停止支援の支援減速度閾値は、上記(6)式によって、注視行動の遅れ時間Tに応じて変更される。直線6に示される第1の一時停止支援の支援減速度閾値は第1の実施形態と同様である。したがって、注視検出期間に注視行動がある場合、第1の一時停止支援は、第1の実施形態と同様であり、注視検出期間に注視行動がない場合には、第2の一時停止支援は、上記(4)式によって、注視行動の遅れ時間Tに応じて変更されるG4相当の支援減速度閾値が用いられ、第1の一時停止支援より早めのタイミングで開始される。
本実施形態の運転支援装置1Aでも、第1の実施形態の運転支援装置1と同様の利点を得ることができる。更に、本実施形態の運転支援装置1Aによれば、注視行動遅れ時間取得部36が、車両の周囲環境および運転者の状態に基づいて注視行動の遅れ時間Tを算出し、注視行動検出期間設定部33Aが、この注視行動の遅れ時間Tに応じて、注視行動検出期間を延長するように、注視行動検出期間の終了タイミングを変更するので、車両の周囲環境および運転者の状態に起因して注視行動が遅れても、運転者の注視行動を精度よく検出することができ、運転者が車両を一時停止位置で停止させるか否かをより精度よく判別することができる。
また、本実施形態の運転支援装置1Aによれば、運転支援システム22Aが、注視行動の遅れ時間Tに応じて、第2の一時停止支援のための支援減速度閾値G4を変更するので、より早いタイミングで第2の一時停止支援を提供することができる。したがって、本実施形態の運転支援装置1Aによれば、一時停止線を見落としている運転者に、より安全な支援を提供することができる。
[第3の実施形態]
図9は、本発明の第3の実施形態に係る運転支援装置の構成を示す図である。図8に示す運転支援装置1Bは、運転支援装置1においてカーナビゲーションシステム18に代えてカーナビゲーションシステム18Bを備えており、視線計測装置20に変えて視線計測装置20Bを備えている。また、運転支援装置1Bは、ECU30に代えてECU30Bを備えており、運転支援システム22に代えて運転支援システム22Bを備えている。運転支援装置1Bのその他の構成は、運転支援装置1と同一であるので説明を省略する。なお、カーナビゲーションシステム18Bは、特許請求の範囲に記載の記憶手段として機能する。
カーナビゲーションシステム18Bは、走行履歴による過去1ヶ月間の各一時停止線における通行履歴をデータベースに蓄積している。本実施形態では、通行履歴とは、走行回数Ta、走行日時間隔Tb、およびルート変更回数Tcである。カーナビゲーションシステム18Bは、これらの走行回数Ta、走行日時間隔Tb、およびルート変更回数Tcをカーナビ信号としてECU30Bへ送信する。ルート変更回数Tcは、エンジン始動時と高速道路等のインターチェンジ出口とを開始地点として、各一時停止場面までに、ナビ推奨ルートに従わなかった回数をカウントする。
また、カーナビゲーションシステム18Bは、一時停止交差点付近の看板などの物体の重心位置や大きさ情報をデータベースに保有しており、これらの物体の重心位置や大きさ情報を視線計測装置20Bへ送信する。
視線計測装置20Bは、上記したように、一時停止線に対する注視行動を検出すると共に、一時停止位置と関連付けられた一時停止線以外の注視対象物の位置と視線方向との一致に基づき、注視対象物に対する注視行動も検出する。具体的には、視線計測装置20Bは、ECU30から注視対象物情報を受ける。視線計測装置20Bは、注視対象物情報およびカーナビ信号が示す注視対象物の重心位置とから、注視対象物の位置と視線方向との一致を検出する。視線計測装置20Bは、検出した一時停止線に対する注視行動の有無および注視対象物に対する注視行動の有無を注視行動信号としてECU30へ送信する。
ECU30Bは、ECU30において注視行動検出期間設定部33に代えて注視行動検出期間設定部33Bを備えており、更に通行経験判定部37および注視対象物学習部(注視対象物学習手段)38を備えている。ECU30Bの他の構成は、ECU30と同様であるので説明を省略する。
通行経験判定部37は、一時停止線の通行経験があるか否かを判定する。具体的には、通行経験判定部37は、一時停止線に対する通行頻度Φを算出し、算出した通行頻度Φが所定値より大きいか否かを判定する。本実施形態では、通行経験判定部37は、カーナビゲーションシステム18Bからカーナビ信号を受ける。通行経験判定部37は、カーナビ信号が示す走行回数Ta、走行日時間隔Tb、およびルート変更回数Tcに基づき、下式(5)より、一時停止線に対する通行頻度Φを算出する。
Φ=α5・Ta+β5/Tb+γ5・Tc・・・(5)
α5,β5,γ5は重み付け係数であり、各パラメータの優先度順にα5>β5>γ5のような値が設定される。この通行頻度Φが大きい程、通行頻度が高いこととなる。
注視行動検出期間設定部33Bは、通行経験判定部37によって一時停止線の通行経験があると判定された場合、上記したように、注視行動検出期間−Tz〜−Taを設定する。一方、注視行動検出期間設定部33Bは、一時停止線の通行経験がないと判定された場合には、一時停止線が既知ではないと判断し、設定した注視行動検出期間を短縮する。本実施形態では、注視行動検出期間設定部33Bは、注視行動検出期間を2秒に短縮するように、終了タイミングを変更する。
注視対象物学習部38は、通行経験判定部37によって一時停止線の通行経験があると判定された場合、一時停止線といった一時停止位置と関連付けられた道路標識以外の物体を注視対象物として学習する。本実施形態では、この注視対象物として学習されうる物体は、視線計測装置20Bによって検出された物体である。以下では、視線計測装置20Bによる道路標識以外の物体の検出について詳説する。
視線計測装置20Bは、各一時停止場面において、一時交差点付近の物体と運転者の視線方向との一致を検出する。具体的には、視線計測装置20Bは、各一時停止場面において、カーナビゲーションシステム18Bからカーナビ信号を受ける。視線計測装置20Bは、カーナビ信号が示す複数の物体の重心位置や大きさ情報から視野画像における各物体を検出する。視線計測装置20Bは、注視行動検出期間に、各物体の方向と運転者の視線方向との一致を検出する。
図10は、視線計測装置における注視行動の検出概念を示す図である。図9では、視野画像Aに、運転者の視線方向を示すマークBが、ある時間間隔で重畳されている。また、視野画像Aには、物体として看板Eが存在している。本実施形態では、視線計測装置20Bは、看板Eの重心(xr,yr)を中心とする注視認定半径R内に視線方向を示すマークBが所定割合以上存在する場合に、物体の方向と視線方向とが一致したと検出する。視線計測装置20Bは、物体に対する注視行動の有無とこの物体情報とを注視行動信号としてECU30における注視対象物学習部38へ送信する。
注視対象物学習部38は、各一時停止場面において、視線計測装置20Bから注視行動信号を受けると共に、カーナビゲーションシステム18Bからカーナビ信号を受ける。注視対象物学習部38は、カーナビ信号が示すドライバ位置と物体の重心位置とからなる円錐形の注視領域内に存在する一時停止交差点手前に、注視行動信号が示す物体が存在する場合に、注視行動検出期間における物体に対する注視行動の有無に基づいて、物体に対する注視行動をカウントする。注視対象物学習部38は、このカウント値が所定値以上である場合に、それらの物体を注視対象物として設定し、注視対象物情報を視線計測装置20Bへ送信する。このようにして、視線計測装置20によって注視対象物に対する注視行動が検出されることとなる。一方、注視対象物学習部38は、一時停止線の通行経験がないと判定された場合には、注視対象物を設定しない。
運転支援システム22Bは、一時停止線の通行頻度Φに応じて、第2の一時停止支援のための支援減速度閾値を変更する。具体的には、運転支援システム22Bは、ECU30から算出された通行頻度Φを受け、この通行頻度Φと所定減速度0.4Gとに基づき、下式(6)を用いて支援減速度閾値G5を算出する。
G5=0.4G−τ/ξ/η・・・(6)
τは任意の係数であり、ξは一時停止目標物の注視回数であり、ηは一時停止回数である。これらのτ,ξ,ηは、0.2G≦τ/ξ/η≦0.4Gを満たすように設定される。
運転支援システム22Bは、速度信号が示す現在速度と支援減速度閾値G5とから一時停止するために必要な距離を算出する。運転支援システム22Bは、算出した距離が、カーナビ信号が示す一時停止線までの距離に比べて大きくなるタイミングで、支援減速度閾値G5にて第2の一時停止支援を行う。
上記(6)式から明らかなように、運転支援システム22Bでは、学習強度に応じて支援減速度閾値G5は減少されるので、運転支援システム22による第2の一時停止支援より早くブレーキ介入が行われることとなる。
次に、運転支援装置1Bの動作を説明する。まず、上述した手順1および手順2の処理が行われる。
(手順2a)
次いで、通行経験判定部37によって、一時停止線の通行経験があるか否かが判定される。具体的には、走行回数Ta、走行日時間隔Tb、およびルート変更回数Tcに基づく上記(5)式より、一時停止線に対する通行頻度Φが算出され、算出された通行頻度Φが所定値より大きいか否かが判定される。
次いで、上述した手順3および手順4の処理が行われた後、通行経験判定部37によって、一時停止線の通行経験があると判定されている場合には、以下の手順5aの処理へ進む。一方、通行経験判定部37によって、一時停止線の通行経験があると判定されている場合には、後述する手順5bの処理へ進む。
(手順5a)
通行経験判定部37によって、一時停止線の通行経験があると判定されている場合には、上述した手順5と同様に、注視行動検出期間設定部33Bによって、注視行動検出期間−Tz〜−Taが設定されると共に、注視対象物学習部38によって、一時停止線以外の注視対象物が学習される。具体的には、視線計測装置20Bによって検出された過去の各物体に対する注視行動の回数が所定値以上である場合に、それらの物体が注視対象物として設定され、これらの注視対象物情報が視線計測装置20Bに送信される。すると、視線計測装置20Bによって、一時停止線に対する注視行動および注視対象物に対する注視行動が検出される。
次いで、支援制御部34によって、視線計測装置20Bによる検出結果に基づいて、注視行動検出期間−Tz〜−Taに、運転者が一時停止線または注視対象物を注視するか否かが判別され、制御信号が出力される。具体的には、注視行動検出期間−Tz〜−Taに、視線計測装置20からの注視行動信号が運転者の注視行動を示す場合には、第1の一時停止支援を示す制御信号が出力され、上述した手順6の処理が行われる。
一方、注視行動検出期間−Tz〜−Taに、視線計測装置20からの注視行動信号が運転者の注視行動を示さない場合には、第2の一時停止支援を示す制御信号が出力され、以下の手順7aの処理が行われる。
(手順7a)
支援制御部34によって、第2の一時停止支援を示す制御信号が出力された場合には、運転支援システム22Bによって、通行頻度Φに応じて支援減速度閾値が変更される。具体的には、通行頻度Φと所定減速度0.4Gとに基づく上記(6)式より支援減速度閾値G5が算出される。すると、算出された支援減速度閾値G5と現在速度とから一時停止するために必要な距離が算出され、この算出された距離が、一時停止線までの距離に比べて大きくなるタイミングにおいて、支援減速度閾値G5を用いてブレーキ介入が行われる。
図11は、本実施形態の運転支援システムによる一時停止支援の概念を示す図である。図11(a)には、一時停止線の通行経験がある場合における、本実施形態の運転支援システム22Bによる第1の一時停止支援および第2の一時停止支援の概念が示されており、図11(b)には、一時停止線の通行経験がない場合における、本実施形態の運転支援システム22Bによる第1の一時停止支援および第2の一時停止支援の概念が示されている。
図11(a)に示される直線7b、すなわち第2の一時停止支援の支援減速度閾値は、一時停止線の通行経験があり、注視検出期間に注視行動がない場合に、上記(6)式によって、学習強度に応じて0.4Gから0.2Gまで変更される。したがって、一時停止線の通行経験があり、注視検出期間に注視行動がある場合、第1の一時停止支援は、第1の実施形態と同様であり、一時停止線の通行経験があり、注視検出期間に注視行動がない場合には、第2の一時停止支援は、上記(6)式によって、学習強度に応じて変更されるG5相当の支援減速度閾値が用いられ、第1の一時停止支援より早めのタイミングで開始される。図11(b)については後述する。
(手順5b)
一方、通行経験判定部37によって、一時停止線の通行経験がないと判定されている場合には、運転者が一時停止線を見落とす可能性が高いと判断され、注視行動検出期間設定部33Bによって、設定された注視行動検出期間の終了タイミングを変更することによって注視行動検出期間が−Tz〜(−Tz+2)に短縮される。
次いで、支援制御部34によって、視線計測装置20Bによる検出結果に基づいて、注視行動検出期間−Tz〜(−Tz+2)に、運転者が一時停止線を注視するか否かが判別され、制御信号が出力される。具体的には、注視行動検出期間−Tz〜(−Tz+2)に、視線計測装置20からの注視行動信号が運転者の注視行動を示す場合には、第1の一時停止支援を示す制御信号が出力され、上述した手順6と同様な処理が行われる。
一方、注視行動検出期間−Tz〜(−Tz+2)に、視線計測装置20からの注視行動信号が運転者の注視行動を示さない場合には、第2の一時停止支援を示す制御信号が出力され、上述した手順7と同様な処理が行われる。
図11(b)に示されるように、一時停止線の通行経験がない場合には、注視行動検出期間が−Tz〜(−Tz+2)に短縮され、支援領域が拡大される。直線6に示される第1の一時停止支援の支援減速度閾値、および直線7に示される第1の一時停止支援の支援減速度閾値は、第1の実施形態と同様である。
したがって、一時停止線の通行経験がなく、注視検出期間に注視行動がある場合には、第1の一時停止支援は、G1=0.4G相当の支援減速度閾値が用いられ、従来通りのぎりぎりのタイミングで開始される。一方、一時停止線の通行経験がなく、注視検出期間に注視行動がない場合には、第2の一時停止支援は、G2=0.2G相当の支援減速度閾値が用いられ、第1の一時停止支援より早めのタイミングで開始される。
一時停止交差点が既知の場合、運転者は一時停止線といった一時停止位置と関連付けられた道路標識ではなく、他の物体を一時停止指標として一時停止することがある。
本実施形態の運転支援装置1Bによれば、注視対象物学習部38が、道路標識以外の注視対象物を学習し、視線計測装置は、運転者の一時停止線に対する注視行動に加えて、この注視対象物に対する注視行動を一時停止位置に対する注視行動とみなす。したがって、運転者が一時停止線を認識したか否かをより精度よく検出することができ、その結果、運転者が車両を一時停止線で停止させるか否かをより精度よく判別することができる。
また、本実施形態の運転支援装置1Bによれば、一時停止交差点が既知ではない場合には、注視行動検出期間設定部33Bが、注視行動検出期間を短縮して、支援領域を拡大する。また、一時停止交差点が既知である場合には、運転支援システム22Bが、学習強度、すなわち一時停止線の通行頻度Φに応じて、第2の一時停止支援のための支援減速度閾値G5を減少するので、より早いタイミングで第2の一時停止支援を提供することができ、支援領域を拡大する。したがって、一時停止交差点を認識していない運転者に、より安全な支援を提供することができる。
なお、本発明は上記した本実施形態に限定されることなく種々の変形が可能である。
本実施形態では、運転者の癖に応じて注視行動検出期間の終了タイミングが変更されてもよい。例えば、ECUが注視タイミング学習部(注視タイミング学習手段)を更に備えており、注視タイミング学習部が、運転者が注視行動を行うタイミングを学習する。学習されたタイミングに応じて、注視行動検出期間設定部が、注視行動検出期間を補償する。
具体的には、注視タイミング学習部は、以前の減速操作の開始タイミングに対する注視行動の検出タイミングを記憶しており、記憶した以前の注視行動の検出タイミングの平均値を算出する。この算出した注視行動の検出タイミングの平均値に応じて、注視行動検出期間設定部が、注視行動検出期間の終了タイミングを変更する。
同様に、本実施形態では、運転者の癖に応じて減速操作検出区間が変更されてもよい。例えば、ECUが、以前の停止位置に対する減速操作の開始距離を記憶しており、記憶した以前の減速操作の開始距離の平均値に基づいて、減速操作検出区間を変更する。
また、本実施形態では、運転支援システムが行う介入ブレーキによる一時停止支援を例示したが、運転支援システムの代わりにディスプレイやスピーカなどの報知装置を備え、運転者に危険を報知する一時停止支援であってもよい。また、本実施形態の運転支援システムと報知装置とを備え、報知と介入ブレーキとの双方による一時停止支援であってもよい。
また、本実施形態では、一時停止位置の手前がカーブであったり、上り坂であったり、夜間であったり、障害物であったりと、物理的に一時停止標識(一時停止線または一時停止目標物)が見え難い、運転者が一時停止位置に気付くのが必然的に遅れ、その結果ブレーキ開始タイミングが遅れる場面を検知し、第4の一時停止支援を提供してもよい。第4の一時停止支援は、例えば、以下のように実現することができる。
まず、ECUが、カーナビゲーションシステムの道路情報から、一時停止場面までの距離が所定距離であることを検出する。すると、CCDカメラが、自車両前方の画像を撮影し、ECUが、その画像を画像処理することによって、一時停止標識の有無を検出する。一時停止標識が検出された場合には、運転支援装置は、本実施形態の第1〜第3の一時停止支援を提供する。一方、一時停止標識が検出されない場合には、運転支援装置は、一時停止標識が見え難い場面であると判断し、第4の一時停止支援を提供する。例えば、第4の一時停止支援では、一時停止場面の所定距離手前から一時停止場面であることを音声やGUIによって報知する。このように、本変形例によれば、第4の一時停止支援によって安全な支援を提供することができる。
本発明の第1の実施形態に係る運転支援装置の構成を示す図である。 視線計測装置における注視行動の検出概念を示す図である。 ECUが行う処理を時系列的に示すタイムチャートである。 第1の実施形態および従来の運転支援システムによる一時停止支援の概念を示す図である。 一時停止交差点における運転者の行動を解析した結果を示す図である。 本発明の第2の実施形態に係る運転支援装置の構成を示す図である。 注視行動遅れ時間取得部における遅れ時間を算出するためのフローチャートを示す図である。 第2の実施形態の運転支援システムによる一時停止支援の概念を示す図である。 本発明の第3の実施形態に係る運転支援装置の構成を示す図である。 視線計測装置における注視行動の検出概念を示す図である。 第3の実施形態の運転支援システムによる一時停止支援の概念を示す図である。
符号の説明
1,1A,1B…運転支援装置、10…レーダセンサ、12…車速センサ、14…ブレーキセンサ、16…CCDカメラ、18,18A,18B…カーナビゲーションシステム、20,20B…視線計測装置、22,22A,22B…運転支援システム、24…音声センサ、30,30A,30B…電子制御ユニット(ECU)、31…停止行動学習部、32…減速操作判定部、33,33A,33B…注視行動検出期間設定部、34…支援制御部、36…注視行動遅れ時間取得部、37…通行経験判定部、38…注視対象物学習部。

Claims (8)

  1. 一時停止位置の手前における運転者の運転操作を支援する支援手段と、
    一時停止位置に対する運転者の注視行動を検出する注視行動検出手段と、を備え、
    前記支援手段は、前記注視行動検出手段により検出される車両減速中における前記注視行動の有無に応じて、車両減速中に前記注視行動が検出されなかった場合に、運転操作の支援の介入タイミングを早めるように、運転操作の支援仕様を切り替えることを特徴とする、運転支援装置。
  2. 運転者の視線方向を検出する視線方向検出手段と、
    一時停止位置を示す指標物の位置を検出する指標位置検出手段と、を更に備え、
    前記注視行動検出手段は、前記視線方向検出手段により検出された前記運転者の視線方向と、前記指標位置検出手段により検出された前記指標物の位置とに基づいて、前記運転者の注視行動を検出することを特徴とする、請求項に記載の運転支援装置。
  3. 自車両の進行方向前方に設けられた一時停止位置を検出する一時停止位置検出手段と、
    運転者による減速操作を検出する減速操作検出手段と、
    前記一時停止位置が検出され、かつ減速操作が検出された場合に、該減速操作が開始された時刻に基づいて前記注視行動を検出する注視行動検出期間を設定する設定手段と、を更に備え、
    前記支援手段は、前記設定手段により設定された前記注視行動検出期間内における前記注視行動の有無に応じて、運転操作の支援仕様を切り替えることを特徴とする、請求項1または2に記載の運転支援装置。
  4. 前記設定手段は、車両の走行状態から該車両が停止するまでに要する時間を予測し、この予測時間をさらに考慮して前記注視行動検出期間を設定することを特徴とする、請求項に記載の運転支援装置。
  5. 前記運転者が注視行動を行うタイミングを学習する注視タイミング学習手段をさらに備え、
    前記設定手段は、前記注視タイミング学習手段により学習された前記タイミングに応じて、前記注視行動検出期間を補償することを特徴とする、請求項に記載の運転支援装置。
  6. 車両の周囲環境および運転者の状態に基づいて、注視行動の遅れ時間を求める遅れ時間取得手段をさらに備え、
    前記設定手段は、前記遅れ時間取得手段により取得された前記遅れ時間に応じて、前記注視行動検出期間を補償することを特徴とする、請求項4または5に記載の運転支援装置。
  7. 一時停止位置ごとに通行履歴を記憶する記憶手段と、
    前記記憶手段に通行履歴が記憶されている一時停止位置において、該一時停止位置と関連付けられた道路標識以外の注視対象物を学習する注視対象物学習手段と、をさらに備え、
    前記注視行動検出手段は、前記注視対象物学習手段により学習された前記注視対象物に対する前記運転者の注視行動を検出し、該注視対象物に対する注視行動を前記一時停止位置に対する注視行動とみなすことを特徴とする請求項1〜6のいずれか1項に記載の運転支援装置。
  8. 前記支援手段は、車両に付与する制動力を自動的に調節することにより、運転支援を実行することを特徴とする請求項1〜7のいずれか1項に記載の運転支援装置。
JP2006212167A 2006-08-03 2006-08-03 運転支援装置 Active JP4911453B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006212167A JP4911453B2 (ja) 2006-08-03 2006-08-03 運転支援装置
US12/297,646 US8280602B2 (en) 2006-08-03 2007-08-01 Operation assist apparatus
PCT/IB2007/002218 WO2008015551A2 (en) 2006-08-03 2007-08-01 Operation assist apparatus
EP07804690A EP2046598B1 (en) 2006-08-03 2007-08-01 Operation assist apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006212167A JP4911453B2 (ja) 2006-08-03 2006-08-03 運転支援装置

Publications (2)

Publication Number Publication Date
JP2008037201A JP2008037201A (ja) 2008-02-21
JP4911453B2 true JP4911453B2 (ja) 2012-04-04

Family

ID=38889285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006212167A Active JP4911453B2 (ja) 2006-08-03 2006-08-03 運転支援装置

Country Status (4)

Country Link
US (1) US8280602B2 (ja)
EP (1) EP2046598B1 (ja)
JP (1) JP4911453B2 (ja)
WO (1) WO2008015551A2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5115354B2 (ja) * 2008-06-20 2013-01-09 トヨタ自動車株式会社 運転支援装置
JP5396873B2 (ja) * 2009-01-20 2014-01-22 株式会社豊田中央研究所 ドライバ操作予測装置及びプログラム
JP5333181B2 (ja) * 2009-11-30 2013-11-06 トヨタ自動車株式会社 運転状態判定装置
JP5042296B2 (ja) * 2009-12-02 2012-10-03 本田技研工業株式会社 注視判定装置
WO2012039026A1 (ja) * 2010-09-22 2012-03-29 トヨタ自動車株式会社 車両用情報処理装置及びデータベース
WO2012073355A1 (ja) * 2010-12-01 2012-06-07 トヨタ自動車株式会社 車両用情報処理装置及びデータベース
JP5527411B2 (ja) * 2011-07-11 2014-06-18 トヨタ自動車株式会社 車両の緊急退避装置
WO2013018220A1 (ja) * 2011-08-04 2013-02-07 トヨタ自動車 株式会社 車両用情報処理装置及び車両用情報処理方法
JP5846214B2 (ja) * 2011-11-14 2016-01-20 トヨタ自動車株式会社 運転支援装置
WO2013136699A1 (ja) * 2012-03-14 2013-09-19 日産自動車株式会社 道路情報作成・配信システム、道路情報作成・配信装置、車載装置、道路情報作成・配信方法
JP6393053B2 (ja) * 2014-03-27 2018-09-19 オリンパス株式会社 細胞観察情報処理システム、細胞観察情報処理方法、細胞観察情報処理プログラム、細胞観察情報処理システムに備わる記録部、細胞観察情報処理システムに備わる装置
US9308914B1 (en) 2015-01-23 2016-04-12 Denso International America, Inc. Advanced driver assistance system for vehicle
JP2016163150A (ja) * 2015-02-27 2016-09-05 株式会社リコー 通信端末、面談システム、通信方法及びプログラム
KR102137213B1 (ko) 2015-11-16 2020-08-13 삼성전자 주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
JP6579014B2 (ja) * 2016-03-29 2019-09-25 株式会社デンソー 自動ブレーキ制御装置及びコンピュータプログラム
WO2018070475A1 (ja) * 2016-10-12 2018-04-19 パイオニア株式会社 走行制御装置、走行制御方法、及びプログラム
JP7035753B2 (ja) * 2018-04-16 2022-03-15 トヨタ自動車株式会社 運転支援装置
US11731659B2 (en) * 2021-04-29 2023-08-22 Argo AI, LLC Determination of vehicle pullover location considering ambient conditions
US12072194B2 (en) 2021-04-29 2024-08-27 Argo AI, LLC Method of navigating autonomous vehicle to passenger pickup / drop-off location
US11656093B2 (en) 2021-09-27 2023-05-23 Argo AI, LLC Method and system for navigating vehicle to pickup / drop-off zone

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06150199A (ja) * 1992-11-13 1994-05-31 Mitsubishi Electric Corp 車両予防安全装置
JP3569926B2 (ja) * 1993-03-03 2004-09-29 株式会社デンソー 車両走行制御装置
JPH1076922A (ja) 1996-09-02 1998-03-24 Honda Motor Co Ltd 運転操作支援装置
JP3890689B2 (ja) * 1997-07-31 2007-03-07 日産自動車株式会社 車間距離警報装置
JPH1148952A (ja) * 1997-08-06 1999-02-23 Mitsubishi Electric Corp 車両用制動装置
DE19860248C1 (de) * 1998-12-24 2000-03-16 Daimler Chrysler Ag Verfahren und Vorrichtung zur Klassifizierung der Fahrweise eines Fahrers in einem Kraftfahrzeug
JP2001067596A (ja) 1999-08-31 2001-03-16 Hitachi Ltd 交通安全支援装置及び交通安全支援システム
JP2001138767A (ja) * 1999-11-17 2001-05-22 Nissan Motor Co Ltd 車両用警報装置
DE10039795C2 (de) 2000-08-16 2003-03-27 Bosch Gmbh Robert Verfahren zur Warnung eines Fahrers eines Fahrzeugs
JP4626054B2 (ja) * 2000-12-21 2011-02-02 日産自動車株式会社 車両用走行制御装置
JP5179686B2 (ja) * 2001-09-25 2013-04-10 株式会社豊田中央研究所 運転行動危険度演算装置
DE60211503T2 (de) * 2002-07-09 2006-12-07 Accenture Global Services Gmbh Vorrichtung zur automatischen Erkennung von Verkehrszeichen
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
JP4052167B2 (ja) 2003-04-03 2008-02-27 日産自動車株式会社 一時停止警報装置
JP4136889B2 (ja) 2003-06-16 2008-08-20 富士通テン株式会社 車両制御装置
JP4277678B2 (ja) * 2003-12-17 2009-06-10 株式会社デンソー 車両運転支援装置
US20050128063A1 (en) * 2003-11-28 2005-06-16 Denso Corporation Vehicle driving assisting apparatus
JP4134894B2 (ja) * 2003-12-09 2008-08-20 株式会社デンソー 車両運転支援装置
JP4265992B2 (ja) 2004-04-30 2009-05-20 富士通テン株式会社 運転支援装置
JP4367319B2 (ja) * 2004-11-12 2009-11-18 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US9387838B2 (en) * 2006-04-12 2016-07-12 Krayon Systems Inc. Vehicle braking apparatus system and method

Also Published As

Publication number Publication date
EP2046598A2 (en) 2009-04-15
WO2008015551A2 (en) 2008-02-07
JP2008037201A (ja) 2008-02-21
EP2046598B1 (en) 2012-02-01
US20090069994A1 (en) 2009-03-12
WO2008015551A3 (en) 2008-05-02
US8280602B2 (en) 2012-10-02

Similar Documents

Publication Publication Date Title
JP4911453B2 (ja) 運転支援装置
JP7173105B2 (ja) 自動運転制御装置、自動運転制御方法、プログラム、および自動運転制御システム
CN111361552B (zh) 自动驾驶系统
KR102138051B1 (ko) 운전 지원 장치
EP2878507B1 (en) Drive assist device
JP6508072B2 (ja) 報知制御装置及び報知制御方法
US9415775B2 (en) Drive assist apparatus, and drive assist method
EP2671768B1 (en) Vehicle control apparatus
US10023230B2 (en) Drive assist device, and drive assist method
JP6112054B2 (ja) 電子機器、電子機器の制御方法及び電子機器の制御プログラム
JP4905034B2 (ja) 走行制御装置及び走行制御方法
EP2878508A1 (en) Drive assist device
JP6269360B2 (ja) 運転支援システム及び運転支援方法
US20190344801A1 (en) Moving object travel support apparatus and method
JP5716700B2 (ja) 運転支援装置
CN115731733A (zh) 驾驶辅助装置
JP2012218592A (ja) 車載機器制御装置
JP2006323876A (ja) 運転者将来状況予測装置
JP2004030195A (ja) 車両用情報提供装置
JP2006178674A (ja) 走行支援装置
JP2023152108A (ja) 車両衝突回避装置
JP2007305156A (ja) 車両用安全装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111220

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120110

R151 Written notification of patent or utility model registration

Ref document number: 4911453

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250