JP4702070B2 - 運転者心理判定装置 - Google Patents

運転者心理判定装置 Download PDF

Info

Publication number
JP4702070B2
JP4702070B2 JP2006011602A JP2006011602A JP4702070B2 JP 4702070 B2 JP4702070 B2 JP 4702070B2 JP 2006011602 A JP2006011602 A JP 2006011602A JP 2006011602 A JP2006011602 A JP 2006011602A JP 4702070 B2 JP4702070 B2 JP 4702070B2
Authority
JP
Japan
Prior art keywords
driving
driver
psychological
scene
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006011602A
Other languages
English (en)
Other versions
JP2007193604A (ja
Inventor
和也 佐々木
滋 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006011602A priority Critical patent/JP4702070B2/ja
Publication of JP2007193604A publication Critical patent/JP2007193604A/ja
Application granted granted Critical
Publication of JP4702070B2 publication Critical patent/JP4702070B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、高精度に運転者の心理状態を判定する運転者心理判定装置に関する。
運転中の安全性を向上させるために、焦りなどの運転者の心理状態を判定する装置が各種提案されている。この判定装置としては、例えば、先行車両との実際の車間距離とそのときの車速に対応した基本車間距離(心理状態判定の基準)とを比較し、その実際の車間距離と基本車間距離の差異に基づいて心理状態を判定する装置がある(特許文献1参照)。この装置では、ある車速での実際の車間距離が安全な走行を確保するために必要な基準となる車間距離より短くなっている場合に運転者の心理状態に焦りなどがあると判断する。
特開2003−51097号公報
先行車両との車間距離は、運転者の心理状態以外の要因(例えば、先行車両の加減速、渋滞)に基づいて変動する。そのため、車間距離の大小が自車両の運転者の心理状態だけを反映しているとは限らないので、単純に車間距離の大小関係によって運転者の心理状態を高精度に判定できない。
そこで、本発明は、運転者の心理状態を高精度に判定することができる運転者心理判定装置を提供することを課題とする。
本発明に係る運転者心理判定装置は、運転者の心理状態を判定する運転者心理判定装置であって、運転者の運転動作を検出する運転動作検出手段と、運転場面を識別する運転場面識別手段と、運転場面に対応する基本動作が記憶される記憶手段と、運転場面識別手段で識別した運転場面における運転動作検出手段で検出した運転動作と記憶手段に記憶されている基本動作とを比較し、当該識別した運転場面における動作時間の短縮を検出する動作時間短縮検出手段と、動作時間短縮検出手段での動作時間の短縮の検出結果に基づいて運転者の心理状態を判定する運転者心理判定手段とを備えることを特徴とする。
この運転者心理判定装置では、運転場面識別手段により、運転場面を識別する。運転者心理判定装置では、運転動作検出手段により、識別した運転場面において行った運転者の運転動作を検出する。この運転動作の検出では、少なくともその運転場面で行われた一連の運転動作における運転動作全体の時間、個々の運転動作の時間、運転動作間の時間などの時間に関する情報を取得する。また、運転者心理判定装置では、記憶手段から識別した運転場面における基本動作を読み出す。この基本動作は、各運転場面において運転者が通常行うべき基本的な運転動作であり、少なくともその運転場面で行われるべき一連の運転動作全体の基準時間、個々の運転動作の基準時間、運転動作間の基準時間などの時間に関する情報を含んでいる。そして、運転者心理判定装置では、動作時間短縮検出手段により、運転場面毎に、検出した運転動作と記憶していた基本動作との時間に関する情報を比較し、検出した運転動作が基本動作に比べて動作時間が短縮されているかを検出する。さらに、運転者心理判定装置では、運転者心理判定手段により、動作時間の短縮の検出結果から運転者の心理状態を判定する。所定の運転場面において運転者の運転動作が通常行われている基準時間前後で行われた場合と基準時間より明らかに短い時間で行われた場合とでは、運転者の心理状態が明らかに異なっている。つまり、運転者が通常行っている運転動作と比べて急いでいる場合には、運転者の心理状態としては平常状態から変化している。したがって、所定の運転場面における運転動作の動作時間の短縮には、運転者の心理状態が的確に表れる。このように、この運転者心理判定装置は、運転者の心理状態を高精度に判定することができる。
本発明の上記運転者心理判定装置では、運転場面は、車線変更の場面であり、車線変更における運転動作全体の動作時間の短縮、車線変更における個々の運転動作の動作時間の短縮又は車線変更における運転動作間の時間の短縮に基づいて運転者の心理状態を判定する構成としてもよい。
この運転者心理判定装置では、運転場面識別手段により、車線変更を識別する。運転者心理判定装置では、運転動作検出手段により、車線変更において行った運転者の運転動作を検出する。また、運転者心理判定装置では、記憶手段から車線変更における基本動作を読み出す。そして、運転者心理判定装置では、動作時間短縮検出手段により、車線変更における検出した運転動作と記憶していた基本動作との時間に関する情報を比較し、検出した運転動作が基本動作に比べて運転動作全体の動作時間が短縮、個々の運転動作の動作時間が短縮又は運転動作間の時間が短縮しているかを検出する。さらに、運転者心理判定装置では、運転者心理判定手段により、車線変更における動作時間の短縮の検出結果から運転者の心理状態を判定する。車線変更は自車線の車両の流れ(車速)、車線変更先の他車の有無や他車間の車間距離などの様々な要素があり、そのときの運転動作としてウィンカ操作、安全確認動作、ステアリング操作など各種操作が必要となる。そのため、車線変更における運転動作には運転者の心理状態が表れ易い。車線変更における動作時間の短縮としては、例えば、車線変更全体の動作時間の短縮、ステアリング操作時間の短縮、ウィンカ操作からステアリング操作までの時間の短縮がある。
本発明の上記運転者心理判定装置では、運転場面は、乗車の場面であり、乗車における運転動作全体の動作時間の短縮、乗車における個々の運転動作の動作時間の短縮又は乗車における運転動作間の時間の短縮に基づいて運転者の心理状態を判定する構成としてもよい。
この運転者心理判定装置では、運転場面識別手段により、乗車を識別する。運転者心理判定装置では、運転動作検出手段により、乗車において行った運転者の動作を検出する。また、運転者心理判定装置では、記憶手段から乗車における基本動作を読み出す。そして、運転者心理判定装置では、動作時間短縮検出手段により、乗車における検出した運転動作と記憶していた基本動作との時間に関する情報を比較し、検出した運転動作が基本動作に比べて運転動作全体の動作時間が短縮、個々の運転動作の動作時間が短縮又は運転動作間の時間が短縮しているかを検出する。さらに、運転者心理判定装置では、運転者心理判定手段により、その動作時間の短縮の検出結果から運転者の心理状態を判定する。乗車はドアを開閉してから発進するための数多くの動作(例えば、シートベルトの装着、エンジン始動、安全確認動作、サイドブレーキの解除、シフト操作、アクセル操作)が必要となる。そのため、乗車における運転動作には運転者の心理状態が表れ易い。乗車における動作時間の短縮としては、例えば、ドアの開閉時間の短縮、ドアを開いてから発進するまでの全体時間の短縮がある。
本発明に係る運転者心理判定装置は、運転者の心理状態を判定する運転者心理判定装置であって、運転者の運転動作を検出する運転動作検出手段と、運転場面を識別する運転場面識別手段と、運転場面に対応する基本動作が記憶される記憶手段と、運転場面識別手段で識別した運転場面における運転動作検出手段で検出した運転動作と記憶手段に記憶されている基本動作とを比較し、当該識別した運転場面における運転動作の省略を検出する動作省略検出手段と、動作省略検出手段での運転動作の省略の検出結果に基づいて運転者の心理状態を判定する運転者心理判定手段とを備えることを特徴とする。
この運転者心理判定装置では、運転場面識別手段により、運転場面を識別する。運転者心理判定装置では、運転動作検出手段により、識別した運転場面において行った運転者の運転動作を検出する。この運転動作の検出では、少なくともその運転場面で行われた一連の各運転動作自体の情報を取得する。また、運転者心理判定装置では、記憶手段から識別した運転場面における基本動作を読み出す。この基本動作は、所定の運転場面において運転者が通常行うべき基本的な運転動作であり、少なくともその運転場面で行われるべき一連の運転動作自体の情報を含んでいる。そして、運転者心理判定装置では、動作時間短縮検出手段により、運転場面毎に、検出した運転動作と記憶していた基本動作とを比較し、検出した一連の運転動作において一連の基本動作から省略されている運転動作があるか(運転場面において行わなければならない一連の運転動作の中で行っていない運転動作があるか)を検出する。さらに、運転者心理判定装置では、運転者心理判定手段により、運転動作の省略の検出結果から運転者の心理状態を判定する。所定の運転場面において運転者が通常行うべき全ての運転動作を行っている場合と一部の運転動作を行っていない場合とでは、運転者の心理状態が明らかに異なっている。つまり、運転者が通常行っている運転動作を行わなかった場合には、運転者の心理状態としては平常状態から変化している。したがって、所定の運転場面における運転動作の省略には、運転者の心理状態が的確に表れる。このように、この運転者心理判定装置は、運転者の心理状態を高精度に判定することができる。
本発明の上記運転者心理判定装置では、運転場面は、車線変更の場面であり、車線変更における運転動作の省略に基づいて運転者の心理状態を判定する構成としてもよい。
この運転者心理判定装置では、運転場面識別手段により、車線変更を識別する。運転者心理判定装置では、運転動作検出手段により、車線変更において行った運転者の動作を検出する。また、運転者心理判定装置では、記憶手段から車線変更における基本動作を読み出す。そして、運転者心理判定装置では、動作時間短縮検出手段により、車線変更における検出した各運転動作と記憶していた各基本動作とを比較し、車線変更において行う必要がある運転動作が全て行われたかを検出する。さらに、運転者心理判定装置では、運転者心理判定手段により、車線変更における運転動作の省略の検出結果から運転者の心理状態を判定する。上記したように車線変更における運転動作には運転者の心理状態が表れ易い。車線変更における運転動作の省略としては、例えば、ウィンカ操作の省略、安全確認動作の省略がある。
本発明の上記運転者心理判定装置では、運転場面は、車両発進の場面であり、車両発進前に必要な運転動作の省略に基づいて運転者の心理状態を判定する構成としてもよい。
この運転者心理判定装置では、運転場面識別手段により、車両発進を識別する。運転者心理判定装置では、運転動作検出手段により、車両発進において行った運転者の動作を検出する。また、運転者心理判定装置では、記憶手段から車両発進における基本動作を読み出す。そして、運転者心理判定装置では、動作時間短縮検出手段により、車両発進における検出した各運転動作と記憶していた各基本動作とを比較し、車両発進において行う必要がある運転動作が全て行われたかを検出する。さらに、運転者心理判定装置では、運転者心理判定手段により、車両発進における運転動作の省略の検出結果から運転者の心理状態を判定する。車両発進は、シートベルトの装着、エンジン始動、安全確認動作、サイドブレーキの解除、シフト操作、アクセル操作、暗いときにはヘッドライトの点灯などの数多くの運転動作が必要となる。そのため、車両発進における運転動作には運転者の心理状態が表れ易い。車両発進における運転動作の省略としては、例えば、シートベルトの装着の省略、安全確認動作の省略、ヘッドライトの点灯がある。
本発明の上記運転者心理判定装置では、基本動作は、運転者の過去の運転動作に基づいて設定される構成としてもよい。
この運転者心理判定装置では、運転場面毎に、運転者の運転動作を検出すると、その運転動作を各運転場面における運転動作として記憶手段に記憶する。この際、運転者の心理状態が平常状態と判定された場合の運転動作を記憶するとよい。そして、運転者心理判定装置では、この記憶手段から所定の運転場面の基本動作として運転者の過去の運転動作を読み出し、比較及び判定を行う。このように、運転者が通常行っている運転動作を基本動作として用いることにより、一般的な運転特性ではなく、運転者個々の運転特性と比較することになるので、運転者の心理状態をより高精度に判定することができる。
本発明の上記運転者心理判定装置では、動作時間短縮検出手段で動作時間の短縮又は動作省略検出手段で運転動作の省略を検出した場合、運転者が焦燥状態にあると判定する構成としてもよい。
この運転者心理判定装置では、運転者心理判定手段により、動作時間短縮検出手段で動作時間の短縮又は動作省略検出手段で運転動作の省略を検出した場合、運転者が焦燥状態にあると判定する。運転者が通常行っている運転動作に比べて素早く行っている場合や通常行っている運転動作自体を行わなかった場合、運転者は急いでおり、運転者の心理状態としては焦っていると判断できる。
なお、運転場面は、車両における運転者の動作に基づく様々な運転シーンであり、例えば、乗車、降車、発進、停止、右左折、車線変更、車両追い越し、灯火類の点灯/消灯、エンジンキーの操作、ワイパの操作、カーナビゲーションの操作がある。運転動作は、運転者が車両に乗車するときから降車するときまでの様々な動作であり、各種運転操作の他にミラーによる視認確認、目視確認、ミラー調整、シート調整、シートベルトの装着などの各種動作も含む。動作時間の短縮には、所定の運転場面における一連の運転動作の全体時間の短縮、一連の運転動作における個々の運転動作の時間の短縮、一連の運転動作における運転動作間の時間の短縮がある。
本発明は、各種運転場面における運転動作に関する時間や運転動作の省略に着目することにより、運転者の心理状態を高精度に判定することができる。
以下、図面を参照して、本発明に係る運転者心理判定装置の実施の形態を説明する。
本実施の形態では、本発明の運転者心理判定装置を、運転者の先急ぎ状態(焦り状態)を判定する運転者心理判定装置に適用する。本実施の形態に係る運転者心理判定装置は、各運転場面に対応して運転者が行う運転動作に基づいて先急ぎ状態を判定する。
図1及び図2を参照して、本実施の形態に係る運転者心理判定装置1について説明する。図1は、本実施の形態に係る運転者心理判定装置の構成図である。図2は、車線変更開始時を示す模式図である。
運転者心理判定装置1は、各種運転場面における運転者の一連の動作を検出し、その検出した一連の動作と運転者が通常行っている一連の動作(基本動作)との比較結果に基づいて運転者の先急ぎ状態を判定する。そのために、運転者心理判定装置1は、ドライバ情報認識部2、環境情報認識部3、車両情報認識部4、先急ぎ判定ECU[Electronic Control Unit]5を備えている。なお、本実施の形態では、ドライバ情報認識部2、環境情報認識部3、車両情報認識部4が特許請求の範囲に記載する運転動作検出手段に相当する。
ドライバ情報認識部2としては、顔向き・視線認識ECU20などがある。顔向き・視線認識ECU20では、カメラによって撮像したドライバの顔周辺の撮像画像に基づいてドライバの顔向きと視線を認識し、その認識情報を先急ぎ判定ECU5に送信する。
環境情報認識部3としては、前方車両車速・距離認識ECU30、後方車両車速・距離認識ECU31、側方車両車速・距離認識ECU32、カーナビゲーションシステム33、白線認識ECU34などがある。前方車両車速・距離認識ECU30では、カメラによって撮像した自車前方の撮像画像あるいはレーダセンサによる自車前方へのレーダ情報などに基づいて前方車両の有無及び前方車両が存在する場合には前方車両の車速や前方車両との距離を認識し、その認識情報を先急ぎ判定ECU5に送信する。後方車両車速・距離認識ECU31では、カメラによって撮像した自車後方の撮像画像あるいはレーダセンサによる自車後方へのレーダ情報などに基づいて後方車両の有無及び後方車両が存在する場合には後方車両の車速や後方車両との距離を認識し、その認識情報を先急ぎ判定ECU5に送信する。側方車両車速・距離認識ECU32では、カメラによって撮像した自車右側方の撮像画像及び自車左側方の撮像画像あるいはレーダセンサによる自車右側方へのレーダ情報及び自車左側方へのレーダ情報などに基づいて右前方車両の有無、左側方車両の有無及び側方車両が存在する場合には側方車両の車速や側方車両との距離を認識し、その認識情報を先急ぎ判定ECU5に送信する。側方車両認識では、自車を基準として隣接車線内の前後一定区間内に存在する車両を認識し、一定区間内に2台以上の車両を認識した場合、各車両の情報を認識する。カーナビゲーションシステム33は、自車の現在位置や走行方向の検出及び目的地までの経路案内などを行うシステムであり、これらの情報を先急ぎ判定ECU5に送信する。また、カーナビゲーションシステム33では、カーナビゲーションの各種設定を行うためのボタンの操作を検出し、更に、複数のボタン操作間の時間なども検出し、そのボタン操作情報を先急ぎ判定ECU5に送信する。白線認識ECU34では、カメラによって撮像した自車前方の撮像画像に基づいて自車が走行中の車線の左右の白線を認識し、車線幅や自車の位置と左右の車線との位置関係(自車のふらつき)などを認識し、その認識した情報を先急ぎ判定ECU5に送信する。
車両情報認識部4としては、車速認識ECU40、ステアリング操作認識ECU41、ブレーキ操作認識ECU42、ドア操作認識ECU43、ウィンカ操作認識ECU44、ワイパ操作認識ECU45、キー操作認識ECU46、シフト操作認識ECU47、灯火類操作認識ECU48などがある。車速認識ECU40は、車輪速センサによる車輪速情報などに基づいて自車の車速を認識し、その認識した車速を先急ぎ判定ECU5に送信する。ステアリング操作認識ECU41では、操舵角センサによる操舵角あるいは操舵トルクセンサによる操舵トルクなどに基づいて運転者のステアリングホイールへの操作を検出し、ステアリング操作の有無、操作開始時間、操作終了時間、操作速度などを認識し、その認識したステアリング操作情報を先急ぎECU5に送信する。ブレーキ操作認識ECU42では、ブレーキセンサによるブレーキペダルの踏み込み情報、パーキングブレーキセンサによるパーキングブレーキのON/OFF情報などに基づいて運転者のフットブレーキやパーキングブレーキの操作の有無、操作開始時間、操作終了時間、操作速度などを認識し、その認識した各ブレーキ操作情報を先急ぎECU5に送信する。ドア操作認識ECU43では、各ドアのドアセンサによるドアの開閉情報に基づいて各ドアの開閉、開閉時間などを認識し、その認識したドア操作情報を先急ぎECU5に送信する。ウィンカ操作認識ECU44では、ウィンカスイッチに入力された方向指示(右方向指示オン、左方向指示オン、オフ)に基づいて右方向指示の有無、左方向指示の有無、スイッチの位置変化やその変化速度などを認識し、その認識したウィンカ操作情報を先急ぎECU5に送信する。ワイパ操作認識ECU45では、ワイパスイッチに入力されたワイパモード指示(間欠作動オン、低速作動オン、高速作動オン、オフなど)に基づいて各モードの作動の有無、スイッチの位置変化やその変化速度などを認識し、その認識したワイパ操作情報を先急ぎECU5に送信する。キー操作認識ECU46では、エンジンキースイッチに入力される指示(ACCオン、IGオン、エンジン始動、オフ)に基づいて各モードのオン/オフ、スイッチの位置変化やその変化速度などを認識し、その認識したキー操作情報を先急ぎECU5に送信する。シフト操作認識ECU47では、シフトポジショニングセンサで検出したシフトレバーの操作に基づいて各シフトポジションの位置、シフトポジションの位置変化やその変化速度などを認識し、その認識したシフト操作情報を先急ぎECU5に送信する。灯火類操作認識ECU48では、ヘッドライトなどの点灯類のスイッチに入力された点灯指示(車幅灯オン、ロービームオン、ハイビームオン、オフなど)に基づいて点灯/消灯、スイッチの位置変化やその変化速度などを認識し、その認識した灯火類操作情報を先急ぎECU5に送信する。
先急ぎ判定ECU5は、CPU[Central Processing Unit]、ROM[ReadOnly Memory]、RAM[Random Access Memory]などからなる。先急ぎ判定ECU5では、各情報認識部2,3,4からの認識情報を取り入れる。そして、先急ぎ判定ECU5では、各認識情報から車線変更などの運転場面を検出する。さらに、先急ぎ判定ECU5では、運転場面毎に、各認識情報から運転動作を検出し、運転者が平常状態の場合には検出した運転動作を基本動作として記憶する。さらに、先急ぎ判定ECU5では、運転場面毎に、今回検出した運転動作と記憶している基本動作とを比較し、この検出した運転動作と基本動作との差異を検出する。さらに、先急ぎ判定ECU5では、その差異から運転者が先急ぎ状態(焦り状態)か否かを判定する。なお、本実施の形態では、先急ぎ判定ECU5における各処理が特許請求の範囲に記載する運転場面識別手段、動作時間短縮検出手段、動作省略検出手段、運転者心理判定手段に相当し、先急ぎ判定ECU5におけるRAMが特許請求の範囲に記載する記憶手段に相当する。
基本動作は、運転場面毎に運転者が平常状態の場合に行った一連の運転動作であり、RAMの所定の領域に記憶される。記憶される基本動作としては、運転場面で行われる各運転動作、運転場面全体に要した時間、複数の運転動作間のインターバル時間、運転動作個々の動作時間などである。基本動作は、各運転場面について、1度だけ記憶するようにしてもよいし、所定回数だけ記憶するようにしてもよいし、あるいは、毎回記憶するようにしてもよい。複数回記憶する場合、運転者が行った運転動作について頻度の多い運転動作を記憶し、各時間について平均化した時間を記憶するようにする。
検出した運転動作と基本動作とを比較した場合、運転者が普段行っている動作と異なる動作を行ったときには、運転者が平常状態とは異なった心理状態と判断できる。特に、普段より急いで運転動作を行ったり、あるいは、普段行っている運転動作を省いたりする場合、運転者は焦っている(先を急いでいる)と推測できる。普段より急いで運転動作を行う場合には、運転場面全体の時間が短い場合、運転動作間のインターバル時間が短い場合、個々の運転動作の時間が短い場合がある。心理状態の判定結果としては、平常状態かあるいは先急ぎ状態かを判定してもよいし、基本動作との差異の度合いから先急ぎ度(焦り度)を複数段階で判定してもよい。
運転場面としては、複数の運転動作からなる運転場面と一つの運転動作からなる運転場面がある。複数の運転動作からなる運転場面としては、例えば、車線変更、乗車(発進まで含む)、停止時、カーナビゲーションにおける各種設定がある。一つの運転動作からなる運転場面としては、例えば、エンジンキーの操作、各種ライトスイッチの操作、ワイパスイッチの操作がある。以下、これらの各運転場面における先急ぎ状態の判定方法について説明する。
まず、図2を参照し、運転場面として車線変更について説明する。先急ぎ判定ECU5では、車線変更の開始条件として、ウィンカ操作認識ECU44からの情報により方向指示が行われたか否かあるいは白線認識ECU34からの情報により自車が白線を超えたか否かを判定する。車線変更のための方向指示か否かは、カーナビゲーションシステム33の地図データから複数車線存在、前方の一定区間内に交差点無しなどを条件とする。先急ぎ判定ECU5では、車線変更のため方向指示がオンされた場合あるいは自車が白線を超えた場合に車線変更を開始したと判断する。そして、先急ぎ判定ECU5では、この車線変更開始と判断した時点から、タイマを起動する。
そして、先急ぎ判定ECU5では、側方車両車速・距離認識ECU32からの情報により自車が車線変更しようとしている側(ウィンカで方向指示している側、自車が白線を超えた側)の隣接車線の前後一定区間内に2台以上他車が存在するか否かを判定する。図2の例では、自車V1が左側の隣接車線に車線変更しようとしており、その左側隣接車線の前方側に他車V2が存在し、後方側に他車V3が存在する。2台以上他車が存在すると判定した場合、先急ぎ判定ECU5では、自車が隣接車線の他車間に割り込もうとしていると判断し、各ECUからの情報に基づいて今回の運転動作の記憶を開始する。一方、2台以上他車が存在しないと判定した場合、割り込みではないので、先急ぎ判定ECU5では、運転動作を記憶しない。
先急ぎ判定ECU5では、車線変更の終了条件として、ウィンカ操作認識ECU44からの情報により方向指示を終了したか否かあるいは白線認識ECU34からの情報により自車全体が完全に白線を超えたか否かを判定する。先急ぎ判定ECU5では、車線変更のため方向指示がオフされた場合あるいは自車全体が完全に白線を超えた場合に車線変更を終了したと判断する。そして、先急ぎ判定ECU5では、タイマを停止するとともに、今回の運転動作の記憶も終了する。この運転動作の記憶では、記憶開始してから行った全ての運転動作、車線変更全体に要した時間、車線変更における運転動作間のインターバル時間、運転動作個々の動作時間などが記憶される。また、先急ぎ判定ECU5では、車線変更途中で方向指示がオフされた場合あるいは自車全体が白線を超えなかった場合に車線変更を中止したと判断する。そして、先急ぎ判定ECU5では、タイマを停止するとともに、記憶した運転動作を消去する。
割り込みの車線変更が終了した場合、先急ぎ判定ECU5では、RAMの所定領域から車線変更における基本動作を読み出し、今回行った一連の運転動作と車線変更における基本動作とを比較する。車線変更における基本動作としては、例えば、ウィンカによる開始時の方向指示のオンと終了時のオフ、ルームミラーやサイドミラーによる安全確認及び目視による安全確認、ステアリングホイールによる操舵入力などの行うべき運転動作、車線変更全体に要した時間、運転動作間のインターバル時間、運転動作個々の動作時間が含まれている。比較では、今回の一連の運転動作と基本動作とにおいて、基本動作の中の全ての運転動作を行ったか否か、車線変更の全体時間の時間差、各運転動作間のインターバル時間の時間差、運転動作個々の動作時間の時間差の検出を行う。
そして、先急ぎ判定ECU5では、比較結果に基づいて運転者が平常状態かあるいは先急ぎ状態(焦り状態)かを判定する。先急ぎ判定ECU5では、運転者が普段行っている車線変更時の運転動作と明らかに異なっている場合に先急ぎ状態と判定する。先急ぎ状態と判定される場合としては、例えば、普段よりも車線変更の全体時間が短い場合、普段よりウィンカによる方向指示からステアリング操作開始(車線変更開始)までの時間が短い場合、普段よりステアリング操作時間が短い場合、ウィンカによる方向指示を行わなかった場合、後方確認などの安全確認動作を行わなかった場合である。運転者が平常状態と判定した場合、先急ぎ判定ECU5では、RAMの所定領域に今回の運転動作を車線変更における基本動作として記憶する。
次に、運転場面として乗車(発進まで含む)について説明する。先急ぎ判定ECU5では、乗車の開始条件として、ドア操作認識ECU43からの情報によりドアが開錠されたか否かを判定する。先急ぎ判定ECU5では、ドアが開錠された場合に乗車を開始したと判断する。そして、先急ぎ判定ECU5では、このドアを開錠したと判断した時点から、タイマを起動するとともに、各ECUからの情報に基づいて今回の運転動作を記憶する。
そして、先急ぎ判定ECU5では、乗車から発進までの終了条件として、車速認識ECU40からの情報により自車が発進したか否かを判定する。先急ぎ判定ECU5では、自車が発進した場合に乗車から発進を終了したと判断する。そして、先急ぎ判定ECU5では、タイマを停止するとともに、今回の運転動作の記憶も終了する。また、先急ぎ判定ECU5では、自車が発進しなかった場合に中止したと判断する。そして、先急ぎ判定ECU5では、タイマを停止するとともに、記憶した運転動作を消去する。
発進まで終了した場合、先急ぎ判定ECU5では、RAMの所定領域から乗車(発進まで)における基本動作を読み出し、今回行った一連の運転動作と乗車における基本動作とを比較する。乗車から発進における基本動作としては、例えば、ドアの開閉、シートベルトの装着、エンジンキー操作によるエンジン始動、ブレーキ操作、パーキングブレーキ解除、ルームミラーやサイドミラーによる安全確認及び目視による安全確認、アクセル操作、必要に応じてヘッドライトの点灯やワイパ始動などの行うべき運転動作、乗車開始から発進までの全体に要した時間、運転動作間のインターバル時間、運転動作個々の動作時間が含まれている。
そして、先急ぎ判定ECU5では、比較結果に基づいて運転者が平常状態かあるいは先急ぎ状態(焦り状態)かを判定する。先急ぎ判定ECU5では、運転者が普段行っている乗車から発進時の運転動作と明らかに異なっている場合に先急ぎ状態と判定する。先急ぎ状態と判定される場合としては、例えば、普段よりもドアを開錠したときから発進するまでの全体時間が短い場合、普段よりドアの開閉時間が短い場合、普段よりエンジンキーの操作時間が短い場合、シートベルトの装着を行わなかった場合、後方確認などの安全確認動作を行わなかった場合、必要時にヘッドライトの点灯などを行わなかった場合である。運転者が平常状態と判定した場合、先急ぎ判定ECU5では、RAMの所定領域に今回の運転動作を乗車(発進まで含む)における基本動作として記憶する。
次に、運転場面として赤信号などでの停止時について説明する。先急ぎ判定ECU5では、停止時の開始条件として、車速認識ECU40からの情報により自車が停止したか否かを判定する。先急ぎ判定ECU5では、自車が停止した場合に停止時と判断する。そして、先急ぎ判定ECU5では、この停止した時点から、タイマを起動するとともに、各ECUからの情報に基づいて今回の運転動作を記憶する。
先急ぎ判定ECU5では、停止時の終了条件として、車速認識ECU40からの情報により自車が発進したか否かを判定する。先急ぎ判定ECU5では、自車が発進した場合に停止時を終了したと判断する。そして、先急ぎ判定ECU5では、タイマを停止するとともに、今回の運転動作の記憶も終了する。
停止が終了した場合、先急ぎ判定ECU5では、RAMの所定領域から停止時における基本動作を読み出し、今回行った一連の運転動作と停止時における基本動作とを比較する。停止時における基本動作としては、例えば、ヘッドライトなどの消灯と点灯、シフトのニュートラル又はパーキングへの操作とドライブへの操作、パーキングブレーキの作動と解除、フットブレーキの解除と作動などの行うべき運転動作が含まれている。
そして、先急ぎ判定ECU5では、比較結果に基づいて運転者が平常状態かあるいは先急ぎ状態(焦り状態)かを判定する。先急ぎ判定ECU5では、運転者が普段行っている停止時の運転動作と明らかに異なっている場合に先急ぎ状態と判定する。先急ぎ状態と判定される場合としては、例えば、ヘッドライトの消灯を行わなかった場合、シフト操作を行わなかった場合、パーキングブレーキ操作を行わなかった場合である。運転者が平常状態と判定した場合、先急ぎ判定ECU5では、RAMの所定領域に今回の運転動作を停止時における基本動作として記憶する。
次に、運転場面として目的地などのカーナビゲーションにおける各種設定について説明する。先急ぎ判定ECU5では、カーナビゲーションにおける各種設定の開始条件として、カーナビゲーションシステム33からの情報により設定が開始したか否かを判定する。先急ぎ判定ECU5では、カーナビゲーションにおける設定が開始したと判定すると、この最初の操作入力を判断した時点から、タイマを起動するとともに、カーナビゲーションシステム33からの情報に基づいて今回の設定操作を記憶する。
先急ぎ判定ECU5では、カーナビゲーションにおける各種設定の終了条件として、カーナビゲーションシステム33からの情報により設定が終了したか否かを判定する。先急ぎ判定ECU5では、設定が終了したと判定すると、タイマを停止するとともに、今回の設定操作の記憶も終了する。また、先急ぎ判定ECU5では、設定を途中で中止したと判定すると、タイマを停止するとともに、記憶した設定操作を消去する。
設定が終了した場合、先急ぎ判定ECU5では、RAMの所定領域からカーナビゲーションにおける設定における基本動作を読み出し、今回行った一連の設定操作とカーナビゲーションの設定における基本操作とを比較する。この設定における基本操作としては、例えば、目的地などを設定する際の一連のボタン操作、設定開始から終了までの全体に要した時間、ボタン操作間のインターバル時間が含まれている。
そして、先急ぎ判定ECU5では、比較結果に基づいて運転者が平常状態かあるいは先急ぎ状態(焦り状態)かを判定する。先急ぎ判定ECU5では、運転者が普段行っているカーナビゲーションにおける設定時のボタン操作と明らかに異なっている場合に先急ぎ状態と判定する。先急ぎ状態と判定される場合としては、例えば、設定の全体時間が短い場合、ボタン操作間のインターバル時間が短い場合である。運転者が平常状態と判定した場合、先急ぎ判定ECU5では、RAMの所定領域に今回の運転動作をカーナビゲーションの設定における基本動作として記憶する。
次に、運転場面としてエンジンキー操作について説明する。先急ぎ判定ECU5では、キー操作認識ECU46からの情報によりキーの位置変化を検出し、エンジンキー操作がされたか否かを判定する。そして、先急ぎ判定ECU5では、このエンジンキー操作が開始した時点からタイマを起動し、エンジンキーによる操作が終了した時点でタイマを停止する。このように運転場面がエンジンキー操作や各種スイッチ操作の1つの運転動作からなる場合、そのキーやスイッチの位置が変化した時点から停止した時点までの時間(すなわち、位置が変化する速度)を検出する。
エンジンキーの操作が終了すると、先急ぎ判定ECU5では、RAMの所定領域から基本動作におけるエンジンキーの操作時間を読み出し、今回行ったエンジンキーの操作時間と基本動作におけるエンジンキーの操作時間とを比較する。そして、先急ぎ判定ECU5では、操作時間の差に基づいて運転者が平常状態かあるいは先急ぎ状態(焦り状態)かを判定する。今回の操作時間が基本動作より速い場合、先急ぎ判定ECU5では、運転者が焦り状態と判定する。今回の操作時間と基本動作との差が所定範囲の場合、先急ぎ判定ECU5では、運転者が平常状態と判定し、RAMの所定領域に今回の操作時間を基本動作における操作時間として記憶する。
なお、運転場面としてライトスイッチ、ワイパスイッチ、エアコンのスイッチ類などの各種スイッチの操作についても、エンジンキーの操作と同様に、操作時間に基づいて焦り状態を判定することができる。
次に、運転場面として雨の状況に応じたワイパ操作について説明する。先急ぎ判定ECU5では、ワイパ操作認識ECU45からの情報により、雨が降り始めたときにワイパが始動されたか否かあるいは雨が止んだときにワイパが停止されたか否かを判定する。所定時間経過後、先急ぎ判定ECU5では、雨が降ったときあるいは止んだときに必要なワイパ操作を行ったか否かに基づいて運転者が平常状態かあるいは先急ぎ状態(焦り状態)かを判定する。ここでの、基本動作は、雨が降ったときに行う必要があるワイパ始動操作、あるいは、雨が止んだときに行う必要があるワイパ停止始動操作である。雨が降り始めたときにワイパが始動されなかった場合あるいは雨が止んだときにワイパが停止されなかった場合、先急ぎ判定ECU5では、運転者が焦り状態と判定する。雨が降り始めたときにワイパが始動された場合あるいは雨が止んだときにワイパが停止された場合、先急ぎ判定ECU5では、運転者が平常状態と判定する。なお、雨が降っているか否かは、雨滴センサによる雨滴の検出情報などを利用する。
なお、状況に応じて普段行っている運転動作としては、他にも、トンネルに入るときのヘッドライトの点灯、トンネルを出るときのヘッドライトの消灯、右左折のときのウィンカによる方向指示、乗車しているときのシートベルトの装着などがある。これらも、その状況に応じて運転動作を行ったか否かによって焦り状態を判定することができる。
運転者心理判定装置1では、先急ぎ状態を判定すると、その情報を安全性を向上させるために利用する。例えば、先急ぎ状態の場合には運転者に先急ぎ状態であることを認識させ、安全運転を促すメッセージや表示画像を生成し、スピーカとディスプレイに出力させたり、あるいは、車両に運転支援システム(プリクラッシュセーフティシステム、アダプティブクルーズコントロールシステム、レーンキープシステムなど)が搭載されている場合には制御タイミングを変えるなどの指示信号を送信する。
この運転者心理判定装置1によれば、様々な運転場面における運転動作とその運転場面における基本動作とを比較することにより、運転者の先急ぎ状態(焦り状態)を高精度に判定することができる。特に、運転者心理判定装置1では、基本動作として運転者が平常状態のときの普段行っている運転動作を設定することにより、運転者個々の運転特性に応じて、より高精度な判定を行うことができる。また、運転者心理判定装置1では、運転動作に関する時間と運転動作の省略の2つのパターンでの比較判定を行うので、様々な運転場面を対象として先急ぎ状態を判定することができる。
運転者心理判定装置1では、運転者の心理状態の表れやすい割り込みによる車線変更や乗車から発進までを運転場面として比較判定を行うので、より高精度に判定することができる。また、運転者心理判定装置1では、スイッチ操作などの1つの運転操作からなる運転場面からも簡単に先急ぎ状態を判定することができる。
さらに、このように運転者心理判定装置1において先急ぎ状態を判定し、この精度の高い判定結果を利用することにより、安全性を向上させることができる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では運転者の心理状態として先急ぎ状態(焦り状態)を判定する構成としたが、他の心理状態を判定する構成としてもよい。
また、本実施の形態では運転者の平常状態における各運転場面における運転動作を記憶し、その運転者個々の過去の平常状態のときの運転動作と比較することによって先急ぎ状態を判定する構成としたが、所定の運転場面における一般的な運転動作を記憶し、その一般的な運転動作と比較することによって先急ぎ状態を判定する構成としてもよい。
また、本実施の形態では幾つかの運転場面についての先急ぎ状態の判定について説明したが、他の運転場面についても適用可能である。例えば、割り込みの場合の車線変更について説明したが、割り込みでない場合の車線変更についても適用可能であり、乗車から発進までの場合について説明したが、乗車動作だけや発進動作だけについても適用可能である。
本実施の形態に係る運転者心理判定装置の構成図である。 車線変更開始時を示す模式図である。
符号の説明
1…運転者心理判定装置、2…ドライバ情報認識部、3…環境情報認識部、4…車両情報認識部、5…先急ぎ判定ECU、20…顔向き・視線認識ECU、30…前方車両車速・距離認識ECU、31…後方車両車速・距離認識ECU、32…側方車両車速・距離認識ECU、33…カーナビゲーションシステム、34…白線認識ECU、40…車速認識ECU、41…ステアリング操作認識ECU、42…ブレーキ操作認識ECU、43…ドア操作認識ECU、44…ウィンカ操作認識ECU、45…ワイパ操作認識ECU、46…キー操作認識ECU、47…シフト操作認識ECU、48…灯火類操作認識ECU

Claims (5)

  1. 運転者の心理状態を判定する運転者心理判定装置であって、
    運転者の運転動作を検出する運転動作検出手段と、
    運転場面を識別する運転場面識別手段と、
    運転場面に対応する基本動作が記憶される記憶手段と、
    前記運転場面識別手段で識別した運転場面における前記運転動作検出手段で検出した運
    転動作と前記記憶手段に記憶されている基本動作とを比較し、当該識別した運転場面にお
    ける動作時間の短縮を検出する動作時間短縮検出手段と、
    前記動作時間短縮検出手段での動作時間の短縮の検出結果に基づいて運転者の心理状態
    を判定する運転者心理判定手段とを備え、
    運転場面は、乗車の場面であり、
    乗車における運転動作全体の動作時間の短縮、乗車における個々の運転動作の動作時間
    の短縮又は乗車における運転動作間の時間の短縮に基づいて運転者の心理状態を判定する
    ことを特徴とする運転者心理判定装置。
  2. 運転者の心理状態を判定する運転者心理判定装置であって、
    運転者の運転動作を検出する運転動作検出手段と、
    運転場面を識別する運転場面識別手段と、
    運転場面に対応する基本動作が記憶される記憶手段と、
    前記運転場面識別手段で識別した運転場面における前記運転動作検出手段で検出した運
    転動作と前記記憶手段に記憶されている基本動作とを比較し、当該識別した運転場面にお
    ける運転動作の省略を検出する動作省略検出手段と、
    前記動作省略検出手段での運転動作の省略の検出結果に基づいて運転者の心理状態を判
    定する運転者心理判定手段とを備え、
    運転場面は、車線変更の場面であり、
    車線変更における運転動作の省略に基づいて運転者の心理状態を判定することを特徴と
    する運転者心理判定装置。
  3. 運転者の心理状態を判定する運転者心理判定装置であって、
    運転者の運転動作を検出する運転動作検出手段と、
    運転場面を識別する運転場面識別手段と、
    運転場面に対応する基本動作が記憶される記憶手段と、
    前記運転場面識別手段で識別した運転場面における前記運転動作検出手段で検出した運
    転動作と前記記憶手段に記憶されている基本動作とを比較し、当該識別した運転場面にお
    ける運転動作の省略を検出する動作省略検出手段と、
    前記動作省略検出手段での運転動作の省略の検出結果に基づいて運転者の心理状態を判
    定する運転者心理判定手段とを備え、
    運転場面は、車両発進の場面であり、
    車両発進前に必要な運転動作の省略に基づいて運転者の心理状態を判定することを特徴
    とする運転者心理判定装置。
  4. 基本動作は、運転者の過去の運転動作に基づいて設定されることを特徴とする請求項1
    〜請求項のいずれか1項に記載する運転者心理判定装置。
  5. 前記動作時間短縮検出手段で動作時間の短縮又は前記動作省略検出手段で運転動作の省
    略を検出した場合、運転者が焦燥状態にあると判定することを特徴とする請求項1〜請求
    のいずれか1項に記載する運転者心理判定装置。
JP2006011602A 2006-01-19 2006-01-19 運転者心理判定装置 Expired - Fee Related JP4702070B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006011602A JP4702070B2 (ja) 2006-01-19 2006-01-19 運転者心理判定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006011602A JP4702070B2 (ja) 2006-01-19 2006-01-19 運転者心理判定装置

Publications (2)

Publication Number Publication Date
JP2007193604A JP2007193604A (ja) 2007-08-02
JP4702070B2 true JP4702070B2 (ja) 2011-06-15

Family

ID=38449252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006011602A Expired - Fee Related JP4702070B2 (ja) 2006-01-19 2006-01-19 運転者心理判定装置

Country Status (1)

Country Link
JP (1) JP4702070B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020117043A (ja) * 2019-01-23 2020-08-06 株式会社デンソー ドライバ状況判定装置、ドライバ状況判定方法、ドライバ状況判定プログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4985056B2 (ja) * 2007-04-03 2012-07-25 株式会社豊田中央研究所 先急ぎ運転報知システム
JP5074910B2 (ja) * 2007-12-14 2012-11-14 トヨタ自動車株式会社 心理状態予測装置
JP2010055402A (ja) * 2008-08-28 2010-03-11 Fujitsu Ten Ltd 運転支援装置および運転支援プログラム
JP2010185932A (ja) * 2009-02-10 2010-08-26 Denso It Laboratory Inc 情報提示装置、情報提示方法およびプログラム
JP2010256943A (ja) * 2009-04-21 2010-11-11 Nec Corp ドライバ状態判定システム、判定方法及び判定用プログラム
JP2013140558A (ja) * 2011-12-09 2013-07-18 Denso Corp 運転判定装置
JP6339537B2 (ja) * 2015-07-31 2018-06-06 矢崎エナジーシステム株式会社 運転評価装置
JP6342858B2 (ja) * 2015-08-06 2018-06-13 矢崎エナジーシステム株式会社 運転評価装置
JP7143813B2 (ja) * 2019-05-14 2022-09-29 株式会社デンソー ドライバの焦り検出装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003048448A (ja) * 2001-08-03 2003-02-18 Toyota Motor Corp 運転心理判定方法及び運転心理判定装置、並びに運転支援方法及び運転支援装置
JP2003051097A (ja) * 2001-08-03 2003-02-21 Toyota Motor Corp 運転心理判定装置及び運転心理判定方法、並びに運転支援装置及び運転支援方法
JP2003256997A (ja) * 2002-02-28 2003-09-12 Honda Motor Co Ltd 車両運転能力向上支援装置
JP2003281300A (ja) * 2002-03-26 2003-10-03 Nec Fielding Ltd 車両点検管理システム
JP2005230381A (ja) * 2004-02-23 2005-09-02 Nissan Motor Co Ltd 運転者心理状態判定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003048448A (ja) * 2001-08-03 2003-02-18 Toyota Motor Corp 運転心理判定方法及び運転心理判定装置、並びに運転支援方法及び運転支援装置
JP2003051097A (ja) * 2001-08-03 2003-02-21 Toyota Motor Corp 運転心理判定装置及び運転心理判定方法、並びに運転支援装置及び運転支援方法
JP2003256997A (ja) * 2002-02-28 2003-09-12 Honda Motor Co Ltd 車両運転能力向上支援装置
JP2003281300A (ja) * 2002-03-26 2003-10-03 Nec Fielding Ltd 車両点検管理システム
JP2005230381A (ja) * 2004-02-23 2005-09-02 Nissan Motor Co Ltd 運転者心理状態判定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020117043A (ja) * 2019-01-23 2020-08-06 株式会社デンソー ドライバ状況判定装置、ドライバ状況判定方法、ドライバ状況判定プログラム

Also Published As

Publication number Publication date
JP2007193604A (ja) 2007-08-02

Similar Documents

Publication Publication Date Title
JP4702070B2 (ja) 運転者心理判定装置
US10843706B2 (en) Vehicle control apparatus
JP6725689B2 (ja) 車両用制御装置
JP5163991B2 (ja) 複雑な交通状況における車両の速度制御方法
US8648535B2 (en) Vehicle lamp control apparatus
US20200231159A1 (en) Control system of vehicle, control method of the same, and non-transitory computer-readable storage medium
CN109791734A (zh) 驾驶辅助方法及驾驶辅助装置
CN111051173B (zh) 车辆及其控制装置以及控制方法
CN107810127A (zh) 用于自动化车辆的利用可变警报的认知型驾驶员辅助
JP4862510B2 (ja) 一時停止位検出装置、一時停止位置検出装置付き車両、一時停止位置検出方法
JP2005504677A (ja) 表示装置を有する速度制御器
JP2018005808A (ja) 車両の誤発進抑制装置
CN106971620A (zh) 控制系统和确定随后车辆的车道的方法
JP2019077427A (ja) 車両制御装置、インタフェース装置、およびコンピュータ
WO2017168987A1 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
CN110383361B (zh) 用于在光信号设备处提醒驾驶员起动的方法和装置
CN111051169A (zh) 车辆及其控制装置以及控制方法
CN111587206B (zh) 车辆控制装置、具有该车辆控制装置的车辆以及控制方法
US11299163B2 (en) Control system of vehicle, control method of the same, and non-transitory computer-readable storage medium
CN113511196A (zh) 车辆及其控制装置
WO2019087975A1 (ja) 車両制御装置
JP4600314B2 (ja) 運転者心理判定装置
JP6756402B2 (ja) 走行制御方法及び運転制御装置
CN110371110B (zh) 车辆的控制方法、系统及车辆
JP7131143B2 (ja) 車両の運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110221

R151 Written notification of patent or utility model registration

Ref document number: 4702070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees