以下、本発明に係る運転支援装置、評価装置、運転支援方法、及び運転支援プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
[運転支援装置]
図1は、本実施形態に係る運転支援装置1の一例を示す機能ブロック図である。図1に示す運転支援装置1は、例えば自動車等の車両に搭載され、当該車両を運転する運転者を支援する。運転支援装置1は、独立した車載装置として設けられてもよいし、例えばドライブレコーダ、カーナビゲーション等の車載機器の一部として設けられてもよい。
図1に示すように、運転支援装置1は、運転者識別部2と、走行状況取得部3と、運転者データ取得部4と、評価データ取得部5と、イベント検出部6と、処理部7と、記憶部8とを備える。運転支援装置1は、出力部9を備えてもよい。以下、本実施形態では、運転支援装置1が出力部9を備える構成を例に挙げて説明する。
運転者識別部2は、車両を運転する運転者を識別する。運転者識別部2は、運転者識別データを取得する。運転者識別データの取得方法としては、各種方法により行うことができる。例えば、運転支援装置1に不図示の入力装置が設けられる場合、運転者が当該入力装置を介して自分の名前を入力してもよい。また、運転者を撮影可能な車載カメラが車両に装着される場合、当該車載カメラの映像データに対して画像処理等を行うことで、運転者を識別してもよい。この場合、車載カメラの映像データが運転者識別データとなる。また、運転免許証等の情報を検出する検出装置が車両に搭載される場合、運転者識別部2は、当該検出装置の検出結果を運転者識別データとして取得し、当該運転者識別データに基づいて運転者を識別する構成であってもよい。
走行状況取得部3は、走行状況データを取得する。走行状況データとしては、例えば車両の前方を撮影する前方カメラが搭載される場合、当該前方カメラの映像データを含む。また、走行状況データは、オンボードダイアグノーシス(On-board diagnostics:OBD)に用いられるデータ(OBDデータ)を含む。OBDデータは、車両の速度を示す速度データを含む。
運転者データ取得部4は、運転者データを取得する。運転者データは、例えば運転者のバイタルデータを検出するバイタルデータ検出部が車両に搭載される場合、当該バイタルデータ検出部により検出されるバイタルデータを含む。また、例えば運転者の顔を撮影可能な車載カメラが車両に装着され、当該車載カメラの映像データに基づいて運転者の運転中の視線が測定可能である場合、運転者データは、当該視線データを含む。
評価データ取得部5は、運転者識別部2により識別された運転者についての評価データを取得する。評価データ取得部5は、例えばUSBメモリ等の記憶媒体を介して評価データを取得してもよいし、評価データを記憶する外部のサーバ等からネットワークを介して評価データを取得してもよい。
本実施形態において、評価データは、運転者の能力を評価するデータである。本実施形態では、このような評価データとして、運転者の反応速度を評価する評価データ、及び、運転者の追視能力及び位置予測能力を評価する評価データを含む。運転者の反応速度を評価する評価データは、運転者の反応速度が速いか速くないかの2段階の評価とすることができる。また、運転者の追視能力及び位置予測能力を評価する評価データは、運転者の追視能力及び位置予測能力が高いか高くないかの2段階の評価とすることができる。なお、評価データは、2段階の評価に限定されず、3段階以上の評価としてもよい。
イベント検出部6は、周辺情報データに基づいて、車両運転時にイベントを検出する。イベントは、運転者が運転する車両の周囲で発生する個別の状況又は事象を含む。イベントの例としては、走行する自車の前方の路肩に他の車両が停止している状況、走行する自車の前方に横断歩道を渡る歩行者が存在する状況、交差点に差し掛かる自車の前方を対向車が右折のため横切る状況、等が挙げられるが、これに限定されない。
イベントは、例えば種類ごとに分類することができる。イベントの分類としては、例えば、停車車両及び障害物の存在、歩行者及び車の飛び出し、信号及び標識の存在、信号の切替わり、歩行者及び自転車とのすれ違い、対向車とのすれ違い(はみ出し運転等)、歩行者及び自転車の横断、交差点における対向車との位置関係(対向車の右折、自車の右折、等)、等のように設定することができる。なお、イベントの分類の仕方については、上記に限定されず、例えば指定自動車教習所における教習項目に沿った分類等、他の分類の仕方を採用してもよい。
また、イベントの分類項目としては、例えば信号の切り替わり、歩行者等の飛び出し、先行車のブレーキランプの点灯等、発生から比較的短時間で反応して対応することが求められる反応イベント等が挙げられる。また、イベントの分類項目としては、高速道路で合流する場合、交差点で右折する際の対向車との位置関係、自車が走行する道路に左側から合流しようとする他車との位置関係等、対象となる車又は歩行者等の動きの予測が求められる予測イベント等が挙げられる。
また、周辺情報データは、走行時における車両の周辺の状況に関するデータである。例えば車両の前方を撮影する前方カメラ、車両の側方を撮影する側方カメラ、車両の後方を撮影する後方カメラ等、車両の周囲を撮影する周囲カメラが当該車両に搭載される場合、周辺情報データは、当該周囲カメラの映像データを含む。また、例えば車両の周辺の状況を検出するセンサ又はレーザスキャナ等が当該車両に搭載される場合、周辺情報データは、これらのセンサ又はレーザスキャナ等の検出結果を含む。また、車両にカーナビゲーション等が搭載される場合、周辺情報データは、例えば交差点の位置、信号の位置、故障車又は障害物の位置等、カーナビゲーションからの情報を含んでもよい。
例えば、周囲カメラの映像データに基づいてイベントを検出する場合、イベント検出部6は、映像データに含まれる対象物の位置、大きさ、範囲等についてパターンマッチングを行い、予め算出された所定のパターンと同様のパターンが検出される場合に、当該所定のパターンに対応するイベントが発生したと検出することができる。なお、所定のパターンについては、当該イベントと同一のイベントを示す複数の画像データに基づいて予め算出しておくことができ、算出結果を記憶部8に記憶させておくことができる。イベントの検出方法は上記方法に限定されず、イベントを機械学習させたAIを用いて検出しても良い。
処理部7は、イベント検出部6によりイベントが検出された場合、検出されたイベントに関する運転者の評価データに基づいて、出力部9から報知情報を出力するか否かを判定する。この場合、処理部7は、まず、検出されたイベントが上記の複数の分類のうちどの分類に属するかを判断し、当該イベントが属する分類に応じた評価データを取得する。
例えば、検出されたイベントが反応イベントに属する場合、処理部7は、当該反応イベントに対応する評価データとして、例えば運転者の反応速度を評価する評価データを取得する。次に、処理部7は、取得した評価データにおいて、運転者の反応速度が速い旨の評価である場合、報知情報を出力しないと判定する。また、処理部7は、取得した評価データにおける評価内容が、運転者の反応速度が速くない旨の評価である場合、報知情報を出力すると判定する。
また、検出されたイベントが予測イベントに属する場合、処理部7は、当該予測イベントに対応する評価データとして、例えば運転者の追視能力及び位置予測能力を評価する評価データを取得する。次に、処理部7は、取得した評価データにおいて、運転者の追視能力及び位置予測能力が高い旨の評価である場合、報知情報を出力しないと判定する。また、処理部7は、取得した評価データにおける評価内容が、運転者の追視能力及び位置予測能力が高くない旨の評価である場合、報知情報を出力すると判定する。
処理部7は、報知情報を出力すると判定した場合、出力部9に報知情報を出力させる。評価データの評価内容が3段階以上の場合、評価内容に応じて出力部9に出力させる報知情報を変更してもよい。例えば、処理部7は、評価データの評価内容に応じて、音声出力装置9a、表示装置9b、及び振動発生装置9cのうち報知情報を出力する装置の数、組み合せ、出力内容(音量の大きさ、表示の明るさ、振動の強さ等の出力の程度、出力時間の長さ)等の報知態様を設定することができる。
処理部7は、走行状況取得部3により取得される走行状況データに基づいて、報知情報の出力に関する判断を行ってもよい。例えば、処理部7は、車両の速度が所定の閾値以下の場合には、評価データに関わらず報知情報の出力を行わせないようにしたり、出力の程度を小さくしたり、出力時間の長さを短くするなどの判断を行うことができる。また、処理部7は、車両の速度が所定の閾値を超える場合には、評価データに関わらず報知情報の出力を行わせるようにしたり、報知情報の出力の程度を大きくしたり、出力時間の長さを長くするなどの判断を行うことができる。
処理部7は、運転者データ取得部4により取得される運転者データに基づいて、報知情報の出力に関する判断を行ってもよい。例えば、処理部7は、運転者のバイタルデータにおいて体温が平熱を超える場合、脈拍、呼吸数が平常値を超える場合等、平常とは異なるバイタルデータが取得される場合には、評価データに関わらず報知情報の出力を行わせるようにしたり、報知情報の出力の程度を大きくしたり、出力時間の長さを長くするなどの判断を行うことができる。
また、処理部7は、例えばイベント検出部6によりイベントが検出された場合に、運転者の視線データを取得し、運転者データを用いてイベントに対する運転者の反応速度を算出する。そして、処理部7は、算出結果と運転者の反応速度についての評価データとの比較に基づいて判定及び報知情報の出力の調整を行う。例えば、評価データに基づく反応速度が速いが、運転者データに基づく反応速度が速くなかった場合、運転者が疲れ又は集中力低下等により本来の反応速度を発揮できない状態にある可能性が想定される。そこで、処理部7は、このような場合に、運転者に休息を促す旨の情報を出力させるようにしてもよい。また、処理部7は、このような場合、評価データに関わらず運転者に警告又は注意喚起する旨の報知情報の出力を行わせるようにしたり、報知情報の出力の程度を大きくしたり、出力時間の長さを長くするなどの判断を行うことができる。
記憶部8は、各種データを記憶する。記憶部8は、上記の運転者識別データ、走行状況データ、運転者データ、評価データ、及びイベントを検出するために用いられるデータ等を記憶する。また、記憶部8は、車両を運転する運転者を識別する処理と、運転者の反応速度を評価する評価データを取得する処理と、車両の周辺の状況を示す周辺情報データに基づいて、車両運転時にイベントが発生したか否かを検出する処理と、イベントが検出された場合、運転者の評価データに基づいて出力部9から報知情報を出力するか否かを判定し、報知情報を出力すると判定した場合、出力部9に報知情報を出力させる処理とをコンピュータに実行させる運転支援プログラムを記憶する。また、記憶部8は、車両を運転する運転者を識別する処理と、運転者の追視能力及び位置予測能力を評価する評価データを取得する処理と、車両の周辺の状況を示す周辺情報データに基づいて、車両運転時にイベントが発生したか否かを検出する処理と、イベントが検出された場合、運転者の評価データに基づいて出力部9から報知情報を出力するか否かを判定し、報知情報を出力すると判定した場合、出力部9に報知情報を出力させる処理とをコンピュータに実行させる運転支援プログラムを記憶する。
出力部9は、処理部7からの指令により、報知情報を出力する。報知情報は、運転者に対する警告を含む。出力部9としては、例えばスピーカ等の音声出力装置9a、画像を表示可能な表示装置9b、バイブレータ等の振動発生装置9c、等が挙げられる。出力部9として、例えば携帯電話、スマートフォン、タブレット等の外部の携帯端末装置が用いられてもよい。
次に、本実施形態に係る運転支援方法の一例について、図2を参照しながら説明する。図2は、本実施形態に係る評価方法の一例を示すフローチャートである。本実施形態に係る運転支援方法において、図2に示すように、運転者識別部2は、運転者識別データに基づいて運転者を識別する(ステップS101)。評価データ取得部5は、識別された運転者の評価データを取得する(ステップS102)。
評価データを取得した後、走行状況取得部3、運転者データ取得部4及びイベント検出部6は、それぞれ走行状況データ、運転者データ、周辺情報データを取得する(ステップS103)。イベント検出部6は、取得した周辺情報データに基づいて、イベントが発生しているか否かを解析する(ステップS104)。
イベントが発生している場合(ステップS105のYes)、処理部7は、出力部9から報知情報を出力させるか否かを判定する(ステップS106)。ステップS106の判定の結果、報知情報を出力させると判定した場合(ステップS106のYes)、処理部7は、報知態様を設定し(ステップS107)、設定した報知態様で出力部9に対して報知情報を出力させる(ステップS108)。
ステップS105においてイベントが発生していない場合(ステップS105のNo)、及び、ステップS106において報知情報を出力させないと判定した場合(ステップS106のNo)、処理部7は、車両の運転が終了したか否かを判定する(ステップS109)。車両の運転が終了した場合(ステップS109のYes)、処理を終了する。車両の運転が終了していない場合(ステップS109のNo)、ステップS103以降の処理を繰り返し行わせる。
[評価データ、評価装置]
図3は、評価データを取得するための評価装置の一例を示す図である。本実施形態に係る評価装置100は、被験者の視線を検出し、検出結果を用いることで、車両走行中に発生するイベントに対する認識能力の評価を行う。評価装置100は、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方法、又は被験者の目頭の位置と虹彩の位置とに基づいて視線を検出する方法等、各種の方法により被験者の視線を検出することができる。
図3に示すように、評価装置100は、表示装置10と、画像取得装置20と、コンピュータシステム30と、出力装置40と、入力装置50と、入出力インターフェース装置60とを備える。表示装置10、画像取得装置20、コンピュータシステム30、出力装置40及び入力装置50は、入出力インターフェース装置60を介してデータ通信を行う。表示装置10及び画像取得装置20は、それぞれ不図示の駆動回路を有する。
表示装置10は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。本実施形態において、表示装置10は、表示部11を有する。表示部11は、画像等の情報を表示する。表示部11は、XY平面と実質的に平行である。X軸方向は表示部11の左右方向であり、Y軸方向は表示部11の上下方向であり、Z軸方向は表示部11と直交する奥行方向である。表示装置10は、ヘッドマウント型ディスプレイ装置であってもよい。表示装置10がヘッドマウント型ディスプレイ装置である場合、ヘッドマウントモジュール内に画像取得装置20のような構成が配置されることになる。また、表示装置10は、例えば運転シミュレータに設置される表示装置であってもよい。
画像取得装置20は、被験者の左右の眼球EBの画像データを取得し、取得した画像データをコンピュータシステム30に送信する。画像取得装置20は、撮影装置21を有する。撮影装置21は、被験者の左右の眼球EBを撮影することで画像データを取得する。撮影装置21は、被験者の視線を検出する方法に応じた各種カメラを有する。例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、撮影装置21は、赤外線カメラを有し、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。また、例えば被験者の目頭の位置と虹彩の位置とに基づいて視線を検出する方式の場合、撮影装置21は、可視光カメラを有する。撮影装置21は、フレーム同期信号を出力する。フレーム同期信号の周期は、例えば20[msec]とすることができるが、これに限定されない。撮影装置21は、例えば第1カメラ21A及び第2カメラ21Bを有するステレオカメラの構成とすることができるが、これに限定されない。
また、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、画像取得装置20は、被験者の眼球EBを照明する照明装置22を有する。照明装置22は、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、例えば被験者の目頭の位置と虹彩の位置とに基づいて視線を検出する方式の場合、照明装置22は設けられなくてもよい。照明装置22は、撮影装置21のフレーム同期信号に同期するように検出光を射出する。照明装置22は、例えば第1光源22A及び第2光源22Bを有する構成とすることができるが、これに限定されない。
コンピュータシステム30は、評価装置100の動作を統括的に制御する。コンピュータシステム30は、演算処理装置30A及び記憶装置30Bを含む。演算処理装置30Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置30Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置30Aは、記憶装置30Bに記憶されているコンピュータプログラム30Cに従って演算処理を実施する。
出力装置40は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置40は、印刷装置を含んでもよい。入力装置50は、操作されることにより入力データを生成する。入力装置50は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置50が表示装置である出力装置40の表示部に設けられたタッチセンサを含んでもよい。
本実施形態に係る評価装置100は、表示装置10とコンピュータシステム30とが別々の装置である。なお、表示装置10とコンピュータシステム30とが一体でもよい。例えば評価装置100がタブレット型パーソナルコンピュータを含んでもよい。この場合、当該タブレット型パーソナルコンピュータに、表示装置、画像取得装置、コンピュータシステム、入力装置、出力装置等が搭載されてもよい。
図4は、評価装置100の一例を示す機能ブロック図である。図4に示すように、コンピュータシステム30は、表示制御部31と、注視点検出部32と、領域設定部33と、判定部34と、演算部35と、評価部36と、入出力制御部37と、記憶部38とを有する。コンピュータシステム30の機能は、演算処理装置30A及び記憶装置30B(図3参照)によって発揮される。なお、コンピュータシステム30は、一部の機能が評価装置100の外部に設けられてもよい。
表示制御部31は、評価用画像を表示部11に表示する。本実施形態において、評価用画像は、被験者に表示する対象物を示す画像である。具体的には、表示制御部31は、被験者に注視させる対象物を表示部11に表示し、表示部11における対象物の表示位置を所定時間毎に変更する。また、表示制御部31は、被験者に注視させる対象物M3を表示部11に表示して所定の移動経路に沿って移動させる第1表示動作と、第1表示動作の途中で対象物M3を所定期間非表示とする非表示動作と、非表示動作の後、対象物M3が非表示動作において第1表示動作から連続して移動経路に沿って所定期間移動した場合の位置に対象物M3を再び表示して移動経路に沿って移動させる第2表示動作と、を行わせる。表示制御部31は、上記の評価用画像を、例えば動画として表示部11に表示することができるが、表示形態については動画に限定されず、静止画であってもよい。
注視点検出部32は、被験者の注視点の位置データを検出する。本実施形態において、注視点検出部32は、画像取得装置20によって取得される被験者の左右の眼球EBの画像データに基づいて、三次元グローバル座標系で規定される被験者の視線ベクトルを検出する。注視点検出部32は、検出した被験者の視線ベクトルと表示装置10の表示部11との交点の位置データを、被験者の注視点の位置データとして検出する。つまり、本実施形態において、注視点の位置データは、三次元グローバル座標系で規定される被験者の視線ベクトルと、表示装置10の表示部11との交点の位置データである。注視点検出部32は、規定のサンプリング周期毎に被験者の注視点の位置データを検出する。このサンプリング周期は、例えば撮影装置21から出力されるフレーム同期信号の周期(例えば20[msec]毎)とすることができる。
領域設定部33は、表示部11において、評価用画像の一部に判定領域を設定する。具体的には、領域設定部33は、対象物に対応した判定領域を表示部に設定する。本実施形態において、領域設定部33で設定される判定領域は、原則として表示部11には表示されない。なお、例えば表示制御部31の制御により、判定領域が表示部11に表示されるようにしてもよい。
判定部34は、注視点の位置データに基づいて、注視点が判定領域に存在するか否かをそれぞれ判定し、判定結果を判定データとして出力する。判定部34は、規定の判定周期毎に注視点が判定領域に存在するか否かを判定する。判定周期としては、例えば撮影装置21から出力されるフレーム同期信号の周期(例えば20[msec]毎)とすることができる。つまり、判定部34の判定周期は、注視点検出部32のサンプリング周期と同一である。判定部34は、注視点検出部32で注視点の位置がサンプリングされる毎に当該注視点について判定を行い、判定データを出力する。判定領域が複数設定される場合、判定部34は、注視点が存在するか否かを判定領域毎に判定して判定データを出力することができる。
演算部35は、判定部34の判定データに基づいて、上記の判定領域が設定される期間において注視点が判定領域内に存在する場合の注視点データを算出する。演算部35は、注視点データとして、例えば存在時間データを算出する。存在時間データは、イベントの表示期間に注視点が判定領域に存在した存在時間を示す。演算部35は、視線検出部32により注視点の検出が開始されてからの経過時間を検出するタイマ1と、対象物の表示位置が切り替わった時点から新たな対象物を注視するまでの反応時間を検出するタイマ2と、判定部34により判定領域に注視点が存在すると判定された判定回数をカウントするカウンタとを有する。
評価部36は、注視点の移動の経過に基づいて、被験者の評価データを求める。評価データは、表示部11に表示される対象物の位置の変化に被験者が素早く反応できているか否かを評価するデータを含む。
入出力制御部37は、画像取得装置20及び入力装置50の少なくとも一方からのデータ(眼球EBの画像データ、入力データ等)を取得する。また、入出力制御部37は、表示装置10及び出力装置40の少なくとも一方にデータを出力する。入出力制御部37は、被験者に対する課題をスピーカ等の出力装置40から出力してもよい。
記憶部38は、上記の判定データ、注視点データ(到達時間データ、存在時間データ)、及び評価データを記憶する。
次に、本実施形態に係る評価方法について説明する。まず、上記の評価装置100を用いることにより、運転者の反応速度を評価する評価データを求める場合について説明する。
図5及び図6は、表示部11に表示する評価用画像の一例を示す図である。図5に示すように、表示制御部31は、被験者に注視させる対象物M1を表示部11に表示する。図5では、対象物M1を表示部11の中央部の位置P1に表示する場合を例に挙げているが、これに限定されず、他の位置に表示してもよい。また、対象物M1は、例えば円形であるが、これに限定されず、多角形、楕円形等、他の形状であってもよい。また、対象物M1は、幾何学形状に限定されず、動物、人物、物品等の画像であってもよい。
領域設定部33は、対象物M1に対応した判定領域A1を設定する。領域設定部33は、対象物M1の少なくとも一部を含む領域に判定領域A1を設定することができる。本実施形態において、領域設定部33は、対象物M1の全部を囲う円形の領域として判定領域A1を設定しているが、これに限定されない。領域設定部33は、多角形、楕円形等、他の形状の判定領域を設定してもよいし、対象物M1の一部に判定領域を設定してもよい。なお、判定領域A1は、実際には表示部11には表示されない。
表示制御部31は、対象物M1を表示部11に所定時間表示した後、表示部11における対象物M1の表示位置を変更する。表示制御部31は、対象物M1を所定時間表示した後、当該対象物M1を非表示とすると共に、例えば図6に示すように、位置P1から図中の左上方向に離れた位置P2に対象物M1を表示する。この動作により、対象物M1が瞬間的に位置P1から位置P2に移動したように被験者に認識させることができる。表示制御部31は、対象物M1を表示する位置P1と位置P2との距離が所定値以上離れるようにする。以降、表示制御部31は、上記同様、対象物M1を所定時間表示部11に表示した後、当該対象物M1を非表示とすると共に当該対象物M1を異なる位置に表示する。
対象物M1の表示位置が変更される場合、領域設定部33は、表示位置が変更された後の対象物M1に対応した判定領域を設定する。図5及び図6に示す例において、対象物M1が非表示となる場合、領域設定部33は、対象物M1に設定されていた判定領域A1の設定を解除する。また、領域設定部33は、新たに表示する対象物M1に対応した判定領域A2を設定する。領域設定部33は、対象物M1の少なくとも一部を含む領域に判定領域A2を設定することができる。本実施形態において、領域設定部33は、表示位置の変更前と同様に、対象物M1の全部を囲う円形の領域として判定領域A2を設定しているが、これに限定されず、多角形、楕円形等、他の形状の判定領域を設定してもよいし、対象物M1の一部に判定領域を設定してもよい。また、領域設定部33は、表示位置の変更前とは異なる形状及び寸法の判定領域を設定してもよい。なお、判定領域A2は、実際には表示部11には表示されない。
注視点検出部32は、評価用画像が表示される期間において、規定のサンプリング周期(例えば20[msec])毎に、被験者の注視点の位置を検出する。被験者の注視点の位置が検出された場合、判定部34は、被験者の注視点が判定領域A1、A2に存在するかをそれぞれ判定し、判定データを出力する。したがって、判定部34は、注視点検出部32で注視点の位置がサンプリングされる毎に、上記のサンプリング周期と同一の判定周期毎に判定データを出力する。
演算部35は、判定データに基づいて、判定領域A1、A2が設定される期間において注視点が判定領域A1、A2内に存在する場合の注視点データを算出する。演算部35は、注視点データとして、例えば反応時間データを算出する。
反応時間データは、新たな対象物M1の表示開始の時点から、注視点が判定領域A1、A2に最初に到達した到達時点までの時間である反応時間を示す。したがって、演算部35は、新たな対象物M1の表示開始からの経過時間をタイマ2によって測定し、注視点が最初に判定領域A1、A2に到達した時点でタイマ2の測定値を検出することで、当該タイマ2の検出結果を反応時間データとすることができる。
評価部36は、反応時間データに基づいて評価値を求め、評価値に基づいて評価データを求める。評価部36は、反応時間データに基づいて、被験者が対象物M1を注視したか否かを判断し、判断結果に基づいて反応速度を評価することができる。例えば、対象物M1の表示位置を複数回変更して注視点の検出を行う。そして、評価部36は、それぞれの表示位置について得られた反応時間データにおける反応時間の平均値が所定の閾値以下である場合に、被験者の反応速度が速いと評価することができる。また、評価部36は、それぞれの表示位置について得られた反応時間データにおける反応時間の平均値が所定の閾値を超える場合、被験者の反応速度が速くないと評価することができる。評価部36は、このような2段階の評価に限定されず、例えば反応時間の閾値を多段階に設定するなど、多段階で反応速度を評価してもよい。
次に、運転者の反応速度を評価する評価データを得るための評価方法の一例について、図7を参照しながら説明する。図7は、本実施形態に係る評価方法の一例を示すフローチャートである。本実施形態に係る評価方法において、図7に示すように、まず注視点検出部32は、注視点の検出を開始する(ステップS201)。また、演算部35は、経過時間を検出するタイマ1をリセットする(ステップS202)。演算部35は、n=1、つまり1つ目の対象物M1について評価を開始する(ステップS203)。
演算部35は、反応時間を検出するタイマ2をリセットする(ステップS204)。その後、表示制御部31は、表示部11に評価用画像を表示する。これにより、表示部11に対象物M1が表示される(ステップS205)。ステップS205において、領域設定部33は、対象物M1に対応する領域に判定領域A1を設定する。
その後、判定部34は、注視点が判定領域A1内に存在するか否か、つまり、被験者が対象物M1を注視できたか否かを判定する(ステップS206)。ステップS206において対象物M1を注視できないと判定される場合(ステップS206のNo)、演算部35は、タイマ1の検出結果に基づいて対象物M1の表示時間(一定時間)が経過したか否かを判定する(ステップS207)。表示時間が経過していないと判定される場合(ステップS207のNo)、ステップS206以降の処理を繰り返し行う。
ステップS206において対象物M1を注視できたと判定される場合(ステップS206のYes)、又は、ステップS207において一定時間が経過したと判定される場合(ステップS207のYes)、演算部35は、当該判定時点におけるタイマ2の検出結果に基づいて、反応時間データを算出する(ステップS208)。演算部35は、算出した反応時間データを記憶部38に記憶させる。なお、ステップS207のYesのフローを経て取得されるタイマ2の検出結果は、一定時間経過しても対象物M1を視認できなかった旨の検出結果となる。
その後、表示制御部31は、対象物M1を非表示とする(ステップS209)。演算部35は、対象物M1の表示位置の変更回数について規定回数が終了したか否かを判定し(ステップS210)、終了していないと判定した場合(ステップS210のNo)には、n=n+1、つまり次の対象物について検出を行う(ステップS211)。この場合、上記のステップS204以降の処理を繰り返し行う。
一方、ステップS210において表示位置の変更回数について規定回数が終了したと判定した場合(ステップS210のYes)、評価部36は、反応時間データに基づいて、運転者の反応速度を評価する(ステップS212)。
上記実施形態では被験者の視覚による反応速度を評価する例を説明したが、この方法に限定されず異なる方法で反応速度を評価しても良い。例えば、評価用画像を表示する表示部をタッチパネルとし、対象物を被験者に指等でタッチさせることで反応速度を評価する方法でも良い。また、対象物の表示に対応させて足でボタンを押させることで反応速度を評価しても良い。
続いて、上記の評価装置100を用いることにより、運転者の追視能力及び位置予測能力を評価する評価データを評価する評価データを求める場合について説明する。図8は、表示部11に表示する評価用画像の他の例を示す図である。図8では、対象物M3の移動の経過を一図で示している。図8に示すように、表示制御部31は、被験者に注視させる対象物M3を表示部11に表示して所定の移動経路に沿って移動させる第1表示動作と、第1表示動作の途中で対象物M3を所定期間非表示とする非表示動作と、非表示動作の後、対象物M3が非表示動作において第1表示動作から連続して移動経路に沿って所定期間移動した場合の位置に対象物M3を再び表示して移動経路に沿って移動させる第2表示動作と、を行わせる。
表示制御部31は、例えば対象物M3として例えば円形の対象物を表示する。なお、対象物M3は、例えば円形であるが、これに限定されず、多角形、楕円形等、他の形状であってもよい。また、対象物M3は、幾何学形状に限定されず、動物、人物、物品等の画像であってもよい。
表示制御部31は、第1表示動作において、所定の移動経路として円状の移動経路R3に沿って対象物M3を移動させる。表示制御部31は、対象物M3を例えば等速で移動させる。なお、表示制御部31は、対象物M3を等速で移動させることに限定されず、所定の加速度で加速又は減速させてもよい。第1表示動作では、被験者が対象物M3に追従して注視点を移動させることが可能か否かを判別することができる。
また、第1表示動作において、領域設定部33は、移動経路R3を移動する対象物M3に対応した判定領域A3を表示部11に設定する。領域設定部33は、対象物M3の少なくとも一部を含む領域に判定領域A3を設定することができる。本実施形態において、領域設定部33は、対象物M3の全部を囲う円形の領域として判定領域A3を設定しているが、これに限定されない。領域設定部33は、多角形、楕円形等、他の形状の判定領域を設定してもよいし、対象物M3の一部に判定領域を設定してもよい。領域設定部33は、対象物M3が移動経路R3に沿って移動する場合、当該対象物M3に追従するように判定領域A3を移動させる。これにより、対象物M3と判定領域A3との相対的な位置関係が一定に保持される。
表示制御部31は、非表示動作において、移動経路R3を移動する対象物M3を任意のタイミングで非表示とすることができる。なお、表示制御部31は、対象物M3を非表示とするタイミングを予め設定しておいてもよい。非表示動作を行うことにより、移動経路R3上の位置R3aにおいて対象物M3が表示部11から消えた状態となる。
また、非表示動作において、領域設定部33は、第1表示動作から引き続き移動経路R3に沿って移動すると仮定した場合の対象物M3の仮想位置R3bに判定領域A3を設定することができる。つまり、領域設定部33は、対象物M3が表示部11に非表示の状態である場合も、当該対象物M3が移動する移動経路R3に沿って判定領域A3を移動し続けた状態とする。非表示動作では、被験者が対象物M3の移動経路を予測して注視点を移動させることができるか否かを判別することができる。
表示制御部31は、第2表示動作において、対象物M3を再度表示する。表示制御部31は、対象物M3を再表示する表示位置R3cを以下のように設定する。つまり、表示制御部31は、対象物M3が非表示動作において第1表示動作から連続して移動経路R3に従って所定期間移動した場合の仮想位置を算出する。本実施形態において、第1表示動作では、対象物M3の移動経路R3の半径が所定値の円周であり、対象物M3が等速で所定期間移動している。表示制御部31は、これらの条件に基づいて、上記仮想位置を算出する。その後、対象物M3を上記の仮想位置R3cに表示させる。
また、第2表示動作において、領域設定部33は、第1表示動作と同様、移動経路R3を移動する対象物M3に対応した判定領域A3を表示部11に設定する。領域設定部33は、対象物M3が移動経路R3に沿って移動する場合、当該対象物M3に追従するように判定領域A3を移動させる。これにより、対象物M3と判定領域A3との相対的な位置関係が一定に保持される。
なお、対象物の移動経路については、円形の移動経路R3に限定されない。図9は、表示部11に表示する評価用画像の他の例を示す図である。図9に示すように、所定の移動経路として、対象物M4が直線状の移動経路R4に沿って等速で移動し、表示部11の外枠に到達した場合には、当該外枠で反発して方向転換するように移動する移動経路R4とすることができる。
この場合、表示制御部31は、被験者に注視させる対象物M4を表示部11に表示して移動経路R4に沿って移動させる第1表示動作と、第1表示動作の途中(経路R4a:図9に破線で表示)で対象物M4を所定期間非表示とする非表示動作と、非表示動作の後、対象物M4が非表示動作において第1表示動作から連続して移動経路に沿って所定期間移動した場合の位置R4bに対象物M4を再び表示して移動経路に沿って移動させる第2表示動作と、を行わせることができる。
第1表示動作及び第2表示動作において、領域設定部33は、移動経路R4を移動する対象物M4に対応した判定領域A4を表示部11に設定する。領域設定部33は、対象物M4が移動経路R4に沿って移動する場合、当該対象物M4に追従するように判定領域A4を移動させる。これにより、対象物M4と判定領域A4との相対的な位置関係が一定に保持される。また、非表示動作において、領域設定部33は、第1表示動作から引き続き移動経路R4に沿って移動すると仮定した場合の対象物M4の仮想位置R4cに判定領域A4を設定することができる。
注視点検出部32は、評価用画像が表示される期間において、規定のサンプリング周期(例えば20[msec])毎に、被験者の注視点の位置を検出する。被験者の注視点の位置が検出された場合、判定部34は、被験者の注視点が判定領域A3、A4に存在するかをそれぞれ判定し、判定データを出力する。したがって、判定部34は、注視点検出部32で注視点の位置がサンプリングされる毎に、上記のサンプリング周期と同一の判定周期毎に判定データを出力する。
演算部35は、判定データに基づいて、判定領域A3、A4が設定される期間において注視点が判定領域A3、A4内に存在する場合の注視点データを算出する。演算部35は、注視点データとして、例えば存在時間データを算出する。
存在時間データは、注視点が判定領域A3、A4に存在した存在時間を示す。本実施形態では、判定部34により注視点が判定領域A3、A4に存在すると判定された回数が多いほど、判定領域A3、A4に注視点が存在した存在時間が長いと推定することができる。したがって、存在時間データは、判定領域A3、A4に注視点が存在すると判定部34に判定された回数とすることができる。つまり、演算部35は、カウンタにおけるカウント値CNTA3、CNTA4を存在時間データとすることができる。なお、カウント値CNTA3は、注視点が判定領域A3に存在すると判定された回数である。また、カウント値CNTA4は、注視点が判定領域A4に存在すると判定された回数である。
評価部36は、存在時間データに基づいて評価値を求め、評価値に基づいて評価データを求める。評価部36は、存在時間データに基づいて、被験者が対象物M3を注視したか否かを判断し、判断結果に基づいて運転者の追視能力及び位置予測能力を評価することができる。例えば、評価部36は、存在時間データにおける存在時間が所定時間以上である場合に、被験者が対象物M3の追視及び位置予測を十分に行えたと判断する。また、評価部36は、存在時間データにおける存在時間が所定時間未満である場合に、被験者が対象物M3の追視及び位置予測が十分に行えなかったと判断する。評価部36は、例えば対象物M3の追視及び位置予測を十分に行えたと判断される場合、運転者の追視能力及び位置予測能力が高いと評価することができる。また、評価部36は、例えば被験者が対象物M3の追視及び位置予測が十分に行えなかったと判断される場合、運転者の追視能力及び位置予測能力が高くないと評価することができる。評価部36は、このような2段階の評価に限定されず、例えば被験者が対象物M3を注視したと判断される回数の閾値を多段階に設定するなど、多段階で運転者の追視能力及び位置予測能力を評価してもよい。
次に、運転者の追視能力及び位置予測能力を評価する評価データを得るための評価方法の一例について、図10を参照しながら説明する。図10に示すように、まず注視点検出部32は、注視点の検出を開始する(ステップS301)。また、演算部35は、経過時間を検出するタイマ1をリセットする(ステップS302)。演算部35は、n=1、つまり1回目の動作について評価を開始する(ステップS303)。
表示制御部31は、表示部11に評価用画像を表示する。表示制御部31は、表示部11に対象物M3を表示し、対象物M3を移動経路R3に沿って移動する第1表示動作を行う(ステップS304)。ステップS304において、領域設定部33は、対象物M3に追従するように判定領域A3を移動させる。また、表示制御部31は、対象物M3を所定期間非表示とする非表示動作を行う(ステップS305)。ステップS305において、領域設定部33は、第1表示動作から引き続き移動経路R3に沿って移動すると仮定した場合の対象物M3の仮想位置に判定領域A3を設定する。非表示動作の後、表示制御部31は、対象物M3が非表示動作において第1表示動作から連続して移動経路に沿って所定期間移動した場合の位置に対象物M3を再び表示して移動経路に沿って移動させる第2表示動作を行う(ステップS306)。ステップS306において、領域設定部33は、対象物M3に追従するように判定領域A3を移動させる。ステップS304からステップS306を行う間、判定部34は、注視点が判定領域A3内に存在するか否かを判定する。演算部35は、判定結果に基づいて存在時間データを算出する。
演算部35は、ステップS304からステップS306の動作を規定回数行ったか否かを判定し(ステップS307)、行っていないと判定した場合(ステップS307のNo)には、n=n+1、つまり第1表示動作、非表示動作及び第2表示動作を再度行う(ステップS308)。この場合、ステップS304以降の処理を繰り返し行う。一方、ステップS307においてステップS304からステップS306の動作を規定回数行ったと判定した場合(ステップS307のYes)、評価部36は、存在時間データに基づいて、運転者の追視能力及び位置予測能力を評価する(ステップS309)。
以上のように、本実施形態に係る運転支援装置1は、車両を運転する運転者を識別する運転者識別部2と、運転者の反応速度を評価する評価データを取得する評価データ取得部5と、車両の周辺の状況を示す周辺情報データに基づいて、車両運転時にイベントが発生したか否かを検出するイベント検出部6と、イベントが検出された場合、運転者の評価データに基づいて出力部9から報知情報を出力するか否かを判定し、報知情報を出力すると判定した場合、出力部9に報知情報を出力させる処理部7とを備える。
本実施形態に係る運転支援方法は、車両を運転する運転者を識別することと、運転者の反応速度を評価する評価データを取得することと、車両の周辺の状況を示す周辺情報データに基づいて、車両運転時にイベントが発生したか否かを検出することと、イベントが検出された場合、運転者の評価データに基づいて出力部9から報知情報を出力するか否かを判定し、報知情報を出力すると判定した場合、出力部9に報知情報を出力させることとを含む。
本実施形態に係る運転支援プログラムは、車両を運転する運転者を識別する処理と、運転者の反応速度を評価する評価データを取得する処理と、車両の周辺の状況を示す周辺情報データに基づいて、車両運転時にイベントが発生したか否かを検出する処理と、イベントが検出された場合、運転者の評価データに基づいて出力部9から報知情報を出力するか否かを判定し、報知情報を出力すると判定した場合、出力部9に報知情報を出力させる処理とをコンピュータに実行させる。
本実施形態によれば、車両運転時にイベントが発生した場合に、当該イベントに対する運転者の反応速度を評価した評価データに基づいて、運転者に対して報知情報を出力するか否かを判定するため、イベントが発生する度に報知情報を出力することを抑制し、運転者の反応速度に応じた運転支援が可能となる。
本実施形態に係る運転支援装置1において、評価データは、視覚により反応速度を評価したものである。この構成では、運転者の視覚による反応速度に応じた運転支援が可能となる。
本実施形態に係る運転支援装置1は、取得される評価データを記憶する記憶部8を更に備え、処理部7は、記憶部8に記憶される評価データを用いて判定を行う。この構成では、処理部7における処理を効率的かつ迅速に行うことができる。
本実施形態に係る運転支援装置1において、処理部7は、イベントが検出されてから報知情報を出力するまでの時間を評価データに基づいて調整する。これにより、運転者の反応速度に応じて当該時間を調整することができるため、運転者の反応速度に応じた運転支援が可能となる。
本実施形態に係る運転支援装置1は、運転者の視線を含む運転者データを取得する運転者データ取得部4を更に備え、処理部7は、運転者データを用いてイベントに対する運転者の反応速度を算出し、算出結果と評価データとの比較に基づいて判定及び報知情報の出力の調整を行う。これにより、運転者の運転時の状態に応じた判定及び報知情報を出力することができる。
本実施形態に係る運転支援装置1は、車両の走行状況を示す走行状況データを取得する走行状況取得部3を更に備え、処理部7は、評価データ及び走行状況データに基づいて判定を行う。この構成では、走行状況データから取得される車両の走行状況に応じた運転支援が可能となる。
本実施形態に係る評価装置100は、表示部11と、表示部11上における被験者の注視点の位置を検出する注視点検出部32と、被験者に注視させる対象物を表示部11に表示し、表示部11における対象物の表示位置を所定時間毎に変更する表示制御部31と、対象物に対応した判定領域を表示部11に設定する領域設定部33と、注視点の位置データに基づいて、注視点が判定領域に存在するか否かの判定を行う判定部34と、判定部34の判定結果に基づいて、注視点データを算出する演算部35と、注視点データに基づいて、被験者の評価データを求める評価部36とを備える。これにより、運転者の反応速度についての評価データを高精度に取得することができる。
また、本実施形態に係る運転支援装置1は、車両を運転する運転者を識別する運転者識別部2と、運転者の追視能力及び位置予測能力を評価する評価データを取得する評価データ取得部5と、車両の周辺の状況を示す周辺情報データに基づいて、車両運転時にイベントが発生したか否かを検出するイベント検出部6と、イベントが検出された場合、運転者の評価データに基づいて出力部9から報知情報を出力するか否かを判定し、報知情報を出力すると判定した場合、出力部9に報知情報を出力させる処理部7とを備える。
本実施形態に係る運転支援方法は、車両を運転する運転者を識別することと、運転者の追視能力及び位置予測能力を評価する評価データを取得することと、車両の周辺の状況を示す周辺情報データに基づいて、車両運転時にイベントが発生したか否かを検出することと、イベントが検出された場合、運転者の評価データに基づいて出力部9から報知情報を出力するか否かを判定し、報知情報を出力すると判定した場合、出力部9に報知情報を出力させることとを含む。
本実施形態に係る運転支援プログラムは、車両を運転する運転者を識別する処理と、運転者の追視能力及び位置予測能力を評価する評価データを取得する処理と、車両の周辺の状況を示す周辺情報データに基づいて、車両運転時にイベントが発生したか否かを検出する処理と、イベントが検出された場合、運転者の評価データに基づいて出力部9から報知情報を出力するか否かを判定し、報知情報を出力すると判定した場合、出力部9に報知情報を出力させる処理とをコンピュータに実行させる。
本実施形態によれば、車両運転時にイベントが発生した場合に、当該イベントに対する運転者の追視能力及び位置予測能力を評価する評価データに基づいて、運転者に対して報知情報を出力するか否かを判定するため、イベントが発生する度に報知情報を出力することを抑制し、運転者の追視能力及び位置予測能力を評価するに応じた運転支援が可能となる。
本実施形態に係る評価装置100は、表示部11と、表示部11上における被験者の注視点の位置を検出する注視点検出部32と、被験者に注視させる対象物を表示部11に表示して所定の移動経路に沿って移動させる第1表示動作と、第1表示動作の途中で対象物を所定期間非表示とする非表示動作と、非表示動作の後、対象物が非表示動作において第1表示動作から連続して移動経路に沿って所定期間移動した場合の位置に対象物を再び表示して移動経路に沿って移動させる第2表示動作と、を行わせる表示制御部31と、移動経路を移動する対象物に対応した判定領域を表示部11に設定する領域設定部33と、注視点の位置データに基づいて、注視点が判定領域に存在するか否かの判定を行う判定部34と、判定部34の判定結果に基づいて、注視点データを算出する演算部35と、注視点データに基づいて、被験者の評価データを求める評価部36とを備える。これにより、運転者の追視能力及び位置予測能力についての評価データを高精度に取得することができる。
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。