本発明は、脳波を用いて運転者の注意状態を判別し、安全運転支援を行う運転注意量判別装置、方法及びコンピュータプログラムに関する。
近年、自動車運転に関連した事故防止装置の中で、運転者の状態を判別し、その判別結果に基づいて運転支援を行う方法が検討されている。安全運転に必要な運転者の視覚認知機能の1つとして危険対象物の検出がある。危険対象物の検出とは、周辺視野において周囲の車両や歩行者の危険な動きに気づくことであり、この機能が低下すると出会い頭事故や飛び出し事故に繋がることになる。
「周辺視野」とは、一般に、上下130度、左右180度の範囲で形成される全体視野のうち、視線を中心にした約40度の範囲(中心視野)から外れた範囲を指す。周辺視野では、物の形や色を詳細に認識することは難しいが、移動する対象や点滅する光のように時間的に変化する物に対しては敏感に反応することが知られている。運転者は、歩行者の飛び出しやバイクが側方を横切る等に備えて、周辺視野領域や、当該領域に存在するドアミラー等にも注意を向ける必要がある。そこで、運転者の周辺視野領域に対する注意量が低い場合には、当該運転者に警告を発する等の措置が求められている。
運転者の注意状態を判別する方法としては、運転者に向けられたカメラによって、運転者の視線や顔の動きを検出し、運転者の注意配分状態を判別する方法がある。例えば特許文献1では、自車両の周辺状況から判別した、運転者が注意すべき最適な注視位置と、運転者の視線や顔の動きから検出した注視点とを比較することにより、運転者の注意配分状態を判別する技術が開示されている。
また、自車両の操作状況を反映する、走行速度やハンドル操舵角の変化などにより、運転者の注意状態を判別する方法がある。例えば特許文献2では、前方を走行している車両(以下「前方車両」と呼ぶ。)の急減速に対するブレーキ反応時間などを用いて運転者の運転集中度を求め、これによって運転者に警報を出力するかどうかの必要度を判断する技術が開示されている。
一方、運転者の運転に対する注意量を脳波の事象関連電位(Event−Related Potential(ERP))を用いて調べる研究が行われている。「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。運転者の運転に対する注意量を調べる際には、いわゆる「P300」が利用される。「P300」とは、例えば外的な視覚刺激などの発生タイミングを起点として約300ミリ秒付近に現れる、脳波の事象関連電位の陽性成分をいう。P300は、刺激に対する認知や注意を反映するとされている。
例えば、非特許文献1では、事象関連電位を用いた運転注意量の計測に関する研究が開示されている。この研究では、前方車両に追従走行する実験において、前方車両のブレーキランプ点灯時に運転者は自車のブレーキペダルを踏む課題を課せられている。前方車両が急ブレーキをかけた場合の走行(高注意条件)と、前方車両が急ブレーキをかけない場合の走行(低注意条件)の2つの実験条件で事象関連電位を比較した結果、高注意条件の場合に事象関連電位のP300の振幅が大きくなることが報告されている。
特開2004−178367号公報
特開2002−127780号公報
しかしながら、特許文献1に記載の従来技術では、視線を向けていないところは注意を向けていないという考え方に基づいているため、運転者の周辺視野領域に対する注意量を確度良く判別することができない。
実際の運転場面を例にして、説明する。運転者は、前方を走行している車両を中心視野領域で監視しながら、同時に周辺視野により、並走している車両や歩行者の動きを検知する。それにより、運転者は、その前方の車両状況と周辺の状況に応じて視線の向きを決定している。したがって、従来の技術では、周辺視野領域にも注意を向けつつ、前方に視線を向けている場合等に対応が困難である。
また、特許文献2に記載の技術では、前方車両の急減速に対するブレーキ反応時間などを用いているため、求められる運転集中度は自車両前方、つまり運転者の中心視野領域に対するものに限定されている。実際の運転場面では、運転者の周辺視野領域で起こる事象に対する反応が、ブレーキなどの行動にそのまま表れるケースは非常に少ない。よって、自車両の操作状況を用いる従来の技術では運転者の周辺視野領域に対する注意量を確度良く判別することができない。
さらに、非特許文献1に記載の従来研究でも上記と同様に、前方車両のブレーキランプ点灯に対する事象関連電位(ERP)を用いている。ゆえに、計測している運転注意量は運転者の中心視野領域に対するものに限定され、周辺視野領域に対する注意量を計測することができない。
本発明は、上記課題を解決するためになされたものであり、その目的は、運転者が視線を周辺の対象物に向けていない場合でも、運転者の周辺視野領域に対する注意量を判別し、判別結果に応じた安全運転支援を行うことにある。
本発明による運転注意量判別装置は、運転者の脳波信号を計測する脳波計測部と、前記運転者の中心視野に視覚刺激を呈示する中心刺激呈示部と、前記運転者の周辺視野に視覚刺激を呈示する周辺刺激呈示部と、前記中心視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅の分布から注意量判別の判別閾値を設定する閾値設定部と、前記周辺視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅と前記判別閾値との比較により注意量を判別する注意量判別部とを備えている。
前記中心視野の刺激の呈示時点を起点とした事象関連電位の振幅は、中心視野の視覚刺激の呈示時点を起点にして、300ミリ秒から600ミリ秒の区間の陽性成分であるP300の振幅であり、前記周辺視野の刺激の呈示時点を起点とした事象関連電位の振幅は、周辺視野の視覚刺激の呈示時点を起点にして、300ミリ秒から600ミリ秒の区間の陽性成分であるP300の振幅であってもよい。
前記中心刺激呈示部が前記中心視野の刺激を複数回呈示したときにおいて、前記閾値判別部は、前記中心視野の各刺激の呈示時点を起点としたP300の中央値を判別閾値として設定してもよい。
前記注意量判別部は、前記周辺視野の刺激の呈示時点を起点とした事象関連電位のP300の振幅と前記判別閾値との比較により、前記運転者が見落とした刺激を判別してもよい。
前記注意量判定部は、前記周辺視野の刺激の呈示時点を起点とした事象関連電位の振幅の値と前記判別閾値と比較して、前記振幅の値が前記判別閾値以上の場合には、注意量が高いと判別し、前記振幅の値が前記判別閾値より小さい場合には、注意量が低いと判別してもよい。
本発明による他の運転注意量判別装置は、車両前方を撮影する撮影部と、前記撮影部によって撮影された映像に含まれる刺激および前記刺激の発生時点を検出するとともに、前記映像における前記刺激の発生位置が運転者の中心視野領域内であるか周辺視野領域内であるかを検出する刺激検出部と、運転者の脳波信号を計測する脳波計測部と、前記中心視野領域内の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅の分布から注意量判別の判別閾値を設定する閾値設定部と、前記周辺視野領域内の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅と前記判別閾値との比較により注意量を判別する注意量判別部とを備えている。
前記運転注意量判別装置は、運転者の視線を計測する視線計測部をさらに備え、前記刺激検出部は、前記刺激の発生時点において前記視線計測部によって検出された運転者の視線に応じて、前記刺激が前記運転者の中心視野領域および周辺視野領域のいずれに含まれるかを検出してもよい。
前記運転注意量判別装置は、前記運転者が過去に、前記周辺刺激呈示部が呈示した刺激に起因して発生した、前記運転者の事象関連電位のP300の振幅を蓄積する蓄積部と、蓄積された前記P300の振幅の分布に含まれる2つのピークを抽出し、前記2つのピークを利用して前記判別閾値として設定する開始閾値設定部とをさらに備えてもよい。
前記開始閾値設定部は、前記2つのピークの中央値を前記判別閾値として設定してもよい。
本発明による運転注意量判別方法は、運転者の脳波信号を計測する脳波計測ステップと、前記運転者の中心視野に視覚刺激を呈示する中心刺激呈示ステップと、前記運転者の周辺視野に視覚刺激を呈示する周辺刺激呈示ステップと、前記中心視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅の分布から注意量判別の判別閾値を設定する閾値設定ステップと、前記周辺視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅と前記判別閾値との比較により注意量を判別する注意量判別ステップとを包含する。
前記中心視野の刺激の呈示時点を起点とした事象関連電位の振幅は、中心視野の視覚刺激の呈示時点を起点にして、300ミリ秒から600ミリ秒の区間の陽性成分であるP300の振幅であり、前記周辺視野の刺激の呈示時点を起点とした事象関連電位の振幅は、周辺視野の視覚刺激の呈示時点を起点にして、300ミリ秒から600ミリ秒の区間の陽性成分であるP300の振幅であってもよい。
前記注意量判定ステップは、前記周辺視野の刺激の呈示時点を起点とした事象関連電位の振幅の値と前記判別閾値と比較して、前記振幅の値が前記判別閾値以上の場合には、注意量が高いと判別し、前記振幅の値が前記判別閾値より小さい場合には、注意量が低いと判別してもよい。
本発明によるコンピュータプログラムは、注意量を判別するためのコンピュータプログラムであって、コンピュータによって実行されることにより、前記コンピュータに対し、計測された運転者の脳波信号を受信する受信ステップと、前記運転者の中心視野に視覚刺激を呈示する中心刺激呈示ステップと、前記運転者の周辺視野に視覚刺激を呈示する周辺刺激呈示ステップと、前記中心視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅の分布から注意量判別の判別閾値を設定する閾値設定ステップと、前記周辺視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅と前記判別閾値との比較により注意量を判別する注意量判別ステップとを実行させる。
本発明によるさらに他の運転注意量判別装置は、運転者の中心視野に視覚刺激を呈示する中心刺激呈示部と、前記運転者の周辺視野に視覚刺激を呈示する周辺刺激呈示部と、前記中心視野の刺激の呈示時点を起点として、脳波信号を計測する脳波計測部が計測した前記運転者の脳波信号における事象関連電位の振幅の分布から注意量判別の判別閾値を設定する閾値設定部と、前記周辺視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅と前記判別閾値との比較により注意量を判別する注意量判別部とを備えている。
本発明によるさらに他の運転注意量判別装置は、撮影部によって撮影された車両前方の映像に含まれる刺激のデータ、前記刺激の発生時点のデータ、および、前記映像における前記刺激の発生位置が運転者の中心視野領域内であるか周辺視野領域内であるかの検出結果のデータを受け取る運転注意量判別装置であって、前記中心視野領域内の刺激の呈示時点を起点として、脳波信号を計測する脳波計測部が計測した前記脳波信号における事象関連電位の振幅の分布から注意量判別の判別閾値を設定する閾値設定部と、前記周辺視野領域内の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅と前記判別閾値との比較により注意量を判別する注意量判別部とを備えている。
前記注意量判別部は、判別結果のデータを出力してもよい。
前記運転注意量判別装置は、前記注意量判別部から出力された前記判別結果を表示する表示装置をさらに備えていてもよい。
前記運転注意量判別装置は、前記注意量判別部から出力された前記判別結果のデータを蓄積する記憶装置をさらに備えていてもよい。
本発明によれば、運転者の周辺視野領域で発生した視覚刺激の発生時刻を起点として計測された脳波信号から、運転者の周辺視野領域における注意量を判定する。脳波信号を用いることにより、車両の急な割り込みや歩行者の飛び出しなど運転者の周辺視野領域で起こり得る事象に対する注意量を確度良く判定し、当該判定結果に基づいて、運転者に適切に注意喚起等の状態変化を促すことができる。
本願発明者らが実施した実験の提示画面を示す図である。
国際10−20法の電極位置を示す図である。
視野領域および反応時間ごとの加算平均波形を示す図である。
中心視野領域151および周辺視野領域152を模式的に示す図である。
図3の各々の条件におけるP300最大振幅を示す図である。
視野領域ごとの非加算脳波時のP300最大振幅についての確率分布と注意量の判別率を示す図である。
被験者ごとの非加算脳波のP300最大振幅についての確率分布と、判別率を最大にする閾値を示す図である。
被験者10名における中心視野領域に発生する刺激に対する事象関連電位のP300分布(中心刺激P300分布)の中央値と最適閾値のグラフである。
実施形態1における運転注意量判別装置1のブロック構成を示す図である。
運転注意量判別装置1の処理全体のフローチャートである。
(a)および(b)は刺激呈示の例を示す図である。
閾値設定部40が行うステップS40(図10)の処理の流れを示すフローチャートである。
(a)〜(c)は閾値設定部40の処理の例を示す図である。
実験で解析されたP300分布の例を示す図である。
注意量判別部60が行うステップS60(図10)の処理の流れを示すフローチャートである。
タイムスライディング方式を採用して得られた、加算平均波形1〜5を示す図である。
蓄積される情報の例を示す図である。
(a)は警告の表示例を示す図であり、(b)は運転成績の表示例を示す図である。
実験での周辺刺激に対する反応のP300の分布を示す図である。
本発明の手法で注意量判別を行った判別率の結果を示す図である。
中心刺激呈示部30、周辺刺激呈示部50の構成の例を示す図である。
周辺刺激の呈示にプロジェクタを利用しない例を示す図である。
HMD165に本実施形態の構成を組み込んだ例を示す図である。
視線計測部76の一例を示す図である。
撮影部95を設けた実施形態2における運転注意量判別装置2のブロック構成を示す図である。
刺激検出部90の処理の詳細を示すフローチャートである。
実験の周辺刺激に対するP300の分布を示す図である。
実施形態3における注意量判別装置3のブロック構成を示す図である。
実施形態3による注意量判別装置3の処理のフローチャートである。
開始閾値設定部80が行うステップS80の処理の流れを示すフローチャートである。
受信するデータのフォーマットの例を示す図である。
(a)は抽出される極大値の例を示す図であり、(b)は抽出された分布のピークの例を示す図である。
記録された周辺刺激のP300の分布を利用して判別を行った結果を示す図である。
まず、本明細書で用いる用語「事象関連電位」および「潜時」を説明する。
「事象関連電位」とは、脳波の一部であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。例えば、脳電位の時間的変化を脳波信号として計測し、その脳波信号から事象関連電位が得られる。具体的には、脳波信号の波形のピーク(極大値又は極小値)の極性、ピークの潜時、又は脳波信号の波形の振幅や潜時の時間的な変化などによって定められる。
「潜時」とは、刺激が呈示された時刻を起点として、注目する事象関連電位の極大値または極小値が出現するまでの時間を示す。
一般的には、「陽性成分」とは、0μVよりも大きい電位をいう。一般的には、「陰性成分」とは、0μVよりも小さい電位をいう。
「事象関連電位(ERP)マニュアル−P300を中心に」(加我君孝ほか編集、篠原出版新社、1995)の30頁に記載の表1によると、一般的に、事象関連電位の波形には、個人ごとに30ミリ秒から50ミリ秒の差異(ずれ)が生じる。したがって、「約Xミリ秒」や「Xミリ秒付近」という語は、Xミリ秒を中心として30ミリ秒から50ミリ秒の幅がその前後(例えば、300ミリ秒±30ミリ秒、600ミリ秒±50ミリ秒)に存在し得ることを意味している。以下の説明では、幅は50ミリ秒であるとする。
本願発明者らは、中心視野領域に発生する刺激に対する事象関連電位と周辺視野領域に発生する刺激に対する事象関連電位について、どのような違いが見られるかを調査する実験を実施した。その結果、本願発明者らは、周辺視野領域に発生する刺激に対する事象関連電位の300ミリ秒から600ミリ秒の振幅が、注意量の大小に応じて大幅に変化する特性を見出した。
まず、その実験内容及び実験結果から得られた知見について説明する。その後、その知見を活用した手法について考察し、新たに発生しうる課題について説明する。
被験者は男性1名、女性3名の合計4名で、平均年齢は21±1.5歳である。図1を用いて実験内容を説明する。
本願発明者らは、被験者に2つの課題を並行して実施してもらう二重課題法による実験を行った。第1の課題は、図1のモニター2の画面中央に提示される記号(○/△/□/×)の切り替わり回数を頭の中で数える中心課題111である。第2の課題は、画面周辺のランプがランダムな順番で点滅され、被験者はその点滅に気が付いた時点で手元のボタンを押す周辺課題112である。なお被験者には視線を常に画面中央に向けているように教示した。このように画面中央と周辺の2つの課題を同時に行わせることで、画面中央に注意を向けさせつつ、その周辺にもどの程度注意が向けられるかを調べることができる。周辺視野を被験者に呈示するために、3台の20インチのモニター1〜3を横に並べ、被験者と画面との距離は60cmとした。本実験は、車両運転環境を模擬したものではないが、注視点を監視しつつ、その周辺の変化に如何に早く気づき得るかを調べるための抽象化した実験として捉えることができる。
また、被験者には脳波計(ティアック製、ポリメイトAP−1124)を装着させた。電極の配置は国際10−20電極法を用いた。図2は、国際10−20電極法の電極配置を示す。導出電極はPz(正中頭頂)、基準電極はA1(右耳朶)、接地電極は前額部とした。サンプリング周波数200Hz、時定数3秒で計測した脳波データに対して1〜6Hzのバンドパスフィルタ処理をかけた。また、周辺ランプ点滅時を起点に−100ミリ秒から600ミリ秒の脳波データを切り出し、−100ミリ秒から0ミリ秒の平均電位でベースライン補正を行った。
図3は、上述した処理を行った後の、第1および第2の条件ごとの脳波データの全被験者の加算平均波形を示す。
第1の条件とは視野領域に関して行った分類の条件である。本実験では、図1に示すように、視角(被験者の眼の中心位置と画面中央の注視点までを結んだ線と、被験者の眼の中心位置と点滅ランプまでを結んだ線とが交差する角度)が0度以上10度未満を領域1とし、10度以上20度未満を領域2とし、20度以上を領域3として分類した。
ここで、視野領域について説明する。
視野領域は、中心視野領域と周辺視野領域とに大きく2分される。図4は、中心視野領域151および周辺視野領域152を模式的に示す。この図では、横軸と縦軸との交点を、視線(注視点)150としている。
一般的に、人間の視野は単眼で上下方向に約130度、左右方向に約180度の範囲の視野を持っており、この範囲の像が網膜に投影される。しかし、網膜の感受性は中心部だけが高く、中心から離れると解像度(細部まで見える力)は急激に低下する。
すなわち、視線の先(注視点)150の周辺ははっきり見えるが、その周辺の領域は、解像度が落ちた状態となっている。この注視点の周りで比較的明確に意識される領域が有効視野または中心視野領域151である。上述のように、中心視野領域151は、視線を中心にした40度の範囲である(三浦利章ら、「事故と安全の心理学」、2007、p131、東京大学出版会)。
また、周辺視野領域152は中心視野領域151の外側の領域である。周辺視野領域152は、物の形や色を詳細に認識することは難しいが、移動する対象や点滅する光のように時間的に変化する物に対しては敏感に反応する領域であることが知られている。周辺視野領域152は、上下130度、左右180度の範囲で形成される全体視野のうち、中心視野領域151から外れた範囲の領域を言う。
図1の領域1および2が図4に示す中心視野領域151に対応し、図1の領域3が図4に示す周辺視野領域152に対応する。
第2の条件は被験者のボタン押し反応時間に関する分類の条件である。本実験では注意量の大小を実験条件として分類するために、ボタン押しまでの反応時間を用いた。生理心理の実験においては、反応時間は注意量を反映するとされ、例えば特許文献2でもブレーキ反応時間を用いて運転に対する注意の集中度を算出している。
本実験では、注意量の指標としてのボタン押し反応時間と脳波との関係について分析した。本実験における全ての反応時間を俯瞰したところ400ミリ秒〜600ミリ秒の間に非常に多くのサンプルが存在していた。そのため、600ミリ秒以内に反応できた場合を反応時間が速い、すなわち当該刺激に対して高い注意状態にあったとし、600ミリ秒以内に反応できなかった場合を反応時間が遅い、すなわち当該刺激に対して低い注意状態にあったとして2つのグループに分類した。
図3の各々のグラフは横軸がランプ点滅時を0ミリ秒とした時間(潜時)でその単位はミリ秒、縦軸は電位でその単位はμVである。また、各グラフ内で表記された数字(N)は各々の加算回数を表している。
図3から、反応時間が速い場合、すなわち注意量が大きい場合(図3(a)〜(c))は、視野領域に関わらず、潜時300ミリ秒から600ミリ秒の間の陽性成分であるP300の振幅が大きくなっていることが分かる。なお、「潜時300ミリ秒から600ミリ秒」とは、潜時300ミリ秒以上600ミリ秒以下を意味する。
図3(a)〜(c)におけるP300の最大振幅121(a)〜(c)はそれぞれ20.3μV、19.6μV、20.9μVである。一方、反応時間が遅い場合、すなわち注意量が小さい場合(図3(d)〜(f))は、P300の振幅が相対的に小さくなっている。特に、視角40度以上である領域3(一般的に周辺視野とされている領域)で且つ注意量が小さい場合(図3(f))に、P300の振幅が大幅に減少していることが分かる。図3(d)〜(f)におけるP300の最大振幅121(d)〜(f)はそれぞれ13.6μV、13.2μV、2.5μVである。
図5は、図3の各々の条件におけるP300最大振幅を示す。横軸は視野領域の領域1/領域2/領域3であり、縦軸は電位でその単位はμVである。実線は注意量が大きい場合、点線は注意量が小さい場合を表している。各視野領域における、注意量が大小のときの振幅差131(a)〜(c)はそれぞれ6.7μV、6.4μV、18.4μVである。図5からも視角40度以上である領域3(周辺視野領域)において、注意量の大小に応じて大幅な振幅の差があることが分かる。
図6は、視野領域ごとの非加算脳波時のP300最大振幅についての確率分布と注意量の判別率を示す。図6(a)は領域1(中心視野領域)、図6(b)は領域2、図6(c)は領域3(周辺視野領域)の場合の確率分布を表している。各々のグラフの縦軸は電位でその単位はμV、横軸は注意量ごとの発生確率でその単位は%である。また、各グラフの下に各々の視野領域において注意量の大小を判別した場合の判別率を示す。
注意量の大小の判別方法は、各々の視野領域において判別率が最大となるERP最大振幅の閾値を設定し、個々の非加算脳波のERP振幅が前記閾値以上か否かによった。ここで判別率が最大となる閾値は、注意量が大の場合の正解率と注意量が小の場合の正解率の平均が最大となる閾値とした。図6(a)〜(c)の場合、上記の閾値はそれぞれ7.5μV、22.5μV、32.5μVである。図6(a)〜(c)の一点鎖線はその閾値を示す。
図6(a)〜(c)と図6中の表によれば、図6(a)の領域1(中心視野領域)の確率分布と図6(b)の領域2の確率分布によれば、注意量が大きいときの確率分布および注意量が小さいときの確率分布はかなり重複している。また、注意量判別率もそれぞれ55.4%および59.8%と低い値になっていることが分かる。
一方、図6(c)の視角20度以上である領域3(周辺視野領域)の場合は、注意量が大きいときの確率分布および注意量が小さいときの確率分布がある程度分離しており、注意量判別率も73.7%と非加算時の脳波の判別としては非常に高い値となっている。
したがって周辺視野領域に発生する刺激に対する事象関連電位のP300を利用して注意量を判別すれば、数10回〜数100回レベルの加算を行わなくても、非加算脳波で高い判別率を維持できる、という知見を得ることができる。
ただし、上記で得た知見に基づいて注意量を判別する場合、注意量を判別する際に利用する閾値が個人ごとに大きく異なり、平均値など万人に画一的な数値を閾値として注意量判別を行うと、確度よく判別が行えない。
以下で、より詳しく説明する。
図7に被験者ごとの非加算脳波のP300最大振幅についての確率分布と、判別率を最大にする閾値を示す。この閾値は、その被験者に関する最大の判別率を与えるため、その被験者にとって最適な閾値であるといえる。そこで、以下、判別率を最大にする閾値を「最適閾値」と呼ぶ。
図7の各々のグラフの縦軸は電位でその単位はμV、横軸は注意量ごとの発生確率でその単位は%である。グラフ中の横点線は注意量判別の最適閾値を示している。グラフ下の表は、被験者ごとの最適閾値の数値を示す。最適閾値は、被験者4名A〜Dで、12.5μV、32.5μV、27.5μV、17.5μVであった。このように最適閾値の値は、個人ごとにばらつきが存在する。上記個人ごとの最適閾値を利用して注意量判別を行った場合の判別率は平均で73.7%となった。これに対し、個人ごとの閾値の違いを考慮せず、最適閾値の平均値22.5μVを閾値として注意量判別を行うと、判別率66.1%となった。このように、個人ごとの閾値を考慮した場合と比較して低い判別率となってしまう。よって、十分な判別精度を維持する為には、個人差を考慮した閾値設定を行う必要がある。
個人ごとに最適閾値を求める為には、あらかじめ注意集中、注意散漫状態で運転をしてもらい、その状態における脳波を事前計測して最適閾値を決定する方法が考えられる。しかし、上記のようなキャリブレーションの為の試行を事前に行うことは、運転者の負担となってしまう。また、注意散漫状態で運転を行うことは非現実的である。
そこで、本願発明者らは、個人ごとの最適閾値に関係ある値として、中心視野のP300の分布に着目し、上記実験の解析を行った。その結果、最適閾値が、注意量の大小を区別しなくても中心視野領域に発生する刺激に対する事象関連電位のP300の分布の中央値と相関がある知見を見出した。ここで中央値とは、データを大きさの順に並べたときに、中央にくる値を表す。以下、従来文献(山田剛史ら、よくわかる心理統計、2004、p30−33、ミネルヴァ書房)にあるとおり、外れ値の影響の少ないことから、平均値ではなく中央値を利用した場合を一例として説明する。
以下に、上述した新たに得られた知見について説明し、その後、事前にキャリブレーションすることなく個人ごとに注意量判別閾値を設定し、注意量判別を行う実施形態を説明する。
注意集中、注意散漫状態で運転した脳波データを事前に取得しておくことなしに閾値を設定する為には、運転者が運転を開始した後の脳波を利用して閾値を設定する必要がある。本願発明者らは、図5から得られた2つの特徴により、最適閾値に相関のあるパラメータとして、中心視野領域のP300の分布に着目した。
特徴の1つ目は、領域1(中心視野領域)のP300の分布の中心(注意量大と注意量小の中間)と領域3(周辺視野領域)のP300(以下、周辺刺激のP300)の分布の中心(注意量大と注意量小の中間)とが比較的近い値をとっていることである。領域2のP300の分布の中心と領域3の周辺刺激のP300の分布の中心との関係も同様である。個人ごとにみても、中心視野領域のP300の分布の中心と周辺視野領域のP300の分布の中心は近い関係にあると考えられ、周辺視野領域のP300の分布の中心が最適閾値であるとすると、中心視野領域のP300の分布と最適閾値に相関があると予想される。
特徴の2つめは、領域3(周辺視野領域)では、注意量大の状態と注意量小の状態でP300の分布の差が大きいのに対し、領域1(中心視野領域)では注意量大の状態と注意量小の状態の分布が密集していることである。運転中の脳波を利用して閾値の設定を行う時には、取得された脳波が運転集中状態か注意散漫状態かの区別がつけられない。
これらの特徴から、次のようなことが言える。運転状態が制御されている実験状況と異なり、実際の運転状況では運転集中状態か注意散漫状態かの区別は与えられない。このため、運転状況で得られた分布は、集中状態を強く反映している可能性も、注意散漫状態を強く反映している可能性もあり、この場合でも個人差に対応した判別閾値を決定する必要がある。この観点からすると、中心視野領域では集中時でも散漫時でも振幅平均値が近いという特性は、判別の情報としては使いにくいが、その運転者の基本的な振幅を表現する指標(判別閾値)としては有効であると考えられる。個人差は、振幅のベースラインの差として表現でき、中心視野の分布は、運転の注意状態によらず、その運転者の基本的な振幅を表現していると考えてよい。また、上記特徴の1つめの知見とあわせて考えると、この中心視野から求められる振幅は、周辺視野の注意状態を判別するための閾値としても有効であるという考えに至る。
よって、周辺視野領域に呈示された視覚刺激(以下、「周辺刺激」と記述する。)のP300分布の中心を算出しようとすると、運転者が運転集中状態か注意散漫状態かによって、算出される中心に偏りができてしまう。例えば、運転者が散漫状態であった場合、周辺刺激のP300分布を使って中心を算出すると、分布の中心は最適閾値よりも小さい値になってしまう。しかし、中心視野領域に呈示された視覚刺激(以下、「中心刺激」と記述する。)のP300は、運転集中状態か注意散漫状態で、P300振幅はほぼ同様に分布している為、運転者の注意状態にかかわらず、P300の分布の中心はほとんど変化がない。したがって、運転者の注意量が不明な状態での閾値設定では、中心刺激のP300の分布の利用が有効と考えられる。
上記特徴から、分布の中心の算出方法として、はずれ値の影響が少ない中央値を利用し、中心刺激のP300分布の中央値と最適閾値の相関の解析を行った。
図8は、被験者10名における中心視野領域に発生する刺激に対する事象関連電位のP300分布(中心刺激P300分布)の中央値と最適閾値のグラフを示す。グラフの横軸は、中心刺激P300分布の中央値でその単位はμVであり、縦軸は最適閾値でその単位はμVである。被験者1人に対し、1つのプロットで示されており、全プロットに対する近似線を実線で示している。個人ごとに、最適閾値と中心刺激P300分布の中央値にバラツキが見られる。全被験者の最適閾値と中心刺激P300分布の中央値の相関係数rを算出したところ、r=0.53であった。一般的に、従来文献(山田剛史ら、よくわかる心理統計、2004、p110、ミネルヴァ書房)によれば、相関係数0.4以上は、中程度の相関ありと判断できる。よって、相関係数が0.5を超えていることから、最適閾値と中心刺激P300分布の中央値は中程度の相関があると判断できる。
以上の結果より、中心視野のP300の中央値と最適閾値には相関があり、中心視野のP300の中央値を利用して最適閾値を算出できるという知見が得られた。
上記知見を利用することにより、中心刺激のP300分布を計測し、その分布の中心(例えば中央値)を使って閾値を設定することで、注意集中、注意散漫状態で運転した脳波データを事前に取得しておくことなく、個人に合わせた判別が行える運転注意判別装置を実現できる。
以下、この着想に基づいて構成した本発明の各実施形態を、図面を参照しながら説明する。
(実施形態1)
図9は、本実施形態における運転注意量判別装置1のブロック構成を示す。
運転注意量判別装置1は、運転者10の脳波信号を利用して、運転者10の運転に対する注意量を判別し、判別結果に応じた支援を行うための装置である。
運転注意量判別装置1は、脳波計測部20と、中心刺激呈示部30と、閾値設定部40と、周辺刺激呈示部50と、注意量判別部60と、蓄積部70と、表示パネル75とを備えている。運転者10のブロックは説明の便宜のために示されている。
脳波計測部20は、運転者10の脳波を計測する。
中心刺激呈示部30は、運転者10の中心視野領域に視覚刺激を発生させる。本明細書では、中心視野領域に与えられる視覚刺激を、「中心刺激」と呼ぶ。
閾値設定部40は、中心刺激の発生時刻を起点に計測した前記脳波信号から、注意量判別に利用する閾値を設定する。
周辺刺激呈示部50は、運転者10の周辺視野領域に視覚刺激を発生させる。本明細書では、周辺視野領域に与えられる視覚刺激を、「周辺刺激」と呼ぶ。
注意量判別部60は、周辺刺激の発生時刻を起点に計測した前記脳波信号と前記閾値から運転者10の周辺視野領域に対する注意量を判別する。
蓄積部70は、判別結果のデータを記録媒体に蓄積する記憶装置である。記録媒体として、USB接続型/メモリカード型のフラッシュメモリやSSDなどのシリコンディスク(半導体記録媒体)、ハードディスクドライブなどの磁気記録媒体、DVD、BDなどの光ディスク媒体が想定される。
表示パネル75は、判別結果を表示する表示機器である。たとえば表示パネル75は、運転注意量判別装置1に設けられた液晶パネルである。
以下、各構成要素を詳しく説明する。
脳波計測部20は、運転者10の頭部に装着された電極における電位変化である脳波信号を計測する脳波計である。本願発明者らは、将来的には装着型の脳波計を想定している。そのため、脳波計はヘッドマウント式脳波計であってもよい。運転者10は予め脳波計を装着しているものとする。
運転者10の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部20には電極が配置されている。電極の配置は、例えばPz(正中頭頂)、A1(耳朶)および鼻根部になる。従来文献(宮田洋ら、新生理心理学、1998、p119、北大路書房)によれば、外的な刺激に対する認知や注意を反映し、その刺激の発生タイミングを起点として約300ミリ秒付近に現れる陽性成分であるP300は、Pz(正中頭頂)で最大の振幅に達するとされている。但し、Pz周辺のCz(頭蓋頂)、Oz(後頭部)でもP300の計測は可能であり、当該位置に電極を配置しても良い。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。
中心刺激呈示部30、および、周辺刺激呈示部50は、それぞれ、運転者10の中心視野領域および周辺視野領域に刺激を呈示する。これらはたとえばプロジェクタ、LED、ディスプレイ(点灯のための制御回路を含む)である。刺激の呈示方法は、例えば、自動車のフロントガラス上への投影である。または、運転注意量判別装置1がメガネ型のヘッドマウントディスプレイ(Head Mounted Display(HMD))であると想定した場合は、HMDのディスプレイ上に刺激を呈示することも可能である。さらに、運転注意量判別装置がドライビングシミュレータ(Driving Simulator(DS))に組み込まれた場合には、DSの画面上に刺激を呈示することも可能である。これらの各々の具体的な態様は、後に図11、21、22を参照しながら詳述する。
なお、中心視野領域151および周辺視野領域152は変化しうる。たとえば運転者の視野は、明るさや車の走行速度等によって変化する。よって、自車両の速度が速くなった場合には、通常設定されている中心視野領域151よりも小さくなっており、そして周辺視野領域は大きくなっているとして、中心刺激呈示部30および周辺刺激呈示部50が刺激を呈示する位置を変更して調整してもよい。
例えば、時速50km未満の場合と時速100km以上で、中心視野領域の面積が40%減少すると設定した場合を例を説明する。市街地など時速50km以下走行時には、中心刺激呈示部30は、図4で示すように注視点150の上下左右20度の領域を中心視野領域として視覚刺激を呈示する。また、高速道路など時速100kmを超える速度で走行している場合には、中心視野領域の面積を40%減少させた上下左右15度の領域が中心視野となる。よって、中心刺激呈示部30は、注視点から上下左右15度の領域を中心視野領域であると設定し、この範囲に視覚刺激を呈示する。一方、周辺刺激呈示部50は、その外側の領域が周辺視野領域であると設定し、その範囲に視覚刺激を呈示する。
また中心視野領域を、上記のように注視点からの視角の範囲で定義するのではなく、自車前方の同一車線内の範囲を、明確に意識できる領域として設定してもよい。
閾値設定部40は、中心刺激呈示部30が呈示した刺激に対する特徴信号を利用して、注意量を判別する閾値の設定を行う。事象関連電位の特徴信号として、上記ではP300について説明したが、潜時帯が近いN200、P200、P600などの信号も同様の傾向で出現すると考えられる。以下では、左記の特徴信号を代表して、P300を特徴信号として説明する。なお、N200は、150ミリ以上250ミリ秒以下の陰性成分である。P200は、150ミリ以上250ミリ秒以下の陽性成分である。P600は、400ミリ以上800ミリ秒以下の陽性成分である。
注意量判別部60は、周辺刺激呈示部50が呈示した刺激に対する脳波の特徴信号を利用して、運転者10の注意量を判別する。特徴信号として、上記ではP300について説明したが、潜時帯が近いN200、P200、P600などの信号も同様の傾向で出現すると考えられる。以下では、左記の特徴信号を代表して、P300を特徴信号として説明する。なお、注意量判別部60が利用する特徴信号は、閾値設定部40が利用した特徴信号と同じである。
注意量の判別結果は、蓄積部70に蓄積されてもよいし、注意量判別部60が保持する記録装置(HDD等)に記録、蓄積されてもよい。また、表示パネル75を利用して運転者10に対して判別結果のフィードバックを行ってもよい。注意量判別部60がディスプレイ等の出力装置を保持している場合には、その出力装置を利用してもよい。
本実施形態では、自動車教習所におけるドライビングシミュレータ(DS)に運転注意量判別装置1を組み込んだ場合を例に説明を行う。
図10は運転注意量判別装置1の処理全体のフローチャートを示す。以下、図10の運転注意量判別装置1のフローチャートに沿って、動作を説明する。
ステップS10で、DSの運転が運転者10により開始される。DSの運転が開始されると、運転注意量判別装置1による注意量判別の処理も開始され、脳は計測部20で脳波計測が開始される。
ステップS20で、脳波計測部20は、運転者10の脳波を計測する。測定された脳波は、コンピュータで処理できるようにサンプリングされ、閾値設定部40、注意量判別部60に送られる。なお、脳波に混入するノイズの影響を低減するため、脳波計測部20において計測される脳波は、予め例えば15Hzのローパスフィルタ処理がされているものとする。
ステップS22では、閾値設定部40は、注意量判別部60に注意量判別の為の閾値が設定されているかを確認する。閾値が設定されていない場合には、閾値を設定するステップS3へと進む。閾値がすでに設定されている場合には、閾値精度を高めるステップS4または注意量を判別するステップS5の分岐ステップS24へと処理を進める。
閾値の設定を行うステップS3は、中心刺激を発生させるステップS30と閾値を設定するステップS40から構成される。
ステップS30で、中心刺激呈示部30は、運転者10の中心視野領域に視覚刺激を呈示する。
刺激呈示の例を図11(a)に示す。図11(a)は、DSの前方方向のディスプレイに表示された画像の例を示している。ドライバの注視点300が×印で示されており、注視点300から視角20度の範囲(全体で40度の範囲)が中心視野領域301となる。この中心視野領域301の任意の位置に、中心視野視覚刺激302が呈示される。(注視点300の×印、視野領域の点線は説明のために記載したもので、画面上には表示されない)。LEDを用いて中心視野視覚刺激302を呈示する場合には、LEDは点光源として設置され得る。
中心刺激呈示部30は、刺激を呈示したタイミングを示す情報を閾値設定部40へ送る。
再び図10を参照する。
ステップS40で、閾値設定部40は、計測された脳波と中心視野領域の刺激呈示タイミングを示す情報に基づいて事象関連電位を切り出し、P300の抽出を行う。
閾値設定部40は、事象関連電位のP300の振幅の分布を保持し、分布の中央値を算出することにより、閾値を設定する。処理の詳細については後述する。
閾値設定部40は、中心刺激のP300の分布の中央値により閾値を設定する。ただし、計測されたP300のデータが少ない場合、閾値設定部40はP300の分布を解析することができず、中央値を算出することができない。よって、ステップS42にて、閾値設定部40は、中心刺激のP300が分布の中央値を算出するのに十分な個数蓄積されているかを確認する。ここでは、閾値設定部40は、中心刺激の呈示がN回(例えば5回)行われたかを確認することで、呈示がN回以上行われているときは適切に中央値を算出できたと判断し、ステップS24の分岐処理へと進む。呈示がN回以上行われていない場合は、中心刺激のP300のデータ数が不十分で適切に中央値が算出できていないと判断し、再度ステップS30の処理に戻り、中心刺激の呈示を行う。なお、後に言及するように、本実施形態においては、Nは5以上の整数である。
閾値が設定されている状態で、ステップS24で、閾値精度を高めるステップS4または注意量を判別するステップS5の分岐を行う。この分岐により、次の刺激呈示の処理として、閾値の再設定を行うか、注意量の判別を行うかが決定される。運転者に注意判別のタイミングを読まれないように、ステップS4の処理とステップS5の処理は、ランダムに切り替える。なお、ステップS4とステップS5の処理を交互に行うなど予め決められた順序に従って処理を切り替える方法でも問題はない。
閾値精度を高める処理S4は、閾値の設定を行うステップS3と同様、中心刺激を発生させるステップS30と閾値を設定するステップS40から構成される。
ステップS31で、中心刺激呈示部30は、運転者10の中心視野領域に視覚刺激を呈示する。刺激の呈示方法はステップS30の中心刺激の呈示と同様である。刺激呈示後、中心刺激呈示部30は、刺激を呈示したタイミングを示す情報を閾値設定部40へ送る。
ステップS41で、閾値設定部40は、注意量判別の閾値の更新処理を行う。閾値設定部40は、計測された中心刺激の事象関連電位からP300振幅を抽出し、ステップS40で作成したP300分布にP300のデータを追加する。中心刺激のP300のデータ量が増える為、P300分布の精度を高めることができる。閾値設定部40は、P300分布の中央値を算出することにより、閾値を再計算する。P300分布の精度が高まっている為、算出される中央値および閾値の精度も向上する。
運転時間が数分〜2,3時間の範囲においては、各人のP300の分布は変化しないと考えられるが、数日、数週間の時間範囲においては、同一個人内でP300分布は変化してくると考えられる。よって、閾値設定のために利用する中心刺激のP300データの範囲としては、同一運転時(エンジンをかけてエンジンを停止するまでの間)を1つのまとまりとして解析し、1つの閾値を設定するのが望ましい。
ステップS4にて、中心刺激の呈示の回数を増やすことにより、ステップS40での閾値設定部40の処理の際、事象関連電位のP300の振幅の分布の母数を増やすことができ、分布の中央値の精度を向上させることができる。分布の中央値の精度が向上することにより、個人に合わせた閾値の精度を向上させることが可能になる。
注意量を判別するステップS5は、周辺刺激を発生させるステップS50と注意量を判別するステップS60から構成される。
ステップS50で、周辺刺激呈示部50は、運転者10の周辺視野領域に視覚刺激を呈示する。周辺視野の刺激が表示される位置を図11で説明する。周辺視野領域501は、中心視野領域を除いた注視点300から上下130度、左右180度の領域である。したがって、中心視野領域301の外側かつ周辺視野領域501の内側の任意の位置に視覚刺激が呈示される。
周辺刺激呈示の例を図11(b)に示す。図11(b)は、図11(a)同様、DSの前方方向のディスプレイに表示された画像の例を示している。ドライバの注視点300が×印で示されており、注視点300から上下130度、左右180度の範囲で中心視野から外れた領域が周辺視野領域501となる。この周辺視野領域501の任意の位置に、周辺視野視覚刺激502が呈示される。(注視点300の×印、視野領域の点線は説明のために記載したもので、画面上には表示されなくてもよい)。周辺刺激呈示部50は、刺激を呈示したタイミングを示す情報を注意量判別部60へ送る。
ステップS60で、注意量判別部60は、計測された脳波と周辺視野領域の刺激呈示タイミングを示す情報に基づいて事象関連電位を切り出し、特徴信号の抽出を行う。注意量判別部60は、事象関連電位のP300の振幅と閾値とを比較する。
P300振幅が閾値を下回ったとき(P300の振幅値が閾値より小さい場合)には、注意量判別部60は、注意散漫状態であると判別する。逆に、振幅が閾値を上回ったとき(P300の振幅値が閾値以上の場合)には、注意量判別部60は、運転集中状態と判別する。注意量判別部60は、判別結果を蓄積部70に蓄積する。処理の詳細については後述する。
閾値精度を高めるステップS4、注意量を判別するステップS5が行われた後、または、ステップS26にて、運転者10による運転が継続しているかの確認が行われる。運転が継続されているか否かの判断基準は、たとえばDS利用環境においては、想定された所定のコースを一周するまでは運転が継続されていると判定すればよい。実車の場合には、エンジンがオフされるまでは運転が継続されていると判定すればよい。
運転が継続されている場合には、運転注意量判別も継続され、再びステップS24の分岐の処理に進み、閾値設定または注意量判別の処理が行われる。運転が終了した場合には、運転注意量判別装置1の処理も終了する。
次に、ステップS40で行われる閾値の設定処理の詳細を説明する。図12は、閾値設定部40が行うステップS40の処理の流れを示すフローチャートである。閾値の設定は、中心視野に呈示した刺激を利用して行われる。以下の処理により、注意集中、注意散漫状態で運転した脳波データを事前に取得しておくことなく、個人に合わせた閾値が設定できる。
ステップS401で、閾値設定部40は、脳波計測部20により計測された脳波を受信する。計測された脳波の例を図13(a)に示す。グラフの横軸は時間で、縦軸は脳波の電位を表している。
ステップS402で、閾値設定部40は、中心刺激呈示部30より、中心視野に呈示された刺激のタイミングを示す情報を受信する。呈示された中心刺激のタイミングの例を図13(b)に示す。横軸は時間で、黒三角の位置が中心刺激の呈示タイミングを示している。
ステップS403で、閾値設定部40は、中心刺激の呈示タイミングを起点とした脳波を抽出する。具体的には、中心視野領域の刺激呈示タイミングを起点(0ms)として、−100ミリ秒から600ミリ秒までの脳波データを切り出す。図13(c)に切り出された脳波データの例を示す。グラフの横軸が時間(ミリ秒)で縦軸が電位(μV)を表している。切り出した脳波に対し、閾値設定部40は、刺激が発生した時刻を起点として−100ミリ秒から0ミリ秒までの平均電位でベースライン補正を行う。
ステップS404で、閾値設定部40は、切り出した脳波データに含まれる、事象関連電位のP300の振幅値の蓄積を行う。P300は、約300ミリ秒付近に現れる陽性のピーク(極大値)の振幅値により計測される。図13(c)にはP300の振幅101の例を示す。振幅101の大きさがP300振幅として蓄積される。図13(c)の場合には、10.0μVがP300振幅となる。
ステップS405で、閾値設定部40は、蓄積されたP300のデータ個数をチェックする。1回の中心刺激の呈示で1つのP300が蓄積される。P300の分布を解析するためには、複数のP300データが必要となる。ここでは、蓄積したP300の個数が必要データ(N)に達しているかの確認を行う。例えば、5個を分布の信頼性の最低個数と考えると、N=5となり、P300の蓄積個数が5個を超えたか否かがチェックされる。必要データ数を超えていた場合は、ステップS406へ進み、閾値の設定処理が継続される。必要データ数に到達していない場合は、閾値設定を行わずに処理を完了する。
ステップS406で、閾値設定部40は、蓄積されたP300の分布を解析する。P300の振幅値とその度数を調べ、中心刺激に対するP300の分布を解析する。上記実験で解析されたP300分布の例を図14に示す。図14は、216回分の中心刺激に対するP300振幅の分布の例である。図14のグラフの縦軸は、P300振幅の電位(μV)で、横軸は、各電位における度数を示す。P300の分布は、運転者10の運転集中状態、注意散漫状態を区別することなく行う。
ステップS407で、閾値設定部40は、解析されたP300分布に基づいて、中心刺激に対するP300振幅の中央値を算出する。中央値を利用することによって、突発的に混入した体動ノイズ等の外れ値の影響を軽減した分布の中心が算出できる。図14の例では、度数の中心が位置する振幅値21.0μVが中央値となる。
ステップS408で、閾値設定部40は、注意量判別の為の閾値を設定する。ここでは、中心刺激のP300分布の中央値と最適閾値の相関があるという知見(図8)から、ステップS407で算出した中央値を注意量判別の閾値として採用し、その閾値を注意量判別部60に設定する。すなわち、21.0μVを注意量判別の閾値に設定する。
上記の流れで、中心視野の刺激のP300の分布の中央値を利用することにより、個人に合わせた注意量判別の閾値を設定できる。
なお、上記例では、ステップS407において、外れ値の影響を軽減するため中央値を利用したが、中心を求めることが可能な他の分布の中心を求める方法(例えば平均値など)を利用してもよい。
次に、ステップS60で行われる注意量判別処理の詳細を説明する。図15は、注意量判別部60が行うステップS60の処理の流れを示すフローチャートである。注意量の判別は、周辺視野に呈示した刺激を利用して行われる。
ステップS601で、注意量判別部60が、脳波計測部20により計測された脳波を受信する。
ステップS602で、注意量判別部60が、周辺刺激呈示部50により周辺視野に呈示された刺激のタイミングを示す情報を受信する。
ステップS603で、注意量判別部60は、周辺刺激の呈示タイミングを基点とした脳波データを抽出する。注意量判別部60は、閾値設定部40で行われるステップS403と同様、刺激呈示タイミングを起点(0ms)として、−100ミリ秒から600ミリ秒までの脳波データを切り出し、−100ミリ秒から0ミリ秒までの平均電位でベースライン補正を行う。
ステップS604で、注意量判別部60は、脳波データに含まれる事象関連電位波形のデータを蓄積する。蓄積は、注意量判別部60がアクセス可能な蓄積手段(たとえばメモリ)を利用して行われる。メモリは、注意量判別部60以外の機能ブロックからアクセスされるメモリと共通であってもよい。
ステップS605では、注意量判別部60は、ステップS604で蓄積した脳波データの個数が予め設定された必要な加算回数に達しているか否かを判別する。達していない場合は注意量判別の処理を完了し、達している場合はS606に進む。
次のステップS606に関連して、本実施形態による注意量判別方法を説明する。
一般的に、事象関連電位の研究では、脳波データの加算平均を求めてから解析が行われる。これにより、注目している脳活動と同期しない背景脳波と呼ばれる脳の活動電位は相殺され、一定の潜時(刺激の発生時刻を起点に活動電位が発生するまでの時間)と極性を持つ事象関連電位(例えばP300)が検出できる。例えば、従来文献(宮田洋ら、新生理心理学、1998、p110、北大路書房)によれば、30回の加算平均処理を行っている。
そこで、本実施形態においても、加算平均演算を行って注意量判別のための解析処理を行うとする。
加算の方法は、たとえばタイムスライディング方式が挙げられる。図16は、タイムスライディング方式を採用して得られた、加算平均波形1〜5を示す。この例は指定回数分(例えば5回)の波形を加算する方式で、新たな波形が入力された場合に、最も古い波形を1つ除外して指定回数分の波形を加算平均し、加算平均波形を生成する。この方式により、時刻変化に伴う波形の変化にすばやく追従した加算波形を生成することが可能になる。
また一定の時区間ごとに出力する加算波形を生成することもできる。時区間ごとに加算波形を算出する手法は、刺激が統制できない実環境では有効な方法である。
但し、本実施形態においては、注意量判別部60の加算回数は上述の指定回数に限定されず、非加算脳波(1個の脳波データ)であってもよい。非加算脳波であっても、注意量判別部60は注意量を判別することができる。なお、非加算脳波に対する注意量を判別した場合、呈示された刺激に対する注意量を判別することができる為、呈示された刺激を認知できた(注意量が大きかった)か、見落とした(注意量が小さかった)かを判別できる。
図15のステップS606では、注意量判別部60は、ステップS605で蓄積した必要回数分の脳波データの加算平均処理を行う。さらに、注意量判別部60は当該加算平均後の脳波データから事象関連電位の300ミリ秒から600ミリ秒の振幅を解析して、P300を抽出する。注意量の判別には、閾値設定部40が算出した閾値を利用し、加算平均後の脳波データのP300振幅値と閾値との比較により、注意量が判別される。比較の結果、P300振幅値が閾値を下回った場合(P300の振幅値が閾値より小さい場合)には、注意量判別部60は、運転者10は注意散漫状態であると判別する。逆に、振幅が閾値を上回ったとき(P300の振幅値が閾値又は閾値より大きい場合)には、注意量判別部60は、運転者10は運転集中状態であると判別する。図14の例では、閾値は21.0μVに設定されている。注意量判別部60は、この値とP300振幅とを比較する。
図15のステップS607では、注意量判別部60は、ステップS606で判別された結果のデータを、たとえば蓄積部70に蓄積し、または表示パネル75に表示させるために送信する。蓄積された結果は、後で運転者10の運転傾向の分析などの目的で利用できる。蓄積される情報の例を図17に示す。蓄積される情報としては、判別された結果である注意量の他、呈示された刺激の位置、刺激の視野領域(中心視野または周辺視野)、呈示時刻である。呈示された刺激の位置としては、例えば前方正面を座標(0,0)とした場合の相対視角(例えばX軸は右側が正、Y軸は上側が正の値)が記録される。呈示タイミングは、視野刺激が呈示された時刻が記録され、周辺刺激の場合には、注意量判別結果が、集中状態または散漫状態のいずれであったかが記録される。
以下に、記録された注意量結果の利用方法について説明する。
表示パネル75は、結果を表示し、運転者10にフィードバックする。注意量判別部60がディスプレイ等の表示手段を保持している場合も同様である。さらに、運転注意量判別装置1が通信手段を保持している場合には、結果を注意量判別装置1の外部に送信してもよい。例えば運転注意量判別装置1が自動車の制御ユニット(図示せず)に接続されているとする。注意散漫と判別された場合には、運転注意量判別装置1は自動車の制御ユニットに結果を出力し、当該制御ユニットがブレーキを作動させて自動的にブレーキをかける等の制御を行ってもよい。
教習所での利用では安全運転指導を目的として運転注意量判別装置1が利用される。たとえば、注意量が低下し注意散漫状態と判別された場合には、運転注意量判別装置1に内蔵されたスピーカーまたは運転注意量判別装置1に接続された外部スピーカー等の音声出力手段を利用して、警告音を出力し、運転者および運転指導者に注意散漫な状態を通知してもよい。
また、非加算波形による注意量判別を行った場合には、どの刺激を見落したかを判断できる為、DSのディスプレイ上の見落した刺激位置をアイコンで表示し、運転者にリアルタイムに見落し刺激の警告を行ってもよい。警告の例を図18(a)に示す。図18(a)では、周辺視野に刺激を呈示し、注意量判別部60により注意散漫と判断されたその直後に、DS画面140上の周辺刺激の位置に、刺激を見落したことを通知するアイコン(見落し通知アイコン141)が表示された例である。見落し通知アイコン141の表示中は、運転者は見落し通知アイコン141に注目し、運転に集中していない状態であると考えられる為、運転注意量判別装置1の中心刺激および周辺刺激は表示しないようにしてもよい。また、教習所の運転指導者による指導が行えるよう、見落し通知アイコン141表示時は、DSの映像を一時停止する信号をDSに送信する処理を行ってもよい。
これまでは、運転者が注意散漫と判断された際に、リアルタイムにフィードバックする例について説明した。他には、DS運転終了後に運転者への運転成績をフィードバックしてもよい。運転成績の例を図18(b)に示す。運転成績は、注意量判別部60が蓄積している注意量判別結果にもとづいて、成績表示する装置を利用して行われる。図18(b)では、運転時間、集中時間(運転集中と判別された時区間の合計)、周辺刺激の見落し数が表示される。この成績にもとづいて、教習所の運転指導者による指導が行われる。また、DS運転後のフィードバック方法として、運転時のDS映像をリプレイし、見落し刺激をフィードバックしてもよい。その場合、注意量判別部60が蓄積している注意量判別結果にもとづいて、図18(a)と同様に、DS映像上に見落し通知アイコン141を表示する方法が挙げられる。
次に、本発明の手法によって注意量の判別を行った場合の判別率について説明する。注意判別部60は、閾値設定部40で中心刺激の反応により設定した閾値と、周辺刺激の反応のP300の振幅との比較を行う。本願発明者らは、実際に上述の通り実施した実験のデータをもとに、周辺刺激216試行に対する判別率の評価を行った。
図19は上記実験での周辺刺激に対する反応のP300の分布を示す。グラフの縦軸はP300の電位でその単位はμV、横軸は注意量ごとの発生確率でその単位は%である。実線は注意量が大きいときのP300振幅と発生確率との関係を示し、破線は注意量が小さいときのP300振幅と発生確率との関係を示す。また、上記実験における中心刺激の反応のP300分布は図14に示した通りである。図14の中心刺激の反応のP300分布の中央値により設定された閾値(21.0μV)を図19上に一点鎖線で示す。このようなP300の分布において、注意量判別部60は、P300の振幅の電位が閾値よりも高いときは運転集中状態(注意量大)と判別し、閾値を下回るときは注意散漫状態(注意量小)と判別する。本願発明者らは、実際に注意量を正しく判別できた割合を判別率として算出した。具体的には、判別率=正しく判別できた個数/全体個数で算出される。
図20は、本発明の手法で注意量判別を行った判別率の結果を示す。対比のため図20は、最適閾値を利用して個人差を考慮して判別を行ったときの結果、および、個人差を考慮せず最適閾値の平均値を利用して判別を行ったときの結果も示している。。
本発明の手法による判別率が71.3%であるのに対し、個別に最適閾値を利用したときの判別率は73.7%、最適閾値の平均値を利用したときの判別率は66.1%であった。
このように、一律の閾値よりも精度が高く、最適閾値に近い精度で判別できていることがわかる。
本実施形態にかかる構成および処理の手順によれば、運転者の状態を判別し安全運転支援を行う装置において、中心刺激の発生時刻を起点とした脳波信号の事象関連電位から運転者に合わせた判別の為の閾値を抽出する。これにより、注意集中、注意散漫状態で運転した脳波データを事前に取得しておくことなしに、周辺視野に対する注意量を判別できる。よって、運転者はDSの運転を開始してすぐに注意量判別を行うことが可能になり、運転者の負担を軽減することができる。
なお、本実施形態では、自動車教習所におけるDSに運転注意量判別装置1を組み込んだ場合を例に、視覚刺激をDSディスプレイ上の任意の位置に呈示する方法を説明した。以下、DS環境とは異なる実車環境で実施する例を説明する。
中心刺激呈示部30、周辺刺激呈示部50は、視覚刺激を車のフロントガラスの上に投影することにより呈示する。
中心刺激呈示部30、周辺刺激呈示部50の構成の例を図21に示す。図21は運転席側のフロントガラス161に投影される刺激の例を示す。中心刺激呈示部30、周辺刺激呈示部50は、それぞれ高輝度プロジェクタを有しており、ダッシュボード162の内部に設置される。例えばフロントガラス161の中央を注視点と想定すると、中心刺激呈示部30は中心から40度の中心視野領域151に刺激を投影するよう設置され、周辺刺激呈示部50も同様に、上下130度、左右180度の周辺視野領域152の範囲に刺激を投影するように設置される。投影された刺激はフロントガラスで反射し、ユーザ10の目に視覚刺激として入力される。
また、図22は、周辺刺激の呈示にプロジェクタを利用しない例を示す。周辺刺激呈示部50は、車内の天井部分やピラー、サイドミラー163の周辺に設置されたLED164と接続されている。例えば図22の黒丸「●」で示した各位置にLED164が設置される。周辺刺激呈示部50は、これらLED164を制御して点灯させることにより周辺刺激を呈示する。
さらに、ヘッドマウントディスプレイ(HMD)を利用した刺激呈示方法の例を説明する。図23は、HMD165に本実施形態の構成を組み込んだ例を示す。HMD165は図9に示す本実施形態の運転注意量判別装置1の構成が実装されている。表示パネル75として両眼用にディスプレイ166が設けられている。視覚刺激呈示の際には、中心刺激呈示部30および周辺刺激呈示部50は、刺激を呈示させるための指示信号をディスプレイ166に送信し、HMDのディスプレイ166上に刺激を表示させる。これにより、中心視野領域および周辺視野領域には視覚刺激が呈示される。ディスプレイ166がシースルーディスプレイの場合は、実際に運転者10が見ている景色に重畳されて視覚刺激が呈示される。
図23では、中心刺激呈示部30、閾値設定部40、周辺刺激呈示部50、注意量判別部60がHMD165に組み込まれている例を説明したが、上記機能ブロックが車内に配置され、脳波計測部20やディスプレイ166と通信を行いながら、刺激の呈示の制御や注意量の判別処理を行ってもよい。通信方式は、Bluetoothや無線LANなどの一般的な無線規格や独自の規格が想定される。
なお、本実施形態では、自車両の進行方向の中心を注視点として中心視野領域、周辺視野領域を定義し刺激の呈示を行ったが、図9の構成に加えて、さらに運転者10の視線位置を検出する視線計測部を設けて、視線位置とその位置関係(例えば視角や距離)により視野領域の設定を行い、中心刺激、周辺刺激を呈示してもよい。
図24は、視線計測部76の一例を示す。視線計測部76は、たとえばDS環境において、車両前方の風景を射影した2次元平面136における運転者の注視点137を計測する。具体的には、視線計測部76においては、近赤外線光源131が近赤外線の点光源を眼球に照射し、CCDカメラ132で眼球の映像を撮影する。そして、撮影した映像を用いて、反射像位置検出部133は瞳孔および角膜表面における光源の角膜反射像の位置を検出する。キャリブレーション情報記憶部135は、角膜反射像の位置と撮影部15で撮影された車両前方映像における注視点座標との関係を予め記憶している。変換部134は当該キャリブレーション情報に基づいて、角膜反射像の位置から車両前方映像上での運転者の視線または注視点を計測する。
なお、視線に応じて変動し得る中心視野領域の設定は中心刺激呈示部30が行い、中心視野領域に応じて定まる周辺視野領域の設定は、周辺刺激呈示部50が行えばよい。
(実施形態2)
実施形態1では、実車環境またはDS環境において中心視野領域や周辺視野領域に視覚刺激を呈示する例について説明を行った。
実施形態1の視覚刺激呈示方法によれば、実際に車を運転している際、前方に目障りとなるような視覚刺激を意図的与える必要があるため、運転者にとっては煩わしく感じる可能性がある。
そこで、本実施形態では、実際に運転しているシーンにおいて、意図的に視覚刺激を与えるのではなく、外部環境から与えられる視覚刺激を利用して閾値の設定および注意量の判別を行うこととした。本実施形態の運転注意量判別装置は、自車両の前方を撮影する撮影部を有しており、撮影映像から脳波の事象関連電位を分析する際の起点となる視覚刺激の発生を検出する。そして、撮影映像における視覚刺激発生の位置から中心視野領域および周辺視野領域を区別して、閾値を設定し、注意量を判別する。
図25は、撮影部95を設けた本実施形態における運転注意量判別装置2のブロック構成を示す。運転注意量判別装置2は、実施形態1に係る運転注意量判別装置1(図9)に撮影部95を追加するとともに、実施形態1に係る中心刺激呈示部30、周辺刺激呈示部50を刺激検出部90に置き換えて構成されている。以下、実施形態1に係る運転注意量判別装置1(図9)の構成に追加された各ブロックを詳しく説明する。
撮影部95は、車両前方(ダッシュボードの上やバックミラーの後ろなど)に車外に向けて設置され、例えば縦方向105度、横方向135度の画角などで車両前方を毎秒30フレームで撮影する。
刺激検出部90は、撮影部95が撮影した映像から脳波の事象関連電位を分析する際の起点となる視覚刺激の発生時刻を検出し、同時に撮影映像における視覚刺激の発生領域を判別する。ここで視覚刺激とは、映像中の輝度の変化が所定の閾値を越えたものを指し、例えば前方車両のブレーキランプや並行車両のウィンカー、対向車両のヘッドライト、信号の切り替わりなどが相当する。
刺激検出部90は、上述のように定義した視覚刺激の発生時刻を検出し、その刺激の位置を検出する。具体的には、輝度変化位置が中心視野領域内か周辺視野領域内かを検出する。判別方法としては、撮影映像(自車両の進行方向)の中心からの視角に基づいて判別する。当該刺激が中心から視角20度の範囲に含まれた場合を中心刺激と判別し、中心刺激範囲外でかつ中心から上下130度、左右180度の領域の範囲内の場合を周辺刺激と判別する。そして、当該刺激が中心刺激と判別された場合には当該刺激の発生タイミングを示す情報を閾値判別部40へ、周辺視野領域と判別された場合には当該刺激の発生時刻を注意量判別部60へ送信する。
本実施形態にかかる運転注意量判別装置2は、刺激検出部90に関して、実施形態1に係る運転注意量判別装置1と大きく異なっている。そこで、以下、図26のフローチャートを利用して、刺激検出部90の処理の詳細を説明する。その他の部分に関しては実施形態1と同様のため説明を省略する。
ステップS901で、刺激検出部90は、撮影部95で撮影された映像を受信し、映像の隣接するフレーム間の輝度値の差分を計測する。ただし、車載のカメラで撮影した場合、自車の動きに伴って映像全体が移動する為、単に隣接するフレーム間の差分を計算したのでは、映像全体が変化したと認識されてしまう。よって、フレーム間で対応する点(同一のオブジェクトの位置)を算出し、その対応点ごとの輝度値の差分を算出する。なお、ここでいう同一のオブジェクトとは、たとえば、前方車両の後部ランプユニットである。
ステップS902で、上記差分から所定の閾値Th1以上の輝度変化があったか否かを判別する。輝度変化があった場合は、ステップS903に進み、ない場合はステップS910に進む。ステップS910において、刺激検出部90は刺激検出が終了したか否かを判断する。言い換えると、刺激の検出を継続して行うかどうかが確認される。
ステップS903で、刺激検出部90は、当該輝度変化時刻と、その画像における輝度変化のあった位置とを視覚刺激として記録する。また、刺激検出部90は視覚刺激の視角を算出する。刺激の視角は、自車両の進行方向を撮影した映像を利用して算出できる。より詳しく説明すると、まず画像上の映像の中心からの単位長さ当たりの視角を予め用意しておく。映像の中心は注視点に対応している。そして、刺激検出部90が撮影した映像の中心と検出された刺激の座標との間の画像上の距離を求める。次に、求めた距離と、単位長さ当たりの視角とを乗算する。これにより、刺激の視角を求めることができる。なお、ここでいう視角とは、運転者10の眼球と注視点とを結ぶ視線と、運転者10の眼球と刺激の位置とを結ぶ線分とがなす角度であるとする。
なお、視角を算出する方法は他にも考えられる。たとえば、予め運転者10の眼球と撮影される画像の焦点位置との距離(以下「画像距離」と称する。)を設定しておき、刺激検出部90が撮影した映像の中心と検出された刺激の座標との間の画像上の距離を求める。次に、求めた距離と画像距離とで作成される直角三角形から、刺激の視角を算出できる。具体的には、刺激の視角(単位:ラジアン)=ArcTan(映像の中心と検出された刺激の座標との距離/画像距離)で算出できる。
ステップS904で、刺激検出部90は、検出された刺激が中心視野で発生したか否かを判別する。ここでは、視角20度を閾値とし、刺激の視角が20度以下であるかが判別される。20度以下の場合は、ステップS905に進み、検出された刺激は中心刺激として検出される。
中心刺激が検出されると、ステップS906で、刺激の発生タイミングが閾値設定部40に送信され、閾値の設定処理が行われる。
ステップS904で、検出された刺激が中心刺激ではないと判別されると、処理はステップS907に進む。ステップS907において、刺激検出部90は、その刺激が周辺視野で発生したか否かを判別する。ここでは、視角が上下130度、左右180度以内の範囲に含まれるか否かが判別される。その範囲に含まれる場合には、ステップS908に進み、検出された刺激は周辺刺激として検出される。
周辺刺激が検出されると、ステップS909で、刺激の発生タイミングが注意量判別部60に送信され、周辺刺激に対する注意量判別処理が行われる。
一方、ステップS907において、検出された刺激は周辺刺激でもないと判別されると、処理はステップS910に進む。
ステップS910で刺激検出を継続するか確認を行い、刺激検出を継続する場合には、再びステップS901に戻り、刺激の検出が繰り返される。
本実施形態では、撮影映像(自車両の進行方向)の中心と検出された刺激の座標との角度により中心視野か周辺視野かを判断したが、図25の構成に加えて、さらに運転者10の視線位置を検出する視線計測部を設けて、視線位置と検出された刺激との視角から、中心視野領域、周辺視野領域のいずれの視野領域に含まれるかを判断してもよい。視線計測部の構成は、実施形態1において図24を参照しながら説明した通りであるため、ここでは説明は省略する。刺激検出部90は、視線計測部によって計測された運転者の視線または注視点に基づいて中心視野領域を設定し、さらに、中心視野領域に応じて定まる周辺視野領域を設定すればよい。
上記の構成および処理により、運転者にとって目障りとなるような視覚刺激により視界を遮られることなく、個人に合わせた閾値を設定することが可能になる。
(実施形態3)
実施形態1の構成により、あらかじめ運転集中状態、注意散漫状態における脳波を計測し、注意集中、注意散漫状態で運転した脳波データを事前に取得しておくことなしに、個人に適切な閾値を設定し注意量判別を行うことが可能になった。
しかし、自家用車に注意量判別装置を組み込むことを想定すると、毎回、運転開始時に中心刺激を呈示し、閾値を設定する必要がある。これでは、閾値の設定が完了するまでは、運転開始時の注意散漫状態を判別することは困難である。しかしながら、運転開始時から注意量が判別できることが好ましい。
そこで、運転開始時からでも注意量の判別が行えるように、個人に合わせた閾値を設定する必要がある。自家用車のような、運転者が限定される環境では、過去に計測した脳波データを利用可能である。
ここで、図5のグラフによれば、周辺視野における注意量大/注意量小の各状態のP300振幅の平均には開きがあることがわかる。図27は、上記実験の周辺刺激に対するP300の分布を示す。図27のグラフの縦軸は、P300振幅の電位(μV)で、横軸は、各電位における発生確率(%)を示す。図5の注意量大、小状態のP300振幅の平均に開きがあるように、図27のP300の分布にも、36μV、10μV近辺に2つの分布の山が存在することがわかる。これら2つの分布はそれぞれ注意量大/注意量小の各状態の分布と考えられる。よって、この2つの分布を区別するような値を算出することにより、注意量大/注意量小の各状態を区別する閾値を設定することが可能になる。
自家用車では、多くの場合、長期間にわたって特定の個人によって利用されることが想定され、また、各人は運転集中および注意散漫の両方の状態での運転が行われると考えられる。よって、過去に計測された周辺刺激に対するP300分布も、運転集中、注意散漫状態の2つの状態のP300振幅が蓄積され、図27の分布のように、2つのピークがある分布の形状になると考えられる。
本願発明者らは、これらを考慮して本実施形態にかかる注意量判別装置をなすに至った。本実施形態にかかる注意量判別装置は、過去に計測された周辺刺激に対するP300分布を利用して閾値を設定することで、運転開始時から注意量を判別することが可能になった。
図28は、本実施形態における注意量判別装置3のブロック構成を示す。本実施形態で新たに追加された機能ブロックは、開始閾値設定部80である。その他の機能ブロックについては実施形態1と同じため、図9と同じ符号を用い、説明を省略する。
なお、本実施形態においては、蓄積部70は判別結果を蓄積する前に、実施形態1の構成で抽出された周辺刺激に対するP300振幅の値を蓄積しているとする。
開始閾値設定部80は、蓄積部70に記録されている周辺刺激に対するP300振幅の分布から、注意量判別の閾値を決定する。
図29は、本実施形態による注意量判別装置3の処理のフローチャートである。図29のフローチャートにおいて実施形態1と同じ処理の箇所は図9と同じ符号を用い、説明を省略する。
注意量判別装置3が起動され、脳波の記録が開始されると、ステップS80で、開始閾値設定部80は、注意量判別の為の閾値を設定する。開始閾値設定部80は、蓄積部70に記録されている以前に計測された周辺刺激に対するP300のデータを取得し、P300の分布を解析することによって、閾値を設定する。開始閾値設定部80の処理の詳細については後述する。
閾値設定後は、閾値精度を高めるステップS4、または注意量を判別するステップS5が実行される。ステップS5が実行されると、ステップS50において周辺刺激が呈示され、ステップS60で注意量が判別された後、ステップS70で、蓄積部70は、周辺刺激に対するP300振幅の値を記録する。
また、閾値精度を高めるステップS4により、中心刺激を利用した反応で個人に合わせた閾値が設定されると、ステップS31において中心刺激が呈示される。開始閾値設定部80は、ステップS80で設定された閾値を破棄し、中心刺激に基づいて新たに求められた閾値をステップS41において設定して注意量判別を行う。中心刺激を利用した閾値の再設定を行わない場合には、ステップS26で注意量を判別する処理S5の処理のみを行うよう調整してもよい。
次に、ステップS80で行われる開始閾値の設定処理の詳細について説明を行う。図30は、開始閾値設定部80が行うステップS80の処理の流れを示すフローチャートである。開始閾値の設定は、蓄積部70に過去に記録された周辺刺激のP300振幅を利用して行われる。
ステップS801で、蓄積部70から周辺刺激に対するP300振幅の値を受信する。図31は、受信するデータのフォーマットの例を示す。図31の例では、記録されているP300振幅の情報として、刺激が呈示された時刻と、その反応におけるP300振幅の値とが情報が時系列に記録されている。
図30のステップS802で、開始閾値設定部80は、P300の分布の解析を行う。開始閾値設定部80は、受信したP300のデータ全体に対し、P300の振幅値とその度数を調べ、周辺刺激に対するP300の分布を解析する。図27は、216個の周辺刺激のP300を解析した結果の例を示す。この分布解析は、蓄積部70に記録されていた全データに対して行ってもよいし、または、直近の運転における周辺刺激の反応だけを利用して解析を行ってもよい。後者の場合は、受信したデータの時刻情報に基づいて、ある時区間におけるP300振幅のデータを対象に解析を行えばよい。直近のデータに限定して解析を行うことにより、個人内におけるP300反応の変化に追従した閾値の設定が可能となる。
図30のステップS803、ステップS804では、解析されたP300分布のデータにおける、注意量大および小の分布のピークを抽出する。蓄積されたデータ量が十分な量であれば、注意量大、小状態のP300振幅の平均に開きがある傾向から、分布のピークは2つ存在する。2つの分布のピークは、極大値という形で現れるため、分布のピークの検出は、発生確率の大きい極大値2つを抽出することでおこなう。
ステップS803で、P300の分布のグラフから、発生確率の極大値を検出する。図32(a)は、抽出される極大値の例を示す。図32(a)の矢印の位置が、検出された極大値の位置となる。
ステップS804で、複数の極大値のなかから、発生確率が大きい極大値上位2つを抽出する。このように抽出された極大値2つは、注意量大および小の分布のピークであると考える。図32(b)は抽出された分布のピークの例を示す。図32(b)の例では、12.5μV、37.5μVが極大値として算出される。
なお、上記の例では、注意量大および小の分布のピークを発生確率が上位の極大値検出により抽出したが、本手法は一例であり、これに限定されるものではない。
図30のステップS805で、注意量大および小の分布を区別する閾値を算出する。閾値の産出は、注意量大および小の分布のピークの中央値の算出により行う。中央値を利用することで、分布のピークの間のP300振幅の値の偏りに左右されず、2つの分布を均等に分けることが可能となる。図32(b)の例では、12.5μVから37.5μVまでの度数分布の中央値である21.0μVが算出される。
ステップS806で、算出された中央値を閾値として、注意量判別部60に設定する。図32(b)の例では、21.0μVが注意量判別のための開始閾値として設定される。
上記の処理によって、記録された周辺刺激のP300の分布を利用して判別を行った結果を図33に示す。平均判別率は68.7%と実施形態1に劣るが、個人差を考慮しない閾値を利用した場合の66.1%と比較して3%近く精度が向上している。
本実施形態にかかる構成および処理の手順により、運転者の状態を判別し安全運転支援を行う装置において、中心視野の刺激のP300のデータが閾値を設定するのに十分な量蓄積されるまで待つ必要が無くなり、運転開始時から即座に注意量判別が行えるようになる。
なお、上記の実施形態の説明では、蓄積部70に蓄積された周辺刺激のP300分布により開始閾値の設定を行う処理を説明したが、閾値の設定方法はこれに限るものではない。例えば、前回に利用した注意量判別の閾値をそのまま利用してもよい。
また、蓄積部70に中心刺激のP300のデータも蓄積しておき、中心刺激のP300の分布の中央値を利用して開始閾値の設定を行ってもよい。上記の開始閾値設定方法により、周辺刺激のP300のデータ量が十分でないときにも開始閾値を設定することができる。
なお、上記実施形態では、注意量判定の運転者を特定の1名が使うと仮定して説明を行ったが、注意量判定装置のユーザが複数存在する場合は、さらにユーザ判別手段を設けることにより、ユーザを区別して閾値設定に利用する蓄積データを切り替えてもよい。ユーザ判別手段としては、座席のシートポジションやミラーの位置、利用する車のキーの違いにより判別する手法が考えられる。
なお上述の実施形態では、脳波計測部(図9、図25、図28)、撮影部および刺激検出部(図25)は運転注意量判別装置の構成要素であるとして説明した。しかしながら、それらは運転注意量判別装置の必須の構成要素でなくてもよい。脳波計測部および/または撮影部は、運転注意量判別装置とは別体の外部機器であってもよい。その場合、運転注意量判別装置はそれらの機器から脳波データや、撮影によって取得された映像データを受信して、上述の処理と同じ処理を行えばよい。また、車両前方の映像に含まれる刺激のデータ、刺激の発生時刻のデータ、および、映像における刺激の発生位置が運転者の中心視野領域内であるか周辺視野領域内であるかの検出結果のデータを受け取って、上述の処理と同じ処理を行えばよい。
上述の脳波計測部、撮影部および/または刺激検出部が運転注意量判別装置の構成要素ではなく、運転注意量判別装置にデータを供給するとき、運転注意量判別装置はコンピュータプログラムを実行するコンピュータとして実現され得る。
そのコンピュータプログラムは、本願で図示されたフローチャートによって示される手順を実行するための命令を含む。コンピュータは、そのようなコンピュータプログラムを実行することにより、上述の運転注意量判別装置の各構成要素として機能する。コンピュータプログラムは、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、上述の実施形態および変形例にかかる注意状態判別装置は、半導体回路にコンピュータプログラムを組み込んだDSP等のハードウェアとして実現することも可能である。
また、蓄積部70および表示パネル75についても、運転注意量判別装置の必須の構成要素でなくてもよい。蓄積部70および表示パネル75は、たとえば運転注意量判別装置に接続される外部ハードディスクドライブおよび表示機器であってもよい。
本発明にかかる運転注意量判別装置は、車両の急な割り込みや歩行者の飛び出しなど運転者の周辺視野領域で起こり得る事象に対する事故防止に有用である。また、自動車教習所におけるドライビングシミュレータを使った運転評価装置等にも有効である。さらに、ヘッドマウントディスプレイ型の装置として構成される場合は、自転車運転中や歩行中の安全支援、接客業など周囲の客や状況への注意配分を判別する装置等としても応用できる。
1、2、3 運転注意量判別装置
10 運転者
20 脳波計測部
30 中心刺激呈示部
40 閾値設定部
50 周辺刺激呈示部
60 注意量判別部
70 蓄積部
75 表示パネル
80 閾値設定部
90 刺激検出部
95 撮影部
本発明は、脳波を用いて運転者の注意状態を判別し、安全運転支援を行う運転注意量判別装置、方法及びコンピュータプログラムに関する。
近年、自動車運転に関連した事故防止装置の中で、運転者の状態を判別し、その判別結果に基づいて運転支援を行う方法が検討されている。安全運転に必要な運転者の視覚認知機能の1つとして危険対象物の検出がある。危険対象物の検出とは、周辺視野において周囲の車両や歩行者の危険な動きに気づくことであり、この機能が低下すると出会い頭事故や飛び出し事故に繋がることになる。
「周辺視野」とは、一般に、上下130度、左右180度の範囲で形成される全体視野のうち、視線を中心にした約40度の範囲(中心視野)から外れた範囲を指す。周辺視野では、物の形や色を詳細に認識することは難しいが、移動する対象や点滅する光のように時間的に変化する物に対しては敏感に反応することが知られている。運転者は、歩行者の飛び出しやバイクが側方を横切る等に備えて、周辺視野領域や、当該領域に存在するドアミラー等にも注意を向ける必要がある。そこで、運転者の周辺視野領域に対する注意量が低い場合には、当該運転者に警告を発する等の措置が求められている。
運転者の注意状態を判別する方法としては、運転者に向けられたカメラによって、運転者の視線や顔の動きを検出し、運転者の注意配分状態を判別する方法がある。例えば特許文献1では、自車両の周辺状況から判別した、運転者が注意すべき最適な注視位置と、運転者の視線や顔の動きから検出した注視点とを比較することにより、運転者の注意配分状態を判別する技術が開示されている。
また、自車両の操作状況を反映する、走行速度やハンドル操舵角の変化などにより、運転者の注意状態を判別する方法がある。例えば特許文献2では、前方を走行している車両(以下「前方車両」と呼ぶ。)の急減速に対するブレーキ反応時間などを用いて運転者の運転集中度を求め、これによって運転者に警報を出力するかどうかの必要度を判断する技術が開示されている。
一方、運転者の運転に対する注意量を脳波の事象関連電位(Event−Related Potential(ERP))を用いて調べる研究が行われている。「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。運転者の運転に対する注意量を調べる際には、いわゆる「P300」が利用される。「P300」とは、例えば外的な視覚刺激などの発生タイミングを起点として約300ミリ秒付近に現れる、脳波の事象関連電位の陽性成分をいう。P300は、刺激に対する認知や注意を反映するとされている。
例えば、非特許文献1では、事象関連電位を用いた運転注意量の計測に関する研究が開示されている。この研究では、前方車両に追従走行する実験において、前方車両のブレーキランプ点灯時に運転者は自車のブレーキペダルを踏む課題を課せられている。前方車両が急ブレーキをかけた場合の走行(高注意条件)と、前方車両が急ブレーキをかけない場合の走行(低注意条件)の2つの実験条件で事象関連電位を比較した結果、高注意条件の場合に事象関連電位のP300の振幅が大きくなることが報告されている。
特開2004−178367号公報
特開2002−127780号公報
しかしながら、特許文献1に記載の従来技術では、視線を向けていないところは注意を向けていないという考え方に基づいているため、運転者の周辺視野領域に対する注意量を確度良く判別することができない。
実際の運転場面を例にして、説明する。運転者は、前方を走行している車両を中心視野領域で監視しながら、同時に周辺視野により、並走している車両や歩行者の動きを検知する。それにより、運転者は、その前方の車両状況と周辺の状況に応じて視線の向きを決定している。したがって、従来の技術では、周辺視野領域にも注意を向けつつ、前方に視線を向けている場合等に対応が困難である。
また、特許文献2に記載の技術では、前方車両の急減速に対するブレーキ反応時間などを用いているため、求められる運転集中度は自車両前方、つまり運転者の中心視野領域に対するものに限定されている。実際の運転場面では、運転者の周辺視野領域で起こる事象に対する反応が、ブレーキなどの行動にそのまま表れるケースは非常に少ない。よって、自車両の操作状況を用いる従来の技術では運転者の周辺視野領域に対する注意量を確度良く判別することができない。
さらに、非特許文献1に記載の従来研究でも上記と同様に、前方車両のブレーキランプ点灯に対する事象関連電位(ERP)を用いている。ゆえに、計測している運転注意量は運転者の中心視野領域に対するものに限定され、周辺視野領域に対する注意量を計測することができない。
本発明は、上記課題を解決するためになされたものであり、その目的は、運転者が視線を周辺の対象物に向けていない場合でも、運転者の周辺視野領域に対する注意量を判別し、判別結果に応じた安全運転支援を行うことにある。
本発明による運転注意量判別装置は、運転者の脳波信号を計測する脳波計測部と、前記運転者の中心視野に視覚刺激を呈示する中心刺激呈示部と、前記運転者の周辺視野に視覚刺激を呈示する周辺刺激呈示部と、前記中心視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅の分布から注意量判別の判別閾値を設定する閾値設定部と、前記周辺視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅と前記判別閾値との比較により注意量を判別する注意量判別部とを備えている。
前記中心視野の刺激の呈示時点を起点とした事象関連電位の振幅は、中心視野の視覚刺激の呈示時点を起点にして、300ミリ秒から600ミリ秒の区間の陽性成分であるP300の振幅であり、前記周辺視野の刺激の呈示時点を起点とした事象関連電位の振幅は、周辺視野の視覚刺激の呈示時点を起点にして、300ミリ秒から600ミリ秒の区間の陽性成分であるP300の振幅であってもよい。
前記中心刺激呈示部が前記中心視野の刺激を複数回呈示したときにおいて、前記閾値判別部は、前記中心視野の各刺激の呈示時点を起点としたP300の中央値を判別閾値として設定してもよい。
前記注意量判別部は、前記周辺視野の刺激の呈示時点を起点とした事象関連電位のP300の振幅と前記判別閾値との比較により、前記運転者が見落とした刺激を判別してもよい。
前記注意量判定部は、前記周辺視野の刺激の呈示時点を起点とした事象関連電位の振幅の値と前記判別閾値と比較して、前記振幅の値が前記判別閾値以上の場合には、注意量が高いと判別し、前記振幅の値が前記判別閾値より小さい場合には、注意量が低いと判別してもよい。
本発明による他の運転注意量判別装置は、車両前方を撮影する撮影部と、前記撮影部によって撮影された映像に含まれる刺激および前記刺激の発生時点を検出するとともに、前記映像における前記刺激の発生位置が運転者の中心視野領域内であるか周辺視野領域内であるかを検出する刺激検出部と、運転者の脳波信号を計測する脳波計測部と、前記中心視野領域内の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅の分布から注意量判別の判別閾値を設定する閾値設定部と、前記周辺視野領域内の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅と前記判別閾値との比較により注意量を判別する注意量判別部とを備えている。
前記運転注意量判別装置は、運転者の視線を計測する視線計測部をさらに備え、前記刺激検出部は、前記刺激の発生時点において前記視線計測部によって検出された運転者の視線に応じて、前記刺激が前記運転者の中心視野領域および周辺視野領域のいずれに含まれるかを検出してもよい。
前記運転注意量判別装置は、前記運転者が過去に、前記周辺刺激呈示部が呈示した刺激に起因して発生した、前記運転者の事象関連電位のP300の振幅を蓄積する蓄積部と、蓄積された前記P300の振幅の分布に含まれる2つのピークを抽出し、前記2つのピークを利用して前記判別閾値として設定する開始閾値設定部とをさらに備えてもよい。
前記開始閾値設定部は、前記2つのピークの中央値を前記判別閾値として設定してもよい。
本発明による運転注意量判別方法は、運転者の脳波信号を計測する脳波計測ステップと、前記運転者の中心視野に視覚刺激を呈示する中心刺激呈示ステップと、前記運転者の周辺視野に視覚刺激を呈示する周辺刺激呈示ステップと、前記中心視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅の分布から注意量判別の判別閾値を設定する閾値設定ステップと、前記周辺視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅と前記判別閾値との比較により注意量を判別する注意量判別ステップとを包含する。
前記中心視野の刺激の呈示時点を起点とした事象関連電位の振幅は、中心視野の視覚刺激の呈示時点を起点にして、300ミリ秒から600ミリ秒の区間の陽性成分であるP300の振幅であり、前記周辺視野の刺激の呈示時点を起点とした事象関連電位の振幅は、周辺視野の視覚刺激の呈示時点を起点にして、300ミリ秒から600ミリ秒の区間の陽性成分であるP300の振幅であってもよい。
前記注意量判定ステップは、前記周辺視野の刺激の呈示時点を起点とした事象関連電位の振幅の値と前記判別閾値と比較して、前記振幅の値が前記判別閾値以上の場合には、注意量が高いと判別し、前記振幅の値が前記判別閾値より小さい場合には、注意量が低いと判別してもよい。
本発明によるコンピュータプログラムは、注意量を判別するためのコンピュータプログラムであって、コンピュータによって実行されることにより、前記コンピュータに対し、計測された運転者の脳波信号を受信する受信ステップと、前記運転者の中心視野に視覚刺激を呈示する中心刺激呈示ステップと、前記運転者の周辺視野に視覚刺激を呈示する周辺刺激呈示ステップと、前記中心視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅の分布から注意量判別の判別閾値を設定する閾値設定ステップと、前記周辺視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅と前記判別閾値との比較により注意量を判別する注意量判別ステップとを実行させる。
本発明によるさらに他の運転注意量判別装置は、運転者の中心視野に視覚刺激を呈示する中心刺激呈示部と、前記運転者の周辺視野に視覚刺激を呈示する周辺刺激呈示部と、前記中心視野の刺激の呈示時点を起点として、脳波信号を計測する脳波計測部が計測した前記運転者の脳波信号における事象関連電位の振幅の分布から注意量判別の判別閾値を設定する閾値設定部と、前記周辺視野の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅と前記判別閾値との比較により注意量を判別する注意量判別部とを備えている。
本発明によるさらに他の運転注意量判別装置は、撮影部によって撮影された車両前方の映像に含まれる刺激のデータ、前記刺激の発生時点のデータ、および、前記映像における前記刺激の発生位置が運転者の中心視野領域内であるか周辺視野領域内であるかの検出結果のデータを受け取る運転注意量判別装置であって、前記中心視野領域内の刺激の呈示時点を起点として、脳波信号を計測する脳波計測部が計測した前記脳波信号における事象関連電位の振幅の分布から注意量判別の判別閾値を設定する閾値設定部と、前記周辺視野領域内の刺激の呈示時点を起点とした前記脳波信号における事象関連電位の振幅と前記判別閾値との比較により注意量を判別する注意量判別部とを備えている。
前記注意量判別部は、判別結果のデータを出力してもよい。
前記運転注意量判別装置は、前記注意量判別部から出力された前記判別結果を表示する表示装置をさらに備えていてもよい。
前記運転注意量判別装置は、前記注意量判別部から出力された前記判別結果のデータを蓄積する記憶装置をさらに備えていてもよい。
本発明によれば、運転者の周辺視野領域で発生した視覚刺激の発生時刻を起点として計測された脳波信号から、運転者の周辺視野領域における注意量を判定する。脳波信号を用いることにより、車両の急な割り込みや歩行者の飛び出しなど運転者の周辺視野領域で起こり得る事象に対する注意量を確度良く判定し、当該判定結果に基づいて、運転者に適切に注意喚起等の状態変化を促すことができる。
本願発明者らが実施した実験の提示画面を示す図である。
国際10−20法の電極位置を示す図である。
視野領域および反応時間ごとの加算平均波形を示す図である。
中心視野領域151および周辺視野領域152を模式的に示す図である。
図3の各々の条件におけるP300最大振幅を示す図である。
視野領域ごとの非加算脳波時のP300最大振幅についての確率分布と注意量の判別率を示す図である。
被験者ごとの非加算脳波のP300最大振幅についての確率分布と、判別率を最大にする閾値を示す図である。
被験者10名における中心視野領域に発生する刺激に対する事象関連電位のP300分布(中心刺激P300分布)の中央値と最適閾値のグラフである。
実施形態1における運転注意量判別装置1のブロック構成を示す図である。
運転注意量判別装置1の処理全体のフローチャートである。
(a)および(b)は刺激呈示の例を示す図である。
閾値設定部40が行うステップS40(図10)の処理の流れを示すフローチャートである。
(a)〜(c)は閾値設定部40の処理の例を示す図である。
実験で解析されたP300分布の例を示す図である。
注意量判別部60が行うステップS60(図10)の処理の流れを示すフローチャートである。
タイムスライディング方式を採用して得られた、加算平均波形1〜5を示す図である。
蓄積される情報の例を示す図である。
(a)は警告の表示例を示す図であり、(b)は運転成績の表示例を示す図である。
実験での周辺刺激に対する反応のP300の分布を示す図である。
本発明の手法で注意量判別を行った判別率の結果を示す図である。
中心刺激呈示部30、周辺刺激呈示部50の構成の例を示す図である。
周辺刺激の呈示にプロジェクタを利用しない例を示す図である。
HMD165に本実施形態の構成を組み込んだ例を示す図である。
視線計測部76の一例を示す図である。
撮影部95を設けた実施形態2における運転注意量判別装置2のブロック構成を示す図である。
刺激検出部90の処理の詳細を示すフローチャートである。
実験の周辺刺激に対するP300の分布を示す図である。
実施形態3における注意量判別装置3のブロック構成を示す図である。
実施形態3による注意量判別装置3の処理のフローチャートである。
開始閾値設定部80が行うステップS80の処理の流れを示すフローチャートである。
受信するデータのフォーマットの例を示す図である。
(a)は抽出される極大値の例を示す図であり、(b)は抽出された分布のピークの例を示す図である。
記録された周辺刺激のP300の分布を利用して判別を行った結果を示す図である。
まず、本明細書で用いる用語「事象関連電位」および「潜時」を説明する。
「事象関連電位」とは、脳波の一部であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。例えば、脳電位の時間的変化を脳波信号として計測し、その脳波信号から事象関連電位が得られる。具体的には、脳波信号の波形のピーク(極大値又は極小値)の極性、ピークの潜時、又は脳波信号の波形の振幅や潜時の時間的な変化などによって定められる。
「潜時」とは、刺激が呈示された時刻を起点として、注目する事象関連電位の極大値または極小値が出現するまでの時間を示す。
一般的には、「陽性成分」とは、0μVよりも大きい電位をいう。一般的には、「陰性成分」とは、0μVよりも小さい電位をいう。
「事象関連電位(ERP)マニュアル−P300を中心に」(加我君孝ほか編集、篠原出版新社、1995)の30頁に記載の表1によると、一般的に、事象関連電位の波形には、個人ごとに30ミリ秒から50ミリ秒の差異(ずれ)が生じる。したがって、「約Xミリ秒」や「Xミリ秒付近」という語は、Xミリ秒を中心として30ミリ秒から50ミリ秒の幅がその前後(例えば、300ミリ秒±30ミリ秒、600ミリ秒±50ミリ秒)に存在し得ることを意味している。以下の説明では、幅は50ミリ秒であるとする。
本願発明者らは、中心視野領域に発生する刺激に対する事象関連電位と周辺視野領域に発生する刺激に対する事象関連電位について、どのような違いが見られるかを調査する実験を実施した。その結果、本願発明者らは、周辺視野領域に発生する刺激に対する事象関連電位の300ミリ秒から600ミリ秒の振幅が、注意量の大小に応じて大幅に変化する特性を見出した。
まず、その実験内容及び実験結果から得られた知見について説明する。その後、その知見を活用した手法について考察し、新たに発生しうる課題について説明する。
被験者は男性1名、女性3名の合計4名で、平均年齢は21±1.5歳である。図1を用いて実験内容を説明する。
本願発明者らは、被験者に2つの課題を並行して実施してもらう二重課題法による実験を行った。第1の課題は、図1のモニター2の画面中央に提示される記号(○/△/□/×)の切り替わり回数を頭の中で数える中心課題111である。第2の課題は、画面周辺のランプがランダムな順番で点滅され、被験者はその点滅に気が付いた時点で手元のボタンを押す周辺課題112である。なお被験者には視線を常に画面中央に向けているように教示した。このように画面中央と周辺の2つの課題を同時に行わせることで、画面中央に注意を向けさせつつ、その周辺にもどの程度注意が向けられるかを調べることができる。周辺視野を被験者に呈示するために、3台の20インチのモニター1〜3を横に並べ、被験者と画面との距離は60cmとした。本実験は、車両運転環境を模擬したものではないが、注視点を監視しつつ、その周辺の変化に如何に早く気づき得るかを調べるための抽象化した実験として捉えることができる。
また、被験者には脳波計(ティアック製、ポリメイトAP−1124)を装着させた。電極の配置は国際10−20電極法を用いた。図2は、国際10−20電極法の電極配置を示す。導出電極はPz(正中頭頂)、基準電極はA1(右耳朶)、接地電極は前額部とした。サンプリング周波数200Hz、時定数3秒で計測した脳波データに対して1〜6Hzのバンドパスフィルタ処理をかけた。また、周辺ランプ点滅時を起点に−100ミリ秒から600ミリ秒の脳波データを切り出し、−100ミリ秒から0ミリ秒の平均電位でベースライン補正を行った。
図3は、上述した処理を行った後の、第1および第2の条件ごとの脳波データの全被験者の加算平均波形を示す。
第1の条件とは視野領域に関して行った分類の条件である。本実験では、図1に示すように、視角(被験者の眼の中心位置と画面中央の注視点までを結んだ線と、被験者の眼の中心位置と点滅ランプまでを結んだ線とが交差する角度)が0度以上10度未満を領域1とし、10度以上20度未満を領域2とし、20度以上を領域3として分類した。
ここで、視野領域について説明する。
視野領域は、中心視野領域と周辺視野領域とに大きく2分される。図4は、中心視野領域151および周辺視野領域152を模式的に示す。この図では、横軸と縦軸との交点を、視線(注視点)150としている。
一般的に、人間の視野は単眼で上下方向に約130度、左右方向に約180度の範囲の視野を持っており、この範囲の像が網膜に投影される。しかし、網膜の感受性は中心部だけが高く、中心から離れると解像度(細部まで見える力)は急激に低下する。
すなわち、視線の先(注視点)150の周辺ははっきり見えるが、その周辺の領域は、解像度が落ちた状態となっている。この注視点の周りで比較的明確に意識される領域が有効視野または中心視野領域151である。上述のように、中心視野領域151は、視線を中心にした40度の範囲である(三浦利章ら、「事故と安全の心理学」、2007、p131、東京大学出版会)。
また、周辺視野領域152は中心視野領域151の外側の領域である。周辺視野領域152は、物の形や色を詳細に認識することは難しいが、移動する対象や点滅する光のように時間的に変化する物に対しては敏感に反応する領域であることが知られている。周辺視野領域152は、上下130度、左右180度の範囲で形成される全体視野のうち、中心視野領域151から外れた範囲の領域を言う。
図1の領域1および2が図4に示す中心視野領域151に対応し、図1の領域3が図4に示す周辺視野領域152に対応する。
第2の条件は被験者のボタン押し反応時間に関する分類の条件である。本実験では注意量の大小を実験条件として分類するために、ボタン押しまでの反応時間を用いた。生理心理の実験においては、反応時間は注意量を反映するとされ、例えば特許文献2でもブレーキ反応時間を用いて運転に対する注意の集中度を算出している。
本実験では、注意量の指標としてのボタン押し反応時間と脳波との関係について分析した。本実験における全ての反応時間を俯瞰したところ400ミリ秒〜600ミリ秒の間に非常に多くのサンプルが存在していた。そのため、600ミリ秒以内に反応できた場合を反応時間が速い、すなわち当該刺激に対して高い注意状態にあったとし、600ミリ秒以内に反応できなかった場合を反応時間が遅い、すなわち当該刺激に対して低い注意状態にあったとして2つのグループに分類した。
図3の各々のグラフは横軸がランプ点滅時を0ミリ秒とした時間(潜時)でその単位はミリ秒、縦軸は電位でその単位はμVである。また、各グラフ内で表記された数字(N)は各々の加算回数を表している。
図3から、反応時間が速い場合、すなわち注意量が大きい場合(図3(a)〜(c))は、視野領域に関わらず、潜時300ミリ秒から600ミリ秒の間の陽性成分であるP300の振幅が大きくなっていることが分かる。なお、「潜時300ミリ秒から600ミリ秒」とは、潜時300ミリ秒以上600ミリ秒以下を意味する。
図3(a)〜(c)におけるP300の最大振幅121(a)〜(c)はそれぞれ20.3μV、19.6μV、20.9μVである。一方、反応時間が遅い場合、すなわち注意量が小さい場合(図3(d)〜(f))は、P300の振幅が相対的に小さくなっている。特に、視角40度以上である領域3(一般的に周辺視野とされている領域)で且つ注意量が小さい場合(図3(f))に、P300の振幅が大幅に減少していることが分かる。図3(d)〜(f)におけるP300の最大振幅121(d)〜(f)はそれぞれ13.6μV、13.2μV、2.5μVである。
図5は、図3の各々の条件におけるP300最大振幅を示す。横軸は視野領域の領域1/領域2/領域3であり、縦軸は電位でその単位はμVである。実線は注意量が大きい場合、点線は注意量が小さい場合を表している。各視野領域における、注意量が大小のときの振幅差131(a)〜(c)はそれぞれ6.7μV、6.4μV、18.4μVである。図5からも視角40度以上である領域3(周辺視野領域)において、注意量の大小に応じて大幅な振幅の差があることが分かる。
図6は、視野領域ごとの非加算脳波時のP300最大振幅についての確率分布と注意量の判別率を示す。図6(a)は領域1(中心視野領域)、図6(b)は領域2、図6(c)は領域3(周辺視野領域)の場合の確率分布を表している。各々のグラフの縦軸は電位でその単位はμV、横軸は注意量ごとの発生確率でその単位は%である。また、各グラフの下に各々の視野領域において注意量の大小を判別した場合の判別率を示す。
注意量の大小の判別方法は、各々の視野領域において判別率が最大となるERP最大振幅の閾値を設定し、個々の非加算脳波のERP振幅が前記閾値以上か否かによった。ここで判別率が最大となる閾値は、注意量が大の場合の正解率と注意量が小の場合の正解率の平均が最大となる閾値とした。図6(a)〜(c)の場合、上記の閾値はそれぞれ7.5μV、22.5μV、32.5μVである。図6(a)〜(c)の一点鎖線はその閾値を示す。
図6(a)〜(c)と図6中の表によれば、図6(a)の領域1(中心視野領域)の確率分布と図6(b)の領域2の確率分布によれば、注意量が大きいときの確率分布および注意量が小さいときの確率分布はかなり重複している。また、注意量判別率もそれぞれ55.4%および59.8%と低い値になっていることが分かる。
一方、図6(c)の視角20度以上である領域3(周辺視野領域)の場合は、注意量が大きいときの確率分布および注意量が小さいときの確率分布がある程度分離しており、注意量判別率も73.7%と非加算時の脳波の判別としては非常に高い値となっている。
したがって周辺視野領域に発生する刺激に対する事象関連電位のP300を利用して注意量を判別すれば、数10回〜数100回レベルの加算を行わなくても、非加算脳波で高い判別率を維持できる、という知見を得ることができる。
ただし、上記で得た知見に基づいて注意量を判別する場合、注意量を判別する際に利用する閾値が個人ごとに大きく異なり、平均値など万人に画一的な数値を閾値として注意量判別を行うと、確度よく判別が行えない。
以下で、より詳しく説明する。
図7に被験者ごとの非加算脳波のP300最大振幅についての確率分布と、判別率を最大にする閾値を示す。この閾値は、その被験者に関する最大の判別率を与えるため、その被験者にとって最適な閾値であるといえる。そこで、以下、判別率を最大にする閾値を「最適閾値」と呼ぶ。
図7の各々のグラフの縦軸は電位でその単位はμV、横軸は注意量ごとの発生確率でその単位は%である。グラフ中の横点線は注意量判別の最適閾値を示している。グラフ下の表は、被験者ごとの最適閾値の数値を示す。最適閾値は、被験者4名A〜Dで、12.5μV、32.5μV、27.5μV、17.5μVであった。このように最適閾値の値は、個人ごとにばらつきが存在する。上記個人ごとの最適閾値を利用して注意量判別を行った場合の判別率は平均で73.7%となった。これに対し、個人ごとの閾値の違いを考慮せず、最適閾値の平均値22.5μVを閾値として注意量判別を行うと、判別率66.1%となった。このように、個人ごとの閾値を考慮した場合と比較して低い判別率となってしまう。よって、十分な判別精度を維持する為には、個人差を考慮した閾値設定を行う必要がある。
個人ごとに最適閾値を求める為には、あらかじめ注意集中、注意散漫状態で運転をしてもらい、その状態における脳波を事前計測して最適閾値を決定する方法が考えられる。しかし、上記のようなキャリブレーションの為の試行を事前に行うことは、運転者の負担となってしまう。また、注意散漫状態で運転を行うことは非現実的である。
そこで、本願発明者らは、個人ごとの最適閾値に関係ある値として、中心視野のP300の分布に着目し、上記実験の解析を行った。その結果、最適閾値が、注意量の大小を区別しなくても中心視野領域に発生する刺激に対する事象関連電位のP300の分布の中央値と相関がある知見を見出した。ここで中央値とは、データを大きさの順に並べたときに、中央にくる値を表す。以下、従来文献(山田剛史ら、よくわかる心理統計、2004、p30−33、ミネルヴァ書房)にあるとおり、外れ値の影響の少ないことから、平均値ではなく中央値を利用した場合を一例として説明する。
以下に、上述した新たに得られた知見について説明し、その後、事前にキャリブレーションすることなく個人ごとに注意量判別閾値を設定し、注意量判別を行う実施形態を説明する。
注意集中、注意散漫状態で運転した脳波データを事前に取得しておくことなしに閾値を設定する為には、運転者が運転を開始した後の脳波を利用して閾値を設定する必要がある。本願発明者らは、図5から得られた2つの特徴により、最適閾値に相関のあるパラメータとして、中心視野領域のP300の分布に着目した。
特徴の1つ目は、領域1(中心視野領域)のP300の分布の中心(注意量大と注意量小の中間)と領域3(周辺視野領域)のP300(以下、周辺刺激のP300)の分布の中心(注意量大と注意量小の中間)とが比較的近い値をとっていることである。領域2のP300の分布の中心と領域3の周辺刺激のP300の分布の中心との関係も同様である。個人ごとにみても、中心視野領域のP300の分布の中心と周辺視野領域のP300の分布の中心は近い関係にあると考えられ、周辺視野領域のP300の分布の中心が最適閾値であるとすると、中心視野領域のP300の分布と最適閾値に相関があると予想される。
特徴の2つめは、領域3(周辺視野領域)では、注意量大の状態と注意量小の状態でP300の分布の差が大きいのに対し、領域1(中心視野領域)では注意量大の状態と注意量小の状態の分布が密集していることである。運転中の脳波を利用して閾値の設定を行う時には、取得された脳波が運転集中状態か注意散漫状態かの区別がつけられない。
これらの特徴から、次のようなことが言える。運転状態が制御されている実験状況と異なり、実際の運転状況では運転集中状態か注意散漫状態かの区別は与えられない。このため、運転状況で得られた分布は、集中状態を強く反映している可能性も、注意散漫状態を強く反映している可能性もあり、この場合でも個人差に対応した判別閾値を決定する必要がある。この観点からすると、中心視野領域では集中時でも散漫時でも振幅平均値が近いという特性は、判別の情報としては使いにくいが、その運転者の基本的な振幅を表現する指標(判別閾値)としては有効であると考えられる。個人差は、振幅のベースラインの差として表現でき、中心視野の分布は、運転の注意状態によらず、その運転者の基本的な振幅を表現していると考えてよい。また、上記特徴の1つめの知見とあわせて考えると、この中心視野から求められる振幅は、周辺視野の注意状態を判別するための閾値としても有効であるという考えに至る。
よって、周辺視野領域に呈示された視覚刺激(以下、「周辺刺激」と記述する。)のP300分布の中心を算出しようとすると、運転者が運転集中状態か注意散漫状態かによって、算出される中心に偏りができてしまう。例えば、運転者が散漫状態であった場合、周辺刺激のP300分布を使って中心を算出すると、分布の中心は最適閾値よりも小さい値になってしまう。しかし、中心視野領域に呈示された視覚刺激(以下、「中心刺激」と記述する。)のP300は、運転集中状態か注意散漫状態で、P300振幅はほぼ同様に分布している為、運転者の注意状態にかかわらず、P300の分布の中心はほとんど変化がない。したがって、運転者の注意量が不明な状態での閾値設定では、中心刺激のP300の分布の利用が有効と考えられる。
上記特徴から、分布の中心の算出方法として、はずれ値の影響が少ない中央値を利用し、中心刺激のP300分布の中央値と最適閾値の相関の解析を行った。
図8は、被験者10名における中心視野領域に発生する刺激に対する事象関連電位のP300分布(中心刺激P300分布)の中央値と最適閾値のグラフを示す。グラフの横軸は、中心刺激P300分布の中央値でその単位はμVであり、縦軸は最適閾値でその単位はμVである。被験者1人に対し、1つのプロットで示されており、全プロットに対する近似線を実線で示している。個人ごとに、最適閾値と中心刺激P300分布の中央値にバラツキが見られる。全被験者の最適閾値と中心刺激P300分布の中央値の相関係数rを算出したところ、r=0.53であった。一般的に、従来文献(山田剛史ら、よくわかる心理統計、2004、p110、ミネルヴァ書房)によれば、相関係数0.4以上は、中程度の相関ありと判断できる。よって、相関係数が0.5を超えていることから、最適閾値と中心刺激P300分布の中央値は中程度の相関があると判断できる。
以上の結果より、中心視野のP300の中央値と最適閾値には相関があり、中心視野のP300の中央値を利用して最適閾値を算出できるという知見が得られた。
上記知見を利用することにより、中心刺激のP300分布を計測し、その分布の中心(例えば中央値)を使って閾値を設定することで、注意集中、注意散漫状態で運転した脳波データを事前に取得しておくことなく、個人に合わせた判別が行える運転注意判別装置を実現できる。
以下、この着想に基づいて構成した本発明の各実施形態を、図面を参照しながら説明する。
(実施形態1)
図9は、本実施形態における運転注意量判別装置1のブロック構成を示す。
運転注意量判別装置1は、運転者10の脳波信号を利用して、運転者10の運転に対する注意量を判別し、判別結果に応じた支援を行うための装置である。
運転注意量判別装置1は、脳波計測部20と、中心刺激呈示部30と、閾値設定部40と、周辺刺激呈示部50と、注意量判別部60と、蓄積部70と、表示パネル75とを備えている。運転者10のブロックは説明の便宜のために示されている。
脳波計測部20は、運転者10の脳波を計測する。
中心刺激呈示部30は、運転者10の中心視野領域に視覚刺激を発生させる。本明細書では、中心視野領域に与えられる視覚刺激を、「中心刺激」と呼ぶ。
閾値設定部40は、中心刺激の発生時刻を起点に計測した前記脳波信号から、注意量判別に利用する閾値を設定する。
周辺刺激呈示部50は、運転者10の周辺視野領域に視覚刺激を発生させる。本明細書では、周辺視野領域に与えられる視覚刺激を、「周辺刺激」と呼ぶ。
注意量判別部60は、周辺刺激の発生時刻を起点に計測した前記脳波信号と前記閾値から運転者10の周辺視野領域に対する注意量を判別する。
蓄積部70は、判別結果のデータを記録媒体に蓄積する記憶装置である。記録媒体として、USB接続型/メモリカード型のフラッシュメモリやSSDなどのシリコンディスク(半導体記録媒体)、ハードディスクドライブなどの磁気記録媒体、DVD、BDなどの光ディスク媒体が想定される。
表示パネル75は、判別結果を表示する表示機器である。たとえば表示パネル75は、運転注意量判別装置1に設けられた液晶パネルである。
以下、各構成要素を詳しく説明する。
脳波計測部20は、運転者10の頭部に装着された電極における電位変化である脳波信号を計測する脳波計である。本願発明者らは、将来的には装着型の脳波計を想定している。そのため、脳波計はヘッドマウント式脳波計であってもよい。運転者10は予め脳波計を装着しているものとする。
運転者10の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部20には電極が配置されている。電極の配置は、例えばPz(正中頭頂)、A1(耳朶)および鼻根部になる。従来文献(宮田洋ら、新生理心理学、1998、p119、北大路書房)によれば、外的な刺激に対する認知や注意を反映し、その刺激の発生タイミングを起点として約300ミリ秒付近に現れる陽性成分であるP300は、Pz(正中頭頂)で最大の振幅に達するとされている。但し、Pz周辺のCz(頭蓋頂)、Oz(後頭部)でもP300の計測は可能であり、当該位置に電極を配置しても良い。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。
中心刺激呈示部30、および、周辺刺激呈示部50は、それぞれ、運転者10の中心視野領域および周辺視野領域に刺激を呈示する。これらはたとえばプロジェクタ、LED、ディスプレイ(点灯のための制御回路を含む)である。刺激の呈示方法は、例えば、自動車のフロントガラス上への投影である。または、運転注意量判別装置1がメガネ型のヘッドマウントディスプレイ(Head Mounted Display(HMD))であると想定した場合は、HMDのディスプレイ上に刺激を呈示することも可能である。さらに、運転注意量判別装置がドライビングシミュレータ(Driving Simulator(DS))に組み込まれた場合には、DSの画面上に刺激を呈示することも可能である。これらの各々の具体的な態様は、後に図11、21、22を参照しながら詳述する。
なお、中心視野領域151および周辺視野領域152は変化しうる。たとえば運転者の視野は、明るさや車の走行速度等によって変化する。よって、自車両の速度が速くなった場合には、通常設定されている中心視野領域151よりも小さくなっており、そして周辺視野領域は大きくなっているとして、中心刺激呈示部30および周辺刺激呈示部50が刺激を呈示する位置を変更して調整してもよい。
例えば、時速50km未満の場合と時速100km以上で、中心視野領域の面積が40%減少すると設定した場合を例を説明する。市街地など時速50km以下走行時には、中心刺激呈示部30は、図4で示すように注視点150の上下左右20度の領域を中心視野領域として視覚刺激を呈示する。また、高速道路など時速100kmを超える速度で走行している場合には、中心視野領域の面積を40%減少させた上下左右15度の領域が中心視野となる。よって、中心刺激呈示部30は、注視点から上下左右15度の領域を中心視野領域であると設定し、この範囲に視覚刺激を呈示する。一方、周辺刺激呈示部50は、その外側の領域が周辺視野領域であると設定し、その範囲に視覚刺激を呈示する。
また中心視野領域を、上記のように注視点からの視角の範囲で定義するのではなく、自車前方の同一車線内の範囲を、明確に意識できる領域として設定してもよい。
閾値設定部40は、中心刺激呈示部30が呈示した刺激に対する特徴信号を利用して、注意量を判別する閾値の設定を行う。事象関連電位の特徴信号として、上記ではP300について説明したが、潜時帯が近いN200、P200、P600などの信号も同様の傾向で出現すると考えられる。以下では、左記の特徴信号を代表して、P300を特徴信号として説明する。なお、N200は、150ミリ以上250ミリ秒以下の陰性成分である。P200は、150ミリ以上250ミリ秒以下の陽性成分である。P600は、400ミリ以上800ミリ秒以下の陽性成分である。
注意量判別部60は、周辺刺激呈示部50が呈示した刺激に対する脳波の特徴信号を利用して、運転者10の注意量を判別する。特徴信号として、上記ではP300について説明したが、潜時帯が近いN200、P200、P600などの信号も同様の傾向で出現すると考えられる。以下では、左記の特徴信号を代表して、P300を特徴信号として説明する。なお、注意量判別部60が利用する特徴信号は、閾値設定部40が利用した特徴信号と同じである。
注意量の判別結果は、蓄積部70に蓄積されてもよいし、注意量判別部60が保持する記録装置(HDD等)に記録、蓄積されてもよい。また、表示パネル75を利用して運転者10に対して判別結果のフィードバックを行ってもよい。注意量判別部60がディスプレイ等の出力装置を保持している場合には、その出力装置を利用してもよい。
本実施形態では、自動車教習所におけるドライビングシミュレータ(DS)に運転注意量判別装置1を組み込んだ場合を例に説明を行う。
図10は運転注意量判別装置1の処理全体のフローチャートを示す。以下、図10の運転注意量判別装置1のフローチャートに沿って、動作を説明する。
ステップS10で、DSの運転が運転者10により開始される。DSの運転が開始されると、運転注意量判別装置1による注意量判別の処理も開始され、脳は計測部20で脳波計測が開始される。
ステップS20で、脳波計測部20は、運転者10の脳波を計測する。測定された脳波は、コンピュータで処理できるようにサンプリングされ、閾値設定部40、注意量判別部60に送られる。なお、脳波に混入するノイズの影響を低減するため、脳波計測部20において計測される脳波は、予め例えば15Hzのローパスフィルタ処理がされているものとする。
ステップS22では、閾値設定部40は、注意量判別部60に注意量判別の為の閾値が設定されているかを確認する。閾値が設定されていない場合には、閾値を設定するステップS3へと進む。閾値がすでに設定されている場合には、閾値精度を高めるステップS4または注意量を判別するステップS5の分岐ステップS24へと処理を進める。
閾値の設定を行うステップS3は、中心刺激を発生させるステップS30と閾値を設定するステップS40から構成される。
ステップS30で、中心刺激呈示部30は、運転者10の中心視野領域に視覚刺激を呈示する。
刺激呈示の例を図11(a)に示す。図11(a)は、DSの前方方向のディスプレイに表示された画像の例を示している。ドライバの注視点300が×印で示されており、注視点300から視角20度の範囲(全体で40度の範囲)が中心視野領域301となる。この中心視野領域301の任意の位置に、中心視野視覚刺激302が呈示される。(注視点300の×印、視野領域の点線は説明のために記載したもので、画面上には表示されない)。LEDを用いて中心視野視覚刺激302を呈示する場合には、LEDは点光源として設置され得る。
中心刺激呈示部30は、刺激を呈示したタイミングを示す情報を閾値設定部40へ送る。
再び図10を参照する。
ステップS40で、閾値設定部40は、計測された脳波と中心視野領域の刺激呈示タイミングを示す情報に基づいて事象関連電位を切り出し、P300の抽出を行う。
閾値設定部40は、事象関連電位のP300の振幅の分布を保持し、分布の中央値を算出することにより、閾値を設定する。処理の詳細については後述する。
閾値設定部40は、中心刺激のP300の分布の中央値により閾値を設定する。ただし、計測されたP300のデータが少ない場合、閾値設定部40はP300の分布を解析することができず、中央値を算出することができない。よって、ステップS42にて、閾値設定部40は、中心刺激のP300が分布の中央値を算出するのに十分な個数蓄積されているかを確認する。ここでは、閾値設定部40は、中心刺激の呈示がN回(例えば5回)行われたかを確認することで、呈示がN回以上行われているときは適切に中央値を算出できたと判断し、ステップS24の分岐処理へと進む。呈示がN回以上行われていない場合は、中心刺激のP300のデータ数が不十分で適切に中央値が算出できていないと判断し、再度ステップS30の処理に戻り、中心刺激の呈示を行う。なお、後に言及するように、本実施形態においては、Nは5以上の整数である。
閾値が設定されている状態で、ステップS24で、閾値精度を高めるステップS4または注意量を判別するステップS5の分岐を行う。この分岐により、次の刺激呈示の処理として、閾値の再設定を行うか、注意量の判別を行うかが決定される。運転者に注意判別のタイミングを読まれないように、ステップS4の処理とステップS5の処理は、ランダムに切り替える。なお、ステップS4とステップS5の処理を交互に行うなど予め決められた順序に従って処理を切り替える方法でも問題はない。
閾値精度を高める処理S4は、閾値の設定を行うステップS3と同様、中心刺激を発生させるステップS30と閾値を設定するステップS40から構成される。
ステップS31で、中心刺激呈示部30は、運転者10の中心視野領域に視覚刺激を呈示する。刺激の呈示方法はステップS30の中心刺激の呈示と同様である。刺激呈示後、中心刺激呈示部30は、刺激を呈示したタイミングを示す情報を閾値設定部40へ送る。
ステップS41で、閾値設定部40は、注意量判別の閾値の更新処理を行う。閾値設定部40は、計測された中心刺激の事象関連電位からP300振幅を抽出し、ステップS40で作成したP300分布にP300のデータを追加する。中心刺激のP300のデータ量が増える為、P300分布の精度を高めることができる。閾値設定部40は、P300分布の中央値を算出することにより、閾値を再計算する。P300分布の精度が高まっている為、算出される中央値および閾値の精度も向上する。
運転時間が数分〜2,3時間の範囲においては、各人のP300の分布は変化しないと考えられるが、数日、数週間の時間範囲においては、同一個人内でP300分布は変化してくると考えられる。よって、閾値設定のために利用する中心刺激のP300データの範囲としては、同一運転時(エンジンをかけてエンジンを停止するまでの間)を1つのまとまりとして解析し、1つの閾値を設定するのが望ましい。
ステップS4にて、中心刺激の呈示の回数を増やすことにより、ステップS40での閾値設定部40の処理の際、事象関連電位のP300の振幅の分布の母数を増やすことができ、分布の中央値の精度を向上させることができる。分布の中央値の精度が向上することにより、個人に合わせた閾値の精度を向上させることが可能になる。
注意量を判別するステップS5は、周辺刺激を発生させるステップS50と注意量を判別するステップS60から構成される。
ステップS50で、周辺刺激呈示部50は、運転者10の周辺視野領域に視覚刺激を呈示する。周辺視野の刺激が表示される位置を図11で説明する。周辺視野領域501は、中心視野領域を除いた注視点300から上下130度、左右180度の領域である。したがって、中心視野領域301の外側かつ周辺視野領域501の内側の任意の位置に視覚刺激が呈示される。
周辺刺激呈示の例を図11(b)に示す。図11(b)は、図11(a)同様、DSの前方方向のディスプレイに表示された画像の例を示している。ドライバの注視点300が×印で示されており、注視点300から上下130度、左右180度の範囲で中心視野から外れた領域が周辺視野領域501となる。この周辺視野領域501の任意の位置に、周辺視野視覚刺激502が呈示される。(注視点300の×印、視野領域の点線は説明のために記載したもので、画面上には表示されなくてもよい)。周辺刺激呈示部50は、刺激を呈示したタイミングを示す情報を注意量判別部60へ送る。
ステップS60で、注意量判別部60は、計測された脳波と周辺視野領域の刺激呈示タイミングを示す情報に基づいて事象関連電位を切り出し、特徴信号の抽出を行う。注意量判別部60は、事象関連電位のP300の振幅と閾値とを比較する。
P300振幅が閾値を下回ったとき(P300の振幅値が閾値より小さい場合)には、注意量判別部60は、注意散漫状態であると判別する。逆に、振幅が閾値を上回ったとき(P300の振幅値が閾値以上の場合)には、注意量判別部60は、運転集中状態と判別する。注意量判別部60は、判別結果を蓄積部70に蓄積する。処理の詳細については後述する。
閾値精度を高めるステップS4、注意量を判別するステップS5が行われた後、または、ステップS26にて、運転者10による運転が継続しているかの確認が行われる。運転が継続されているか否かの判断基準は、たとえばDS利用環境においては、想定された所定のコースを一周するまでは運転が継続されていると判定すればよい。実車の場合には、エンジンがオフされるまでは運転が継続されていると判定すればよい。
運転が継続されている場合には、運転注意量判別も継続され、再びステップS24の分岐の処理に進み、閾値設定または注意量判別の処理が行われる。運転が終了した場合には、運転注意量判別装置1の処理も終了する。
次に、ステップS40で行われる閾値の設定処理の詳細を説明する。図12は、閾値設定部40が行うステップS40の処理の流れを示すフローチャートである。閾値の設定は、中心視野に呈示した刺激を利用して行われる。以下の処理により、注意集中、注意散漫状態で運転した脳波データを事前に取得しておくことなく、個人に合わせた閾値が設定できる。
ステップS401で、閾値設定部40は、脳波計測部20により計測された脳波を受信する。計測された脳波の例を図13(a)に示す。グラフの横軸は時間で、縦軸は脳波の電位を表している。
ステップS402で、閾値設定部40は、中心刺激呈示部30より、中心視野に呈示された刺激のタイミングを示す情報を受信する。呈示された中心刺激のタイミングの例を図13(b)に示す。横軸は時間で、黒三角の位置が中心刺激の呈示タイミングを示している。
ステップS403で、閾値設定部40は、中心刺激の呈示タイミングを起点とした脳波を抽出する。具体的には、中心視野領域の刺激呈示タイミングを起点(0ms)として、−100ミリ秒から600ミリ秒までの脳波データを切り出す。図13(c)に切り出された脳波データの例を示す。グラフの横軸が時間(ミリ秒)で縦軸が電位(μV)を表している。切り出した脳波に対し、閾値設定部40は、刺激が発生した時刻を起点として−100ミリ秒から0ミリ秒までの平均電位でベースライン補正を行う。
ステップS404で、閾値設定部40は、切り出した脳波データに含まれる、事象関連電位のP300の振幅値の蓄積を行う。P300は、約300ミリ秒付近に現れる陽性のピーク(極大値)の振幅値により計測される。図13(c)にはP300の振幅101の例を示す。振幅101の大きさがP300振幅として蓄積される。図13(c)の場合には、10.0μVがP300振幅となる。
ステップS405で、閾値設定部40は、蓄積されたP300のデータ個数をチェックする。1回の中心刺激の呈示で1つのP300が蓄積される。P300の分布を解析するためには、複数のP300データが必要となる。ここでは、蓄積したP300の個数が必要データ(N)に達しているかの確認を行う。例えば、5個を分布の信頼性の最低個数と考えると、N=5となり、P300の蓄積個数が5個を超えたか否かがチェックされる。必要データ数を超えていた場合は、ステップS406へ進み、閾値の設定処理が継続される。必要データ数に到達していない場合は、閾値設定を行わずに処理を完了する。
ステップS406で、閾値設定部40は、蓄積されたP300の分布を解析する。P300の振幅値とその度数を調べ、中心刺激に対するP300の分布を解析する。上記実験で解析されたP300分布の例を図14に示す。図14は、216回分の中心刺激に対するP300振幅の分布の例である。図14のグラフの縦軸は、P300振幅の電位(μV)で、横軸は、各電位における度数を示す。P300の分布は、運転者10の運転集中状態、注意散漫状態を区別することなく行う。
ステップS407で、閾値設定部40は、解析されたP300分布に基づいて、中心刺激に対するP300振幅の中央値を算出する。中央値を利用することによって、突発的に混入した体動ノイズ等の外れ値の影響を軽減した分布の中心が算出できる。図14の例では、度数の中心が位置する振幅値21.0μVが中央値となる。
ステップS408で、閾値設定部40は、注意量判別の為の閾値を設定する。ここでは、中心刺激のP300分布の中央値と最適閾値の相関があるという知見(図8)から、ステップS407で算出した中央値を注意量判別の閾値として採用し、その閾値を注意量判別部60に設定する。すなわち、21.0μVを注意量判別の閾値に設定する。
上記の流れで、中心視野の刺激のP300の分布の中央値を利用することにより、個人に合わせた注意量判別の閾値を設定できる。
なお、上記例では、ステップS407において、外れ値の影響を軽減するため中央値を利用したが、中心を求めることが可能な他の分布の中心を求める方法(例えば平均値など)を利用してもよい。
次に、ステップS60で行われる注意量判別処理の詳細を説明する。図15は、注意量判別部60が行うステップS60の処理の流れを示すフローチャートである。注意量の判別は、周辺視野に呈示した刺激を利用して行われる。
ステップS601で、注意量判別部60が、脳波計測部20により計測された脳波を受信する。
ステップS602で、注意量判別部60が、周辺刺激呈示部50により周辺視野に呈示された刺激のタイミングを示す情報を受信する。
ステップS603で、注意量判別部60は、周辺刺激の呈示タイミングを基点とした脳波データを抽出する。注意量判別部60は、閾値設定部40で行われるステップS403と同様、刺激呈示タイミングを起点(0ms)として、−100ミリ秒から600ミリ秒までの脳波データを切り出し、−100ミリ秒から0ミリ秒までの平均電位でベースライン補正を行う。
ステップS604で、注意量判別部60は、脳波データに含まれる事象関連電位波形のデータを蓄積する。蓄積は、注意量判別部60がアクセス可能な蓄積手段(たとえばメモリ)を利用して行われる。メモリは、注意量判別部60以外の機能ブロックからアクセスされるメモリと共通であってもよい。
ステップS605では、注意量判別部60は、ステップS604で蓄積した脳波データの個数が予め設定された必要な加算回数に達しているか否かを判別する。達していない場合は注意量判別の処理を完了し、達している場合はS606に進む。
次のステップS606に関連して、本実施形態による注意量判別方法を説明する。
一般的に、事象関連電位の研究では、脳波データの加算平均を求めてから解析が行われる。これにより、注目している脳活動と同期しない背景脳波と呼ばれる脳の活動電位は相殺され、一定の潜時(刺激の発生時刻を起点に活動電位が発生するまでの時間)と極性を持つ事象関連電位(例えばP300)が検出できる。例えば、従来文献(宮田洋ら、新生理心理学、1998、p110、北大路書房)によれば、30回の加算平均処理を行っている。
そこで、本実施形態においても、加算平均演算を行って注意量判別のための解析処理を行うとする。
加算の方法は、たとえばタイムスライディング方式が挙げられる。図16は、タイムスライディング方式を採用して得られた、加算平均波形1〜5を示す。この例は指定回数分(例えば5回)の波形を加算する方式で、新たな波形が入力された場合に、最も古い波形を1つ除外して指定回数分の波形を加算平均し、加算平均波形を生成する。この方式により、時刻変化に伴う波形の変化にすばやく追従した加算波形を生成することが可能になる。
また一定の時区間ごとに出力する加算波形を生成することもできる。時区間ごとに加算波形を算出する手法は、刺激が統制できない実環境では有効な方法である。
但し、本実施形態においては、注意量判別部60の加算回数は上述の指定回数に限定されず、非加算脳波(1個の脳波データ)であってもよい。非加算脳波であっても、注意量判別部60は注意量を判別することができる。なお、非加算脳波に対する注意量を判別した場合、呈示された刺激に対する注意量を判別することができる為、呈示された刺激を認知できた(注意量が大きかった)か、見落とした(注意量が小さかった)かを判別できる。
図15のステップS606では、注意量判別部60は、ステップS605で蓄積した必要回数分の脳波データの加算平均処理を行う。さらに、注意量判別部60は当該加算平均後の脳波データから事象関連電位の300ミリ秒から600ミリ秒の振幅を解析して、P300を抽出する。注意量の判別には、閾値設定部40が算出した閾値を利用し、加算平均後の脳波データのP300振幅値と閾値との比較により、注意量が判別される。比較の結果、P300振幅値が閾値を下回った場合(P300の振幅値が閾値より小さい場合)には、注意量判別部60は、運転者10は注意散漫状態であると判別する。逆に、振幅が閾値を上回ったとき(P300の振幅値が閾値又は閾値より大きい場合)には、注意量判別部60は、運転者10は運転集中状態であると判別する。図14の例では、閾値は21.0μVに設定されている。注意量判別部60は、この値とP300振幅とを比較する。
図15のステップS607では、注意量判別部60は、ステップS606で判別された結果のデータを、たとえば蓄積部70に蓄積し、または表示パネル75に表示させるために送信する。蓄積された結果は、後で運転者10の運転傾向の分析などの目的で利用できる。蓄積される情報の例を図17に示す。蓄積される情報としては、判別された結果である注意量の他、呈示された刺激の位置、刺激の視野領域(中心視野または周辺視野)、呈示時刻である。呈示された刺激の位置としては、例えば前方正面を座標(0,0)とした場合の相対視角(例えばX軸は右側が正、Y軸は上側が正の値)が記録される。呈示タイミングは、視野刺激が呈示された時刻が記録され、周辺刺激の場合には、注意量判別結果が、集中状態または散漫状態のいずれであったかが記録される。
以下に、記録された注意量結果の利用方法について説明する。
表示パネル75は、結果を表示し、運転者10にフィードバックする。注意量判別部60がディスプレイ等の表示手段を保持している場合も同様である。さらに、運転注意量判別装置1が通信手段を保持している場合には、結果を注意量判別装置1の外部に送信してもよい。例えば運転注意量判別装置1が自動車の制御ユニット(図示せず)に接続されているとする。注意散漫と判別された場合には、運転注意量判別装置1は自動車の制御ユニットに結果を出力し、当該制御ユニットがブレーキを作動させて自動的にブレーキをかける等の制御を行ってもよい。
教習所での利用では安全運転指導を目的として運転注意量判別装置1が利用される。たとえば、注意量が低下し注意散漫状態と判別された場合には、運転注意量判別装置1に内蔵されたスピーカーまたは運転注意量判別装置1に接続された外部スピーカー等の音声出力手段を利用して、警告音を出力し、運転者および運転指導者に注意散漫な状態を通知してもよい。
また、非加算波形による注意量判別を行った場合には、どの刺激を見落したかを判断できる為、DSのディスプレイ上の見落した刺激位置をアイコンで表示し、運転者にリアルタイムに見落し刺激の警告を行ってもよい。警告の例を図18(a)に示す。図18(a)では、周辺視野に刺激を呈示し、注意量判別部60により注意散漫と判断されたその直後に、DS画面140上の周辺刺激の位置に、刺激を見落したことを通知するアイコン(見落し通知アイコン141)が表示された例である。見落し通知アイコン141の表示中は、運転者は見落し通知アイコン141に注目し、運転に集中していない状態であると考えられる為、運転注意量判別装置1の中心刺激および周辺刺激は表示しないようにしてもよい。また、教習所の運転指導者による指導が行えるよう、見落し通知アイコン141表示時は、DSの映像を一時停止する信号をDSに送信する処理を行ってもよい。
これまでは、運転者が注意散漫と判断された際に、リアルタイムにフィードバックする例について説明した。他には、DS運転終了後に運転者への運転成績をフィードバックしてもよい。運転成績の例を図18(b)に示す。運転成績は、注意量判別部60が蓄積している注意量判別結果にもとづいて、成績表示する装置を利用して行われる。図18(b)では、運転時間、集中時間(運転集中と判別された時区間の合計)、周辺刺激の見落し数が表示される。この成績にもとづいて、教習所の運転指導者による指導が行われる。また、DS運転後のフィードバック方法として、運転時のDS映像をリプレイし、見落し刺激をフィードバックしてもよい。その場合、注意量判別部60が蓄積している注意量判別結果にもとづいて、図18(a)と同様に、DS映像上に見落し通知アイコン141を表示する方法が挙げられる。
次に、本発明の手法によって注意量の判別を行った場合の判別率について説明する。注意判別部60は、閾値設定部40で中心刺激の反応により設定した閾値と、周辺刺激の反応のP300の振幅との比較を行う。本願発明者らは、実際に上述の通り実施した実験のデータをもとに、周辺刺激216試行に対する判別率の評価を行った。
図19は上記実験での周辺刺激に対する反応のP300の分布を示す。グラフの縦軸はP300の電位でその単位はμV、横軸は注意量ごとの発生確率でその単位は%である。実線は注意量が大きいときのP300振幅と発生確率との関係を示し、破線は注意量が小さいときのP300振幅と発生確率との関係を示す。また、上記実験における中心刺激の反応のP300分布は図14に示した通りである。図14の中心刺激の反応のP300分布の中央値により設定された閾値(21.0μV)を図19上に一点鎖線で示す。このようなP300の分布において、注意量判別部60は、P300の振幅の電位が閾値よりも高いときは運転集中状態(注意量大)と判別し、閾値を下回るときは注意散漫状態(注意量小)と判別する。本願発明者らは、実際に注意量を正しく判別できた割合を判別率として算出した。具体的には、判別率=正しく判別できた個数/全体個数で算出される。
図20は、本発明の手法で注意量判別を行った判別率の結果を示す。対比のため図20は、最適閾値を利用して個人差を考慮して判別を行ったときの結果、および、個人差を考慮せず最適閾値の平均値を利用して判別を行ったときの結果も示している。。
本発明の手法による判別率が71.3%であるのに対し、個別に最適閾値を利用したときの判別率は73.7%、最適閾値の平均値を利用したときの判別率は66.1%であった。
このように、一律の閾値よりも精度が高く、最適閾値に近い精度で判別できていることがわかる。
本実施形態にかかる構成および処理の手順によれば、運転者の状態を判別し安全運転支援を行う装置において、中心刺激の発生時刻を起点とした脳波信号の事象関連電位から運転者に合わせた判別の為の閾値を抽出する。これにより、注意集中、注意散漫状態で運転した脳波データを事前に取得しておくことなしに、周辺視野に対する注意量を判別できる。よって、運転者はDSの運転を開始してすぐに注意量判別を行うことが可能になり、運転者の負担を軽減することができる。
なお、本実施形態では、自動車教習所におけるDSに運転注意量判別装置1を組み込んだ場合を例に、視覚刺激をDSディスプレイ上の任意の位置に呈示する方法を説明した。以下、DS環境とは異なる実車環境で実施する例を説明する。
中心刺激呈示部30、周辺刺激呈示部50は、視覚刺激を車のフロントガラスの上に投影することにより呈示する。
中心刺激呈示部30、周辺刺激呈示部50の構成の例を図21に示す。図21は運転席側のフロントガラス161に投影される刺激の例を示す。中心刺激呈示部30、周辺刺激呈示部50は、それぞれ高輝度プロジェクタを有しており、ダッシュボード162の内部に設置される。例えばフロントガラス161の中央を注視点と想定すると、中心刺激呈示部30は中心から40度の中心視野領域151に刺激を投影するよう設置され、周辺刺激呈示部50も同様に、上下130度、左右180度の周辺視野領域152の範囲に刺激を投影するように設置される。投影された刺激はフロントガラスで反射し、ユーザ10の目に視覚刺激として入力される。
また、図22は、周辺刺激の呈示にプロジェクタを利用しない例を示す。周辺刺激呈示部50は、車内の天井部分やピラー、サイドミラー163の周辺に設置されたLED164と接続されている。例えば図22の黒丸「●」で示した各位置にLED164が設置される。周辺刺激呈示部50は、これらLED164を制御して点灯させることにより周辺刺激を呈示する。
さらに、ヘッドマウントディスプレイ(HMD)を利用した刺激呈示方法の例を説明する。図23は、HMD165に本実施形態の構成を組み込んだ例を示す。HMD165は図9に示す本実施形態の運転注意量判別装置1の構成が実装されている。表示パネル75として両眼用にディスプレイ166が設けられている。視覚刺激呈示の際には、中心刺激呈示部30および周辺刺激呈示部50は、刺激を呈示させるための指示信号をディスプレイ166に送信し、HMDのディスプレイ166上に刺激を表示させる。これにより、中心視野領域および周辺視野領域には視覚刺激が呈示される。ディスプレイ166がシースルーディスプレイの場合は、実際に運転者10が見ている景色に重畳されて視覚刺激が呈示される。
図23では、中心刺激呈示部30、閾値設定部40、周辺刺激呈示部50、注意量判別部60がHMD165に組み込まれている例を説明したが、上記機能ブロックが車内に配置され、脳波計測部20やディスプレイ166と通信を行いながら、刺激の呈示の制御や注意量の判別処理を行ってもよい。通信方式は、Bluetoothや無線LANなどの一般的な無線規格や独自の規格が想定される。
なお、本実施形態では、自車両の進行方向の中心を注視点として中心視野領域、周辺視野領域を定義し刺激の呈示を行ったが、図9の構成に加えて、さらに運転者10の視線位置を検出する視線計測部を設けて、視線位置とその位置関係(例えば視角や距離)により視野領域の設定を行い、中心刺激、周辺刺激を呈示してもよい。
図24は、視線計測部76の一例を示す。視線計測部76は、たとえばDS環境において、車両前方の風景を射影した2次元平面136における運転者の注視点137を計測する。具体的には、視線計測部76においては、近赤外線光源131が近赤外線の点光源を眼球に照射し、CCDカメラ132で眼球の映像を撮影する。そして、撮影した映像を用いて、反射像位置検出部133は瞳孔および角膜表面における光源の角膜反射像の位置を検出する。キャリブレーション情報記憶部135は、角膜反射像の位置と撮影部15で撮影された車両前方映像における注視点座標との関係を予め記憶している。変換部134は当該キャリブレーション情報に基づいて、角膜反射像の位置から車両前方映像上での運転者の視線または注視点を計測する。
なお、視線に応じて変動し得る中心視野領域の設定は中心刺激呈示部30が行い、中心視野領域に応じて定まる周辺視野領域の設定は、周辺刺激呈示部50が行えばよい。
(実施形態2)
実施形態1では、実車環境またはDS環境において中心視野領域や周辺視野領域に視覚刺激を呈示する例について説明を行った。
実施形態1の視覚刺激呈示方法によれば、実際に車を運転している際、前方に目障りとなるような視覚刺激を意図的与える必要があるため、運転者にとっては煩わしく感じる可能性がある。
そこで、本実施形態では、実際に運転しているシーンにおいて、意図的に視覚刺激を与えるのではなく、外部環境から与えられる視覚刺激を利用して閾値の設定および注意量の判別を行うこととした。本実施形態の運転注意量判別装置は、自車両の前方を撮影する撮影部を有しており、撮影映像から脳波の事象関連電位を分析する際の起点となる視覚刺激の発生を検出する。そして、撮影映像における視覚刺激発生の位置から中心視野領域および周辺視野領域を区別して、閾値を設定し、注意量を判別する。
図25は、撮影部95を設けた本実施形態における運転注意量判別装置2のブロック構成を示す。運転注意量判別装置2は、実施形態1に係る運転注意量判別装置1(図9)に撮影部95を追加するとともに、実施形態1に係る中心刺激呈示部30、周辺刺激呈示部50を刺激検出部90に置き換えて構成されている。以下、実施形態1に係る運転注意量判別装置1(図9)の構成に追加された各ブロックを詳しく説明する。
撮影部95は、車両前方(ダッシュボードの上やバックミラーの後ろなど)に車外に向けて設置され、例えば縦方向105度、横方向135度の画角などで車両前方を毎秒30フレームで撮影する。
刺激検出部90は、撮影部95が撮影した映像から脳波の事象関連電位を分析する際の起点となる視覚刺激の発生時刻を検出し、同時に撮影映像における視覚刺激の発生領域を判別する。ここで視覚刺激とは、映像中の輝度の変化が所定の閾値を越えたものを指し、例えば前方車両のブレーキランプや並行車両のウィンカー、対向車両のヘッドライト、信号の切り替わりなどが相当する。
刺激検出部90は、上述のように定義した視覚刺激の発生時刻を検出し、その刺激の位置を検出する。具体的には、輝度変化位置が中心視野領域内か周辺視野領域内かを検出する。判別方法としては、撮影映像(自車両の進行方向)の中心からの視角に基づいて判別する。当該刺激が中心から視角20度の範囲に含まれた場合を中心刺激と判別し、中心刺激範囲外でかつ中心から上下130度、左右180度の領域の範囲内の場合を周辺刺激と判別する。そして、当該刺激が中心刺激と判別された場合には当該刺激の発生タイミングを示す情報を閾値判別部40へ、周辺視野領域と判別された場合には当該刺激の発生時刻を注意量判別部60へ送信する。
本実施形態にかかる運転注意量判別装置2は、刺激検出部90に関して、実施形態1に係る運転注意量判別装置1と大きく異なっている。そこで、以下、図26のフローチャートを利用して、刺激検出部90の処理の詳細を説明する。その他の部分に関しては実施形態1と同様のため説明を省略する。
ステップS901で、刺激検出部90は、撮影部95で撮影された映像を受信し、映像の隣接するフレーム間の輝度値の差分を計測する。ただし、車載のカメラで撮影した場合、自車の動きに伴って映像全体が移動する為、単に隣接するフレーム間の差分を計算したのでは、映像全体が変化したと認識されてしまう。よって、フレーム間で対応する点(同一のオブジェクトの位置)を算出し、その対応点ごとの輝度値の差分を算出する。なお、ここでいう同一のオブジェクトとは、たとえば、前方車両の後部ランプユニットである。
ステップS902で、上記差分から所定の閾値Th1以上の輝度変化があったか否かを判別する。輝度変化があった場合は、ステップS903に進み、ない場合はステップS910に進む。ステップS910において、刺激検出部90は刺激検出が終了したか否かを判断する。言い換えると、刺激の検出を継続して行うかどうかが確認される。
ステップS903で、刺激検出部90は、当該輝度変化時刻と、その画像における輝度変化のあった位置とを視覚刺激として記録する。また、刺激検出部90は視覚刺激の視角を算出する。刺激の視角は、自車両の進行方向を撮影した映像を利用して算出できる。より詳しく説明すると、まず画像上の映像の中心からの単位長さ当たりの視角を予め用意しておく。映像の中心は注視点に対応している。そして、刺激検出部90が撮影した映像の中心と検出された刺激の座標との間の画像上の距離を求める。次に、求めた距離と、単位長さ当たりの視角とを乗算する。これにより、刺激の視角を求めることができる。なお、ここでいう視角とは、運転者10の眼球と注視点とを結ぶ視線と、運転者10の眼球と刺激の位置とを結ぶ線分とがなす角度であるとする。
なお、視角を算出する方法は他にも考えられる。たとえば、予め運転者10の眼球と撮影される画像の焦点位置との距離(以下「画像距離」と称する。)を設定しておき、刺激検出部90が撮影した映像の中心と検出された刺激の座標との間の画像上の距離を求める。次に、求めた距離と画像距離とで作成される直角三角形から、刺激の視角を算出できる。具体的には、刺激の視角(単位:ラジアン)=ArcTan(映像の中心と検出された刺激の座標との距離/画像距離)で算出できる。
ステップS904で、刺激検出部90は、検出された刺激が中心視野で発生したか否かを判別する。ここでは、視角20度を閾値とし、刺激の視角が20度以下であるかが判別される。20度以下の場合は、ステップS905に進み、検出された刺激は中心刺激として検出される。
中心刺激が検出されると、ステップS906で、刺激の発生タイミングが閾値設定部40に送信され、閾値の設定処理が行われる。
ステップS904で、検出された刺激が中心刺激ではないと判別されると、処理はステップS907に進む。ステップS907において、刺激検出部90は、その刺激が周辺視野で発生したか否かを判別する。ここでは、視角が上下130度、左右180度以内の範囲に含まれるか否かが判別される。その範囲に含まれる場合には、ステップS908に進み、検出された刺激は周辺刺激として検出される。
周辺刺激が検出されると、ステップS909で、刺激の発生タイミングが注意量判別部60に送信され、周辺刺激に対する注意量判別処理が行われる。
一方、ステップS907において、検出された刺激は周辺刺激でもないと判別されると、処理はステップS910に進む。
ステップS910で刺激検出を継続するか確認を行い、刺激検出を継続する場合には、再びステップS901に戻り、刺激の検出が繰り返される。
本実施形態では、撮影映像(自車両の進行方向)の中心と検出された刺激の座標との角度により中心視野か周辺視野かを判断したが、図25の構成に加えて、さらに運転者10の視線位置を検出する視線計測部を設けて、視線位置と検出された刺激との視角から、中心視野領域、周辺視野領域のいずれの視野領域に含まれるかを判断してもよい。視線計測部の構成は、実施形態1において図24を参照しながら説明した通りであるため、ここでは説明は省略する。刺激検出部90は、視線計測部によって計測された運転者の視線または注視点に基づいて中心視野領域を設定し、さらに、中心視野領域に応じて定まる周辺視野領域を設定すればよい。
上記の構成および処理により、運転者にとって目障りとなるような視覚刺激により視界を遮られることなく、個人に合わせた閾値を設定することが可能になる。
(実施形態3)
実施形態1の構成により、あらかじめ運転集中状態、注意散漫状態における脳波を計測し、注意集中、注意散漫状態で運転した脳波データを事前に取得しておくことなしに、個人に適切な閾値を設定し注意量判別を行うことが可能になった。
しかし、自家用車に注意量判別装置を組み込むことを想定すると、毎回、運転開始時に中心刺激を呈示し、閾値を設定する必要がある。これでは、閾値の設定が完了するまでは、運転開始時の注意散漫状態を判別することは困難である。しかしながら、運転開始時から注意量が判別できることが好ましい。
そこで、運転開始時からでも注意量の判別が行えるように、個人に合わせた閾値を設定する必要がある。自家用車のような、運転者が限定される環境では、過去に計測した脳波データを利用可能である。
ここで、図5のグラフによれば、周辺視野における注意量大/注意量小の各状態のP300振幅の平均には開きがあることがわかる。図27は、上記実験の周辺刺激に対するP300の分布を示す。図27のグラフの縦軸は、P300振幅の電位(μV)で、横軸は、各電位における発生確率(%)を示す。図5の注意量大、小状態のP300振幅の平均に開きがあるように、図27のP300の分布にも、36μV、10μV近辺に2つの分布の山が存在することがわかる。これら2つの分布はそれぞれ注意量大/注意量小の各状態の分布と考えられる。よって、この2つの分布を区別するような値を算出することにより、注意量大/注意量小の各状態を区別する閾値を設定することが可能になる。
自家用車では、多くの場合、長期間にわたって特定の個人によって利用されることが想定され、また、各人は運転集中および注意散漫の両方の状態での運転が行われると考えられる。よって、過去に計測された周辺刺激に対するP300分布も、運転集中、注意散漫状態の2つの状態のP300振幅が蓄積され、図27の分布のように、2つのピークがある分布の形状になると考えられる。
本願発明者らは、これらを考慮して本実施形態にかかる注意量判別装置をなすに至った。本実施形態にかかる注意量判別装置は、過去に計測された周辺刺激に対するP300分布を利用して閾値を設定することで、運転開始時から注意量を判別することが可能になった。
図28は、本実施形態における注意量判別装置3のブロック構成を示す。本実施形態で新たに追加された機能ブロックは、開始閾値設定部80である。その他の機能ブロックについては実施形態1と同じため、図9と同じ符号を用い、説明を省略する。
なお、本実施形態においては、蓄積部70は判別結果を蓄積する前に、実施形態1の構成で抽出された周辺刺激に対するP300振幅の値を蓄積しているとする。
開始閾値設定部80は、蓄積部70に記録されている周辺刺激に対するP300振幅の分布から、注意量判別の閾値を決定する。
図29は、本実施形態による注意量判別装置3の処理のフローチャートである。図29のフローチャートにおいて実施形態1と同じ処理の箇所は図9と同じ符号を用い、説明を省略する。
注意量判別装置3が起動され、脳波の記録が開始されると、ステップS80で、開始閾値設定部80は、注意量判別の為の閾値を設定する。開始閾値設定部80は、蓄積部70に記録されている以前に計測された周辺刺激に対するP300のデータを取得し、P300の分布を解析することによって、閾値を設定する。開始閾値設定部80の処理の詳細については後述する。
閾値設定後は、閾値精度を高めるステップS4、または注意量を判別するステップS5が実行される。ステップS5が実行されると、ステップS50において周辺刺激が呈示され、ステップS60で注意量が判別された後、ステップS70で、蓄積部70は、周辺刺激に対するP300振幅の値を記録する。
また、閾値精度を高めるステップS4により、中心刺激を利用した反応で個人に合わせた閾値が設定されると、ステップS31において中心刺激が呈示される。開始閾値設定部80は、ステップS80で設定された閾値を破棄し、中心刺激に基づいて新たに求められた閾値をステップS41において設定して注意量判別を行う。中心刺激を利用した閾値の再設定を行わない場合には、ステップS26で注意量を判別する処理S5の処理のみを行うよう調整してもよい。
次に、ステップS80で行われる開始閾値の設定処理の詳細について説明を行う。図30は、開始閾値設定部80が行うステップS80の処理の流れを示すフローチャートである。開始閾値の設定は、蓄積部70に過去に記録された周辺刺激のP300振幅を利用して行われる。
ステップS801で、蓄積部70から周辺刺激に対するP300振幅の値を受信する。図31は、受信するデータのフォーマットの例を示す。図31の例では、記録されているP300振幅の情報として、刺激が呈示された時刻と、その反応におけるP300振幅の値とが情報が時系列に記録されている。
図30のステップS802で、開始閾値設定部80は、P300の分布の解析を行う。開始閾値設定部80は、受信したP300のデータ全体に対し、P300の振幅値とその度数を調べ、周辺刺激に対するP300の分布を解析する。図27は、216個の周辺刺激のP300を解析した結果の例を示す。この分布解析は、蓄積部70に記録されていた全データに対して行ってもよいし、または、直近の運転における周辺刺激の反応だけを利用して解析を行ってもよい。後者の場合は、受信したデータの時刻情報に基づいて、ある時区間におけるP300振幅のデータを対象に解析を行えばよい。直近のデータに限定して解析を行うことにより、個人内におけるP300反応の変化に追従した閾値の設定が可能となる。
図30のステップS803、ステップS804では、解析されたP300分布のデータにおける、注意量大および小の分布のピークを抽出する。蓄積されたデータ量が十分な量であれば、注意量大、小状態のP300振幅の平均に開きがある傾向から、分布のピークは2つ存在する。2つの分布のピークは、極大値という形で現れるため、分布のピークの検出は、発生確率の大きい極大値2つを抽出することでおこなう。
ステップS803で、P300の分布のグラフから、発生確率の極大値を検出する。図32(a)は、抽出される極大値の例を示す。図32(a)の矢印の位置が、検出された極大値の位置となる。
ステップS804で、複数の極大値のなかから、発生確率が大きい極大値上位2つを抽出する。このように抽出された極大値2つは、注意量大および小の分布のピークであると考える。図32(b)は抽出された分布のピークの例を示す。図32(b)の例では、12.5μV、37.5μVが極大値として算出される。
なお、上記の例では、注意量大および小の分布のピークを発生確率が上位の極大値検出により抽出したが、本手法は一例であり、これに限定されるものではない。
図30のステップS805で、注意量大および小の分布を区別する閾値を算出する。閾値の産出は、注意量大および小の分布のピークの中央値の算出により行う。中央値を利用することで、分布のピークの間のP300振幅の値の偏りに左右されず、2つの分布を均等に分けることが可能となる。図32(b)の例では、12.5μVから37.5μVまでの度数分布の中央値である21.0μVが算出される。
ステップS806で、算出された中央値を閾値として、注意量判別部60に設定する。図32(b)の例では、21.0μVが注意量判別のための開始閾値として設定される。
上記の処理によって、記録された周辺刺激のP300の分布を利用して判別を行った結果を図33に示す。平均判別率は68.7%と実施形態1に劣るが、個人差を考慮しない閾値を利用した場合の66.1%と比較して3%近く精度が向上している。
本実施形態にかかる構成および処理の手順により、運転者の状態を判別し安全運転支援を行う装置において、中心視野の刺激のP300のデータが閾値を設定するのに十分な量蓄積されるまで待つ必要が無くなり、運転開始時から即座に注意量判別が行えるようになる。
なお、上記の実施形態の説明では、蓄積部70に蓄積された周辺刺激のP300分布により開始閾値の設定を行う処理を説明したが、閾値の設定方法はこれに限るものではない。例えば、前回に利用した注意量判別の閾値をそのまま利用してもよい。
また、蓄積部70に中心刺激のP300のデータも蓄積しておき、中心刺激のP300の分布の中央値を利用して開始閾値の設定を行ってもよい。上記の開始閾値設定方法により、周辺刺激のP300のデータ量が十分でないときにも開始閾値を設定することができる。
なお、上記実施形態では、注意量判定の運転者を特定の1名が使うと仮定して説明を行ったが、注意量判定装置のユーザが複数存在する場合は、さらにユーザ判別手段を設けることにより、ユーザを区別して閾値設定に利用する蓄積データを切り替えてもよい。ユーザ判別手段としては、座席のシートポジションやミラーの位置、利用する車のキーの違いにより判別する手法が考えられる。
なお上述の実施形態では、脳波計測部(図9、図25、図28)、撮影部および刺激検出部(図25)は運転注意量判別装置の構成要素であるとして説明した。しかしながら、それらは運転注意量判別装置の必須の構成要素でなくてもよい。脳波計測部および/または撮影部は、運転注意量判別装置とは別体の外部機器であってもよい。その場合、運転注意量判別装置はそれらの機器から脳波データや、撮影によって取得された映像データを受信して、上述の処理と同じ処理を行えばよい。また、車両前方の映像に含まれる刺激のデータ、刺激の発生時刻のデータ、および、映像における刺激の発生位置が運転者の中心視野領域内であるか周辺視野領域内であるかの検出結果のデータを受け取って、上述の処理と同じ処理を行えばよい。
上述の脳波計測部、撮影部および/または刺激検出部が運転注意量判別装置の構成要素ではなく、運転注意量判別装置にデータを供給するとき、運転注意量判別装置はコンピュータプログラムを実行するコンピュータとして実現され得る。
そのコンピュータプログラムは、本願で図示されたフローチャートによって示される手順を実行するための命令を含む。コンピュータは、そのようなコンピュータプログラムを実行することにより、上述の運転注意量判別装置の各構成要素として機能する。コンピュータプログラムは、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、上述の実施形態および変形例にかかる注意状態判別装置は、半導体回路にコンピュータプログラムを組み込んだDSP等のハードウェアとして実現することも可能である。
また、蓄積部70および表示パネル75についても、運転注意量判別装置の必須の構成要素でなくてもよい。蓄積部70および表示パネル75は、たとえば運転注意量判別装置に接続される外部ハードディスクドライブおよび表示機器であってもよい。
本発明にかかる運転注意量判別装置は、車両の急な割り込みや歩行者の飛び出しなど運転者の周辺視野領域で起こり得る事象に対する事故防止に有用である。また、自動車教習所におけるドライビングシミュレータを使った運転評価装置等にも有効である。さらに、ヘッドマウントディスプレイ型の装置として構成される場合は、自転車運転中や歩行中の安全支援、接客業など周囲の客や状況への注意配分を判別する装置等としても応用できる。
1、2、3 運転注意量判別装置
10 運転者
20 脳波計測部
30 中心刺激呈示部
40 閾値設定部
50 周辺刺激呈示部
60 注意量判別部
70 蓄積部
75 表示パネル
80 閾値設定部
90 刺激検出部
95 撮影部