JP4772935B2 - 注意状態判定装置、方法およびプログラム - Google Patents

Description

本発明は、自動車の運転などの車両の操作を行う操作者の注意状態（たとえば、運転に集中している状態か、注意が散漫している状態か）を、脳波に基づいて判定し安全運転を支援する技術に関する。

近年、安全運転支援技術の開発において、運転者の身体状態や心理状態をリアルタイムに把握した上で、運転者の状態に即した支援を行う技術の必要性が高まっている。運転者の状態を客観的かつ定量的に評価する手法として、脳波や瞬目などの生理指標を用いた覚醒度の定量化が試みられている。例えば特許文献１には、脳波の入眠波形パターンやα波成分から運転者の覚醒度を推定する技術が開示されている。

しかしながら本願発明者らは、運転中の運転者の状態を単に覚醒度によって捉えるのでは不十分であると考えている。その理由は、覚醒度だけでは、覚醒しているにも関わらず運転に対して注意が向いていない状態（いわゆる注意散漫状態）を捉えきれないためである。したがって、従来の覚醒度による居眠り検出だけではなく、運転に対するある特定の注意状態（例えば他の事を考えていて、あるいは音楽や会話に気をとられていて意識が運転に集中していない状態などの「意識の脇見状態」）を計測・評価する手法が必要である。

近年、脳波の眼球停留関連電位（Ｅｙｅ Ｆｉｘａｔｉｏｎ Ｒｅｌａｔｅｄ Ｐｏｔｅｎｔｉａｌ：ＥＦＲＰ）を用いて、視対象にどのくらい注意を向けているかを調べる研究が行われている。この方法によれば、意識の脇見状態を含めた運転に対する注意状態を調べることが可能になる。ここで「眼球停留関連電位」とは、人が作業しているときや自由にものを見ているときにおける、急速眼球運動（サッケード）の終了時刻、すなわち眼球停留の開始時刻に関連して生じる脳の一過性の電位変動をいう。眼球停留関連電位の成分のうち、近に、前頭部よりも後頭部で優位に出現する正の成分を「ラムダ反応」という。ラムダ反応は、視対象に対する注意集中度によって変動することが知られている。

例えば特許文献２では、大小様々なサッケードが発生する環境下において、サッケードサイズや視線移動パターンごとにサッケードを分類して眼球停留関連電位を算出している。そして、算出された眼球停留関連電位の特定成分（例えばラムダ反応に対応する眼球停留関連電位の成分の振幅値）から注意集中度を評価している。

特開平７−１０８８４８公報 特開２００７−１２５１８４公報 特開２００５−３４６２０公報

しかしながら、脳波の波形の出方は運転者ごとの個人差に大きく左右されるため、特許文献２に記載の従来技術では、運転に対する注意状態を正確に判定することができない。

図１を参照しながら具体的に説明する。図１（ａ）〜（ｃ）には、眼球停留関連電位について本願発明者らが実施した実験結果を示す。図１（ａ）は後頭部で計測された全被験者１２名分の各波形を加算平均した波形であり、図１（ｂ）は複数回計測された被験者Ａの各波形を加算平均した波形であり、図１（ｃ）は複数回計測された被験者Ｂの各波形を加算平均した波形である。図１（ａ）〜（ｃ）の各々のグラフにおいて、横軸は眼球停留の開始時刻を０ミリ秒とした時間（潜時）を示しており、単位はミリ秒である。また、縦軸は電位（ＥＥＲＰの振幅）を示しており、単位はμＶ、下向きが正である。実線は運転に集中している状態の眼球停留関連電位を示し、点線は運転に注意が向けられていない状態（すなわち注意散漫状態）の眼球停留関連電位を示している。

図１（ａ）のグラフによれば、眼球停留開始時刻を起点として約１００ミリ秒付近に出現する正の成分（ラムダ反応）の振幅は、運転集中時に３．４μVと大きく、注意散漫時に１．２μVと小さくなっている。従来の知見通り、注意状態に応じてラムダ反応の振幅値が増減していることが分かる。ラムダ反応の振幅値を用いて運転に対する注意状態を被験者ごとに判定しようとした場合、ある閾値を設定して、ラムダ反応の振幅値がその閾値以上であれば運転集中状態と判定し、閾値より小さければ注意散漫状態と判定することが望ましい。被験者Ａでは、図１（ｂ）のグラフから読み取ることにより、０．９μV付近を閾値にすればよい。個人差が生じ得るグラフに基づいて注意状態を判定するための最適な閾値を決定すると、その値は被験者ごとに大きく異なる。よって、この個人差を考慮しなければ運転に対する注意状態を正確に判定することはできないことが分かる。

このような個人差を調整する方法として、事前に各被験者に対する判定基準の調整を行っておくこと、いわゆるキャリブレーションが考えられる。例えば特許文献３では、複数の選択肢の中から被験者が選択したいと思っている選択肢を、脳波の事象関連電位を用いて識別する脳波インタフェース利用時の個人差を調整する方法が提案されている。この方法では、事前に複数の選択肢の中から被験者が脳波インタフェースを用いて１つの選択肢を選択する作業を、１被験者あたり１００回程度行わせている。そして、各作業で得られた脳波データから個人ごとの脳波の特徴をシステムに学習させている。

脳波を用いた運転注意状態の判定においても同様の方法が考えられる。しかしながら、運転する前に煩雑なキャリブレーション作業を必須とするのは、手間がかかり、運転者にとって大きな負担である。更に、事前のキャリブレーション作業のために、注意散漫状態で実際に公道を運転してもらうことは現実的には不可能であるため、十分な量の学習データを事前に取得することは困難である。

本発明は上記課題を解決するためになされたものであって、その目的は、運転者ごとの個人差が大きい脳波を用いて運転注意状態を判定する装置において、事前に明示的なキャリブレーション作業を運転者に行わせることなく、かつ各運転者の注意状態を精度良く判定することにある。

本発明による注意状態判定装置は、操作者の脳波信号を計測する脳波計測部と、前記操作者の眼球運動を示す眼球運動信号を計測する眼球運動計測部と、前記操作者が運転操作を開始する前の準備を行っている時区間を検知する準備状態検知部と、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整する判定基準調整部であって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整する判定基準調整部と、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出し、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定する注意状態判定部と、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用する出力部とを備えている。

前記判定基準調整部は、さらに、前記時区間において計測された前記脳波信号の周波数のパワースペクトル値に基づいて、前記判定基準を調整してもよい。

前記注意状態判定部は、加算平均された前記眼球停留関連電位のラムダ反応の振幅値と、前記判定基準である判定閾値とを比較することにより、前記操作者の注意状態を判定してもよい。

前記判定基準調整部は、算出した前記眼球停留関連電位のラムダ反応振幅値が大きくなるに従って前記判定基準である判定閾値を高く設定し、前記ラムダ反応振幅値が小さくなるに従って前記判定閾値を低く設定してもよい。

前記判定基準調整部は、前記時区間において計測された前記脳波信号に含まれるα波のパワースペクトル値が大きくなるに従って前記判定基準を高く設定し、前記時区間において計測された前記脳波信号に含まれるβ波のパワースペクトル値が大きくなるに従って、前記判定基準を低く設定してもよい。

前記注意状態判定装置が、車両の運転操作を行っている操作者の注意状態を判定し、前記操作者に対して注意を喚起するために利用されるときにおいて、前記準備状態検知部は、前記車両のエンジンの始動時、前記車両に設けられたカーナビゲーションシステムの設定操作の開始時、前記車両のブレーキ解除時、前記車両の車速が所定値以下であることを検知した時の少なくとも一つの時刻を開始時刻として、前記時区間を検知してもよい。

前記準備状態検知部は、前記カーナビゲーションシステムの設定操作の完了時、前記車両の車速が所定値以上であることを検知した時、前記開始時刻から所定時間後の少なくとも一つの時刻を終了時刻として、前記時区間を検知してもよい。

前記判定基準調整部は、前記眼球運動信号に基づいて、前記操作者の眼球運動が予め定めた閾値よりも小さくなった時刻を前記眼球停留関連電位の開始時刻として検出してもよい。

前記注意量判別部は、前記眼球停留開始時刻を起点として、加算平均された前記眼球停留関連電位の５０±１００ミリ秒に含まれる極大値を、ラムダ反応の振幅値として利用してもよい。

本発明による他の注意状態判定装置は、操作者が運転操作を開始する前の準備を行っている時区間を検知する準備状態検知部と、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整する判定基準調整部であって、操作者の眼球運動を示す眼球運動信号を計測する眼球運動計測部によって計測された前記眼球運動信号を利用して、前記操作者の脳波信号を計測する脳波計測部によって少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整する判定基準調整部と、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出し、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定する注意状態判定部と、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用する出力部とを備えている。

本発明による注意状態判定方法は、操作者の脳波信号を計測するステップと、前記操作者の眼球運動を示す眼球運動信号を計測するステップと、前記操作者が運転操作を開始する前の準備を行っている時区間を検知するステップと、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整するステップであって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整するステップと、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出するステップと、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定するステップと、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用するステップとを包含する。

本発明によるコンピュータプログラムは、注意状態判定装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、操作者の脳波信号のデータを受け取るステップと、前記操作者の眼球運動を示す眼球運動信号のデータを受け取るステップと、前記操作者が運転操作を開始する前の準備を行っている時区間を検知するステップと、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整するステップであって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整するステップと、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出するステップと、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定するステップと、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用するステップとを実行させる。

本発明によれば、操作者に事前の明示的なキャリブレーション作業を行わせることなく、各操作者の注意状態（たとえば運転に集中している状態か、注意が散漫な状態か）の判定精度を高く維持することができる。よって、当該判定結果に基づいて、各操作者に注意喚起等の適切な支援を行うことができる。

（ａ）〜（ｃ）は、眼球停留関連電位について本願発明者らが実施した実験結果を示す図である。 国際１０−２０法の電極位置を示す図である。 （ａ）および（ｂ）はラムダ反応振幅値の時間変化を示す図である。 操作準備状態のラムダ反応振幅値と最適な閾値との関係を示す図である。 被験者ごとの最適な閾値を目的変数とし、操作準備状態におけるラムダ反応振幅値（Ｌ）およびα波、β波、θ波のパワースペクトル値（α、β、θ）を説明変数として線形重回帰分析を行った結果を示す図である。 本実施形態による注意状態判定装置１のブロック構成図である。 ヘッドマウント式脳波計として実現された脳波計測部１１の構成例を示す図である。 ＥＯＧ法によって眼球運動を計測する眼球運動計測部１２のハードウェア構成例を示す図である。 第１眼球角度情報のデータ構造の例を示す図である。 角膜反射法によって眼球運動を計測する眼球運動計測部１２のハードウェア構成例を示す図である。 判定処理部２０のハードウェア構成例を示す図である。 判定基準調整部１４の処理の手順を示すフローチャートである。 判定基準調整部１４の処理に関連する波形のデータを示す図である。 注意状態判定部１５の処理の手順を示すフローチャートである。 判定対象時区間８３（ａ）〜（ｄ）の例を示す図である。 出力部１６の具体例を示す図である。 （ａ）〜（ｄ）は、４つの条件の下でそれぞれ求めた、運転注意状態の判別率の全被験者１２名の平均値を示す図である。

以下、添付の図面を参照しながら、本発明による注意状態判定装置、方法およびプログラムの実施形態を説明する。

本実施形態では、注意状態判定装置は、運転者が車両（自動車）を運転操作する局面において利用されるとする。以下では、まず本願発明者らが行った実験、および、当該実験に基づく結果から本願発明者らが得た知見を説明する。

本願発明者らは、以下に説明する実験により、運転注意状態を判定するための運転者ごとの最適な閾値を、運転操作準備状態における眼球停留関連電位のラムダ反応振幅値、および、脳波の成分のうちのα波、β波、θ波のパワースペクトル値に基づいて推定できることを見出した。

自動車などの車両を運転する例における「運転操作準備状態」とは、走行（運転操作）を開始する前の準備（たとえばエンジン始動、カーナビゲーションシステムの操作、サイドブレーキの解除）を行っている状態、または一般に徐行とされる車速１０ｋｍ/時未満の状態を指す。後述のように、本願発明では特に運転という操作に限定される必要はないため、「操作準備状態」という包括的な語を用いてもよい。なお、「眼球停留関連電位」および「ラムダ反応」は、背景技術の欄において既に説明したとおりである。

以下に本願発明者らが行った実験の詳細を説明する。

被験者は男性７名、女性５名の合計１２名で、平均年齢は２１．３±１．２歳である。本願発明者らは被験者に２つの課題を並行して実施してもらう二重課題法による実験を行った。

第１の課題は、運転課題である。被験者に対して、ドライビングシミュレータ（三菱プレシジョン製。以降「ＤＳ」と省略する。）で約６分の市街地コースを運転する課題を課した。市街地コースの道路の混雑状況は、制限速度内で自由に走行できる程度に設定し、前方車両、対向車両、後続車両、および歩行者を配置した。被験者はカーナビゲーションシステムの画面に表示される指示に従い、所定の道順を走行した。但し、道順の確認は被験者自身による画面の目視のみで行い、音声案内によるナビゲーションは行わなかった。

第２の課題は、認知負荷課題である。被験者の注意資源を実験的に運転から逸らすことを目的として、ｎ−Ｂａｃｋテストと呼ばれる課題を課した。「ｎ−Ｂａｃｋテスト」とは、例えば３秒ごとに１桁の数字が音声で提示され、提示後にｎ個前（例：０個前、２個前）に提示された数字を発声で回答するという課題である。具体的に説明する。例えば、“３、５、９、１、６、…”という音声提示が３秒ごとにあり、０個前（０−Ｂａｃｋ）の数字を回答する場合は、被験者は“３、５、９、１、６、…”と提示された数字をそのまま回答することになる。一方、２個前（２−Ｂａｃｋ）の数字を回答する場合は、被験者は“−（無回答）、−（無回答）、３、５、９、…”にように常に２個前の数字を回答する。ｎの値が大きいほど、被験者は多くの数値を一時的に記憶および更新しなければならなくなり、被験者の認知負荷は大きくなる。そのため、運転中の考え事や記憶に関連する会話などを実験的に模擬できると考えられる。

続いて実験条件を説明する。本実験では表１に示す２つの条件で運転中の脳波を計測した。第１の条件は運転集中条件である。運転集中条件では、ＤＳ操作（運転）と０−Ｂａｃｋテストを並行して実施する。０−Ｂａｃｋテストはそれほど認知負荷が大きくないため運転に集中できる状態と考えられる。

第２の条件は注意散漫条件である。注意散漫条件では、ＤＳ操作（運転）と２−Ｂａｃｋテストとを並行して実施する。２−Ｂａｃｋテストは認知負荷が大きいため、被験者は多くの注意資源をこの課題の遂行に割かなければならなくなり、その結果運転に対して注意散漫な状態になると考えられる。

また、被験者には脳波計（ティアック製、ポリメイトＡＰ−１１２４）を装着させた。脳波計の電極の配置は以下のとおりである。導出電極を国際１０−２０法におけるＯｚ（後頭部）に配置し、基準電極をＡ１およびＡ２（左右両耳朶の平均）に配置し、接地電極を前額部に配置した。図２は、国際１０−２０法の電極位置を示す。図２には、導出電極Ｏｚおよび左右両耳朶の基準電極Ａ１およびＡ２が示されている。

サンプリング周波数２００Ｈｚ、時定数３秒で計測した脳波データに対して１〜１５Ｈｚのバンドパスフィルタ処理をかけた。そして、サッケード終了時刻すなわち眼球停留開始時刻を起点に−３００ミリ秒から６００ミリ秒の脳波データを切り出し、０ミリ秒の時刻における電位値でベースライン補正を行った。

先に説明した通り、図１（ａ）〜（ｃ）は、上記の処理を行った後の眼球停留関連電位（ＥＦＲＰ）の加算平均波形を示す。（ａ）は全被験者１２名分の加算平均波形を示し、（ｂ）はある被験者Ａの加算平均波形を示し、（ｃ）は別の被験者Ｂの加算平均波形を示す。図１の各々のグラフにおいて、実線は運転集中条件時、点線は注意散漫条件時の波形を示している。また、横軸は眼球停留の開始時刻を０ミリ秒とした時間（潜時）で単位はミリ秒、縦軸は電位で単位はμＶである。

（ａ）のグラフにおいて、約１００ミリ秒の時刻に出現する正の成分（この成分がラムダ反応である。）は、運転時（すなわち被験者の集中時）のラムダ反応の振幅は３．４μVと大きく、注意散漫時には１．２μVと小さくなっている。このグラフにより、注意状態に応じてラムダ反応の振幅値が増減していることが分かる。

ここで、被験者ごとに運転に対して注意を集中していたか、または、注意が散漫であったかの注意状態を推定することを考える。本実施形態においては、ラムダ反応の振幅値と閾値とを用いて、振幅値が閾値より大きければ運転集中状態であり、それ以下であれば注意散漫状態であると判定（推定）することとする。

ラムダ反応の振幅値から判断すると、（ｂ）の被験者Ａに関しては、閾値を０．９μV付近に設定し、それ以上であれば運転集中状態、それより小さければ注意散漫状態であると判定することが望ましい。一方、（ｃ）の被験者Ｂに関しては、閾値を８．４μV付近に設定して運転集中状態および注意散漫状態を判定することが望ましい。すなわち、注意状態を推定するための最適な閾値は被験者ごとに大きく異なり、この個人差を考慮しなければ運転に対する注意状態を正確に判定することはできないことが分かる。

図３（ａ）および（ｂ）はそれぞれ、被験者ＡおよびＢのラムダ反応振幅値の時間変化を示す。横軸は経過時間で、単位は秒である。縦軸は電位で単位はμＶであり、上向きに正である。実線は運転集中条件時、点線は注意散漫条件時を示す。

図３（ａ）および（ｂ）の各グラフの左端に存在する、最初のプロット９１〜９４は運転操作準備状態のＥＦＲＰ加算平均波形から算出されたラムダ反応振幅値を示している。「運転操作準備状態」の時間的な幅の一例を挙げると、エンジン始動から所定時間（４５秒間）経過後までである。図３（ａ）に示す被験者Ａの運転集中条件および注意散漫条件時のラムダ反応振幅値はそれぞれ２．２μＶ（プロット９１）および１．２μＶ（プロット９２）である。図３（ｂ）に示す被験者Ｂの運転集中条件および注意散漫条件時のラムダ反応振幅値はそれぞれ６．９μＶ（プロット９３）と７．８μＶ（プロット９４）である。

一方、各グラフの２番目以降のプロットは、運転操作準備状態後において時間幅ＴＷを１８０秒、時間シフトＴＳを３０秒としたときの各判定対象時区間に対するＥＦＲＰ加算平均波形から算出されたラムダ反応振幅値を示している。

図３のプロット９１〜９４によれば、運転操作準備状態のラムダ反応振幅値は、注意状態の違いによる影響が小さく、一方で被験者Ａおよび被験者Ｂの個人差が大きく反映されている。また、運転操作準備状態後のラムダ反応振幅値は、個人差に加えて、注意状態の影響が反映されていることが分かる。具体的には図３（ａ）および(ｂ)のグラフにおいて、運転集中時はラムダ反応振幅値が維持または増加傾向にあるのに対して、注意散漫時は減少傾向になっている。

ここで、このような特性を受けて、本願発明者らは以下のような考察を行った。

運転操作準備状態では、細かな確認作業に伴う眼球運動が発生する。例えば、エンジン始動から始まり、カーナビゲーションシステムの操作、サイドブレーキ解除、発車前および徐行期間中での左右確認などに伴う眼球運動が発生する。同時に運転操作準備状態では、それらの確認作業の各々に対して、ある程度一定の注意資源が都度割り当てられていると考えられる。なぜなら、カーナビゲーションシステムに所望の目的地を設定するための操作や、駐車場等の比較的狭い場所から前後左右をぶつけないように注意しながら車両を出すための操作は、その後の運転時の比較的単調な作業と比べて、一定の注意を払わなければ遂行できない一連の作業だからである。さらに、いずれの操作も目視による確認を必要とするため、必然的に眼球運動が発生する作業だと考えられる。

したがって、「運転操作準備状態」とは、単に走行前や徐行期間の時間的範囲を指すだけではなく、上述の一連の作業を実際に遂行している状態と捉えることもできる。そのため、運転操作準備状態におけるラムダ反応振幅値は注意状態（実験条件）の違いによる影響（図３のプロット９１および９２の差、あるいはプロット９３および９４の差）が小さく、一方で個人差（図３（ａ）のプロット９１および９２と、図３（ｂ）のプロット９３および９４の差）が大きく反映された結果になったと考えられる。

各運転者に対応する判定基準の調整（いわゆるキャリブレーション）は、通常であれば、実際の運転中の眼球停留関連電位を利用して行うことが好ましいといえる。なぜなら、運転中の運転者の注意状態を判定する必要がある以上、個人差が生じている運転中の時区間の眼球停留関連電位を取得することが当然に適切であると考えられるためである。

しかしながら本願発明者らは、運転者の注意状態のばらつきが少なく一定であり、かつ、眼球停留関連電位に個人差の影響のみが出現しやすいのは運転中よりもむしろ運転を行う前（運転の準備期間中）の運転操作準備状態である、ということを実験によって認識するに至った。この知見によれば、運転操作準備状態の時区間は運転者の眼球停留関連電位を取得するのに適した時間帯であり、各運転者に対する判定基準の調整（いわゆるキャリブレーション）は、その運転操作準備状態における眼球停留関連電位を利用して行うことが好ましいといえる。

この方針によれば、個人差のみが強く反映されている操作準備状態のラムダ反応振幅値を用いれば、被験者ごとの特性を考慮した最適な閾値を算出することができると考えられる。最も簡潔な方法の一例としては、以下のように最適な閾値を算出しても良い。

ここで、Ｌは操作準備状態のラムダ反応振幅値であり、Ｔｈは被験者ごとの最適な判定閾値である。

さらに、上式以外の具体的な算出方法を以下詳しく説明する。

図４は、操作準備状態のラムダ反応振幅値と最適な閾値との関係を示す。横軸は被験者ごとの操作準備状態のラムダ反応振幅値（Ｌ）で単位はμＶ、縦軸は実験結果から得られた被験者ごとの最適な判定閾値（Ｔｈ）で単位はμＶである。ここで「最適な判定閾値」とは、被験者ごとに前述の運転集中条件と注意散漫条件の両方の実験を実施した結果から得られた値である。具体的には、時間幅ＴＷ＝１８０秒、時間シフトＴＳ＝３０秒とした場合の各々のラムダ反応振幅値を、ある閾値に基づいて運転集中または注意散漫のどちらかの注意状態に判別しようとした際に、最も判別率が高くなった閾値を「最適な判定閾値」としている。図１（ｂ）および（ｃ）に示す通り、例えば被験者Ａの場合は０．９μＶであり、被験者Ｂの場合は８．４μＶである。

図４にプロットされたデータに関して線形回帰分析を行った結果、最適な判定閾値（Ｔｈ）は下記の式で近似することができる。

上記近似式における相関係数Ｒは０．９６であり、操作準備状態のラムダ反応振幅値と最適な閾値との間には極めて強い相関関係があることが分かった。「相関関数」とは、２つの変数の間の相関（類似性の度合い）を示す統計的指標であり、一般的に絶対値が０．７以上の場合に強い相関があると見なされている。この関係を利用することにより、操作準備状態のラムダ反応振幅値から最適な閾値を推定することが可能となる。

上述のとおり、ラムダ反応振幅値のみによっても閾値を推定することが可能である。ここで本願発明者らは、さらにα波、β波、θ波のパワースペクトル値を利用して閾値を求め、その評価を行った。

図５は、更に被験者ごとの最適な閾値を目的変数とし、操作準備状態におけるラムダ反応振幅値（Ｌ）およびα波、β波、θ波のパワースペクトル値（α、β、θ）を説明変数として線形重回帰分析を行った結果を示す。縦軸は被験者ごとの最適な閾値（Ｔｈ）で単位はμＶである。横軸は下記の近似式で表される評価値（Ｅ）である。評価値（Ｅ）と最適な閾値とは、傾きが１で切片が０の線形の関係を有している。

上記近似式における相関係数Ｒは０．９９であり、図４の例と比べて更に強い相関関係が存在することが分かる。

以上の通り、本願発明者らの実験および実験結果から、操作準備状態におけるラムダ反応振幅値のみによって、または、ラムダ反応振幅値に加えて、α波、β波、θ波のパワースペクトル値を用いることによって、被験者ごとの最適な閾値を更に正確に推定できることが分かった。

なお、「運転操作準備状態」とは、車両の操作を、目的地に向けて運転する操作（運転操作）と、その運転操作を開始するまでの準備をする操作とに分けて考えたときの、後者のことをいう。運転操作準備状態の検出は、たとえばエンジン始動などのある時刻を起点とした所定時間内であるか否かで行ってもよいし、および／または、操作準備の内容に応じて変化させてもよい。たとえばシフトレバーの操作やアクセルの踏み込みが検出されたときは、「運転操作準備状態」が終了して「運転操作状態」に遷移したと判断してもよい。

以下、上述の知見に基づいて本願発明者らがなした、本発明にかかる注意状態判定装置の実施形態を説明する。先の説明と同様、自動車などを運転する状況を想定しているが、これは一例である。

図６は、本実施形態による注意状態判定装置１のブロック構成図を示す。注意状態判定装置１は、運転者１０の脳波信号、より具体的には脳波信号の一成分である眼球停留関連電位を利用して、運転に対する注意状態を判定する。先に説明したように、運転に対する注意状態とは、運転に対して注意を集中していたか、または、注意が散漫であったかである。そしてその注意状態に応じて、注意状態判定装置１は、操作者へ対して注意喚起を促す支援を行う。注意状態の判定を的確に行うため、注意状態判定装置１では運転者ごとに、判定基準が調整される。この結果、個人ごとに大きく異なる脳波を的確に解析することが可能になる。

注意状態判定装置１は、脳波計測部１１と、眼球運動計測部１２と、出力部１６と、判定処理部２０とを備えている。判定処理部２０は、準備状態検知部１３と、判定基準調整部１４と、注意状態判定部１５とを有している。なお、運転者１０のブロックは説明の便宜のために示されている。

以下では、各構成要素を概略的に説明し、その後順次詳細に説明する。

脳波計測部１１は、運転者１０の脳波信号を計測する。

眼球運動計測部１２は、運転者１０の眼球運動を計測し、眼球運動を示す眼球運動信号を出力する。

判定処理部２０の準備状態検知部１３は、運転操作準備状態の時区間、言い換えると運転操作準備状態が継続している期間を検知する。判定処理部２０の判定基準調整部１４は、時区間の脳波データおよび眼球運動データから算出した特定成分（後述）の値に基づいて、運転注意状態を判定するための判定基準を調整する。また、判定処理部２０の注意状態判定部１５は、眼球運動計測部１２で計測した眼球運動データを利用して、脳波計測部１１で計測した脳波データから眼球停留関連電位を算出し、算出された眼球停留関連電位の特定成分の振幅値と判定基準調整部１４で調整した判定基準に基づいて、運転に対する注意状態を判定する。

出力部１６は、判定結果に基づき運転者１０へ対して注意喚起を促す支援を行う。

以下、各機能ブロックを詳しく説明する。

脳波計測部１１は、運転者１０の頭部に装着された電極を利用して電位を測定し、その電位変化を計測することによって脳波信号を出力する脳波計である。本願発明者らは、将来的には装着型の脳波計を想定している。

図７は、ヘッドマウント式脳波計として実現された脳波計測部１１の構成例を示す。運転者１０の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部１１には電極１１ａ〜１１ｅが配置されている。例えば電極１１ａおよび１１ｃは、国際１０−２０法による、後頭部の電極位置Ｏ１およびＯ２に接触することを想定している。同様に、電極１１ｂは後頭部の電極位置Ｏｚ、電極１１ｄは、耳朶Ａ１、電極１１ｅは前額部に接触する。従来文献（宮田洋ら、新生理心理学１、1998、ｐ２６２、北大路書房）によれば、認知や注意を反映し、眼球停留開始時刻を起点として約１００ミリ秒付近に現れるラムダ成分は、後頭部で優位に出現するとされている。

但し、後頭部周辺のＰｚ（頭頂中央）でも計測は可能であり、当該位置に接触するよう電極が配置されたヘッドマウント式脳波計を採用しても良い。電極位置は、信号測定の信頼性および装着の容易さ等から決定すればよい。

また、電極は最低２個あればよい。例えば電極位置OｚとＡ１に対応する電極１１ｂと１１ｄのみでも電位計測は可能である。

このような電極配置を採用することにより、脳波計測部１１は運転者１０の脳波を測定することができる。測定された脳波信号は、コンピュータで処理できるようにサンプリングされ、脳波計測部１１内に保持する一次記憶装置（たとえば半導体メモリ）に記憶される。なお、注意状態判定装置１にハードディスクドライブなどの補助記憶装置（図示せず）を設け、その補助記憶装置にサンプリングされた脳波信号を記憶させてもよい。例えば、予め決められた一定時間分のデータは上述の一次記憶装置に一時的に記憶され、かつ随時更新される。あるいは一時的ではなく、上述の補助記憶装置に全て記憶されても良い。

なお、脳波信号に混入する商用電源ノイズの影響を低減するため、脳波計測部１１において計測される脳波信号には、予めローパスフィルタ処理を施すことが好ましい。たとえば５０Hzまたは６０Ｈｚの商用電源を利用するときには、脳波信号に３０Ｈｚのローパスフィルタ処理を施せばよい。

運転者１０は予め上述のような脳波計を装着しているとする。

眼球運動計測部１２は、ＥＯＧ（Ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｍ）法に基づいて眼球運動を計測する。「ＥＯＧ法」とは、眼球の左右および上下に配置した電極の電位変化から眼球運動を計測する方法である。ＥＯＧ法は、眼球の角膜が網膜に対して正に帯電する性質を利用する。眼球運動計測部１２は、眼球運動を示す信号（眼球運動信号）を出力する。

図８は、ＥＯＧ法によって眼球運動を計測し、眼球運動を示す眼球運動信号を出力する眼球運動計測部１２のハードウェア構成例を示す。眼球運動計測部１２は、電極（Ｈ１、Ｈ２およびＶ１、Ｖ２）と、水平方向電位検出器２１と、垂直方向電位検出器２２と、眼球角度情報メモリ２３と、変換器２４と、一次メモリ２５とを備えている。

水平方向電位検出器２１は、運転者１０の左右こめかみに装着された電極（Ｈ１、Ｈ２）における電位差から、眼球の水平方向の動きを表す水平眼球運動信号を検出する。垂直方向電位検出器２２は、眼球の上下に装着された電極（Ｖ１、Ｖ２）における電位差から眼球の垂直方向の動きを表す垂直眼球運動信号を検出する。なお、眼球運動方向を示す信号は、水平および垂直眼球運動信号を合成して得られたベクトル信号を用いても良い。眼球角度情報メモリ２３は、水平および垂直眼球運動信号の振幅値と眼球の角度との対応関係を示す情報（第１眼球角度情報）を予め記憶している。変換器２４は、当該眼球角度情報に基づいて、各振幅値から眼球の角度を計測する。一次メモリ２５は、予め決められた一定時間分のデータを記憶し、かつ随時更新する。図８に示した眼球運動計測部１２は、脳波計と同様にヘッドマウント式の計測器であっても良い。

図９は、第１眼球角度情報のデータ構造の例を示す。第１眼球角度情報は、水平方向および垂直方向における振幅値（電位）と眼球の角度とが対応付けられて構成されている。例えば、振幅値（電位）が１秒間で水平方向に＋５０μＶ、垂直方向に＋３０μＶの変化をした場合、眼球の角度は右方向に５度（degrees）、上方向に５度（degrees）と特定することができる。このときの眼球の角速度は、（５²＋５²）^1/2≒７．０７度（degrees）／秒と算出することができる。

また、眼球運動計測部１２は、ＥＯＧ法の代わりに角膜反射法に基づいて計測しても良い。

図１０は、角膜反射法によって眼球運動を計測し、眼球運動を示す眼球運動信号を出力する眼球運動計測部１２のハードウェア構成例を示す。「角膜反射法」とは、近赤外線光源（点光源）が近赤外線を眼球に照射し、カメラで眼球の映像を撮影し、撮影した映像を用いて瞳孔および角膜表面における光源の角膜反射像の位置を検出する方法である。

眼球運動計測部１２は、近赤外線光源３１と、ＣＣＤカメラ３２と、反射像位置検出器３３と、眼球角度情報メモリ３４と、変換器３５と、一次メモリ３６とを備えている。

近赤外線光源３１は、近赤外線の点光源であり、近赤外線を眼球３７に照射する。ＣＣＤカメラ３２は、近赤外線が照射された眼球３７を撮影する。このとき、被験者はディスプレイ４０に表示された画像等を注視している。注視する位置は注視点４１として示されている。反射像位置検出器３３は、撮影した眼球の映像に基づいて瞳孔３８および角膜表面を認識し、更に瞳孔３８および角膜表面における光源の反射像（角膜反射像３９）の位置を検出する。眼球角度情報メモリ３４は、角膜反射像３９の位置と眼球３７の角度との関係（第２眼球角度情報）を予め記憶している。第２眼球角度情報のデータ構造は、図９に示すデータ構造に類似するためその具体的な例示は省略する。

変換器３５は、当該眼球角度情報に基づいて、反射像の位置から眼球の角度を計測する。一次メモリ３６は、予め決められた一定時間分のデータを記憶し、かつ随時更新する。図１０に示した眼球運動計測部１２は、脳波計と同様にヘッドマウント式計測器であっても良く、あるいは車両前方（ダッシュボードの上やバックミラーの後ろなど）に設置される据置型の機器であっても良い。

次に、判定処理部２０（図６）の具体的な構成を説明する。

図１１は、判定処理部２０のハードウェア構成例を示す。判定処理部２０との関係を示すため、図１１には、バス１９を介して判定処理部２０と接続された脳波計測部１１および眼球運動計測部１２も併せて記載されている。

判定処理部２０は、ＣＰＵ５ａと、ＲＡＭ５ｂと、ＲＯＭ５ｃと、プログラム５ｄと、画像処理回路５ｅと、音声処理回路５ｆとを有している。

ＣＰＵ５ａは、ＲＯＭ５ｃに格納されているコンピュータプログラム５ｄをＲＡＭ５ｂに読み出し、ＲＡＭ５ｂ上に展開して実行する。ＣＰＵ５ａは、このコンピュータプログラム５ｄを実行することにより、図６に関連して説明した準備状態検知部１３、判定基準調整部１４および注意状態判定部１５として機能する。コンピュータプログラム５ｄはＣＰＵ５ａが実行する命令の集合である。ＣＰＵ５ａがコンピュータプログラム５ｄを実行することにより、ＣＰＵ５ａまたはＣＰＵ５ａから指示を受けた構成要素は後述する図１２および図１４に規定される処理を行う。なお、ＲＯＭ５ｃは書き換え可能なＲＯＭ（たとえばＥＥＰＲＯＭ）であってもよい。

判定処理部２０は、さらに、画像処理回路５ｅおよび音声処理回路５ｆを有している。画像処理回路５ｅは、ＣＰＵ５ａの指示に従って、後述するヘッドアップディスプレイ（ＨＵＤ）１６ａ上に表示するための画像のデータを生成する。また音声処理回路５ｆは、ＣＰＵ５ａの指示に従って、車内のスピーカ１６ｂから出力するための音声のデータを生成する。

上述のコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、判定処理部２０は、半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現することも可能である。

次に、判定処理部２０のＣＰＵ５ａがプログラム５ｄを実行することにより、準備状態検知部１３、判定基準調整部１４および注意状態判定部１５として動作するときのその動作（機能）をそれぞれ説明する。

準備状態検知部１３は、運転操作準備状態の時区間を検知する。

当該時区間の開始タイミングの具体例は、エンジン始動時、カーナビゲーションシステムの操作開始時、サイドブレーキ解除時、車速が１０ｋｍ/時未満の状態を検知したタイミングが挙げられる。

そして、当該時区間の終了タイミングとしては、例えば車速が１０ｋｍ/時以上の状態を検知したタイミング、カーナビゲーションシステムへの設定完了時、前記開始タイミングから所定時間後（例えば４５秒後）などが挙げられる。

準備状態検知部１３は、上記開始タイミングのうちの少なくとも１つを検知し、上記終了タイミングのうちの少なくとも１つを検知する。さらに準備状態検知部１３は、運転操作準備状態の時区間である上記開始および終了タイミングをそれぞれ検知すると、その結果を判定基準調整部１４へ通知する。

判定基準調整部１４は、上記時区間の脳波データおよび眼球運動データから算出した特定成分に基づいて、具体的には判定基準調整部１４は、眼球停留関連電位のラムダ反応振幅値と、α波、β波、θ波などのパワースペクトル値とに基づいて、運転注意状態を判定するための判定基準を調整する。ここで、図１２および図１３を参照しながら、判定基準調整部１４の処理の手順を説明する。

図１２は判定基準調整部１４の処理の手順を示すフローチャートであり、図１３は判定基準調整部１４の処理に関連する波形のデータを示す。

図１２のステップＳ５１では、判定基準調整部１４は、運転準備検知部１３で検知した運転操作準備状態の開始および終了タイミングを受信する。

ステップＳ５２では、判定基準調整部１４は、上記時区間において眼球運動計測部１２が計測した眼球運動データを眼球運動計測部１２から取得する。図１３には、読み出された眼球運動データ６１の波形例が示されている。

ステップＳ５３では、上記眼球運動データにおけるサッケードを検出し、検出した各サッケードの終了時刻、すなわち眼球停留開始時刻を抽出または特定する。

従来文献（宮田洋ら、新生理心理学１、１９９８、ｐ２５６、北大路書房）によれば、サッケードに要する時間は通常２０〜７０ミリ秒で、サッケードの速度は視角で表すと３００〜５００度（degrees）／秒であるとされている。したがって、眼球の運動方向が所定時間（例えば、２０〜７０ミリ秒）連続して同じであり、かつ当該所定時間の平均角速度が３００度（degrees）／秒以上である眼球運動をサッケードとして検出することができる。

サッケードの検出方法には、最初に水平および垂直方向のそれぞれのサッケードを検出し、その後で水平および垂直方向のサッケードで時区間が重複しているサッケードを１つに統合する方法を用いることができる。また、また最初に水平眼球運動データおよび垂直眼球運動データを合成して得られたベクトルデータを計算し、当該ベクトルデータの向きおよび大きさのデータに基づいてサッケードの検出を行う方法を用いても良い。

判定基準調整部１４は、検出した各々のサッケード終了時刻を眼球停留開始時刻として抽出する。図１３には、抽出した眼球停留開始時刻ｔ１、ｔ２、・・・、ｔ８の例が示されている。

ステップＳ５４では、判定基準調整部１４は、ステップＳ５１で受信した運転操作準備状態の時区間に該当する脳波データを脳波計測部１１から取得する。図１３には、読み出される脳波データ６２の波形例が示されている。

ステップＳ５５では、判定基準調整部１４は、ステップＳ５４で読み出した脳波データのうち、ステップＳ５３で抽出した各眼球停留開始時刻を起点として、−３００ミリ秒から６００ミリ秒までの脳波データを切り出す。図１３には、眼球停留開始時刻毎に切り出された脳波データ（眼球停留関連電位）６４の波形例が示されている。

ステップＳ５６では、判定基準調整部１４は、切り出した各脳波データからラムダ反応の振幅値を算出する。以下にその手順を詳しく説明する。

判定基準調整部１４は、まず、切り出した各脳波データを眼球停留開始時刻（０ミリ秒）の電位が０μＶになるようにベースライン補正を行う。

次に、判定基準調整部１４は、切り出した全ての脳波データの加算平均処理を行う。図１３の例では眼球停留開始時刻６３（ｔ１、ｔ２、…、ｔ８）に示した合計８個の起点に対応する脳波データの加算平均処理を行う。図１３には、加算平均処理後の脳波データ（眼球停留関連電位）６５の波形例を示す。

最後に、判定基準調整部１４は、加算平均後の眼球停留関連電位において、約１００ミリ秒付近の陽性の成分であるラムダ反応の振幅値を計測する。図１３にはラムダ反応振幅６６の一例が示されている。

なお、本願明細書においては、眼球停留関連電位の成分を定義するために、眼球停留開始時刻から起算した所定時間経過後の時刻を、たとえば「約１００ｍｓ」と表現している。これは、１００ｍｓという特定の時刻を中心とした範囲を包含し得ることを意味している。眼球停留関連電位と同じく脳波信号を構成する成分の一つである事象関連電位に関し、「事象関連電位（ＥＲＰ）マニュアル−Ｐ３００を中心に」（加我君孝ほか編集、篠原出版新社、１９９５）が知られている。本文献の３０頁に記載の表１によると、一般的に、事象関連電位の波形には、個人ごとに３０ｍｓから５０ｍｓの差異（ずれ）が生じる、とされている。したがって、「約Ｘｍｓ」や「Ｘｍｓ付近」という語は、Ｘｍｓを中心として３０から５０ｍｓの幅がその前後（例えば、１００ｍｓ±５０ｍｓ）に存在し得ることを意味している。眼球停留関連電位にも、個人毎の差異（ずれ）が事象関連電位と同程度存在し得ると考えられる。そこで本願明細書では、眼球停留関連電位に関しても、「約１００ミリ秒付近」は、例えば５０ミリ秒から１５０ミリ秒の期間を意味するものとする。

なお、眼球停留関連電位の研究では一般的に、脳波データの加算平均を求めてから解析が行われる。これにより、眼球停留に関係しないランダムな脳の活動電位は相殺され、一定の潜時と極性を持つ成分が検出できる。但し、本発明における判定基準調整部１４は、前述の加算平均処理に限定されるものではなく、例えば非加算脳波（１個の脳波データ）からラムダ反応振幅値を計測してもよい。

ステップＳ５７では、判定基準調整部１４は、ステップＳ５４で読み出した脳波データの各周波数帯域に対するパワースペクトル値を算出する。

一般に、脳波の８Ｈｚ以上１３Ｈｚ未満の周波数成分はα波、１３Ｈｚ以上の周波数成分はβ波、４Ｈｚ以上８Ｈｚ未満の周波数成分はθ波と呼ばれる。したがって、判定基準調整部１４は、まず時系列の脳波データからフーリエ変換によって周波数成分データを求め、周波数成分データとその複素共役との積によって脳波データのパワースペクトルを算出する。さらに算出したパワースペクトルにおいて前述したそれぞれの周波数成分を算出することによって、α波、β波、θ波のそれぞれのパワースペクトル値を求める。

ステップＳ５８では、ステップＳ５６およびステップＳ５７で算出したラムダ反応振幅値およびα波、β波、θ波のパワースペクトル値に基づいて、運転注意状態を判定するための判定基準を調整する。より具体的には、判定基準調整部１４は運転者ごとの最適な閾値を算出する。

上述の数１、数２および数３によれば、推定すべき閾値（Ｔｈ）は、運転操作準備状態のラムダ反応振幅値（Ｌ）と正の相関になっていることが分かる。すなわち、判定基準調整部１４は、運転操作準備状態のラムダ反応振幅値（Ｌ）が大きくなるに従って閾値（Ｔｈ）を高く設定し、運転操作準備状態のラムダ反応振幅値（Ｌ）が小さくなるに従って閾値（Ｔｈ）を低く設定すれば良い。

本実施形態ではラムダ反応振幅値およびパワースペクトル値を利用する例を説明したが、上述の数２および数３に関連して説明したように、ラムダ反応振幅値のみで閾値を設定することも可能である。

パワースペクトル値を利用する場合には、判定基準調整部１４は、運転操作準備状態のα波のパワースペクトル値が大きくなるに従って閾値（Ｔｈ）を高く設定し、運転操作準備状態のβ波のパワースペクトル値が大きくなるに従って閾値（Ｔｈ）を低く設定すれば良い。

本願発明者らは、以下のようにパワースペクトル値を用いることの利点を見出した。

一般に、精神活動を行っているときの脳波にはβ波が現れ、ぼんやりした状態ではα波が現れるとされている。よって、α波が大きくβ波が小さいとき、すなわち、ぼんやりした状態のときは、上述の数３によると閾値（Ｔｈ）は大きくなる。

後述する注意状態判定部１５は、運転中のラムダ反応振幅値が閾値（Ｔｈ）より小さい場合に“低”注意状態であると判定する。そのため、閾値（Ｔｈ）が大きく調整されることによって、注意散漫な状態を取りこぼさずに検出できるようになると考えられる。

一方、α波が小さくβ波が大きいとき、すなわち、精神活動を行っているときは、数３によると閾値（Ｔｈ）は小さくなる。その結果、運転に集中している状態を“低”注意状態であると誤って判定する可能性が減少できるようになると考えられる。

算出された閾値は、注意状態判定部１５にて時々刻々と変化する運転に対する注意状態を、その時々のラムダ反応振幅値を用いて判定する際に用いられる。

ステップＳ５９では、判定基準調整部１４は、ステップS５８で調整した判定基準の調整結果を注意状態判定部１５へ通知する。

上述のステップＳ５３では、抽出した各眼球停留開始時刻を起点として、−３００ミリ秒から６００ミリ秒までの脳波データを切り出すとして説明した。しかしながら、切り出す脳波データの時間幅は一例である。たとえば眼球停留開始時刻を起点として０〜２００ミリ秒までの脳波データを切り出してもよい。または、ラムダ反応が取得できればよいとの観点からすると、たとえば眼球停留開始時刻を起点として１００ミリ秒付近の最も大きい値を加算平均してもよい。

次に、注意状態判定部１５の処理を説明する。

注意状態判定部１５は、脳波計測部１１および眼球運動計測部１２で計測した脳波データおよび眼球運動データから眼球停留関連電位を算出し、算出された眼球停留関連電位のラムダ反応振幅値と判定基準調整部１４で調整した判定基準に基づいて、運転に対する注意状態を判定する。以下、図１４および図１５を参照しながら、注意状態判定部１５の処理の手順を説明する。

図１４は注意状態判定部１５の処理の手順を示すフローチャートである。

図１４のステップＳ７１では、注意状態判定部１５は、判定基準調整部１４で調整された判定基準、より具体的には運転者ごとの最適な閾値、を取得する。

ステップＳ７２では、注意状態判定部１５は、運転注意状態を判定する時区間を決定する。注意状態判定部１５は予め判定対象時区間の時間幅ＴＷ（秒）および時間シフトＴＳ（秒）のデータを保持している。時間幅ＴＷはどれぐらいの区間に含まれる眼球停留関連電位を使うかを決め、時間シフトＴＳは何秒おきに注意状態を算出するかを決定するパラメータである。例えば時間幅ＴＷ＝２０秒、時間シフトＴＳ＝５秒のように設定しておく。

但し、上述の設定値は一例である。時間幅は解析精度が保てる範囲で短く設定すればよいし、時間シフト量は想定用途に応じて決められる。例えば、運転に対する注意状態が低いと判定された際にできるだけ速く運転者に警告を与える等の即時的な反応が求められる場合には、時間幅ＴＷ＝２０秒／１０秒／５秒、時間シフトＴＳ＝５秒となるように短く設定すればよい。一方、即時的な反応ではなく、運転終了後に運転者の注意状態を検証する際に正確な状態評価が求められる場合には、時間幅ＴＷ＝２分や３分となるように比較的長く設定すればよい。

図１５は、判定対象時区間８３（ａ）〜（ｄ）の例を示す。判定対象時区間は現在時刻Ｔａから過去ＴＷ（秒）遡った範囲とし、更にＴＳ（秒）後に再度このステップＳ７２が実行される場合には現在時刻Ｔｂ（＝Ｔａ＋ＴＳ）から過去ＴＷ（秒）遡った範囲とする。このように時間経過に応じて判定対象時区間を移動させることによって、その時々の運転注意状態を判定することができる。

ステップＳ７３からステップＳ７７までの処理は、図１２および図１３を用いて説明したステップＳ５２からステップＳ５６と同じであるため、具体的な説明は省略する。

ステップＳ７８では、注意状態判定部１５は、ステップＳ７７で算出したラムダ反応振幅値（Ｌ）とステップＳ７１で受信した運転者ごとの閾値に基づいて、運転に対する運転者の注意状態を判定する。

例えば運転者の注意状態が高／低のいずれに該当するかを判別する場合は、閾値Ｔｈに対して、Ｌ＜Ｔｈであれば“低”注意状態（すなわち注意散漫状態）、Ｔｈ≦Ｌであれば“高”注意状態（すなわち運転集中状態）と判別する。また、運転者の注意状態が高／中／低のいずれに該当するかを判別する場合は、２つの閾値Ｔｈ１、Ｔｈ２（Ｔｈ１＜Ｔｈ２）を判定基準調整部１４から受信し、Ｌ＜Ｔｈ１であれば“低”注意状態、Ｔｈ１≦Ｌ＜Ｔｈ２であれば“中”注意状態、Ｔｈ２≦Ｌであれば“高”注意状態と判別する。

ステップＳ７９では、注意状態判定部１５は、ステップＳ７８で判定した結果を出力部１６へ送信する。

また、注意状態判定部１５は、上述した一連の処理を時間シフトＴＳ（秒）ごとに繰り返し実施される。

出力部１６は、注意状態判定部１５で判定された結果を画像や音声によって提示する。注意状態判定部１５によって“低”注意状態であると判定されたときは、出力部１６は、運転者の注意を喚起するための作用を運転者に対して及ぼす。言い換えると、出力部１６からの作用により、運転者は状態変化を促す支援を受けることができる。

出力部１６の運転者への出力方法としては、音声による運転者への呼びかけ、動作音や警告音の提示、またはカーナビゲーションシステムやヘッドアップディスプレイ（ＨＵＤ）上へのテキストや画像の提示が挙げられる。

図１６は、出力部１６の構成例を示す。自動車のヘッドアップディスプレイ１６ａには、運転者の注意を喚起するための画像１７が点滅している。また、車内のスピーカ１６ｂからは、運転者への呼びかけのための音声が出力される。運転者への注意喚起は、画像および音声の両方を同時に利用してもよいし、画像または音声のいずれか一方のみでもよい。

そのほかにも、注意を向けて欲しい対象物に重ね合わせて画像を表示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を使った直接的な情報提示、ハンドルの振動等を用いた注意喚起、においや風量の調節による間接的な働きかけ等の、運転者の知覚へ作用する種々の方法を採用することが可能である。

注意状態判定装置１の各構成要素が上述した動作を行うことにより、注意状態判定装置１は、図１２および図１４に示す処理を実行する。これにより、各操作者は事前の明示的なキャリブレーション作業を行わなくても、注意状態判定装置１は各操作者の注意状態（たとえば運転に集中している状態か、注意が散漫な状態か）を高い精度で判定することが可能になる。よって、当該判定結果に基づいて、各操作者に注意喚起等の適切な支援を行うことができる。

さらに、本実施形態によって得られる利点を、運転注意状態の判別率の試算結果に基づいて具体的に説明する。

判別率の試算は前述の実験結果を利用した。ここで「判別率」とは運転集中状態か注意散漫状態かの２状態の判別率を表す。時間幅ＴＷ＝１８０秒、時間シフトＴＳ＝３０秒とした場合に、運転集中条件（０−Ｂａｃｋテスト時）のラムダ反応振幅値から正しく運転集中と判別できた確率、および注意散漫条件（２−Ｂａｃｋテスト時）のラムダ反応振幅値から正しく注意散漫と判別できた確率の平均値を上記判別率としている。

図１７（ａ）〜（ｄ）は、４つの条件の下でそれぞれ求めた、運転注意状態の判別率の全被験者１２名の平均値を示す。４つの条件とは、判別率の計算を、４つの異なる値を用いて行うことを意味している。すなわち、（ａ）全被験者共通の閾値、（ｂ）本発明による、運転操作準備状態のラムダ反応振幅値から被験者ごとに求めた最適な閾値（推定値）、（ｃ）本発明による、運転操作準備状態のラムダ反応振幅値およびα波、β波、θ波の平均パワースペクトル値から被験者ごとに求めた最適な閾値（推定値）、および、（ｄ）運転集中および注意散漫の両実験結果（事前の明示的なキャリブレーション作業に相当）から得られた被験者ごとの最適な閾値である。条件（ａ）の全被験者共通の閾値は、図１（ａ）に示す全被験者の加算平均波形における各条件のラムダ反応振幅の平均値とした。条件（ｄ）は、事前に明示的なキャリブレーション作業を運転者に行わせた条件を意味している。

図１７に示す通り、（ａ）の全被験者共通の閾値を用いた場合の判別率が最も低く（６９．２％）、（ｄ）の事前の明示的なキャリブレーション作業によって得られた被験者ごとの最適な閾値を用いた場合の判別率が最も高くなっている（９２．２％）。一方、（ｂ）および（ｃ）の本発明を用いた場合の判別率はそれぞれ８２．７％と８７．６％であり、事前のキャリブレーション作業をしていないにも関わらず、（ｄ）の場合に近い精度で判別できていることが分かる。

図１７に示す結果によれば、本実施形態の構成によれば運転者に事前のキャリブレーション作業を行わせることなく、注意状態の判別精度を高く維持できるといえる。

本実施形態にかかる構成および処理の手順によれば、運転者の注意状態を判定する注意状態判定装置において、運転操作準備状態のラムダ反応振幅値およびα波、β波、θ波のパワースペクトル値に基づいて、各運転者の注意状態を判定するための最適な閾値を算出する。これにより、運転者に事前のキャリブレーション作業を行わせることなく、注意状態の判別精度を高く維持することができ、当該判別結果に基づいて、運転者に適切に注意喚起等の状態変化を促す支援を行うことができる。

本実施形態による注意状態判定装置は、複数の構成要素が一体的に構成されていることを想定して説明した。しかしながら、たとえば判定処理部２０の一部または全部の機能が、脳波計測部１１、眼球運動計測部１２および出力部１６と別の位置に設けられてもよい。たとえば判定処理部２０が、脳波計測部１１等と無線ネットワークで接続された遠隔地のコンピュータによって実現されてもよい。このときは、判定処理部２０自体が注意状態判定装置として機能することになる。脳波計測部１１、眼球運動計測部１２および出力部１６は、それぞれ注意状態判定装置とは別体の脳波計、図８に示すような眼球運動計測装置、および、図１６に示すようなスピーカ、ヘッドアップディスプレイとして実現される。

なお、本明細書においては、注意状態判定装置１は出力部１６を含むとして説明した。しかしながら、出力部１６を設けることは必須ではない。たとえば出力部を省略して判定結果を出力させず、注意状態判定部１５に内部メモリ（図示せず）に格納してもよい。または、注意状態の判定結果や判定閾値を蓄積する記録装置（たとえばハードディスクドライブ）を注意状態判定装置１内部に設けてもよい。

本実施形態による注意状態判定装置は、ラムダ反応の振幅値が閾値以上の場合には運転集中状態であると判定し、閾値より小さい場合には注意散漫状態であると判定するとした。しかしながら、ラムダ反応の振幅値と閾値とが等しい場合には、注意散漫状態であると判定してもよい。

なお、本実施形態による注意状態判定装置は、自動車運転中の注意状態の判定に利用されるとして説明した。しかしながら、このような利用態様は一例であり、自動車の運転に限られることはない。注意状態判定装置は、操作者が機器等の操作を行う種々の局面で利用され得る。たとえば、管制塔やプラント設備、道路監視などの監視システムにおけるオペレータの注意状態判定にも適用することが可能である。例えば、オペレータが監視作業を行う前の準備状態を、オペレータが監視ルームに入室したタイミングまたは監視システムにログインしたタイミングから所定時間後までと定義することによって、オペレータの注意状態を精度良く判定し、適切な監視業務を行うことができる。

本発明では、一般車両の運転者だけでなく、業務用車両を運転する運転者、たとえばトラック、タクシー、バスの運転者や、車ではない電車、飛行機、船舶の操縦者、工場等のプラントの監視者など、運転や操作等の本来業務にどれくらい注意が配分されているかを推定する必要がある場合に適用可能である。

１ 注意状態判定装置
１１ 脳波計測部
１２ 眼球運動計測部
１３ 準備状態検知部
１４ 判定基準調整部
１５ 注意状態判定部
１６ 出力部
２０ 判定処理部

Claims (16)

1. 操作者の脳波信号を計測する脳波計測部と、
   前記操作者の眼球運動を示す眼球運動信号を計測する眼球運動計測部と、
   前記操作者が運転操作を開始する前の準備を行っている時区間を検知する準備状態検知部と、
   前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整する判定基準調整部であって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整する判定基準調整部と、
   前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出し、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定する注意状態判定部と、
   前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用する出力部と
   を備えた注意状態判定装置。
2. 前記判定基準調整部は、さらに、前記時区間において計測された前記脳波信号の周波数のパワースペクトル値に基づいて、前記判定基準を調整する、請求項１に記載の注意状態判定装置。
3. 前記注意状態判定部は、加算平均された前記眼球停留関連電位のラムダ反応の振幅値と、前記判定基準である判定閾値とを比較することにより、前記操作者の注意状態を判定する、請求項１に記載の注意状態判定装置。
4. 前記注意状態判定部は、加算平均された前記眼球停留関連電位のラムダ反応の振幅値が前記判定基準である判定閾値以上の場合には、前記操作者が運転に集中している状態であると判定し、加算平均された前記眼球停留関連電位のラムダ反応の振幅値が前記判定基準である判定閾値より小さい場合には、前記操作者が注意散漫な状態であると判定する、請求項１に記載の注意状態判定装置。
5. 前記判定基準調整部は、算出した前記眼球停留関連電位のラムダ反応振幅値が大きくなるに従って前記判定基準である判定閾値を高く設定し、前記ラムダ反応振幅値が小さくなるに従って前記判定閾値を低く設定する、請求項３に記載の注意状態判定装置。
6. 前記判定基準調整部は、前記時区間において計測された前記脳波信号に含まれるα波のパワースペクトル値が大きくなるに従って前記判定基準を高く設定し、前記時区間において計測された前記脳波信号に含まれるβ波のパワースペクトル値が大きくなるに従って、前記判定基準を低く設定する、請求項２に記載の注意状態判定装置。
7. 前記注意状態判定装置が、車両の運転操作を行っている操作者の注意状態を判定し、前記操作者に対して注意を喚起するために利用されるときにおいて、
   前記準備状態検知部は、前記車両のエンジンの始動時、前記車両に設けられたカーナビゲーションシステムの設定操作の開始時、前記車両のブレーキ解除時、前記車両の車速が所定値以下であることを検知した時の少なくとも一つの時刻を開始時刻として、前記時区間を検知する、請求項１に記載の注意状態判定装置。
8. 前記準備状態検知部は、前記カーナビゲーションシステムの設定操作の完了時、前記車両の車速が所定値以上であることを検知した時、前記開始時刻から所定時間後の少なくとも一つの時刻を終了時刻として、前記時区間を検知する、請求項１に記載の注意状態判定装置。
9. 前記判定基準調整部は、前記眼球運動信号に基づいて、前記操作者の眼球運動が予め定めた閾値よりも小さくなった時刻を前記眼球停留の開始時刻として検出する、請求項１に記載の注意状態判定装置。
10. 前記判定基準調整部は、前記脳波信号において、前記眼球停留の開始時刻から５０±１００ミリ秒後の信号を眼球停留関連電位として算出する、請求項１に記載の注意状態判定装置。
11. 前記注意状態判定部は、前記眼球運動信号に基づいて、前記操作者の眼球運動が予め定めた閾値よりも小さくなった時刻を前記眼球停留の開始時刻として検出する、請求項１に記載の注意状態判定装置。
12. 前記注意状態判定部は、前記脳波信号において、前記眼球停留の開始時刻から５０±１００ミリ秒後の信号を眼球停留関連電位として算出する、請求項１に記載の注意状態判定装置。
13. 前記注意状態判定部は、前記眼球停留開始時刻を起点として、加算平均された前記眼球停留関連電位の５０±１００ミリ秒に含まれる極大値を、ラムダ反応の振幅値として利用する、請求項３に記載の注意状態判定装置。
14. 操作者が運転操作を開始する前の準備を行っている時区間を検知する準備状態検知部と、
    前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整する判定基準調整部であって、操作者の眼球運動を示す眼球運動信号を計測する眼球運動計測部によって計測された前記眼球運動信号を利用して、前記操作者の脳波信号を計測する脳波計測部によって少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整する判定基準調整部と、
    前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出し、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定する注意状態判定部と、
    前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用する出力部と
    を備えた注意状態判定装置。
15. 操作者の脳波信号を計測するステップと、
    前記操作者の眼球運動を示す眼球運動信号を計測するステップと、
    前記操作者が運転操作を開始する前の準備を行っている時区間を検知するステップと、
    前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整するステップであって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整するステップと、
    前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出するステップと、
    算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定するステップと、
    前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用するステップと
    を包含する、注意状態判定方法。
16. 注意状態判定装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記コンピュータに対し、
    操作者の脳波信号のデータを受け取るステップと、
    前記操作者の眼球運動を示す眼球運動信号のデータを受け取るステップと、
    前記操作者が運転操作を開始する前の準備を行っている時区間を検知するステップと、
    前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整するステップであって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整するステップと、
    前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出するステップと、
    算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定するステップと、
    前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用するステップと
    を実行させる、コンピュータプログラム。

Images