以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。
本実施形態は、心的活動状態の一例である注意状態を評価する方法及びシステムを説明するが、本実施形態は、以下に示す処理と同様の処理により、気分やストレス等の、注意状態以外の様々な心的活動状態の評価に適用できる。
図1は、心的活動状態評価システムの構成例を示す。心的活動状態評価システムは、例えば、情報処理装置1、脳活動計測装置2〜3、誤差計測装置4、入力装置5、及び出力装置6を含む。情報処理装置1は、注意状態学習部21、注意状態算出部51及び注意状態出力部71を含み、ユーザの注意状態を評価する。
脳活動計測装置2及び脳活動計測装置3それぞれは、情報処理装置1が注意状態を評価するための互いに異なる種類の脳活動信号を計測する。なお、本実施例において誤差計測信号を単に誤差信号とも呼ぶ。脳活動信号とは、脳の活動を評価するための、生体から取得される信号である。脳活動信号は、例えば、脳波信号、光トポグラフィ信号、脳磁信号、fMRI信号、PET信号を含む。例えば、脳活動計測装置2は、脳波信号を計測し、脳活動計測装置3は光トポグラフィ信号を計測する。
誤差計測装置4は、注意状態の誤差を評価するための誤差計測信号を計測する。誤差計測信号とは、脳活動信号を変化させる要因であって、評価対象の心的活動状態以外の要因、の程度を示す信号である。情報処理装置1は、誤差計測信号を用いて、計測された脳活動信号の誤差又は計測された脳活動信号から得られる注意状態の誤差、及び誤差を発生させる要因の影響を評価する。誤差計測信号は、例えば、眼電位、筋電位、室温、及びユーザの姿勢を含む。
情報処理装置1は、計測された複数種類の脳活動信号と計測された誤差計測信号を取得する。注意状態学習部21は、注意状態を算出する前に、各脳活動信号と誤差計測信号と各注意状態と各注意状態の誤差との間の関係を生成する。また、注意状態算出部51は、当該関係と各脳活動信号とに基づいて各注意状態と各注意状態の誤差を算出する。
注意状態算出部51は、各注意状態の誤差を比較して最も適切な誤差を示した注意状態を選択することで、誤差要因の影響を抑制した精度の高い注意状態評価を実施することができる。注意状態出力部71は、選択された注意状態と当該注意状態の誤差を出力装置6に出力する。図1における各装置や用語の詳細は以下の通りである。
注意状態は、例えば、注意種類と注意度との組み合わせから定まる状態である。注意種類とは、学術的に定義されている注意の種類と同義であり、選択性注意、持続性注意、転換性注意を含む。注意度とは、対応する種類の注意の強さを示す値である。
なお、注意状態と同様に、全ての心的活動に対して心的活動状態が定義される。心的活動状態は、当該心的活動状態の種類と、当該心的活動状態の強度とを含む。なお、当該心的活動状態の種類は、1種類からなってもよい。
外部信号とは、情報処理装置1の動作を制御する信号のうち、脳活動信号及び誤差計測信号を除いた信号である。入力装置5は、外部信号を入力するための装置であり、例えば、マウスやキーボード等の入力装置を含む。
出力装置6は、例えば、ディスプレイ装置、スピーカ、又はプリンタなどであり、プログラムの実行結果をオペレータが視認可能な形式で出力する。また、出力装置6は、注意課題を出力してもよい。注意課題についての詳細は後述する。また、注意課題を単に課題とも呼ぶ。
図1では、情報処理装置1が2種類の脳活動計測装置と1種類の誤差計測装置に接続されている例を説明しているが、情報処理装置1は、3種類以上の脳活動計測に接続されてもよいし、2種類以上の誤差信号計測装置に接続されてもよい。以下、本実施例では、情報処理装置1は、互いに異なる種類の脳活動信号を計測する複数の脳活動計測装置と、互いに異なる種類の誤差計測信号を計測する1以上の誤差計測装置に接続されているものとする。
注意状態学習部21は、注意状態の推定値と注意状態誤差とを高精度に算出するために、脳活動信号と注意状態と注意状態の誤差との関係を事前に学習する。注意状態算出部51は、高精度に注意状態を評価するために、脳活動信号、注意状態学習特徴量情報、及び誤差学習特徴量情報などを用いて、注意状態の推定値及び誤差を算出する。注意状態学習特徴量情報、及び誤差学習特徴量情報の詳細については後述する。
注意状態出力部71は、算出された注意状態の推定値及び誤差、注意状態選択情報、最小注意誤差修正情報、並びに算出特徴量群情報などを出力する。なお、情報処理装置1は心的活動状態評価システムの他の装置を含んでもよい。なお、図1では、各装置は有線で互いに接続されているが、ネットワークを介して無線で互いに接続されていてもよい。
図2は、注意状態算出部51による注意状態算出処理の概要の一例を示す。注意状態算出処理100は、例えば、注意度算出処理101、誤差算出処理102、一次元化処理103、比較処理104、及び決定処理105を含む。図2では、情報処理装置1が脳活動計測装置2及び脳活動計測装置3にのみ接続されている例を示す。
図2におけるグラフの縦軸は脳活動信号の指標値を、横軸は注意度を示す。注意度算出処理101、誤差算出処理102、及び一次元化処理103における、上段のグラフは脳活動計測装置2によって計測された脳活動信号の指標と注意度の相関を、下段のグラフは脳活動計測装置3によって計測された脳活動信号の指標と注意度の相関を示す。上段のグラフ及び下段のグラフの曲線は、予め定められていてもよいし、学習により生成されてもよい。本実施例では、当該曲線は予め定められているものとする。
脳活動信号の指標とは、注意の種類及び注意度を評価するための指標であり、脳活動信号から得られる特徴量の一例である。脳活動信号そのものも脳活動信号の指標の一例である。例えば脳波のα波パワー、β波パワー、及びP3振幅は、いずれも脳波信号の指標である。以下、脳活動信号の指標を単に指標とも呼ぶ。
まず、注意状態算出部51は注意度算出処理101において、各脳活動信号から各注意度の推定値を算出する。具体的には、注意状態算出部51は、脳活動計測装置2〜3それぞれから、同時刻の脳活動信号を取得し、取得した各脳活動信号を予め定められた指標に変換する。注意状態算出部51は、脳活動計測装置2に対応する指標を図2における上段のグラフの曲線が示す関数に代入して注意度の第1推定値を算出し、脳活動計測装置2に対応する指標を図2における下段のグラフの曲線が示す関数に代入して注意度の第2推定値を算出する。
注意状態算出部51は、誤差算出処理102において、各脳活動信号に対応する誤差関数を用いて、各注意度の推定値の誤差を算出する。誤差関数の決定方法の詳細については後述する。なお、誤差関数とは、誤差の範囲を算出するための関数であり、1以上の誤差要因を独立変数とし、誤差を従属変数とする関数である。誤差関数は、例えば、シグモイド関数であるが、その他の関数であってもよい。
注意状態算出部51は、一次元化処理103において、注意度の各推定値とその誤差をそれぞれ数直線上に表す。続いて、注意状態算出部51は、比較処理104において、注意度の各推定値の誤差、即ち数直線上に示された誤差を比較する。続いて、注意状態算出部51は、決定処理105により、注意度の推定値を決定する。図2の決定処理105の例では、注意状態算出部51は、誤差の範囲がより小さい第1推定値を注意度の推定値に決定している。
注意状態算出部51は、複数種類の脳活動信号に対する各注意度の推定値とその誤差を算出し、各誤差を一次元化した上で、誤差の大きさを比較することで、誤差要因の影響を考慮した上で、注意度の推定値を高精度に決定できる。ひいては、注意状態算出部51は、誤差要因の影響を抑制し、精度良く注意度を評価できる。
図3Aは、情報処理装置1の構成例を示す。情報処理装置1は、脳活動計測装置2及び脳活動計測装置3が取得した異なる種類の脳活動信号及び誤差計測信号の入力を受け付ける。情報処理装置1は、入力された信号を用いて注意状態の学習及び算出処理を行い、学習又は算出した情報を記憶し、処理結果、及び情報処理装置1に格納された情報を出力装置6へと出力する。
情報処理装置1は、例えば、入力部10、演算部20、記憶部80及び出力部15を有する計算機によって構成される。情報処理装置1は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。
入力部10は、他の装置に接続され、接続された他の装置から脳活動信号、誤差計測信号、及び外部信号等の入力を受け付ける。演算部20は、例えば、プロセッサを含むCPU(Central Processing Unit)である。演算部20は、記憶部80に格納されたプログラムを実行し、情報処理装置1における演算機能を担う。
記憶部80は、演算部20による演算結果及び演算部20に含まれる各部を実現するためのプログラムを記憶し、例えば、メモリ及び補助記憶装置を含む。メモリは、不揮発性の記憶素子であるROM及び揮発性の記憶素子であるRAMを含む。ROMは、不変のプログラム(例えば、BIOS)などを格納する。RAMは、DRAM(Dynamic Random Access Memory)のような高速かつ揮発性の記憶素子であり、プロセッサが実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
補助記憶装置は、例えば、磁気記憶装置(HDD)、フラッシュメモリ(SSD)等の大容量かつ不揮発性の記憶装置であり、プロセッサが実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置から読み出されて、メモリにロードされて、プロセッサによって実行される。
出力部15は、演算部20による演算結果や、記憶部80に格納されている情報を、他の装置やディスプレイなどに出力する。出力部15は、例えば、出力インタフェース又は通信インタフェースである。出力インタフェースは、VGA及びHDMIなどを含む。通信インタフェースは、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。
プロセッサが実行するプログラムは、リムーバブルメディア(CD−ROM、フラッシュメモリなど)又はネットワークを介して情報処理装置1に提供され、非一時的記憶媒体である不揮発性の補助記憶装置に格納される。このため、情報処理装置1は、リムーバブルメディアからデータを読み込むインタフェースを有するとよい。
入力部10は、複数の脳活動信号入力部11、1以上の誤差計測信号入力部13、及び外部信号入力部14を含む。入力部10に含まれる各部は、例えば、入力インタフェース又は通信インタフェースを含む。入力インタフェースは、USB(Universal Serial Bus)等の、他の装置から情報入力を受け付けるシリアルインタフェースを含む。
脳活動信号入力部11それぞれは、例えば、1つの脳活動計測装置に接続され、当該脳活動計測装置から脳活動信号の入力を受け付ける。誤差計測信号入力部13それぞれは、例えば、1つの誤差計測装置に接続され、当該誤差計測装置から、誤差計測信号の入力を受け付ける。外部信号入力部14は、入力装置5に接続され、外部信号の入力を受け付ける。
演算部20は、注意状態学習部21、注意状態算出部51、及び注意状態出力部71を含む。例えば、演算部20は、記憶部80にロードされた注意状態学習プログラムに従って動作することで、注意状態学習部21として機能し、記憶部80にロードされた注意状態算出プログラムに従って動作することで、注意状態算出部51として機能する。演算部20に含まれる他の部についても同様である。
記憶部80は、それぞれ注意状態学習部21によって作成される、脳活動信号情報81、誤差計測信号情報82、注意状態学習情報83、注意状態学習特徴量情報84、誤差学習情報85、誤差学習特徴量情報86、注意状態学習蓄積情報87、誤差学習蓄積情報88、最適信号情報89を格納する。
また、記憶部80は、それぞれ注意状態算出部51によって算出される、算出特徴量群情報90、注意状態算出情報91、誤差算出情報92、注意状態格納情報93、最適注意状態選択情報95、最適注意状態情報96、誤差修正情報97を格納する。記憶部80に格納される各情報の詳細については後述する。
なお、本実施例及び他の実施例において、心的活動状態評価システムが使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。例えば、テーブル、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。なお、本実施例では、テーブルに情報が格納されている例を説明する。
図3Bは、注意状態学習部21、注意状態算出部51、及び注意状態出力部71の構成例を示す。注意状態学習部21は、学習脳活動信号取得部22、学習誤差計測信号取得部24、注意状態学習情報作成部25、誤差学習情報作成部26、注意状態学習特徴量算出部29、誤差学習特徴量算出部30、注意状態学習特徴量蓄積部33、誤差学習特徴量蓄積部34、及び最適信号学習部37を含む。
学習脳活動信号取得部22は、注意状態学習時に脳活動信号入力部11それぞれに入力された脳活動信号を取得し、注意状態学習時における各脳活動信号に対応する脳活動信号情報81を作成する。学習誤差計測信号取得部24は、注意状態学習時に誤差計測信号入力部13それぞれに入力された誤差計測信号を取得し、注意状態学習時における各誤差計測信号に対応する誤差計測信号情報82を作成する。
注意状態学習情報作成部25は、注意状態学習時における各脳活動信号に対応する脳活動信号情報81を用いて、各脳活動信号に対応する注意状態学習情報83を作成する。誤差学習情報作成部26は、注意状態学習時における各脳活動信号に対応する脳活動信号情報81及び誤差計測信号情報82を用いて、各脳活動信号に対応する誤差学習情報85を作成する。
注意状態学習特徴量算出部29は、各脳活動信号に対応する注意状態学習情報83を用いて、各脳活動信号に対応する注意状態学習特徴量情報84を作成する。誤差学習特徴量算出部30は、各脳活動信号に対応する注意状態学習特徴量情報84及び誤差学習情報85を用いて、各脳活動信号に対応する誤差学習特徴量情報86を作成する。
注意状態学習特徴量蓄積部33は、各脳活動信号に対応する注意状態学習特徴量情報84を用いて、各脳活動信号に対応する注意状態学習蓄積情報87を作成する。誤差学習特徴量蓄積部34は、各脳活動信号に対応する誤差学習特徴量情報86を用いて、各脳活動信号に対応する誤差学習蓄積情報88を作成する。最適信号学習部37は、誤差学習蓄積情報88、及び誤差学習特徴量情報86を用いて、最適信号情報89を作成する。
注意状態算出部51は、算出脳活動信号取得部52、算出誤差計測信号取得部54、算出特徴量群算出部55、注意状態算出情報作成部58、誤差算出部59、注意状態情報格納部62、誤差情報格納部63、最適注意状態算出部64、最適注意状態選択部65、及び最適注意誤差修正情報算出部66を含む。
算出脳活動信号取得部52は、注意状態算出時に脳活動信号入力部11それぞれに入力された脳活動信号を取得し、注意状態算出時における各脳活動信号の脳活動信号情報81を作成する。算出誤差計測信号取得部54は、注意状態算出時に誤差計測信号入力部13それぞれに入力された誤差計測信号を取得し、注意状態算出時における各誤差計測信号に対応する誤差計測信号情報82を作成する。
算出特徴量群算出部55は、注意状態算出時における各脳活動信号の脳活動信号情報81を用いて、各脳活動信号の算出特徴量群情報90を作成する。注意状態算出情報作成部58は、各脳活動信号に対応する算出特徴量群情報90及び注意状態学習蓄積情報87を用いて、各脳活動信号に対応する注意状態算出情報91を作成する。
誤差算出部59は、各脳活動信号に対応する誤差学習蓄積情報88、各脳活動信号に対応する算出特徴量群情報90、及び算出誤差計測信号取得部54が作成した各誤差計測信号情報82を用いて、各脳活動信号に対応する誤差算出情報92を作成する。注意状態情報格納部62は、注意状態算出情報作成部58が算出した各注意状態算出情報91を用いて、注意状態格納情報93を作成する。誤差情報格納部63は、誤差算出部59が算出した各誤差算出情報92を用いて、誤差格納情報94を作成する。
最適注意状態選択部65は、誤差格納情報94を用いて、最適注意状態選択情報95を作成する。最適注意状態算出部64は、注意状態格納情報93及び最適注意状態選択情報95を用いて、最適注意状態情報96を作成する。最適注意誤差修正情報算出部66は、最適信号情報89及び最適注意状態情報96を用いて、誤差修正情報97を作成する。
注意状態出力部71は、例えば、最適注意状態出力部72、最適注意状態選択情報出力部73、誤差情報出力部74、及び最適注意誤差修正情報出力部75を含む。最適注意状態出力部72は、最適注意状態情報96の全部又は一部を出力部15に出力する。最適注意状態選択情報出力部73は、最適注意状態選択情報95の全部又は一部を出力部15に出力する。
誤差情報出力部74は、誤差格納情報94の全部又は一部を出力部15に出力する。最適注意誤差修正情報出力部75は、誤差修正情報97に含まれる判定結果又は当該判定結果に応じた情報を出力部15に出力する。誤差要因の影響を抑制するための指示は当該判定結果に応じた情報の一例である。当該判定結果に応じた情報は、例えば、予め記憶部80に格納されており、最適注意誤差修正情報出力部75によって取得される。注意状態出力部71は、上記の出力情報以外の、注意状態学習部21又は注意状態算出部51が作成した情報を出力してもよい。
図4A〜4Iは、注意状態学習部21によって作成される情報の例である。図4Aは、脳活動信号情報81の一例である。脳活動信号情報81は、例えば、脳活動信号名欄811と時間欄812と信号欄813とを含む。
脳活動信号名欄811は、脳活動信号の名称を格納する。時間欄812は、信号が取得された時刻を格納する。本実施形態では、注意状態学習時においては学習開始からの経過時間を、注意状態算出時においては算出開始からの経過時間を、当該時刻とする。信号欄813は、例えば、脳活動信号入力部11に入力された信号がA/D(アナログ/デジタル)変換された数値を格納する。
図4Bは、誤差計測信号情報82の一例である。誤差計測信号情報82は、例えば、誤差信号名欄821と時間欄822と信号欄823とを含む。誤差信号名欄821は、誤差計測信号の名称を格納する。
時間欄822の説明は、時間欄812の説明と同様であるため省略する。以下、時間欄のような、異なる情報それぞれに含まれる欄の説明は、当該欄の初出時のみに行う。信号欄823は、例えば、誤差計測信号入力部13に入力された信号の値又は、当該信号がA/D変換された数値を格納する。
図4Cは、注意状態学習情報83の一例である。注意状態学習情報83は、例えば、注意種類欄831と注意度欄832と脳活動信号名欄833と時間欄834と信号欄835を含む。注意種類欄831は、持続性注意、選択性注意、転換性注意、分配性注意等を含む注意の種類を格納する。注意度欄832は、注意度を格納する。注意度は、例えば0以上100以下の値で与えられ、値が大きいほど注意の程度が強い。なお、注意種類欄831の各セルは、複数の注意種類を含んでもよく、このとき、注意度欄832の対応するセルは当該注意種類それぞれに対応する注意度を格納する。
図4Dは、注意状態学習特徴量情報84の一例である。注意状態学習特徴量情報84は、例えば、注意種類欄841と注意度欄842と脳活動信号名欄843と時間欄844と信号欄845と指標欄846とを含む。指標欄846は、対応する脳活動信号の指標値を格納する。
なお、複数種類の指標が算出される場合、注意状態学習特徴量情報84は、当該複数の指標それぞれに対応する指標欄846を含む。また、注意種類欄841の各セルは、複数の注意種類を含んでもよく、このとき、注意度欄842の対応するセルは当該注意種類それぞれに対応する注意度を格納する。
図4Eは、誤差学習情報85の一例である。誤差学習情報85は、例えば、時間欄851と脳活動信号名欄852と脳活動信号欄853と誤差信号名欄854と誤差信号欄855とを含む。なお、複数種類の誤差計測信号が入力される場合、誤差学習情報85は、当該複数種類の誤差計測信号それぞれ対応する誤差信号名欄と誤差信号欄を含む。
図4Fは、誤差学習特徴量情報86の一例である。誤差学習特徴量情報86は、例えば、時間欄861と脳活動信号名欄862と脳活動信号欄863と脳活動信号誤差範囲欄864と指標欄865と指標誤差範囲欄866と誤差信号名欄867と誤差信号欄868とを含む。脳活動信号誤差範囲欄864は、誤差により変動し得る脳活動信号の範囲を示す値を格納する。指標誤差範囲欄866は、誤差により変動し得る指標値の範囲を示す値を格納する。
なお、複数種類の指標の誤差範囲が算出される場合、誤差学習特徴量情報86は、当該複数の指標欄それぞれに対応する指標欄865及び指標誤差範囲欄866を含む。また、複数種類の誤差計測信号が入力される場合、誤差学習特徴量情報86は、当該複数種類の誤差計測信号それぞれ対応する誤差信号名欄867と誤差信号欄868とを含む。
図4Gは、注意状態学習蓄積情報87の一例である。注意状態学習蓄積情報87は、例えば、脳活動信号名欄871と注意種類欄872と注意状態係数欄873とを含む。注意状態係数欄873は、指標から注意度を算出するための所定の関係式における係数を示す。当該所定の関係式が1次関数y=axである場合の注意状態係数はaである。
また、注意状態係数欄873の1つのセルが複数の注意状態係数を格納してもよい。具体的には、例えば当該所定の関係式が2次関数y=ax2+bx+cである場合、a、b、及びcの3つの注意状態係数が存在する。このとき、注意状態係数欄873は、当該3つの注意状態係数のどれがa、b、cに相当するかを特定できる形式で当該3つの注意状態係数を格納する。なお、注意種類欄872の各セルは、複数の注意種類を含んでもよく、このとき、注意状態係数欄873の対応するセルは当該注意種類それぞれに対応する注意状態係数を格納する。
図4Hは、誤差学習蓄積情報88の一例である。誤差学習蓄積情報88は、例えば、脳活動信号名欄881と誤差信号名欄882と誤差要因欄883と誤差係数欄884とを含む。誤差要因欄883は、注意状態の評価において誤差に影響する要因を示す値を格納する。注意以外の脳活動、個人特性、他の生体活動、作業環境、及び周囲の環境はいずれも誤差要因の一例である。
誤差係数欄884は、誤差信号から誤差を算出するための所定の関係式の係数を格納する。また、注意状態係数欄873と同様に、誤差係数欄884は1つのセルが複数の誤差係数を格納してもよい。なお、複数種類の誤差計測信号が入力される場合、誤差学習特徴量情報86は、当該複数種類の誤差計測信号それぞれ対応する誤差信号名欄882を含む。
図4Iは、最適信号情報89の一例である。最適信号情報89は、例えば、時間欄891と誤差要因欄892と、脳活動信号入力部11に入力された脳活動信号の種類数と同数の脳活動信号欄893とを含む。脳活動信号欄893は、各脳活動信号についての情報を格納し、例えば、脳活動信号名欄894と誤差欄895と累計誤差欄896とを含む。誤差要因欄892は、複数の誤差要因を格納してもよい。
誤差欄895は、対応する脳活動信号の誤差を格納する。なお、誤差要因欄892が複数の誤差要因を格納する場合、各脳活動信号欄893は、各誤差要因に対応する誤差欄を含む。累計誤差欄896は、各誤差要因に対応する誤差の和を格納する。脳活動信号欄893に含まれる誤差欄895は1つであるため、累計誤差欄896と誤差欄に895に格納される値は同じである。なお、各誤差欄895及び各累計誤差欄896の最終行は、当該誤差欄895及び当該累計誤差欄896に含まれる値の合計値を格納する。
図5A〜5Hは、注意状態算出部51によって作成される情報の例である。図5Aは、算出特徴量群情報90の一例である。算出特徴量群情報90は、例えば、注意状態算出特徴量情報901と誤差算出特徴量情報902とを含む。
注意状態算出特徴量情報901は、例えば、脳活動信号名欄9011と時間欄9012と信号欄9013と指標欄9014とを含む。誤差算出特徴量情報902は、例えば、時間欄9021と脳活動信号名欄9022と脳活動信号欄9023と脳活動信号誤差範囲欄9024と指標欄9025と指標誤差範囲欄9026とを含む。
図5Bは、注意状態算出情報91の一例である。注意状態算出情報91は、例えば、時間欄911と脳活動信号名欄912と注意種類欄913と注意度欄914とを含む。
図5Cは、誤差算出情報92の一例である。誤差算出情報92は、例えば、時間欄921と脳活動信号名欄922と累計誤差欄923と誤差要因欄924と誤差欄925とを含む。
図5Dは、注意状態格納情報93の一例である。注意状態格納情報93は、例えば、時間欄931と、脳活動信号入力部11に入力された脳活動信号の種類数と同数の脳活動信号欄932と、を含む。脳活動信号欄932は、各脳活動信号についての情報を格納し、例えば、脳活動信号名欄933と注意種類欄934と注意度欄935とを含む。
図5Eは、誤差格納情報94の一例である。誤差格納情報94は、例えば、時間欄941と、誤差要因欄942と、脳活動信号入力部11に入力された脳活動信号の種類数と同数の脳活動信号欄943と、を含む。脳活動信号欄943は、各脳活動信号についての情報を格納し、例えば、脳活動信号名欄944と誤差欄945と累計誤差欄946とを含む。
図5Fは、最適注意状態選択情報95の一例である。最適注意状態選択情報95は、例えば、時間欄951と、最適信号名欄952と、最適誤差欄953と、脳活動信号入力部11に入力された脳活動信号の種類数と同数の脳活動信号欄954と、を含む。
最適信号名欄952は、脳活動信号入力部11に入力された脳活動信号のいずれかの名称を格納する。最適誤差欄953は、最適信号名欄952に格納された信号の誤差を格納する。脳活動信号欄954は、各脳活動信号についての情報を格納し、例えば、脳活動信号名欄955と累計誤差欄956とを含む。
図5Gは、最適注意状態情報96の一例である。最適注意状態情報96は、例えば、時間欄961と最適信号名欄962と注意種類欄963と注意度欄964と最適誤差欄965とを含む。
図5Hは、誤差修正情報97の一例である。誤差修正情報97は、例えば、時間欄971と学習最適信号欄972と算出最適信号欄973と判定結果欄974とを含む。学習最適信号欄972は、注意状態学習時に最適な誤差を示した脳活動計測信号の信号名を格納する。算出最適信号欄973は、注意状態算出時に最適な誤差を示した脳活動計測信号の信号名を格納する。判定結果欄974は、学習最適信号欄972と算出最適信号欄973とに格納されている脳活動信号名が一致しているか否かを示す判定結果を格納する。例えば、脳活動信号が同じである場合の判定結果は「OK」、異なる場合の判定結果は「NG」である。
以下、情報処理装置1の動作例を説明する。図6は、注意状態学習部21による処理の一例を示す。以下、脳活動信号入力部11には、第1脳活動信号〜第m脳活動信号(mは2以上の整数)が入力され、誤差計測信号入力部13には第1誤差計測信号〜第n誤差計測信号(nは1以上の整数)が入力されるものとする。また、各脳活動信号入力部11に入力される脳活動信号の種類、及び各誤差計測信号入力部13に入力される誤差計測信号の種類は予め定められている。
また、第i脳活動信号(iは1以上m以下の整数)に対応する脳活動信号情報81を第i脳活動信号情報81と呼ぶ。脳活動信号それぞれに対して生成される他の情報についても同様に表記する。また、誤差計測信号それぞれについて生成される情報についても同様に表記する。また、特に断らない限り、図6の説明においては、脳活動信号情報81及び誤差計測信号情報82は、注意状態学習時に生成される脳活動信号情報81及び誤差計測信号情報82を示す。
ステップ121において、例えば、ユーザに対して課題が提示され、ユーザは課題に対応する特定の行為を実行する。課題は、ユーザが当該課題に対応する特定の行為を実行することにより、当該ユーザの注意状態が変化するものであることが望ましい。ストループ課題は当該課題の一例であり、ストループ課題に対する回答は当該特定の行為の一例である。
なお、例えば、専門家等の他のユーザが人手で課題を提示してもよい。また、例えば、記憶部80が1以上の課題を含む課題情報を保持し、注意状態学習部21は任意に選択した又は専門家等の他のユーザによって指定された1つの課題を課題情報から取得して注意状態出力部71に送信し、注意状態出力部71が当該課題を出力装置6に出力することにより、課題を提示してもよい。
なお、課題情報は、各課題に対応する注意種類、各課題に対応する注意度を示す情報をさらに含んでもよい。各注意度を示す情報は、対応する課題に対する注意度そのものであってもよいし、ユーザの当該課題に対する成績から当該注意度が算出される関数であってもよい。
注意状態学習部21は、例えば、初回のステップ121においてのみ、課題の出力時刻を学習開始時刻にセットする。また、学習脳活動信号取得部22は、脳活動信号入力部11に入力された各種脳活動信号の取得を、学習誤差計測信号取得部24は誤差計測信号入力部13に入力された各種誤差信号の取得を、学習開始時刻のセットと同時に開始し、当該特定の行為が終了するまで実行する。注意状態学習部21は、例えば、当該特定の行為の終了通知をユーザから受け付ける。
ステップ122において、注意状態学習情報作成部25は、ステップ121で提示された課題に対応する注意状態を取得する。なお、注意状態学習情報作成部25は、専門家等の他のユーザから入力された注意状態を取得してもよいし、課題情報から注意状態を取得してもよい。また、1つの課題に複数の注意状態、即ち複数種類の注意種類及び当該注意種類それぞれの注意度、が対応していてもよい。
ステップ123において、学習脳活動信号取得部22は、ステップ121に提示された課題における各脳活動信号に対応する脳活動信号情報81を作成する。具体的には、学習脳活動信号取得部22は、脳活動信号入力部11それぞれから脳活動信号を取得し、脳活動信号入力部11それぞれに予め対応づけられた脳活動信号名を取得する。
学習脳活動信号取得部22は、各脳活動信号に対して、空の脳活動信号情報81を作成し、取得した脳活動信号名、脳活動信号の取得時刻、及び取得した脳活動信号をA/D変換した値それぞれを、当該脳活動信号情報81の脳活動信号名欄811、時間欄812、及び信号欄813に格納する。
ステップ124において、例えば、学習脳活動信号取得部22は、全ての課題に対する全ての脳活動信号情報81を作成したか否かを判定する。具体的には、例えば、学習脳活動信号取得部22は、ユーザ等から課題提示終了通知を受信し、かつ提示した課題全てに対する脳活動信号情報81を生成したか否かを判定する。また、学習脳活動信号取得部22は、課題情報に含まれる全ての課題が提示され、かつ提示した課題全てに対する脳活動信号情報81を生成したか否かを判定してもよい。
学習脳活動信号取得部22は、全ての課題に対する全ての脳活動信号情報81を作成した場合(ステップ124:YES)はステップ125に進み、作成していない脳活動信号情報81がある場合(ステップ124:NO)はステップ121に戻る。なお、注意状態学習部21に含まれる他の部がステップ124の判定処理を実行してもよい。以下、k周目のステップ121〜124からなるループ処理において提示された課題を第k課題と呼ぶ。
ステップ125において、学習脳活動信号取得部22は、カウンタiの値を1に設定する。ステップ126において、学習脳活動信号取得部22は、カウンタjの値を1に設定する。ステップ127において、学習脳活動信号取得部22は、カウンタkの値を1に設定する。なお、注意状態学習部21に含まれるどの部が各カウンタの値の設定を実行してもよい。
ステップ128において、注意状態学習情報作成部25は、第k課題があるか否かを判定する。注意状態学習情報作成部25は、第k課題があると判定すれば(ステップ128:YES)ステップ129に進み、ないと判定すれば(ステップ128:NO)ステップ142に進む。注意状態学習部21に含まれる他の部がステップ128の判定処理を実行してもよい。
ステップ129において、注意状態学習情報作成部25は、第i脳活動信号情報81があるか否かを判断する。注意状態学習情報作成部25は、第i脳活動信号情報81があると判定すれば(ステップ129:YES)ステップ130に進み、ないと判定すれば(ステップ129:NO)ステップ141に進む。注意状態学習部21に含まれる他の部が、ステップ129の判定処理を行ってもよい。
なお、ステップ129〜ステップ140で説明される情報は、特に断らない限り第k課題についての情報である。例えば、ステップS130における第i注意状態学習情報83は、第k課題における第i注意状態学習情報83を示す。
ステップ130において、注意状態学習情報作成部25は、第i注意状態学習情報83を生成する。具体的には、注意状態学習情報作成部25は、第i脳活動信号情報81から脳活動信号名欄811、時間欄812、及び信号欄813を抽出することにより、第i注意状態学習情報83の脳活動信号名欄833、時間欄834、及び信号欄の835それぞれの値を得る。
続いて、注意状態学習情報作成部25は、ステップS122において取得された第k課題の注意状態に含まれる注意種類及び注意度をそれぞれ、第i注意状態学習情報83の注意種類欄831及び注意度欄832に格納する。
ステップ131において、注意状態学習特徴量算出部29は、第i注意状態学習特徴量情報84を作成する。具体的には、例えば、注意状態学習情報作成部25は、第i注意状態学習情報83から注意種類欄831、注意度欄832、脳活動信号名欄833、時間欄834、及び信号欄835を抽出することにより、第i注意状態学習特徴量情報84の注意種類欄841、注意度欄842、脳活動信号名欄843、時間欄844、及び信号欄845それぞれの値を得る。
また、注意状態学習特徴量算出部29は各時刻における信号欄845の値に、所定の処理を施すことにより指標値を算出し、算出した各指標値を指標欄846に格納する。注意状態学習特徴量算出部29は、例えば、バンドパスフィルタやトレンド除去などのノイズを軽減するための信号処理を行うことにより各指標値を算出する。なお、注意状態学習特徴量算出部29は複数種類の指標を算出してもよい。
ステップ132において、注意状態学習特徴量蓄積部33は、第i注意状態学習蓄積情報87を作成する。具体的には、例えば、注意状態学習特徴量蓄積部33は、第i注意状態学習特徴量情報84から、脳活動信号名欄843及び注意種類欄841を抽出することにより、第i注意状態学習蓄積情報87の脳活動信号名欄871及び注意種類欄872それぞれの値を得る。注意状態学習特徴量蓄積部33は、第i注意状態学習蓄積情報87の注意種類欄872に格納された注意種類が重複するレコードを削除する。
続いて、注意状態学習特徴量蓄積部33は、注意種類欄872に格納された各注意種類について、注意状態係数算出処理を行う。具体的には、注意状態学習特徴量蓄積部33は、例えば、指標を独立変数、注意度を従属変数とする係数不明の所定の関係式と、第i注意状態学習特徴量情報84の当該注意種類の注意度欄842及び指標欄846の値と、を用いた最小二乗法等により当該関係式の係数を決定し、決定した係数を当該注意種類の注意状態係数に決定する。なお、当該所定の関係式は、例えば、注意種類ごとに異なってもよい。
ステップ133において、学習誤差計測信号取得部24は、ステップS123における各脳活動信号情報81の作成方法と同様の方法で、第k課題における第j誤差計測信号情報82を作成する。ステップ134において、学習誤差計測信号取得部24は、カウンタjの値を1、インクリメントする。
ステップ135において、学習誤差計測信号取得部24は、第j誤差計測信号情報82があるか否かを判定する。学習誤差計測信号取得部24は、第j誤差計測信号情報82があると判定した場合は(ステップS135:YES)ステップ133に戻り、ないと判定した場合は(ステップS135:NO)ステップ136に進む。
ステップ136において、誤差学習情報作成部26は、カウンタjの値を1に設定する。ステップ137において、誤差学習情報作成部26は、第i誤差学習情報85を作成する。具体的には、誤差学習情報作成部26は、例えば、時間欄をキーにして、第i誤差学習情報85と、第1誤差計測信号情報82乃至第j誤差計測信号情報82と、をマージすることにより、第i誤差学習情報85を作成する。
ステップ138において、誤差学習特徴量算出部30は、第i誤差学習特徴量情報86を作成する。具体的には、誤差学習特徴量算出部30は、第i誤差学習情報85と、第i注意状態学習特徴量情報84の時間欄844と指標欄846とからなるテーブルと、を時間欄をキーにマージすることにより、時間欄861、脳活動信号名欄862、脳活動信号欄863、指標欄865、誤差信号名欄867、及び誤差信号欄868の値を得る。
続いて、誤差学習特徴量算出部30は、各時刻について、例えば、当該時刻を含む所定範囲の時間窓における脳活動信号欄863の値の標準偏差を算出し、算出した標準偏差を当該時刻における脳活動信号誤差範囲に決定し、脳活動信号誤差範囲欄864に格納する。同様に、誤差学習特徴量算出部30は、各時刻について、例えば、当該時刻を含む所定範囲の時間窓における指標欄865の値の標準偏差を算出し、算出した標準偏差を当該時刻における指標誤差範囲に決定し、指標誤差範囲欄866に格納する。
ステップ139において、誤差学習特徴量蓄積部34は、第i誤差学習蓄積情報88を作成する。具体的には、誤差学習特徴量蓄積部34は、第i誤差学習特徴量情報86の脳活動信号名欄862と誤差信号名欄867の値を、取得する。
続いて、誤差学習特徴量蓄積部34は、取得した誤差信号名に対応する誤差要因を特定する。1種類の誤差計測信号が用いられている場合、誤差学習特徴量蓄積部34は、例えば、当該誤差計測信号に対応する予め定められた1以上の誤差要因を取得する。例えば、誤差計測信号である眼電位に誤差要因である眼球運動が対応している。また、例えば、誤差計測信号である眼電位に誤差要因である眼球運動と筋活動とが対応していてもよい。
また、複数種類の誤差計測信号が用いられている場合、誤差学習特徴量蓄積部34は、例えば、当該複数種類の誤差計測信号の組み合わせに対応する予め定められた1以上の誤差要因を取得する。
また、複数種類の誤差計測信号が用いられている場合、誤差学習特徴量蓄積部34は、例えば、クラスタリング法を用いて誤差要因を特定してもよい。具体的には、誤差学習特徴量蓄積部34は、各時刻における当該複数種類の誤差信号の値を誤差信号欄868から取得し、各種類の誤差信号の値を要素とする各時刻におけるベクトルを生成する。例えば、各種類の誤差信号からなるベクトル空間は予め複数のクラスタに分類され、各クラスタに予め誤差要因が対応付けられている。誤差学習特徴量蓄積部34は、生成した各ベクトルが属するクラスタに従って、1以上の誤差要因を特定する。
誤差学習特徴量蓄積部34は、特定した1以上の誤差要因それぞれを誤差要因欄883に格納する。また、誤差学習特徴量蓄積部34は、取得した脳活動信号名及び誤差信号名をそれぞれ脳活動信号名欄881及び誤差信号名欄882に格納する。
続いて、誤差学習特徴量蓄積部34は、誤差係数を算出する。具体的には、誤差学習特徴量蓄積部34は、例えば、誤差信号を独立変数、脳活動信号誤差範囲又は指標誤差範囲誤差を従属変数とする係数不明の所定の関係式と、第i誤差学習特徴量情報86の脳活動信号誤差範囲欄864、及び指標誤差範囲欄866又は誤差信号欄868の値と、を用いた最小二乗法等により当該関係式の係数を決定し、決定した係数を誤差係数に決定する。なお、誤差学習特徴量蓄積部34は、例えば、誤差要因ごとに異なる関係式を用いて誤差係数を算出してもよい。
ステップ140において、誤差学習特徴量蓄積部34は、カウンタjの値を1、インクリメントする。ステップ141において、注意状態学習情報作成部25は、カウンタkの値を1、インクリメントする。
ステップ142において、最適信号学習部37は、最適信号情報89を作成する。最適信号学習部37は1以上m以下の全ての整数iに対して、例えば、以下の処理を行うことにより、最適信号情報89を作成する。
最適信号学習部37は、全ての課題における、第i誤差学習特徴量情報86を縦に結合した第iテーブルを作成する。最適信号学習部37は、第iテーブルの時間欄861の値を時間欄891に格納する。なお、時間欄891へ値を格納する初回の当該処理のみにおいて行えばよい。最適信号学習部37は、空欄である脳活動信号欄893を1つ特定し、当該特定した脳活動信号欄893に含まれる脳活動信号名欄894に第i脳活動信号の名称を格納する。
最適信号学習部37は、第iテーブルの各レコードについて、以下の処理を行う。最適信号学習部37は、時間欄861、誤差信号名欄867、及び誤差信号欄868それぞれから時間、誤差信号名、及び誤差信号の値を取得する。最適信号学習部37は、取得した誤差信号名に対応する誤差要因と誤差係数を第i誤差学習蓄積情報88から取得する。最適信号学習部37は、取得した誤差要因それぞれについて、当該誤差要因に対応する所定の関係式に、取得した当該誤差要因に対応する誤差係数と取得した誤差信号の値とを代入することにより、当該誤差要因に対応する誤差の値を算出する。
最適信号学習部37は、算出した誤差の値それぞれを第i脳活動信号に対応する誤差欄895の当該時刻に対応するセルに格納し、第i脳活動信号に対応する誤差欄895の誤差の和を第i脳活動信号に対応する累計誤差欄896の当該時刻に対応するセルに格納する。
最適信号学習部37は、全ての整数iに対して上述の処理を実行した後に、例えば、最適信号情報89の最下段に合計値を示すレコードを追加し、各誤差欄895及び各累計誤差欄896の追加したレコード内のセルに各誤差欄895及び各累計誤差欄896の値の合計値を格納する。
なお、誤差係数を用いて算出される誤差と、注意状態係数を用いて算出される注意度と、の間で単位や次元が異なる場合、最適信号学習部37は、例えば、所定の関係式を用いて、最適信号情報89の各誤差欄895及び各累計誤差欄896の誤差を変換することにより、誤差の単位や次元を注意度の単位や次元に合わせてもよい。
上述のように、注意状態学習部21は、複数の脳活動信号及び1以上の誤差計測信号を取得し、各脳活動信号と注意状態と注意状態の誤差との関係を取得する。また、注意状態学習部21は、最適信号情報89を用いて最適誤差及び最適誤差を示した脳活動信号を取得することができ、ひいては精度の高い注意状態の推定値を算出可能な脳活動信号を取得できる。
図7は、注意状態算出部51による処理の一例を示す。以下、図6の説明と同様に、脳活動信号入力部11には、第1脳活動信号〜第m脳活動信号(mは2以上の整数)が入力され、誤差計測信号入力部13には第1誤差計測信号〜第n誤差計測信号(nは1以上の整数)が入力されるものとする。なお、特に断らない限り、図7の説明においては、脳活動信号情報81及び誤差計測信号情報82は、注意状態算出時に生成される脳活動信号情報81及び誤差計測信号情報82を示す。
ステップ151において、算出脳活動信号取得部52は、脳活動信号入力部11に脳活動信号が入力されたか否かを判定する。算出脳活動信号取得部52は、入力されたと判定した場合は(ステップS151:YES)ステップ152に進み、入力されていないと判定した場合は(ステップS151:NO)ステップ151の処理が再度実行される。
ステップ151において、例えば、算出誤差計測信号取得部54が誤差計測信号入力部13に誤差計測信号が入力されたか否かを判定してもよい。また、例えば、全ての脳活動信号入力部11及び誤差計測信号入力部13に信号が入力されていなければ再度ステップ151の処理が実行されてもよい。
ステップ152において、算出脳活動信号取得部52は各脳活動信号に対応する脳活動信号情報81を作成し、算出誤差計測信号取得部54は各誤差計測信号に対応する誤差計測信号情報82を作成する。
ステップ153において、算出脳活動信号取得部52は全ての脳活動信号についての脳活動信号情報81を生成したか否かを、算出誤差計測信号取得部54は全ての誤差計測信号についての誤差計測信号情報82を作成したか否か、を判定する。全ての信号情報が作成したと判定された場合は(ステップS153:YES)ステップ154に進み、作成されていない信号情報があると判定された場合は(S153:NO)ステップ151に戻る。
なお、ステップ151において、脳活動信号入力部11及び誤差計測信号入力部13の双方に信号が入力されなければ再度ステップ151を繰り返す場合、ステップ153の後、常にステップ154に進んでもよい。
ステップ154において、誤差算出特徴量取得部57は、カウンタiの値を1に設定する。なお、注意状態算出部51に含まれるどの部がカウンタの値の設定を実行してもよい。
ステップ155において、算出特徴量群算出部55は、第i脳活動信号情報81があるか否かを判定する。第i脳活動信号情報がある場合は(ステップ155:YES)ステップ156に進み、ない場合は(ステップ155:NO)ステップ160に進む。ステップ156の処理は、注意状態算出部51に含まれる他部が行ってもよい。
ステップ156において、算出特徴量群算出部55は、第i算出特徴量群情報90、即ち第i注意状態算出特徴量情報901及び第i誤差算出特徴量情報902を作成する。具体的には、例えば、算出特徴量群算出部55は、第i脳活動信号情報81の信号欄813の値それぞれから、当該値に対応する指標値をステップ131と同様の方法で算出する。算出特徴量群算出部55は、第i脳活動信号情報81に、算出した指標値を格納する列を付加することにより、第i注意状態算出特徴量情報901を作成する。
また、算出特徴量群算出部55は、第i脳活動信号情報81の信号欄813の値それぞれから、ステップ138と同様の方法で、脳活動信号誤差の範囲を算出する。また、算出特徴量群算出部55は、算出した指標値それぞれから、ステップ138と同様の方法で、指標誤差範囲を算出する。算出特徴量群算出部55は、第i脳活動信号情報81に、算出した脳活動信号誤差範囲を格納する列、算出した指標値を格納する列、及び算出した指標誤差範囲を格納する列を付加することにより、第i誤差算出特徴量情報902を作成する。
ステップ157において、注意状態算出情報作成部58は、第i注意状態算出情報91を作成する。具体的には、例えば、注意状態算出情報作成部58は、第i誤差算出特徴量情報902から、時間欄9021及び脳活動信号名欄9022の値を取得し、第i注意状態算出情報91の時間欄911、及び脳活動信号名欄912にそれぞれ格納する。
さらに、注意状態算出情報作成部58は、第i注意状態学習蓄積情報87に含まれる、全ての注意種類及び注意状態係数を全て取得する。注意状態算出情報作成部58は、各注意状態係数と当該注意状態係数に対応する所定の関係式を用いて、各時刻における各注意種類の注意度を算出する。注意状態算出情報作成部58は、各時刻について、最大の注意度と、注意度が最大である注意種類と、を特定する。注意状態算出情報作成部58は、注意種類欄913及び注意度欄914に、特定した注意種類及び注意度をそれぞれ格納する。
ステップ158において、誤差算出部59は、第i誤差算出情報92を作成する。具体的には、誤差算出部59は、例えば、第i誤差算出特徴量情報902の時間欄9021及び脳活動信号名欄9022の値を、第i誤差算出情報92の時間欄921及び脳活動信号名欄922にそれぞれ格納する。
続いて、誤差算出部59は、第i誤差学習蓄積情報88を参照して、誤差計測信号情報82が作成された誤差信号名、並びに当該誤差信号名に対応する誤差要因及び誤差係数を取得する。誤差算出部59は、全ての誤差計測信号情報82から各時刻における誤差信号の値を取得する。また、誤差算出部59は、第i誤差算出特徴量情報902から、各時刻における脳活動信号誤差範囲及び指標誤差範囲を取得する。
誤差算出部59は、取得した各誤差係数、当該誤差係数に対応する所定の関係式、並びに取得した誤差信号、脳活動信号誤差範囲、及び指標誤差範囲の値、を用いて、各時刻における脳活動信号の誤差それぞれを算出する。また、誤差算出部59は、各時刻について、各種類の誤差の和を算出する。誤差算出部59は、算出した各時刻の誤差の和を累計誤差欄923に、特定した各時刻の誤差要因それぞれを誤差要因欄924に、算出した各時刻の誤差それぞれを誤差欄925に格納する。
なお、誤差係数を用いて算出される誤差と、注意状態係数を用いて算出される注意度と、の間で単位や次元が異なる場合、誤差算出部59は、ステップS142と同様の方法を用いて、第i誤差算出情報92の各誤差欄925及び各累計誤差欄923の誤差を変換することにより、誤差の単位や次元を注意度の単位や次元に合わせてもよい。
ステップ159において誤差算出部59は、カウンタiの値を1、インクリメントする。ステップ160において、注意状態情報格納部62は注意状態格納情報93を作成し、誤差情報格納部63は誤差格納情報94を作成し、最適注意状態選択部65は最適注意状態選択情報95を作成する。
具体的には、注意状態情報格納部62は、第1注意状態算出情報91〜第m注意状態算出情報91を、時間欄911をキーにしてマージすることにより、注意状態格納情報93を作成する。また、誤差情報格納部63は、第1誤差算出情報92〜第m誤差算出情報92を、時間欄921をキーにしてマージすることにより、誤差格納情報94を作成する。
また、最適注意状態選択部65は、誤差格納情報94を参照して、各時刻について、第1脳活動信号〜第m脳活動信号から最適な誤差を示す脳活動信号である最適信号を選択し、当該選択した最適信号の累計誤差欄946の値を取得する。最適注意状態選択部65は、各時刻について、選択した最適信号の名称を最適信号名欄952に格納し、取得した累計誤差を最適誤差欄953に格納する。
なお、最適注意状態選択部65は、例えば、各時刻において、第1脳活動信号〜第m脳活動信号のうち、累計誤差が最小である脳活動信号を最適信号として選択する。また、最適注意状態選択部65は、例えば、第1脳活動信号〜第m脳活動信号から予め選択された複数の信号から最適信号を選択してもよい。以下、最適信号の累計誤差を最適誤差と呼ぶ。
また、例えば、最適注意状態選択部65は、最適信号情報89を参照し、各時刻における累計誤差の平均値が所定値以上である脳活動信号を、最適信号の選択候補から除外してもよい。また、例えば、最適注意状態選択部65は、累計誤差が所定値以下である脳活動信号からランダムに選択した1つの脳活動信号を、当該時刻の最適信号に決定してもよい。
ステップ161において、最適注意状態選択部65は、カウンタiの値を1に設定する。ステップ162において、最適注意状態算出部64は、第i脳活動信号が最適信号であるか否かを判定する。第i脳活動信号が最適誤差の場合は(ステップ162:YES)ステップ164に進み、最適誤差でない場合は(ステップ162:NO)ステップ163に進む。
ステップ163において、最適注意状態算出部64は、カウンタiの値を1、インクリメントする。ステップ164において、最適注意状態算出部64は、最適注意状態情報96を作成する。具体的には、最適注意状態算出部64は、最適注意状態選択情報95の時間欄951と最適信号名欄952と最適誤差欄953からなるテーブルと、注意状態格納情報93の時間欄931と最適信号における注意種類欄934及び注意度欄936からなるテーブルと、を、時間欄をキーにマージすることにより、最適注意状態情報96を作成する。
ステップ166において、最適注意誤差修正情報算出部66は、誤差修正情報97を作成する。具体的には、最適注意誤差修正情報算出部66は、最適注意状態情報96の時間欄961の値と最適信号名欄962の値とを、誤差修正情報97の時間欄971と算出最適信号欄973とにそれぞれ格納する。
また、最適注意誤差修正情報算出部66は、例えば、最適信号情報89の最終行の各脳活動信号の合計の累計誤差から、学習時における最適信号を選択する。学習時における最適信号の選択方法は、ステップ159における最適注意状態選択部65による最適信号の選択方法と同様である。
最適注意誤差修正情報算出部66は、学習時における最適信号を学習最適信号欄972に格納する。つまり、学習最適信号欄972には全て同じ値が格納される。最適注意誤差修正情報算出部66は、例えば、学習最適信号と算出最適信号が同一であるレコードの判定結果欄974に「OK」を格納し、学習最適信号と算出最適信号が異なるレコードの判定結果欄974に「NG」を格納する。
上述の注意状態算出処理において、注意状態算出部51は、注意状態学習部21が取得した複数種類の脳活動信号と注意状態と注意状態の誤差との関係を用いて、各脳活動信号から注意状態の推定値と注意状態の推定値の誤差とを算出する。注意状態算出部51は、算出した各誤差を比較することで最適誤差を取得し、最適誤差を示した脳活動信号による注意状態の推定値を選択する。これにより、注意状態算出部51は、誤差が大きく精度が悪い脳活動信号と当該脳活動信号による注意状態の推定値の影響を受けずに、精度良く注意状態を評価できる。
なお、注意状態学習部21及び注意状態算出部51が、複数の計測チャネル(計測点)から計測された同種の脳活動信号を用いる場合、例えば、当該複数の計測チャネルにおける脳活動信号の平均値、又は当該複数の計測チャネル間の一定時間幅の位相差若しくは相関などの指標を、当該種類の脳活動信号として用いればよい。また、この場合において、注意状態学習部21及び注意状態算出部51は、例えば、最適信号の選択方法と同様の方法を用いて、当該複数チャネルから1つのチャネルの脳活動信号を選択してもよい。
図8は、注意状態出力部71による処理の一例を示す。ステップ171において、最適注意状態出力部72は、出力情報が作成されたか否かを判定する。出力情報は、記憶部に格納された任意の情報からなる情報である。以下、出力情報は、最適注意状態情報96、最適注意状態選択情報95、誤差格納情報94、誤差修正情報97からなるものとする。
最適注意状態出力部72は、出力情報が作成されたと判定した場合は(ステップS1711:YES)ステップ172に進み、作成されていないと判定した場合は(ステップS1711:NO)ステップ171を繰り返す。なお、ステップ171の判定処理は、注意状態出力部71の他の部が実施してもよい。
ステップ172において、例えば、最適注意状態出力部72は最適注意状態情報96を、最適注意状態選択情報出力部73は最適注意状態選択情報95を、誤差情報出力部74は誤差格納情報94を、最適注意誤差修正情報出力部75は誤差修正情報97を、出力部15に出力する。なお、出力情報が他の情報を含む場合、注意状態出力部71に含まれるいずれかの部が当該他の情報を出力してもよいし、当該他の情報を出力するための出力部が注意状態出力部71に含まれていてもよい。
ステップ173において、最適注意誤差修正情報出力部75は、誤差修正情報97の判定結果を用いて、例えば現在時刻を含む所定幅の時間窓における全ての時刻において、学習最適信号と算出最適信号が一致しているか否かを判定する。最適注意誤差修正情報出力部75は、一致していると判定した場合は(ステップ173:YES)ステップ171に戻り、一致していないと判定した場合は(ステップ173:NO)ステップ174に進む。
ステップ174において、最適注意誤差修正情報出力部75は、最適信号情報89を参照して、例えば学習最適信号における最大の誤差を示した誤差要因を特定し、特定した誤差要因の抑制指示を出力部15に出力する。誤差要因の抑制指示は、例えば、誤差要因ごとに予め定められている。「脳波の電極をつけ直してください」という指示は、脳波の誤差要因の抑制指示の一例である。
このように、注意状態出力部71は、注意状態算出部51が算出した注意状態の推定値と推定値の誤差や、注意状態算出部51が作成した情報を、ユーザや計測者に対して示すことができる。また、注意状態出力部71は、学習最適信号と算出最適信号とを比較することで、誤差を小さくするための指示を出力することができる。ひいては、誤差要因の影響を抑制した、注意状態評価が実現される。
なお、図8の例では、最適注意誤差修正情報出力部75は、学習最適信号の誤差抑制指示を出力しているが、誤差格納情報94を参照して他の脳活動信号を選択し、選択した脳活動信号についての誤差抑制指示を出力してもよい。なお、注意状態出力部71は、作成された一部のみを出力してもよい。注意状態出力部71は、例えば、最適信号の名称のみを出力し、注意状態の評価をユーザが行ってもよい。このとき、心的活動状態評価システムは、心的活動状態の評価を支援する、心的活動状態評価支援システムである。
また、例えば、最適注意誤差修正情報出力部75は、選択した脳活動信号それぞれにおいて最大の誤差を示す誤差要因を抑制する指示を出力してもよい。また、例えば、最適注意誤差修正情報出力部75は、複数の脳活動信号の誤差要因それぞれの誤差を算出し、最大の誤差を示す誤差要因を抑制するように指示を出力してもよい。また、誤差抑制指示は、計測機器や環境設定機器による誤差要因を小さくするための計測設定や計測環境を変更指示等のように、計測者等のユーザ以外の対象に出力されてもよい。
また、例えば、演算部20の各部は、処理の一部を、専門家等のユーザの入力に従って実施してもよい。また、演算部20の各部は、例えば、事前に設定された情報や以前の注意状態学習時又は注意状態算出時に作成された情報を用いて処理を実行してもよい。また、例えば専門家の判断等により、注意状態及び注意状態の誤差を算出するための所定の関係式等が変更されてもよい。