以下に添付図面を参照して、開示の判定装置、設定装置、判定方法、および判定プログラムの実施の形態を詳細に説明する。
(実施の形態1の説明)
図1は、実施の形態1にかかる判定システムの動作例を示す説明図である。判定システム100は、注視対象に対する利用者の注意状態を判定する判定装置101と、注視対象となる注視対象の点滅を制御する制御装置102と、を含む。判定装置101は、注視対象から所定範囲内にある非注視対象が点滅をする周期に対応する利用者識別用点滅周波数と、注視対象が点滅をする周期に対応する注視対象用点滅周波数リストと、を記憶する個別注視対象情報テーブル103を有する。なお、本実施の形態にかかる制御装置102は、注視対象の表示も行っているが、表示を行う別の装置があってもよい。また、注意状態とは、利用者が注視すべき注視対象に対してどのように見ているかを示す状態である。
初めに、判定装置101は、個別注視対象情報テーブル103の注視対象用点滅周波数リストフィールドに10[Hz]、利用者識別用点滅周波数フィールドに45[Hz]を記憶している。続けて、制御装置102は、注視対象を10[Hz]で点滅させ、非注視対象を45[Hz]で点滅させる。次に、判定装置101は、利用者Aの脳波信号を計測した後、脳波信号を周波数ごとに分析する。判定装置101は、分析結果から、脳波信号に注視対象用点滅周波数リストフィールドと利用者識別用点滅周波数フィールドに格納された周波数が含まれるか否かに応じて、利用者Aが注視すべき注視対象に対する注意状態を出力する。
図1の例では、判定装置101は、分析結果から、脳波信号に45[Hz]の周波数成分が含まれるので、利用者Aが注視対象を注視すべき状態であることを判定する。さらに、判定装置101は、脳波信号に10[Hz]の周波数成分が含まれるので、注視対象を見ていると判定する。したがって、判定装置101は、注意状態として、利用者Aが注視すべき注視対象を見ているということを出力する。
(判定システム100のハードウェア)
図2は、判定システムのハードウェアを示す説明図である。図2において、判定装置101は、CPU(Central Processing Unit)201と、ROM(Read‐Only Memory)202と、RAM(Random Access Memory)203と、を含む。また、判定装置101は、フラッシュROM204と、I/F205と、センサ206と、を含む。また、各部はバス207によってそれぞれ接続されている。なお、判定装置101は、利用者が1台ずつ有する端末装置であることを想定している。
ここで、CPU201は、判定装置101の全体の制御を司る。ROM202は、ブートプログラムなどのプログラムを記憶している。RAM203は、CPU201のワークエリアとして使用される。フラッシュROM204は、読出し速度が高速なフラッシュROMであり、たとえば、NOR型フラッシュメモリである。また、フラッシュROM204に、本実施の形態にかかる判定プログラムが記憶されていてもよい。
I/F205は、通信回線を通じてLAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどのネットワークに接続され、このネットワークを介して他の装置に接続される。そして、I/F205は、ネットワークと内部のインターフェースを司り、外部装置からのデータの入出力を制御する。I/F205には、たとえば無線LANなどを採用することができる。なお、I/F205は、ネットワークと接続しなくてもよい。センサ206は、脳波を計測し、脳波の波形を取り出す装置である。
制御装置102は、CPU211と、ROM212と、RAM213と、磁気ディスクドライブ214と、磁気ディスク215と、光ディスクドライブ216と、光ディスク217と、を含む。また、制御装置102は、ディスプレイ218と、I/F(Interface)219と、を含む。また、各部はバス220によってそれぞれ接続されている。なお、制御装置102は、複数の利用者に注視対象を提供する装置であり、たとえば、空港内の発着案内板、原子炉を監視する中央制御室での各画面を表示する表示装置、交通管制センター内の情報表示板、街頭広告等の情報提供板などがある。
ここで、CPU211は、制御装置102の全体の制御を司る。ROM212は、ブートプログラムなどのプログラムを記憶している。RAM213は、CPU211のワークエリアとして使用される。磁気ディスクドライブ214は、CPU211の制御にしたがって磁気ディスク215に対するデータのリード/ライトを制御する。磁気ディスク215は、磁気ディスクドライブ214の制御で書き込まれたデータを記憶する。
光ディスクドライブ216は、CPU211の制御にしたがって光ディスク217に対するデータのリード/ライトを制御する。光ディスク217は、光ディスクドライブ216の制御で書き込まれたデータを記憶したり、光ディスク217に記憶されたデータをコンピュータに読み取らせたりする。
ディスプレイ218は、注視対象を表示する。たとえば、ディスプレイ218は、TFT液晶ディスプレイなどを採用することができる。また、ディスプレイ218は、画面内の特定の領域について、バックライトの点滅周波数を変更することが可能である。
I/F219は、通信回線を通じてLAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどのネットワークに接続され、このネットワークを介して他の装置に接続される。そして、I/F219は、ネットワークと内部のインターフェースを司り、外部装置からのデータの入出力を制御する。I/F219には、たとえばモデムやLANアダプタなどを採用することができる。なお、判定装置101と制御装置102は、I/F205、I/F219を介して接続されていてもよいし、接続されていなくてもよい。なお、制御装置102は、ユーザとのインターフェースとして、キーボードと、マウスと、を有していてもよい。
また、図2では表示していないが、制御装置102は、表示装置の付近にある照明などの点滅を制御可能であってもよい。たとえば、制御装置102が空港内の発着案内板であれば、発着案内板の上部にある照明の点滅を制御可能であってもよい。
このようなハードウェアを利用して、判定装置101は、SSVEPとP300成分を検出して、利用者の注意状態を判定する。図3では、SSVEPとP300成分の検出に応じた判定結果を示す。
図3は、SSVEPとP300成分の検出による注意状態の判定例を示す説明図である。判定装置101は、SSVEPとP300成分の検出結果に応じて、利用者の注視対象に対する注意状態が、注視状態と、注意漫然状態と、注意散漫状態と、のいずれか一つの状態であると判定する。
注視状態とは、利用者が注視対象を見る際、注視している状態である。注意漫然状態とは、利用者が注視対象を見る際、注意が不足し漫然と見ている状態である。注意散漫状態は、利用者が注視対象を見ていない状態である。
表301で示す通り、判定装置101は、SSVEPが検出され、P300成分が検出された場合、利用者は注視対象を注意しつつ見ていることから、注視状態であると判定する。また、判定装置101は、SSVEPが検出され、P300成分が検出されなかった場合、利用者は注視対象を見ているが注意していない状態であるため、注意漫然状態であると判定する。また、判定装置101は、SSVEPが検出されなかった場合、利用者は注視対象を見ていないため、注意散漫状態であると判定する。なお、SSVEPが検出されず、P300成分が検出された場合、利用者は注視対象以外の他の対象に対して注意している状態である。次に、注意状態を判定するために用いる機能例を、図4を用いて説明する。
(判定システム100の機能)
次に、判定システム100の機能について説明する。図4は、判定システムの機能例を示す説明図である。判定装置101は、記憶部401と、分析部402と、取得部403と、判定部404と、判定部405と、判定部406と、出力部407と、を含む。この制御部となる機能(分析部402〜出力部407)は、記憶装置に記憶されたプログラムをCPU201が実行することにより、その機能を実現する。記憶装置とは、具体的には、たとえば、図2に示したROM202、RAM203、フラッシュROM204などである。
また、制御装置102は、記憶部411と、検出部412と、決定部413と、点滅部414と、を含む。この制御部となる機能(検出部412〜点滅部414)は、記憶装置に記憶されたプログラムをCPU211が実行することにより、その機能を実現する。記憶装置とは、具体的には、たとえば、図2に示したROM212、RAM213、磁気ディスクドライブ214、光ディスクドライブ216などである。
また、制御装置102は、記憶部411内にある注視対象情報テーブル421と注視対象範囲テーブル422にアクセス可能である。注視対象情報テーブル421は、注視対象と非注視対象の点滅周波数を記憶するテーブルであり、注視対象範囲テーブル422は、注視対象が表示する範囲を記憶するテーブルである。なお、注視対象情報テーブル421と注視対象範囲テーブル422の詳細については、図5にて後述する。
また、判定装置101は、記憶部401内にある個別注視対象情報テーブル103と脳波信号蓄積テーブル423にアクセス可能である。個別注視対象情報テーブル103は、注視対象から所定範囲内にある非注視対象が点滅をする周期に対応する第1の周波数と、注視対象が点滅をする周期に対応する第2の周波数と、を記憶するテーブルである。所定範囲については、予め決められた範囲となる。たとえば、利用者Aが着席した際に、注視対象と同時に目視可能な範囲内に非注視対象が存在する。脳波信号蓄積テーブル423は、計測された脳波信号を蓄積するテーブルである。
個別注視対象情報テーブル103の詳細は、図6にて後述し、脳波信号蓄積テーブル423の詳細は、図7にて後述する。また、記憶部401は、RAM203、フラッシュROM204といった記憶装置である。
分析部402は、利用者の脳波信号を周波数ごとに分析する機能を有する。たとえば、分析部402は、センサ206によって計測され、脳波信号蓄積テーブル423に蓄積された脳波信号を周波数ごとに分析する。具体的に、分析部402は、脳波信号蓄積テーブル423を参照して、高速フーリエ変換を行うことで、脳波信号に含まれる周波数成分を分析する。また、分析部402は、脳波信号蓄積テーブル423に蓄積された脳波信号のうち、特定の時間範囲について分析してもよい。なお、分析部402は、CPU201の機能ではなく、判定装置101にGPU(Graphics Processing Unit)が含まれ、GPUの機能であってもよい。
また、脳波信号には、センサ206等の性能に応じて、一定量のノイズが含まれることがある。したがって、分析部402は、利用者の脳波信号を事前に計測しておいた結果などを用いてノイズを除去し、ノイズ除去後の結果を分析結果としてもよい。または、分析結果を用いる判定部404、判定部405が、一定量のノイズを除去して第1および第2の周波数が含まれるか否かを判定してもよい。なお、分析結果は、RAM203、フラッシュROM204といった記憶装置に記憶される。
取得部403は、分析部402によって分析された分析結果を取得する機能を有する。たとえば、取得部403は、RAM203、フラッシュROM204等に記憶された分析結果を取得する。または、取得部403は、分析結果が記憶されているアドレスを取得してもよい。なお、取得結果は、RAM203、フラッシュROM204といった記憶装置に記憶される。
判定部404は、取得部403によって取得された分析結果から第1の周波数の成分が脳波信号に含まれているか否かに応じて、利用者が注視対象を注視すべき状態であるか否かを判定する機能を有する。たとえば、第1の周波数が40[Hz]であれば、判定部404は、分析結果に40[Hz]の周波数成分が一定以上含まれる場合に、利用者Aが注視対象を注視すべき状態であると判定する。
なお、SSVEPは、光源の点滅周波数と、周波数の整数倍の周波数が脳波信号として含まれることが知られている。したがって、判定部404は、第1の周波数の成分と、第2の周波数の整数倍の周波数の成分が脳波信号に含まれているか否かに応じて、利用者が注視対象を注視すべきか否かを判定してもよい。具体的に、第1の周波数が40[Hz]であれば、判定部404は、脳波信号に40[Hz]の成分と、40[Hz]の整数倍である80[Hz]の成分と、が含まれている場合に、利用者Aが注視対象を注視すべき状態であると判定する。なお、判定結果は、RAM203、フラッシュROM204といった記憶装置に記憶される。
判定部405は、取得部403によって取得された分析結果から第2の周波数の成分が脳波信号に含まれているか否かに応じて、注視対象の注意状態を判定する機能を有する。たとえば、第2の周波数が15[Hz]であれば、判定部405は、分析結果に15[Hz]の周波数成分が一定以上含まれる場合に、利用者Aが注視対象を見ていると判定する。また、注視対象が複数存在し、注視対象に対応する第2の周波数が複数含まれる場合も存在する。この場合、判定部405は、複数の第2の周波数のそれぞれについて、脳波信号に含まれるか否かに応じて、複数の注視対象の注意状態を判定する。なお、判定結果は、RAM203、フラッシュROM204といった記憶装置に記憶される。
判定部406は、脳波信号から視覚刺激に関連する特徴量が所定量以上存在するか否かを判定する機能を有する。たとえば、判定部406は、脳波信号蓄積テーブル423に蓄積された脳波信号からERPのP300成分が所定量以上存在するか否かを判定する。なお、所定量については、たとえば、ノイズとして測定される最大量として設定してもよい。ノイズの量はセンサ206の性能等で変わってくるため、たとえば、判定部406は、事前に計測していた利用者の脳波信号からノイズの量を取得しておき、ノイズの量以上であったときにP300成分が所定量以上となったとして判定してもよい。また、判定結果は、RAM203、フラッシュROM204といった記憶装置に記憶される。
出力部407は、判定部404および判定部405による判定結果に基づいて、利用者が注視すべき注視対象に対する注意状態を出力する。たとえば、出力部407は、判定部404によって利用者Aが注視対象を注視すべき状態であると判定され、判定部405によって注視対象を見ていることが判定された場合、利用者Aが注視対象を見ているという注意状態を出力する。また、出力部407は、判定部404によって利用者Aが注視対象を注視すべき状態であると判定され、判定部405によって注視対象を見ていないと判定された場合、利用者Aが注視対象を見ていないという注意散漫状態を出力する。
また、出力部407は、判定部404によって利用者Aが注視対象を注視すべき状態でないと判定された場合、利用者Aが注視対象を注視すべき状態にないことを出力する。また、出力部407は、判定部404によって利用者Aが注視対象を注視すべき状態でないと判定された場合、出力を行わなくてもよい。
また、出力部407は、判定部404〜判定部406による判定結果に基づいて、利用者が注視すべき注視対象に対する注意状態を出力してもよい。たとえば、出力部407は、利用者Aが注視対象を注視すべき状態であると判定され、注視対象を見ていることが判定され、さらに、判定部406によって視覚刺激に関連する特徴量が所定量存在したと判定された場合、注視状態を出力する。また、出力部407は、利用者Aが注視対象を注視すべき状態であると判定され、注視対象を見ていることが判定され、さらに、判定部406によって視覚刺激に関連する特徴量が所定量存在しないと判定された場合、注意漫然状態を出力する。
出力形式としては、たとえば、I/F205によって、利用者Aのスーパバイザとなる装置に判定結果を出力してもよい。また、他の出力形式としては、たとえば、I/F205によって、利用者Aが持つ端末などに出力してもよい。また、出力先では、たとえば、注意状態に応じて異なるアラートを表示する。アラートの一例として、出力先は、注意状態が注意散漫状態である場合、“注視対象が異なります”という旨のアラートを表示し、注意状態が注意漫然状態である場合、“注視対象をちゃんと注視していません”という旨のアラートを表示する。
記憶部411は、注視対象から所定範囲内にある非注視対象が点滅をする周期に対応する第1の周波数と注視対象が点滅をする周期に対応する第2の周波数とを利用者ごとに記憶しつつ、注視対象の表示範囲を記憶する。また、記憶部411は、注視対象および非注視対象の表示範囲を記憶してもよい。
検出部412は、利用者に対する注視対象の表示要求を検出する機能を有する。たとえば、制御装置102は、制御装置102が起動完了されたときに、利用者Aに対する注視対象の表示要求を検出してもよい。また、たとえば、制御装置102が、原子炉内を撮影する監視カメラで撮影された画像を表示する場合、画面に変化があった場合に、利用者Aに対する注視対象を検出してもよい。なお、検出結果は、RAM213、磁気ディスクドライブ214、光ディスクドライブ216といった記憶装置に記憶される。
決定部413は、検出部412によって利用者に対する注視対象の表示要求が検出された場合、記憶部411を参照して利用者に対応する第1および第2の周波数を決定する機能を有する。たとえば、決定部413は、利用者Aに対する注視対象の表示要求が検出された場合、利用者Aに対応する第1および第2の周波数を決定する。なお、決定した周波数は、RAM213、磁気ディスクドライブ214、光ディスクドライブ216といった記憶装置に記憶される。
点滅部414は、決定された第1および第2の周波数で、非注視対象および注視対象を点滅させる機能を有する。たとえば、点滅部414は、第1の周波数となる利用者識別用点滅周波数で、非注視対象となる利用者識別用光源を点滅させる。なお、利用者識別用光源は、ディスプレイ218の、注視対象範囲以外の光源であったり、ディスプレイ218の近くにある照明であったりしてもよい。さらに、点滅部414は、第2の周波数となる注視対象用点滅周波数で、記憶部411に記憶された注視対象の範囲にある注視対象を点滅させる。
図5は、注視対象情報テーブルおよび注視対象範囲テーブルの記憶内容の一例を示す説明図である。図5では、制御装置102が有する注視対象情報テーブル421の記憶内容の一例と注視対象範囲テーブル422の記憶内容の一例を説明する。
注視対象情報テーブル421および注視対象範囲テーブル422は、利用者の属性ごとに記憶されるテーブルである。図5で示す注視対象情報テーブル421は、レコード421−1〜レコード421−4を格納しており、注視対象範囲テーブル422は、レコード422−1〜レコード422−4を格納している。注視対象情報テーブル421は、利用者属性、注視対象用点滅周波数リスト、利用者識別用点滅周波数、という3つのフィールドを含む。また、注視対象範囲テーブル422は、利用者属性、注視対象範囲という2つのフィールドを含む。なお、注視対象情報テーブル421の利用者属性フィールドと注視対象範囲テーブル422の利用者属性フィールドとは1対1で紐づいている。
利用者属性フィールドには、注視対象を注視すべき利用者の属性が格納される。注視対象用点滅周波数リストフィールドには、利用者が注視すべき注視対象が点滅をする周期に対応する周波数のリストが格納される。利用者識別用点滅周波数フィールドには、注視対象とは別の位置で点滅しており利用者を識別する周波数が格納される。注視対象範囲フィールドには、注視対象が点滅する範囲が格納される。なお、注視対象用点滅周波数リストフィールドに設定された周波数が複数である場合、注視対象が複数あるため、注視対象範囲フィールドには、複数の注視対象に対応する複数の範囲が格納される。
たとえば、レコード421−2とレコード422−2では、利用者属性が装置1担当であり、装置1担当であることを識別する周波数が45[Hz]であり、さらに、注視対象が10[Hz]の周波数で点滅していることを示している。また、レコード421−2では、10[Hz]で点滅する注視対象は、左上の座標(10、10)と右下の座標(210、210)で囲まれる矩形の範囲で点滅することを示している。
また、レコード421−3とレコード422−3では、利用者属性がID2であり、ID2であることを識別する周波数が50[Hz]であり、さらに、注視対象が2つあり、それぞれ、10[Hz]、15[Hz]の周波数で点滅していることを示している。また、2つの注視対象が、2つのディスプレイに別れて存在しており、10[Hz]で点滅する注視対象が、ディスプレイ208−1内の左上の座標(10、10)と右下の座標(210、210)で囲まれる矩形の範囲で点滅する。また、15[Hz]で点滅する注視対象は、ディスプレイ208−2内の左上の座標(10、10)と右下の座標(210、210)で囲まれる矩形の範囲で点滅する。
なお、図5で示した注視対象範囲テーブル422は、注視対象の範囲を格納するフィールドを有していたが、利用者識別用の点滅範囲を格納するフィールドを有していてもよい。また、利用者識別用光源が存在する場合、注視対象範囲テーブル422は、利用者識別用の点滅範囲を格納するフィールドに利用者識別用光源を示す識別情報を格納してもよい。たとえば、制御装置102が空港内の発着案内板であり、発着案内板の上部にある照明を利用者識別用光源として使用する場合、注視対象範囲テーブル422は、前述のフィールドに照明を示す識別情報を格納してあってもよい。
図6は、個別注視対象情報テーブルの一例を示す説明図である。図6では、判定装置101が有する個別注視対象情報テーブル103の記憶内容の一例を説明する。個別注視対象情報テーブル103は、注視対象情報テーブル421の記憶内容から、判定装置101の利用者の属性に対応するレコードを抽出したテーブルとなる。具体的に、個別注視対象情報テーブル103は、利用者属性、注視対象用点滅周波数リスト、利用者識別用点滅周波数という3つのフィールドを含む。個別注視対象情報テーブル103の各フィールドは、注視対象情報テーブル421の同名のフィールドと同じ情報が格納されるため、説明を省略する。
たとえば、図6で示す個別注視対象情報テーブル103は、判定装置101を利用する利用者の属性が装置1担当となるレコード103−1と、利用者の属性がID2となるレコード103−2とが存在する。
図7は、SSVEPの検出例を示す説明図である。図7では、制御装置102が注視対象を点滅させ、判定装置101がSSVEPを検出するまでの例を示している。符号701で示す説明図は、制御装置102のLEDが点滅する状態を示している。符号701で示すように一定の周波数で点滅するLEDを目視した利用者から発せられた脳波信号をセンサ206が脳波信号として計測した様子を、グラフ702で示す。グラフ702は、横軸が時刻、縦軸が電位の振幅を示している。グラフ702で示すように、LEDが点滅をする周期に対応する周波数成分が脳波信号に重畳されている。
また、判定装置101は、センサ206によって計測した脳波信号を脳波信号蓄積テーブル423に蓄積する。符号703で示す説明図では、脳波信号蓄積テーブル423の記憶内容の一例を示している。脳波信号蓄積テーブル423は、計測された電位を時刻ごとに格納している。
続けて、判定装置101は、脳波信号蓄積テーブル423を参照して、脳波信号を周波数ごとに分析する。分析した結果をグラフ704にて示す。グラフ704は、横軸が周波数、縦軸が電位の振幅を示している。グラフ704では、周波数10[Hz]と周波数45[Hz]の成分にて振幅のピークがあることを示している。
図8は、P300成分の検出例を示す説明図である。図8では、判定装置101が、ERPのP300成分を検出している例を示している。グラフ801は、横軸が刺激後の時刻、縦軸が電位を示している。
グラフ801では、400[ミリ秒]の時点でP300成分となる最大振幅が出現していることを示している。なお、判定装置101は、脳波信号蓄積テーブル423を参照することで、P300成分を検出することができる。また、グラフ801は、P1、N1、P2、N2、P3(P300)といった成分が表れていることを示している。
図9は、利用者の注意状態の判定例を示す説明図(その1)である。図9では、利用者A〜利用者Cの3人が存在し、それぞれ判定装置101−A〜判定装置101−Cを携帯している。さらに、図9では、注視対象を表示するディスプレイ208が1台であり、個々の利用者の注視すべき注視対象が同一であるが、個々の利用者の注意状態が異なっている状況を示している。また、ディスプレイ208には、文字「A」〜文字「F」を表示している。たとえば、ディスプレイ208が、原子炉を監視する中央制御室でのディスプレイであれば、文字「A」〜文字「F」を表示する矩形領域が、原子炉内を撮影するカメラの画像となり、利用者A〜利用者Cが、原子炉を監視する監視者となる。
初めに、1番目の処理として、制御装置102は、注視対象情報テーブル421から、利用者属性を指定する。図9の例では、レコード421−2を指定する。2番目の処理として、制御装置102は、左上の座標(10、10)と右下の座標(210、210)で囲まれる矩形領域901を注視対象としてレコード421−2が示すように周波数10[Hz]で点滅させ、その他の領域を周波数45[Hz]で点滅させる。具体的に、制御装置102は、文字「A」の表示領域となる矩形領域901を周波数10[Hz]で点滅させ、その他の背景部分、および「B」〜「F」の表示領域を周波数45[Hz]で点滅させる。この状態で、利用者属性が装置1担当である利用者A〜利用者Cは、注視対象を目視する。
3番目の処理として、判定装置101−Aは、利用者Aの脳波を計測し、45[Hz]と10[Hz]のSSVEPを検出し、かつ、同時期にP300成分を検出する。このとき、判定装置101−Aは、自装置の注視対象情報テーブル421から45[Hz]のSSVEPを検出したことで利用者Aが注視対象を注視すべき利用者であり、10[Hz]のSSVEPを検出したことで利用者Aが注視対象を見ていることが特定できる。さらに、判定装置101−Aは、P300成分を検出したことで注視していることが特定できるため、4番目の処理として、注視対象に対する注意状態として注視状態であると判定する。
同様に、3番目の処理として、判定装置101−Bは、利用者Bの脳波を計測し、45[Hz]と10[Hz]のSSVEPを検出したが、P300成分を検出していない。このとき、判定装置101−Bは、自装置の注視対象情報テーブル421から45[Hz]のSSVEPを検出したことで利用者Bが注視対象を注視すべき利用者であり、10[Hz]のSSVEPを検出したことで利用者Bが注視対象を見ていることが特定できる。しかし、判定装置101−Bは、P300成分を検出しなかったため注視していることが特定できず、4番目の処理として、注視対象に対する注意状態として注意漫然状態であると判定する。
同様に、3番目の処理として、判定装置101−Cは、利用者Cの脳波を計測し、45[Hz]のSSVEPを検出したが、10[Hz]のSSVEPを検出していない。このとき、判定装置101−Cは、自装置の注視対象情報テーブル421から、45[Hz]のSSVEPを検出したことで利用者Cが注視対象を注視すべき利用者であることが特定できる。しかし、判定装置101−Cは、10[Hz]のSSVEPを検出しなかったことで利用者Cが注視対象を見ていることが特定できず、4番目の処理として、注視対象に対する注意状態として注意散漫状態であると判定する。
図10は、利用者の注意状態の判定例を示す説明図(その2)である。図10では、利用者A、利用者Dの2人が存在し、それぞれ判定装置101−A、判定装置101−Dを携帯している。さらに、図10では、注視対象を表示するディスプレイ208が1台であり、個々の利用者の注視すべき注視対象が異なっている状況を示している。なお、制御装置102と、利用者Aに関しては、図9で示す状態と等しいため、説明を省略する。また、利用者Dは、利用者属性が装置2担当である。
3番目の処理として、判定装置101−Dは、利用者Dの脳波を計測し、45[Hz]と10[Hz]のSSVEPを検出し、かつ、同時期にP300成分を検出する。このとき、判定装置101−Dは、検出した45[Hz]と10[Hz]が、自装置の注視対象情報テーブル421の利用者識別用点滅周波数フィールドに存在しないことを判断する。結果、判定装置101−Dは、検出した45[Hz]と10[Hz]が利用者Dの注視対象に関係ないことを特定し、注意状態を判定しない。
図11は、利用者の注意状態の判定例を示す説明図(その3)である。図11では、利用者Eが存在し、注視対象が2つあり、注視対象を表示するディスプレイ208が2台である状況を示している。
初めに、1番目の処理として、制御装置102は、注視対象情報テーブル421から、利用者属性を指定する。図11の例では、レコード421−3を指定する。2番目の処理として、制御装置102は、ディスプレイ208−1の左上の座標(10、10)と右下の座標(210、210)で囲まれる矩形領域1101を注視対象としてレコード421−3が示すように周波数10[Hz]で点滅させる。さらに、制御装置102は、ディスプレイ208−2の左上の座標(10、10)と右下の座標(210、210)で囲まれる矩形領域1102を注視対象として周波数15[Hz]で点滅させ、その他の領域を周波数50[Hz]で点滅させる。
具体的に、制御装置102は、ディスプレイ208−1の文字「A」の表示領域となる矩形領域1101を周波数10[Hz]で点滅させ、ディスプレイ208−2の文字「1」の表示領域となる矩形領域1102を周波数15[Hz]で点滅させる。制御装置102は、矩形領域1101、矩形領域1102以外の背景部分、および「B」〜「F」、「2」〜「6」の表示領域を周波数50[Hz]で点滅させる。この状態で、利用者Eは、注視対象を目視する。
3番目の処理として、判定装置101−Eは、利用者Eの脳波を計測し、50[Hz]と10[Hz]のSSVEPを検出し、かつ、同時期にP300成分を検出する。さらに、判定装置101−Eは、15[Hz]のSSVEPを検出し、かつ、同時期にP300成分を検出する。このとき、判定装置101−Eは、注視対象情報テーブル421から、50[Hz]のSSVEPを検出したことで利用者Eが注視対象を注視すべき利用者であることが特定できる。また、判定装置101−Eは、10[Hz]と15[Hz]のSSVEPを検出したことで利用者Eが注視対象を見ていることが特定できる。さらに、判定装置101−Eは、10[Hz]と15[Hz]に対応するP300成分を検出したことで注視していることが特定できるため、4番目の処理として、注視対象に対する注意状態として注視状態であると判定する。
続けて、図9〜図11で示した注意状態を判定する判定システム100のフローチャートについて、図12、図13で示す。図12では、制御装置102の処理を示すフローチャートを示し、図13では、判定装置101の処理を示すフローチャートを示す。
図12は、制御装置の処理手順の一例を示すフローチャートである。制御装置102は、利用者属性に対する注視対象の表示要求を検出したか否かを判断する(ステップS1201)。注視対象を検出していない場合(ステップS1201:No)、制御装置102は、一定時間経過後、ステップS1201の処理を再び実行する。注視対象を検出した場合(ステップS1201:Yes)、制御装置102は、注視対象情報テーブル421から、利用者属性に対応する注視対象用点滅周波数と、利用者識別用点滅周波数と、を決定する(ステップS1202)。
続けて、制御装置102は、利用者識別用点滅周波数で、利用者識別用光源を点滅させ(ステップS1203)、注視対象用点滅周波数で、注視対象範囲にある注視対象を点滅させ(ステップS1204)、ステップS1201の処理に移行する。
図13は、判定装置の処理手順の一例を示すフローチャートである。判定装置101は、利用者の脳波信号が周波数ごとに分析された分析結果を取得する(ステップS1301)。次に、判定装置101は、個別注視対象情報テーブル103のうち、利用者識別用点滅周波数のSSVEPを検出したか否かを判断する(ステップS1302)。利用者識別用点滅周波数のSSVEPを検出していない場合(ステップS1302:No)、判定装置101は、ステップS1301の処理を再び実行する。
利用者識別用点滅周波数のSSVEPを検出している場合(ステップS1302:Yes)、判定装置101は、検出された利用者識別用点滅周波数に対応する注視対象用点滅周波数リストの先頭の周波数を取得する(ステップS1303)。続けて、判定装置101は、取得した注視対象用点滅周波数のSSVEPを検出したか否かを判断する(ステップS1304)。注視対象用点滅周波数のSSVEPを検出した場合(ステップS1304:Yes)、判定装置101は、SSVEP検出時にP300成分を検出したか否かを判断する(ステップS1305)。P300成分を検出した場合(ステップS1305:Yes)、判定装置101は、取得した注視対象用点滅周波数の注視対象に対する注意状態として注視状態であると判定する(ステップS1306)。
P300成分を検出していない場合(ステップS1305:No)、判定装置101は、取得した注視対象用点滅周波数の注視対象に対する注意状態として注意漫然状態であると判定する(ステップS1307)。注視対象用点滅周波数のSSVEPを検出していない場合(ステップS1304:No)、判定装置101は、取得した注視対象用点滅周波数の注視対象に対する注意状態として注意散漫状態であると判定する(ステップS1308)。
ステップS1306〜ステップS1308の処理後、判定装置101は、注視対象用点滅周波数リストの全てに対して判定したか否かを判断する(ステップS1309)。全てに対して判定していない場合(ステップS1309:No)、判定装置101は、検出された利用者識別用点滅周波数に対応する注視対象用点滅周波数リストの次の周波数を取得し(ステップS1310)、ステップS1304の処理に移行する。
全てに対して判定している場合(ステップS1309:Yes)、判定装置101は、判定結果を総合し(ステップS1311)、総合した判定結果を出力し(ステップS1312)、ステップS1301の処理に移行する。
なお、判定結果の総合方法の一例として、判定装置101は、1つ目の判定基準として、複数の判定結果のうち、一つ以上の注意散漫状態の注視対象が存在する場合、総合した判定結果を注意散漫状態として判定する。また、判定装置101は、2つ目の判定基準として、1つ目の判定基準に当てはまらず、複数の判定結果のうち、一つ以上の注意漫然状態の注視対象が存在する場合、総合した判定結果を注意漫然状態として判定する。さらに、判定装置101は、3つ目の判定基準として、2つ目の判定基準に当てはまらなかった場合、総合した判定結果を注視状態として判定する。
また、判定結果の出力方法の一例として、判定装置101は、注視対象が注視状態にある個数、注視対象が注意漫然状態にある個数、注視対象が注意散漫状態にある個数を出力してもよい。
以上説明したように、判定装置、判定方法、および判定プログラムによれば、非注視対象が点滅をする周期に対応する第1の周波数の成分と、注視対象が点滅をする周期に対応する第2の周波数の成分と、が脳波信号に含まれるかを判定する。これにより、判定装置は、利用者が注視すべき注視対象に対してどのように見ているかを容易に識別できる。
また、判定装置は、脳波信号から視覚刺激に関連する特徴量が所定量以上存在したか否かを判定し、3つの判定結果より、注視対象を注視すべき利用者の注意状態を出力してもよい。これにより、判定装置は、利用者の注視対象に対する注意状態について、注視対象を注意して見ているか否かについて判定することができる。また、判定装置からの出力を受け付けた装置は、利用者の注意状態に対応した適切なアラートを表示することができる。
また、判定装置は、脳波信号に第1の周波数の成分と第2の周波数の成分とが含まれ、さらに、脳波信号から視覚刺激に関連する特徴量が所定量以上存在した場合、注意状態を注視状態として出力してもよい。これにより、判定装置は、注視対象を注視すべき利用者が注視対象を注視している場合に、注視状態であるとして判定することができる。
また、判定装置は、脳波信号に第1の周波数の成分と、第2の周波数の成分とが含まれ、さらに、脳波信号から視覚刺激に関連する特徴量が所定量以上存在しない場合、注意状態を注意漫然状態として出力してもよい。これにより、判定装置は、注視対象を注視すべき利用者が注視対象を見ているが、注視していない場合に、注意漫然状態として出力することができる。なお、判定装置からの出力を受け付けた装置は、利用者の注意漫然状態に対応したアラートを表示することができる。たとえば、前述の装置は、“注視対象をちゃんと注視していません”という旨のアラートを表示することができる。
また、判定装置は、脳波信号に第1の周波数の成分が含まれており、第2の周波数の成分が含まれない場合、注意状態を注意散漫状態として出力してもよい。これにより、判定装置は、注視対象を注視すべき利用者が注視対象を見ていない場合に、注意散漫状態として出力することができる。なお、判定装置からの出力を受け付けた装置は、利用者の注意散漫状態に対応したアラートを表示することができる。たとえば、前述の装置は、“注視対象が異なります”という旨のアラートを表示することができる。
また、判定装置は、注視対象に対する注意状態を自動判定できるため、利用者に注視対象の確認をさせずに済み、利用者にとって煩わしい作業を行わずに済む。また、判定装置は、注視対象に対する目視の有無、注視対象の注意状態といった判定を、脳波解析に基づいて判定するため、目視を検出する視線検知装置を用意しなくて済む。
また、判定システムは、利用者属性を用いることで、注意状態を判定する利用者を明示的に指定することができる。たとえば、ディスプレイが原子炉を監視する中央制御室での各画面である場合、判定システムは、それぞれの画面ごとに、利用者属性を指定することで、特定の画面を注視すべき利用者を明示的に特定することができる。
また、判定システムは、利用者属性ごとに注視対象に対する点滅周波数を設定することで、単純に注視対象ごとに点滅周波数を設定する場合に比べ、設定される周波数の個数を減少させることができる。
また、判定システムは、注視対象を表示する表示装置と、注視対象に対する注意状態を判定する判定装置と、に分割し、脳波信号を判定装置から表示装置に送信しないため、個人情報である脳波信号の流出を防ぎ、利用者のプライバシーを確保できる。
(実施の形態2の説明)
実施の形態1にかかる判定システム100は、注視対象の周波数と、利用者を識別する周波数と、を利用者属性ごとに設定していた。しかしながら、SSVEP検出として設定可能な周波数には限りがあり、利用者属性が多い場合、設定可能な周波数が不足する可能性がある。実施の形態2にかかる判定システム100では、SSVEP検出に利用する周波数の効率的な設定方法について説明を行う。
図14は、実施の形態2にかかる判定システムのハードウェア例を示す説明図である。図14で示す、実施の形態2にかかる判定システム1400は、判定装置101と制御装置102とに加え、SSVEP検出の周波数を設定する設定装置1401を含む。実施の形態2にかかる判定装置101と制御装置102は、実施の形態1にかかる判定装置101と制御装置102と同一のハードウェアである。したがって、図14では、判定装置101と制御装置102の説明を省略し、CPU201〜フラッシュROM204、センサ206、バス207、CPU211〜光ディスク217、バス220の図示を省略する。
設定装置1401は、CPU1411と、ROM1412と、RAM1413と、磁気ディスクドライブ1414と、磁気ディスク1415と、I/F1416と、を含む。また、各部はバス1417によってそれぞれ接続されている。
CPU1411は、設定装置1401の全体の制御を司る。ROM1412は、ブートプログラムなどのプログラムを記憶している。RAM1413は、CPU1411のワークエリアとして使用される。磁気ディスクドライブ1414は、CPU1411の制御にしたがって磁気ディスク1415に対するデータのリード/ライトを制御する。磁気ディスク1415は、磁気ディスクドライブ1414の制御で書き込まれたデータを記憶する。
I/F1416は、通信回線を通じてLAN、WAN、インターネットなどのネットワーク1418に接続され、ネットワーク1418を介して判定装置101と制御装置102といった他の装置に接続される。そして、I/F1416は、ネットワーク1418と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。I/F219には、たとえばモデムやLANアダプタなどを採用することができる。なお、設定装置1401は、ユーザとのインターフェースとして、キーボードと、マウスと、を有していてもよい。
図15は、実施の形態2にかかる判定システムの機能例を示すブロック図である。なお、図15で示す、実施の形態2にかかる判定装置101と制御装置102は、実施の形態1にかかる判定装置101と制御装置102と同一の機能を有するため、説明を省略する。設定装置1401は、記憶部1501と、受付部1502と、検出部1503と、判定部1504と、抽出部1505と、通知部1506と、を含む。この制御部となる機能(受付部1502〜通知部1506)は、記憶装置に記憶されたプログラムをCPU1411が実行することにより、その機能を実現する。記憶装置とは、具体的には、たとえば、図14に示したROM1412、RAM1413、磁気ディスクドライブ1414などである。
また、設定装置1401は、記憶部1501内にある利用者属性管理テーブル1511と設定可能周波数管理テーブル1512にアクセス可能である。利用者属性管理テーブル1511は、利用者属性と利用者が注視対象を注視すべき状態の条件とを記憶するテーブルである。設定可能周波数管理テーブル1512は、非注視対象および注視対象の点滅周波数として設定可能な周波数を記憶するテーブルである。なお、利用者属性管理テーブル1511の詳細については、図16にて後述し、設定可能周波数管理テーブル1512の詳細については、図17にて後述する。
記憶部1501は、非注視対象および注視対象の点滅周波数として設定可能な周波数群と利用者が注視対象を注視すべき状態、または時間とを記憶する。なお、記憶部1501はRAM1413、磁気ディスクドライブ1414といった記憶装置である。
受付部1502は、利用者の状態を受け付ける機能を有する。たとえば、受付部1502は、利用者が携帯している判定装置101から、利用者の状態として、判定装置101の位置情報を受け付ける。または、受付部1502は、利用者が判定装置101を装着し、脳波信号を検出したことを受け付けてもよい。なお、受付結果は、RAM1413、磁気ディスクドライブ1414といった記憶装置に記憶される。
検出部1503は、利用者の状態の変化を検出する機能を有する。たとえば、検出部1503は、既に受け付けていた利用者Aの状態と、新しく受け付けた利用者の状態とが異なる場合、利用者の状態の変化を検出する。または、検出部1503は、現在時刻が記憶部1501に記憶されている時間内となったことを検出してもよい。たとえば、設定装置は、タイマ、またはネットワーク1418などから現在時刻を取得し、現在時刻が、記憶部1501に記憶されている時間内となったことを検出する。なお、検出結果は、RAM1413、磁気ディスクドライブ1414といった記憶装置に記憶される。
判定部1504は、検出部1503によって変化を検出した場合、記憶部1501に記憶されている状態と変化後の利用者の状態とが一致するか否かを判定する機能を有する。たとえば、判定部1504は、利用者属性管理テーブル1511に、利用者Aが注視対象を目視可能な部屋1にいるという状態と、変化後の利用者Aの状態として、利用者Aが部屋1にいるという状態が一致するかを判定する。なお、判定結果は、RAM1413、磁気ディスクドライブ1414といった記憶装置に記憶される。
抽出部1505は、判定部1504によって一致したと判定された場合、記憶部1501に記憶されている周波数群から非注視対象が点滅をする周期に対応する第1の周波数と、注視対象が点滅をする周期に対応する第2の周波数と、を抽出する機能を有する。たとえば、抽出部1505は、設定可能周波数管理テーブル1512から、第1の周波数と第2の周波数を抽出する。また、抽出部1505は、検出部1503によって時間内になったことが検出された場合、第1および第2の周波数を抽出してもよい。なお、抽出結果は、RAM1413、磁気ディスクドライブ1414といった記憶装置に記憶される。
通知部1506は、抽出部1505によって抽出した第1および第2の周波数を制御装置102および判定装置101に通知する機能を有する。具体的に、通知部1506は、I/F1416によって、第1および第2の周波数を判定装置101と制御装置102に通知する。
図16は、利用者属性管理テーブルの記憶内容の一例を示す説明図である。図16では、設定装置1401が有する利用者属性管理テーブル1511の記憶内容の一例を説明する。図16で示す利用者属性管理テーブル1511は、レコード1511−1〜レコード1511−6を格納している。利用者属性管理テーブル1511は、利用者属性、属性条件という2つのフィールドを含む。利用者属性フィールドには、注視対象を注視すべき利用者の属性が格納される。属性条件フィールドには、利用者属性フィールドに格納された利用者属性に属する利用者が、注視対象を注視すべき状態、または時間が格納される。
たとえば、レコード1511−2は、時間0:00〜12:00において利用者属性がID2となる利用者が注視対象を注視すべき時間であることを示している。また、レコード1511−4は、利用者属性が装置1担当である利用者が部屋1にいることが、利用者が注視対象を注視すべき状態であることを示している。
図17は、設定可能周波数管理テーブルの記憶内容の一例を示す説明図である。図17では、設定装置1401が有する設定可能周波数管理テーブル1512の記憶内容の一例を説明する。図17で示す設定可能周波数管理テーブル1512は、レコード1512−1を格納している。設定可能周波数管理テーブル1512は、注視対象用点滅周波数、利用者識別用点滅周波数という2つのフィールドを含む。注視対象用点滅周波数フィールドには、注視対象用点滅周波数として利用可能な周波数群が格納される。利用者識別用点滅周波数フィールドには、利用者識別用点滅周波数として利用可能な周波数群が格納される。
たとえば、レコード1512−1は、注視対象用点滅周波数として、5[Hz]、10[Hz]、15[Hz]、…、が利用可能であり、利用者識別用点滅周波数として、40[Hz]、45[Hz]、50[Hz]、…、が利用可能であることを示している。なお、SSVEPは、点滅周波数が10[Hz]、16[Hz]、40[Hz]〜50[Hz]の付近に感度が高い領域が存在するため、設定可能周波数管理テーブル1512に登録される周波数としては、前述した周波数付近が好ましい。
図18は、注視対象情報テーブルの更新例を示す説明図である。図18では、設定装置1401の処理によって注視対象情報テーブル421が更新される例を示している。符号1801は、制御装置102が置かれている場所の、時刻0:00〜時刻12:00の状態を示しており、符号1802は、制御装置102が置かれている場所の、時刻12:00〜時刻24:00までの状態を示している。
符号1801では、時刻0:00〜時刻12:00であるため、レコード1511−2の属性条件が成立する。この場合、設定装置1401は、レコード1511−2に対応する利用者属性の注視対象用点滅周波数、利用者識別用点滅周波数を設定する。
具体的には、設定装置1401は、設定可能周波数管理テーブル1512の利用者識別用点滅周波数フィールドから、たとえば、50[Hz]を抽出し、注視対象用点滅周波数フィールドのうち、たとえば、15[Hz]を抽出する。設定装置1401は、対応する利用者属性と、抽出された注視対象用点滅周波数、利用者識別用点滅周波数から、注視対象情報テーブル421、個別注視対象情報テーブル103を生成する。たとえば、設定装置1401は、“ID2”、“15”、“50”を1レコードとする、注視対象情報テーブル421、個別注視対象情報テーブル103を生成する。
続けて、設定装置1401は、生成した注視対象情報テーブル421、個別注視対象情報テーブル103をそれぞれ制御装置102、判定装置101に通知する。通知結果を受け付けた制御装置102は、レコード421−3の注視対象用点滅周波数リストフィールドを“15”に更新し、利用者識別用点滅周波数フィールドを“50”に更新する。なお、通知された利用者属性が格納されたレコードが、注視対象情報テーブル421に存在しない場合、制御装置102は、受け付けた利用者属性、注視対象用点滅周波数、利用者識別用点滅周波数、を1レコードとして注視対象情報テーブル421に追加する。また、判定装置101も、個別注視対象情報テーブル103に対して同様の処理を行う。
次に、時刻が経過し、設定装置1401は、符号1801から符号1802に変化したことを検出する。設定装置1401は、レコード1511−2の属性条件が成立しなくなったため、設定した15[Hz]と50[Hz]を回収する。具体的に、設定装置1401は、制御装置102に注視対象情報テーブル421のレコードのうち、成立しなくなった属性条件に対応する利用者属性のレコードの削除要求を行う。続けて、設定装置1401は、該当のレコードの注視対象用点滅周波数、利用者識別用点滅周波数を、設定可能周波数管理テーブル1512に追加する。
続けて、設定装置1401は、レコード1511−3の属性条件が成立するため、設定装置1401は、レコード1511−3に対応する利用者属性の注視対象用点滅周波数、利用者識別用点滅周波数を設定する。具体的に、図18の例では、設定装置1401は、前述の処理にて回収した15[Hz]と50[Hz]を抽出する。周波数を抽出した後、設定装置1401は、対応する利用者属性と、割り当てた注視対象用点滅周波数、利用者識別用点滅周波数から生成された注視対象情報テーブル421、個別注視対象情報テーブル103を、制御装置102、判定装置101に通知する。
このように、図18で示す更新例を行った設定装置1401、結果的に、利用者属性ID2、利用者属性ID3に対して同一の周波数を設定しており、利用する周波数の個数を減らすことができる。
図19は、設定装置の処理手順の一例を示すフローチャートである。設定装置1401は、利用者の状態を受け付け(ステップS1901)、利用者の状態の変化を検出したか否かを判断する(ステップS1902)。
変化を検出した場合(ステップS1902:Yes)、設定装置1401は、属性条件フィールドの状態と変化後の利用者の状態とが一致するか否かを判断する(ステップS1903)。変化を検出しなかった場合(ステップS1902:No)、または、一致しない場合(ステップS1903:No)、設定装置1401は、現在時刻が属性条件フィールドの時間内となったか否かを判断する(ステップS1904)。時間内になった場合(ステップS1904:Yes)、または、一致した場合(ステップS1903:Yes)、設定装置1401は、現時点での状態、時間で成立しない利用者属性に設定された周波数を回収する(ステップS1905)。時間内になっていない場合(ステップS1904:No)、設定装置1401は、ステップS1901の処理に移行する。
周波数の回収後、設定装置1401は、設定可能周波数管理テーブル1512から現時点での状態、時間に対応する利用者属性の注視対象用点滅周波数、利用者識別用点滅周波数を抽出する(ステップS1906)。次に、設定装置1401は、現時点での状態、時間に対応する利用者属性と抽出された注視対象用点滅周波数、利用者識別用点滅周波数とから、注視対象情報テーブル421、個別注視対象情報テーブル103を生成する(ステップS1907)。続けて、設定装置1401は、生成した注視対象情報テーブル421、個別注視対象情報テーブル103を、それぞれ制御装置102、判定装置101に通知し(ステップS1908)、ステップS1901の処理に移行する。
なお、通知結果を受け付けた制御装置102は、自装置の注視対象情報テーブル421のうち、受け付けた利用者属性に対応するレコードに関して、注視対象用点滅周波数、利用者識別用点滅周波数を更新する。同様に、通知を受け付けた判定装置101は、自装置の個別注視対象情報テーブル103のうち、受け付けた利用者属性に対応するレコードに関して、注視対象用点滅周波数リスト、利用者識別用点滅周波数を更新する。
以上説明したように、設定装置によれば、SSVEPに設定可能な周波数群と利用者が注視対象を注視すべき状態を記憶する。続けて、設定装置は、利用者の状態が変化した場合、記憶された状態と一致した場合に、記憶された周波数群から、非注視対象と注視対象の周波数を設定する。これにより、設定装置は、SSVEP検出に利用可能な周波数を使いまわすことができ、利用可能な周波数を効率的に設定でき、多くの利用者に対応することができる。
また、設定装置は、SSVEPに設定可能な周波数群と利用者が注視対象を注視すべき時間を記憶する。続けて、設定装置は、前述の時間になった場合に、記憶された周波数群から、非注視対象と注視対象の周波数を設定する。これにより、設定装置は、SSVEP検出に利用可能な周波数を使いまわすことができ、利用可能な周波数を効率的に運用でき、多くの利用者に対応することができる。たとえば、設定装置は、注視対象を時間ごとに分担して注視する場合、注視対象に常に同じ周波数を設定することができ、周波数を有効に設定することができる。
なお、実施の形態1、2で説明した判定方法、設定方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本判定プログラム、本設定プログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本判定プログラム、本設定プログラムは、インターネット等のネットワークを介して配布してもよい。
上述した実施の形態1、2に関し、さらに以下の付記を開示する。
(付記1)注視対象から所定範囲内にある非注視対象が点滅をする周期に対応する第1の周波数と、前記注視対象が点滅をする周期に対応する第2の周波数と、を記憶する記憶部と、
利用者の脳波信号が周波数ごとに分析された分析結果を取得する取得部と、
前記取得部によって取得された分析結果から前記第1の周波数の成分が前記脳波信号に含まれているか否かに応じて、前記利用者が前記注視対象を注視すべき状態か否かを判定する第1の判定部と、
前記取得部によって取得された分析結果から前記第2の周波数の成分が前記脳波信号に含まれているか否かに応じて、前記注視対象の注意状態を判定する第2の判定部と、
前記第1および第2の判定部による判定結果に基づいて、前記利用者が注視すべき前記注視対象に対する注意状態を出力する出力部と、
を備えることを特徴とする判定装置。
(付記2)前記脳波信号から視覚刺激に関連する特徴量が所定量以上存在したか否かを判定する第3の判定部をさらに備え、
前記出力部は、
前記第1、第2および第3の判定部による判定結果に基づいて、前記利用者が注視すべき前記注視対象に対する注意状態を出力する、
ことを特徴とする付記1に記載の判定装置。
(付記3)前記出力部は、
前記第1の判定部によって利用者が注視対象を注視すべき状態であることが判定され、第2の判定部によって前記利用者が注視対象を見ていることが判定され、かつ、前記第3の判定部によって前記視覚刺激に関連する特徴量が前記所定量以上存在したと判定された場合、前記注意状態を注視状態として出力する、
ことを特徴とする付記2に記載の判定装置。
(付記4)前記出力部は、
前記第1の判定部によって前記利用者が注視対象を注視すべき状態であることが判定され、第2の判定部によって前記利用者が注視対象を見ていることが判定され、かつ、前記第3の判定部によって前記視覚刺激に関連する特徴量が前記所定量以上存在しないと判定された場合、前記注意状態を注意漫然状態として出力する、
ことを特徴とする付記2に記載の判定装置。
(付記5)前記出力部は、
前記第1の判定部によって前記利用者が注視対象を注視すべき状態であることが判定され、第2の判定部によって利用者が注視対象を見ていないことが判定された場合、前記注意状態を注意散漫状態として出力する、
ことを特徴とする付記1または2に記載の判定装置。
(付記6)注視対象から所定範囲内にある非注視対象および前記注視対象が点滅をする周期に対応する周波数を制御する制御装置と利用者に携帯され前記利用者が注視すべき前記注視対象の注意状態を判定する判定装置とに接続可能な設定装置であって、
前記非注視対象および前記注視対象の点滅周波数として設定可能な周波数群と前記利用者が前記注視対象を注視すべき状態とを記憶する記憶部と、
前記利用者の状態の変化を検出する検出部と、
前記検出部によって前記変化を検出した場合、前記記憶部に記憶されている状態と変化後の前記利用者の状態とが一致するか否かを判定する判定部と、
前記判定部によって一致したと判定された場合、前記記憶部に記憶されている周波数群から前記非注視対象が点滅をする周期に対応する第1の周波数と、前記注視対象が点滅をする周期に対応する第2の周波数と、を抽出する抽出部と、
前記抽出部によって抽出した前記第1および第2の周波数を前記制御装置および前記判定装置に通知する通知部と、
を備えることを特徴とする設定装置。
(付記7)前記記憶部は、
前記非注視対象および前記注視対象の点滅周波数として設定可能な周波数群と前記利用者が前記注視対象を注視すべき時間とを記憶し、
前記検出部は、
現在時刻が前記記憶部に記憶されている時間内となったことを検出し、
前記抽出部は、
前記検出部によって前記時間内になったことが検出された場合、前記記憶部に記憶されている周波数群から前記非注視対象が点滅をする周期に対応する第1の周波数と、前記注視対象が点滅をする周期に対応する第2の周波数と、を抽出する、
ことを特徴とする付記6に記載の設定装置。
(付記8)注視対象から所定範囲内にある非注視対象が点滅をする周期に対応する第1の周波数と、前記注視対象が点滅をする周期に対応する第2の周波数と、を記憶するコンピュータが、
利用者の脳波信号が周波数ごとに分析された分析結果を取得し、
取得された分析結果から前記第1の周波数の成分が前記脳波信号に含まれているか否かに応じて、前記利用者が前記注視対象を注視すべき状態か否かを判定し、
取得された分析結果から前記第2の周波数の成分が前記脳波信号に含まれているか否かに応じて、前記注視対象の注意状態を判定し、
判定された2つの判定結果に基づいて、前記利用者が注視すべき前記注視対象に対する注意状態を出力する、
処理を実行することを特徴とする判定方法。
(付記9)注視対象から所定範囲内にある非注視対象および前記注視対象が点滅をする周期に対応する周波数を制御する制御装置と利用者に携帯され前記利用者が注視すべき前記注視対象の注意状態を判定する判定装置とに接続可能であり、前記非注視対象および前記注視対象の点滅周波数として設定可能な周波数群と前記利用者が前記注視対象を注視すべき状態とを記憶するコンピュータが、
前記利用者の状態の変化を検出し、
前記変化を検出した場合、記憶されている状態と変化後の前記利用者の状態とが一致するか否かを判定し、
一致したと判定された場合、記憶されている周波数群から前記非注視対象が点滅をする周期に対応する第1の周波数と、前記注視対象が点滅をする周期に対応する第2の周波数と、を抽出し、
抽出した前記第1および第2の周波数を前記制御装置および前記判定装置に通知する、
処理を実行することを特徴とする設定方法。
(付記10)注視対象から所定範囲内にある非注視対象が点滅をする周期に対応する第1の周波数と、前記注視対象が点滅をする周期に対応する第2の周波数と、を記憶するコンピュータに、
利用者の脳波信号が周波数ごとに分析された分析結果を取得し、
取得された分析結果から前記第1の周波数の成分が前記脳波信号に含まれているか否かに応じて、前記利用者が前記注視対象を注視すべき状態か否かを判定し、
取得された分析結果から前記第2の周波数の成分が前記脳波信号に含まれているか否かに応じて、前記注視対象の注意状態を判定し、
判定された2つの判定結果に基づいて、前記利用者が注視すべき前記注視対象に対する注意状態を出力する、
処理を実行させることを特徴とする判定プログラム。
(付記11)注視対象から所定範囲内にある非注視対象および前記注視対象が点滅をする周期に対応する周波数を制御する制御装置と利用者に携帯され前記利用者が注視すべき前記注視対象の注意状態を判定する判定装置とに接続可能であり、前記非注視対象および前記注視対象の点滅周波数として設定可能な周波数群と前記利用者が前記注視対象を注視すべき状態とを記憶するコンピュータに、
前記利用者の状態の変化を検出し、
前記変化を検出した場合、記憶されている状態と変化後の前記利用者の状態とが一致するか否かを判定し、
一致したと判定された場合、記憶されている周波数群から前記非注視対象が点滅をする周期に対応する第1の周波数と、前記注視対象が点滅をする周期に対応する第2の周波数と、を抽出し、
抽出した前記第1および第2の周波数を前記制御装置および前記判定装置に通知する、
処理を実行させることを特徴とする設定プログラム。