JP4399513B2 - 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム - Google Patents

Description

本発明は、脳波を利用して機器を操作することが可能なインタフェース（脳波インタフェース）システムに関する。より具体的には、本発明は、多数の選択肢の中からユーザが所望する選択肢を効率良く選択するための機能を備えた脳波インタフェースシステムに関する。

近年、テレビ、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の様々な種類の情報機器が普及してきたため、ユーザは普段の生活の中の多くの場面で情報機器を操作する必要が生じている。通常、その操作入力手段として、例えばボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作する、などの方法が用いられている。

しかし、例えば家事、育児、自動車の運転中など、両手が機器操作以外の作業のために使えない場合は、操作入力手段を利用した入力が困難となり、機器操作が実現できないことがあった。そのため、あらゆる状況で情報機器を操作したいというユーザのニーズが高まっている。

このようなニーズに対して、ユーザの生体信号を利用した入力手段、より具体的には、ユーザの脳波の事象関連電位を利用した脳波インタフェースが開発されている。ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースでは、外的な事象の発生タイミングを起点として計測される事象関連電位が利用される。例えば、視覚刺激などに対して発生する事象関連電位のＰ３００という成分を利用すると、メニューの選択肢を選択できるとされている。この「Ｐ３００」とは、起点から約３００ミリ秒付近に現れる事象関連電位の陽性の成分のことである。

特許文献１には、事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する脳波インタフェース技術が開示されている。特許文献１に記載された技術を具体的に説明すると、選択肢を一定の時間間隔でランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ミリ秒後に出現する事象関連電位の波形を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によれば、ユーザは両手がふさがっている状況においても、また病気等により手足が動かせない状況においても、選択したいと思った選択肢が選択できる。よって、上述のニーズに合致する機器操作等のインタフェースが実現される。

事象関連電位をインタフェースに応用するためには、インタフェース画面上の選択肢をハイライトさせる、あるいはポップアップさせる等の視覚刺激が必要である。選択肢が多い（たとえば十数個あるいは数十個）場合には、それらを個々にハイライトさせては非常に多くの時間を要するため、効率良くハイライトさせることが重要である。

図１８は、非特許文献１に挙げられているインタフェース画面を示す。３６個の文字を６×６の行列で表示している。非特許文献１では、各行および各列が一定の時間間隔でランダムにハイライトされ、ユーザが何行目および何列目の文字を選択したいと思っているのかを、前述の事象関連電位を利用して識別している。これにより、個々にハイライトさせる場合に３６回必要であったハイライトの回数を、６＋６の１２回に低減している。

一方、たとえば特許文献２に示すような、視線検出装置を用いた視線入力インタフェース技術が従来から提案されている。特許文献２では、ユーザのインタフェース画面上での注視領域が検出され、当該注視領域中の選択肢が被選択状態として取り扱われる。そして被選択状態の選択肢が存在するときに、ユーザによる十分長い時間瞼を閉じる動作（閉瞼動作）が検出されると、当該選択肢の選択が確定したと判断される。これにより、情報の入力を確定する信号が出力され、選択が確定される。

この技術では、ユーザの閉瞼動作を検出するための時間の閾値を小さな値に設定すると、例えば無意識に行われる瞬きでも選択肢の選択が確定されたと誤検出し、ユーザが意図しない情報入力が行われる可能性がある。一方、ユーザの閉瞼動作を検出するための時間の閾値を大きな値に設定すると、瞬きに関する誤検出の可能性は減少するものの、ユーザは意識的に長い時間、閉瞼動作を維持している必要があるため、力が入り過ぎて眼の周りの筋肉が疲労することがある。

上述のように視線入力インタフェースは、選択肢の選択実行を確定する際にユーザに所定の動作を強いるものであるのに対して、脳波インタフェースは、ユーザに所定の動作を強いることなく、ユーザが選択したいと思っている選択肢を識別できるという点において、非常に有効である。

特開２００５−３４６２０公報 特開平１０−１８７３３４公報

エマニュエル・ドンチン（Ｅｍａｎｕｅｌ Ｄｏｎｃｈｉｎ）、他２名、"Ｔｈｅ Ｍｅｎｔａｌ Ｐｒｏｓｔｈｅｓｉｓ ： Ａｓｓｅｓｓｉｎｇ ｔｈｅ Ｓｐｅｅｄ ｏｆ ａ Ｐ３００−Ｂａｓｅｄ Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ"、ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ ＥＮＧＩＮＥＥＲＩＮＧ、Ｖｏｌ． ８、Ｎｏ．２、２０００年６月

上述した脳波インタフェース技術では、ハイライトの対象となる選択肢やハイライトを開始させるタイミング、およびハイライトの時間間隔は全てインタフェースのシステムによって一意に決定されていた。したがって、脳波インタフェースを利用するユーザは、希望する選択肢がハイライトされるのを待つ必要があり、また希望しない選択肢がハイライトされてもインタフェース画面を注視し続けなければならなかった。よって必ずしも効率良く選択肢を選択できなかった。

その結果、以下のような問題を生じていた。

第１の例を挙げると、脳波インタフェース上に表示される選択肢の座標位置が明確であったとしても、ユーザは素早く目的の選択肢を選択することができない。前述の非特許文献１における６×６個の選択肢の場合、ハイライト間隔を３５０ミリ秒とすると、１回の選択に４．２秒（＝３５０ミリ秒×１２回）もの時間を要することになる。これは、日常で使用する機器の操作を想定した場合、使いづらさやフラストレーションを感じさせるほどに長い時間である。

第２の例を挙げると、選択対象を迷っていて未だ決めきれていないユーザがスムーズに意志決定行為を行えない。選択対象を迷っているユーザに対して多数の選択肢をハイライトさせると、ユーザにとってはそれが不必要で目障りなハイライトとなるためである。脳波インタフェースを日常的な用途に応用する際には、ユーザに使いづらさやフラストレーションを感じさせることなく、本来の機能を発揮できなければならない。

本発明の目的は、脳波を利用するインタフェースを備えたシステムにおいて、脳波インタフェース上での表示位置が明確な選択肢を選択したいユーザや、どの選択肢を選択すべきか迷っているユーザに対して、システムの使いづらさやフラストレーションを感じさせることなく、多数の選択肢の中からユーザが所望する選択肢を効率良く選択させることにある。

本発明による脳波インタフェースシステムは、ユーザの脳波信号を利用して機器の動作を制御するために用いられるものであって、前記脳波インタフェースシステムは、前記ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部と、機器の動作に関連する選択肢を画面上に提示する出力部と、前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定し、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するハイライト判定部と、前記ハイライト判定部によって決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別し、識別した前記成分に基づいて前記機器の動作を決定するインタフェース部と、前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するタイミング調整部とを備えている。

前記タイミング調整部は、前記眼球運動の変化量が予め保持した閾値以上になり、かつ、前記画面表示後に、前記所定時間より短い時間、前記眼球運動の変化量が予め保持した閾値以下の状態になった時点から、前記選択肢のハイライトを開始させてもよい。

前記タイミング調整部は、前記画面が表示された後、前記ユーザが前記画面中の領域を注視している場合に各注視領域での注視時間を測定し、測定時間の平均値が前記所定時間以上になった場合であって、かつ、前記眼球運動の変化量が前記所定時間より長い時間、予め保持した閾値以下の状態になった時点から、前記選択肢のハイライトを開始させてもよい。

前記ハイライト判定部は、前記画面中の領域に含まれる選択肢を前記ハイライトさせる選択肢として決定してもよい。

前記インタフェース部は、前記画面上において、前記ハイライト判定部によって決定された前記選択肢の輝度、色相および大きさの少なくとも一つを変化させることにより、決定された前記選択肢をハイライトさせてもよい。

前記インタフェース部は、前記ハイライト判定部によって決定された前記選択肢の数に応じて、ハイライトさせる方法を変化させてもよい。

前記ハイライト判定部によって決定された前記選択肢が複数存在する場合は、複数の選択肢をランダムにまたは順番に所定のハイライト間隔でハイライトさせてもよい。

前記ハイライト判定部は、前記画面中の領域に選択肢が存在しない場合には、前記ハイライトさせる選択肢を決定しなくてもよい。

脳波インタフェースシステムは、前記眼球運動に基づいて、ハイライトの時間間隔を調整する間隔調整部をさらに備えていてもよい。

前記間隔調整部は、前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの時間間隔を調整してもよい。

前記間隔調整部は、前記眼球運動の変化量が予め保持した閾値以上になり、かつ、前記画面表示後に、前記所定時間より短い時間、前記眼球運動の変化量が予め保持した閾値以下の状態になったときにおいて、前記ハイライトの時間間隔を設定値より短く調整してもよい。

前記間隔調整部は、前記画面が表示された後、前記ユーザが前記画面中の領域を注視している場合に各注視領域での注視時間を測定し、測定時間の平均値が前記所定時間以上になった場合には、前記ハイライトの時間間隔を設定値より長く調整してもよい。

本発明による他の脳波インタフェースシステムは、ユーザの脳波信号を利用して機器の動作を制御するために用いられるものであって、前記脳波インタフェースシステムは、前記ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部と、機器の動作に関連する選択肢を画面上に提示する出力部と、前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定し、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するハイライト判定部と、前記ハイライト判定部によって決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別し、識別した前記成分に基づいて前記機器の動作を決定するインタフェース部とを備えている。

前記ハイライト判定部は、前記画面中の領域に含まれる選択肢を前記ハイライトさせる選択肢として決定してもよい。

前記インタフェース部は、前記画面上において、前記ハイライト判定部によって決定された前記選択肢の輝度、色相および大きさの少なくとも一つを変化させることにより、決定された前記選択肢をハイライトさせてもよい。

前記インタフェース部は、前記ハイライト判定部によって決定された前記選択肢の数に応じて、ハイライトさせる方法を変化させてもよい。

前記ハイライト判定部によって決定された前記選択肢が複数存在する場合は、複数の選択肢をランダムにまたは順番に所定のハイライト間隔でハイライトさせてもよい。

前記ハイライト判定部は、前記画面中の領域に選択肢が存在しない場合には、前記ハイライトさせる選択肢を決定しなくてもよい。

本発明による脳波インタフェース装置は、機器の動作に関連する選択肢を画面上に提示し、ユーザの眼球運動および脳波信号を利用して、前記機器の動作を制御する脳波インタフェースシステムにおいて用いられる。前記脳波インタフェースシステムは、前記ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部とを有している。前記脳波インタフェース装置は、前記眼球運動計測部から受け取った前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定し、所定の時間が経過したときには、前記ユーザが注視している画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するハイライト判定部と、前記ハイライト判定部によって決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として、前記脳波計測部から受け取った前記脳波信号に含まれる事象関連電位の成分を識別し、識別した前記成分に基づいて前記機器の動作を決定するインタフェース部と、前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するタイミング調整部とを備えている。

本発明による方法は、ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムにおいて用いられる方法であって、前記ユーザの脳波信号を計測するステップと、前記ユーザの眼球運動を計測するステップと、機器の動作に関連する選択肢を画面上に提示するステップと、記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、識別した前記成分に基づいて前記機器の動作を決定するステップと、前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するステップを包含する。

本発明による方法は、ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムにおいて用いられる方法であって、前記ユーザの脳波信号を計測するステップと、前記ユーザの眼球運動を計測するステップと、機器の動作に関連する選択肢を画面上に提示するステップと、前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、識別した前記成分に基づいて前記機器の動作を決定するステップとを包含する。

本発明によるコンピュータプログラムは、脳波インタフェース装置において実行されるコンピュータプログラムであって、前記脳波インタフェース装置は、ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムに組み込まれており、前記脳波インタフェースシステムは、前記ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部と、機器の動作に関連する選択肢を画面上に提示する出力部とを有しており、前記コンピュータプログラムは、前記脳波インタフェース装置のコンピュータに対し、前記眼球運動計測部によって計測された、前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、識別した前記成分に基づいて前記機器の動作を決定するステップと、前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するステップとを実行させる。

本発明によるコンピュータプログラムは、脳波インタフェース装置において実行されるコンピュータプログラムであって、前記脳波インタフェース装置は、ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムに組み込まれており、前記脳波インタフェースシステムは、前記ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部と、機器の動作に関連する選択肢を画面上に提示する出力部とを有しており、前記コンピュータプログラムは、前記脳波インタフェース装置のコンピュータに対し、前記眼球運動計測部によって計測された、前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、識別した前記成分に基づいて前記機器の動作を決定するステップとを実行させる。

本発明の脳波インタフェース装置、脳波インタフェース装置、方法およびコンピュータプログラムによれば、脳波インタフェースに必要とされるハイライトに関して、その対象となる選択肢や開始させるタイミング、または、時間間隔がユーザの眼球運動に基づいて判定される。これにより、脳波を利用したインタフェースを備えたシステムにおいて、脳波インタフェース上での表示位置が明確な選択肢を選択したいユーザや、どの選択肢を選択すべきか迷っているユーザに対して、システムの使いづらさやフラストレーションを感じさせることなく、多数の選択肢の中からユーザが所望する選択肢を効率良く選択させることができる。

脳波インタフェースシステム１の構成および利用環境を示す図である。 実施形態１による脳波インタフェースシステム１の機能ブロック構成を示す図である。 ＥＯＧ法によって眼球運動を計測する眼球運動計測部１３の構成を示す図である。 角膜反射法によって眼球運動を計測する眼球運動計測部１３の構成を示す図である。 （ａ）は一体化された第１および第２キャリブレーション情報のデータ構造の例を示す図であり、（ｂ）はディスプレイ画面上での注視位置の座標の例を示す図である。 図１８に示す６×６個の選択肢のインタフェース画面を９つの領域に分割した際の分割例を示す図である。 各インタフェース画面の分割情報のデータ構造の例を示す図である。 ハイライト判定部１５の処理の手順を示すフローチャートである。 脳波ＩＦ部１４の処理の手順を示すフローチャートである。 （ａ）〜（ｅ）は脳波インタフェースシステム１において、テレビを操作し、ユーザ１０が視聴したいチャンネルの番組を見るときの例を示す図である。 コンテンツ表示領域１１１とメニュー表示領域１１０とが含まれたインタフェース画面の例を示す図である。 （ａ）〜（ｂ）は実施形態２におけるインタフェース画面での注視位置およびタイミングチャート図である。 実施形態２による脳波インタフェースシステム１の構成を示す図である。 ハイライト判定部１５の処理の手順を示すフローチャートである。 ハイライトタイミング調整部１６の処理の手順を示すフローチャートである。 ハイライト間隔調整部１７の処理の手順を示すフローチャートである。 （ａ）および（ｂ）は、ユーザ１０と出力部１１との距離に応じて項目の分割単位を変更したときの分割例を示す図である。 従来例によるインタフェース提供時の画面表示例を示す図である。

以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波インタフェース装置の実現形態を説明する。

はじめに、本発明による脳波インタフェースシステムおよび脳波インタフェース装置の主要な特徴の概略を説明する。その後、脳波インタフェース装置の各実施形態を説明する。

本願発明者らは、将来的には、装着型の脳波計と装着型のディスプレイとを組み合わせた環境で脳波インタフェースシステムが構築されることを想定している。ユーザは脳波計とディスプレイとを常に装着し、装着型ディスプレイを利用してコンテンツの視聴や画面の操作を行うことができる。また、他には、家庭用のテレビと装着型の脳波計とを組み合わせた家庭内などの環境でも、脳波インタフェースシステムが構築されることを想定している。ユーザはテレビを見るときに、脳波計を装着してコンテンツの視聴や画面の操作を行うことができる。

例えば図１は、後者の例による、本願発明者らが想定する脳波インタフェースシステム１の構成および利用環境を示す。この脳波インタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。

脳波インタフェースシステム１は、ユーザ１０の脳波信号を利用してテレビ１１を操作（制御）するインタフェースを提供するためのシステムである。ユーザ１０の脳波信号はユーザが頭部に装着した脳波計（脳波計測部１２）によって取得され、無線または有線で脳波インタフェース装置２に送信される。ユーザ１０の眼球運動は、ユーザが頭部に装着した眼球運動の計測器（眼球運動計測部１３）によって計測され、無線または有線で脳波インタフェース装置２に送信される。テレビ１１に内蔵された脳波インタフェース装置２は、眼球運動からハイライトの対象となる選択肢や開始させるタイミングおよび時間間隔を決定し、脳波の一部を構成する事象関連電位のＰ３００成分を利用してユーザの意図を認識し、チャンネルの切り替えなどの処理を行う。

（実施形態１）
図２は、本実施形態による脳波インタフェースシステム１の機能ブロック構成を示す。脳波インタフェースシステム１は、脳波インタフェース装置２と、出力部１１と、脳波計測部１２と、眼球運動計測部１３とを有している。脳波インタフェース装置２は、脳波インタフェース部（脳波ＩＦ部）１４と、ハイライト判定部１５とで構成され、有線または無線で、出力部１１、脳波計測部１２、眼球運動計測部１３の各々と接続され、信号の送信および受信を行う。ユーザ１０のブロックは説明の便宜のために示されている。

出力部１１は、ユーザ１０にコンテンツや脳波インタフェースにおける選択されるべきメニューを出力する。図１に示すテレビ１１は出力部の具体例であるため、以下では参照符号１１を出力部に充てて説明する。出力部１１は、出力される内容が動画や静止画の場合にはディスプレイ画面に対応し、出力される内容に音声が含まれている場合にはディスプレイ画面およびスピーカが出力部１１として併用されることもある。

脳波計測部１２は、ユーザ１０の頭部に装着された電極における電位変化を計測することによって脳波信号を検出する脳波計である。脳波計は図１に示すようなヘッドマウント式脳波計であってもよい。ユーザ１０は予め脳波計を装着しているものとする。

ユーザ１０の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部１２には電極が配置されている。電極の配置は、例えばＰｚ（正中頭頂）、Ａ１（耳朶）およびユーザ１０の鼻根部になる。但し、電極は最低２個あればよく、例えばＰｚとＡ１のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。

この結果、脳波計測部１２はユーザ１０の脳波を測定することができる。測定されたユーザ１０の脳波は、コンピュータで処理できるようにサンプリングされ、脳波インタフェース装置２に送られる。なお、脳波に混入するノイズの影響を低減するため、脳波計測部１２において計測される脳波は、予め例えば０．０５から２０Ｈｚのバンドパスフィルタ処理がされ、インタフェース画面が提示される前の例えば２００ミリ秒の平均電位でベースライン補正されているものとする。

次に、図３および図４を参照しながら、２種類の眼球運動計測部１３の構成を説明する。いずれの構成を採用するとしても、眼球運動計測部１３は、図１に示すようなヘッドマウント式計測器であってもよく、ユーザ１０は脳波インタフェースシステム１の利用前に予め装着しているとする。

図３はＥＯＧ法によって眼球運動を計測する眼球運動計測部１３の構成を示す。一方図４は、角膜反射法によって眼球運動を計測する眼球運動計測部１３の構成を示す。図３に示す眼球運動計測部１３は、角膜網膜電位を測定することによって眼球運動を計測する。一方、図４に示す眼球運動計測部１３は、近赤外線を眼球に照射して眼球を撮影して、その撮影画像上の瞳孔および角膜表面における光源の反射像（角膜反射像）の位置を測定することによって眼球運動を計測している。

後述のように、図３および図４に示す眼球運動計測部１３はいずれも、眼球の回転角速度および注視位置を特定する。これは、眼球運動が、眼球が動いたときの回転角速度という物理的な変化量（単位時間における眼球運動の回転角度）や、視線の位置の変化量によって定義されることを意味している。

以下、図３および図４を参照しながら、ＥＯＧ法および角膜反射法をそれぞれ利用して、どのように眼球運動を計測するかを説明する。ただし、これらの方法は例として挙げるに過ぎない。他の計測方法を利用することも可能である。

図３に示す眼球運動計測部１３は、複数の電極４１と、電位検出部４２と、変換部４３と、キャリブレーション情報記憶部４４とを備えている。

複数の電極４１は目の周囲に貼り付けられる。電位検出部４２は、複数の電極４１を介して得られた角膜網膜電位を測定する。

キャリブレーション情報記憶部４４は、角膜網膜電位と眼球の回転角度との対応関係を示す情報（第１キャリブレーション情報）を記憶している。第１キャリブレーション情報は、眼球の角膜が網膜に対して正に帯電する性質を利用して得られたものであり、予めキャリブレーション情報記憶部４４に格納されている。またキャリブレーション情報記憶部４４は、眼球の回転角度とディスプレイ画面上でのユーザ１０の注視位置との関係を示す情報（第２キャリブレーション情報）も記憶している。第２キャリブレーション情報についても、予めキャリブレーション情報記憶部４４に格納されている。

変換部４３は、測定された角膜網膜電位に基づいて第１キャリブレーション情報を参照し、眼球の回転角度および回転角速度を特定する。そして変換部４３は、特定した回転角度に基づいてさらに第２キャリブレーション情報を参照し、ディスプレイ画面上でのユーザ１０の注視位置を特定する。

図５（ａ）は、一体化された第１および第２キャリブレーション情報のデータ構造の例を示す。例示されたキャリブレーション情報は、水平方向および垂直方向におけるそれぞれの角膜網膜電位、眼球の回転角度、および、ディスプレイ画面上における注視位置の座標が対応付けられて構成されている。なお、第１および第２キャリブレーション情報を一体化せずに独立して設けてもよい。

以下、キャリブレーション情報を利用した眼球の回転角度および注視位置の特定方法を説明する。

たとえば角膜網膜電位が１秒間で水平方向について＋５０μＶ変化したときは、変換部４３は、キャリブレーション情報を参照して、水平方向の注視位置はＸ１であると特定する。垂直方向について＋３０μＶ変化をしたときは、変換部４３は同様にキャリブレーション情報を参照して、垂直方向の注視位置はＹ１であると特定する。その結果、ディスプレイ画面上でのユーザ１０の注視位置は座標（Ｘ１、Ｙ１）と特定する。図５（ｂ）は、ディスプレイ画面上での注視位置の座標の例を示す。

さらに上述の例では、水平方向および垂直方向の角膜網膜電位の変化量は、１秒間でそれぞれ＋５０μＶおよび＋３０μＶである。よって図５（ａ）に示すキャリブレーション情報によれば、眼球は右方向に５度（ｄｅｇｒｅｅｓ）移動し、上方向にも５度移動しているといえる。そこで変換部４３は、眼球の回転角速度を（５²＋５²）^1/2≒７．０７度（ｄｅｇｒｅｅｓ）／秒と特定することができる。

なお、図５（ａ）に示すキャリブレーション情報における「眼球の回転角度」および「注視位置」は、ユーザ１０からディスプレイ画面までの距離およびディスプレイ画面の大きさなどに依存する。したがって、これらの値は必ずしも固定値でなくてもよく、ユーザ１０がその利用環境において変更可能にしてもよい。

次に、図４を参照する。図４に示す眼球運動計測部１３は、近赤外線光源５１と、ＣＣＤカメラ５２と、反射像位置検出部５３と、変換部５４と、キャリブレーション情報記憶部５５とを備えている。

近赤外線光源５１は近赤外線の点光源であり、近赤外線を眼球に照射するために用いられる。ＣＣＤカメラ５２は、近赤外線が照射された眼球を撮影する。反射像位置検出部５３は、撮影した眼球の映像に基づいて瞳孔および角膜表面を認識し、さらに、瞳孔および角膜表面における光源の反射像（角膜反射像）の位置を検出する。

キャリブレーション情報記憶部５５は、反射像の位置と眼球の回転角度との関係を示す情報（第３キャリブレーション情報）を予め記憶しているともに、眼球の回転角度とディスプレイ画面上でのユーザ１０の注視位置との関係を示す情報（第４キャリブレーション情報）を予め記憶している。

変換部５４は、反射像の位置に基づいて第３キャリブレーション情報を参照し、眼球の回転角度および回転角速度を特定する。そして、得られた眼球の回転角度に基づいて、変換部５４は第４キャリブレーション情報を参照し、ディスプレイ画面上でのユーザ１０の注視位置を特定する。第３および第４キャリブレーション情報のデータ構造は、図５（ａ）に類似するためその具体的な例示は省略する。

再び図２を参照する。ハイライト判定部１５は、眼球運動計測部１３が計測したユーザ１０の注視座標位置から、インタフェース画面上でのユーザ１０の注視領域を検出し、注視領域に基づいて選択肢の中からハイライトさせる対象を判定する。そしてハイライト判定部１５は、眼球の回転角速度が予め保持した閾値以下になった時を起点として所定の時間（例えば、４００ミリ秒）が経過したか否かを判定し、経過したタイミングで、ユーザ１０の視線が存在する領域に存在する選択肢のハイライトを開始するよう、脳波ＩＦ部１４に指示する。

眼球の回転角速度に関する閾値の決定方法は以下のとおりである。従来文献（特開２００６−２０４８５５公報）によれば、人間が静止画像の視認を行う際の眼球運動は、注視運動と跳躍性眼球運動に大別される。ここで「跳躍性眼球運動」とは、視線が高速で移動していて、外界からの情報受容がわずかしか行われない状態での眼球運動をいう。跳躍性眼球運動は、その持続時間が４０〜５０ミリ秒と短時間である一方、回転角速度は１００度（ｄｅｇｒｅｅｓ）／秒を超えるという報告がある。従って眼球運動の閾値（Ｘ１）は、例えば回転角速度が１００度／秒となるよう、５０ミリ秒あたり５度とすればよい。

以下、図６を参照しながらハイライト判定部１５の機能を詳細に説明する。

まず、ユーザ１０に提示される種々のインタフェース画面は、画面ごとに予め複数の領域に分割されているとする。たとえば図６は、図１８に示す６×６個の選択肢のインタフェース画面を９つの領域に分割した際の分割例を示す。ただし、画面上にはユーザ１０が視認できるような分割線が表示されている必要はない。

ハイライト判定部１５は、インタフェース画面においてどのように領域が分割されているかに関する情報を予め保持しているとする。

図７は、各インタフェース画面の分割情報のデータ構造の例を示す。インタフェース画面の分割情報は、対象となるインタフェース画面の番号、当該インタフェース画面を分割した際の各領域の番号、各領域のＸ軸方向の範囲、各領域のＹ軸方向の範囲、および、当該領域に含まれるインタフェース画面上での選択肢のリストで構成されている。

各インタフェース画面を予めどのように（いくつに）分割するかは、選択肢の数および眼球運動計測の信頼性等により決定される。例えば図６のような９分割ではなく、より粗い４分割でもよいし、より細かい３６分割でもよい。前者は眼球運動計測の精度が低い場合に有効であり、後者は精度が高い場合に有効である。

また、インタフェース画面の分割は、出力部（テレビ）１１とユーザ１０との位置関係により決定することができる。具体的には、脳波計側部１２がユーザ１０の位置情報（例えば、二次元の位置）を計測し、位置情報をハイライト判定部１５に送信する。ハイライト判定部１５は、出力部１１の位置情報を予め保持しており、ユーザ１０の位置情報と出力部１１の位置情報とに基づいて、ユーザ１０と出力部１１との距離を算出する。そして、その距離と閾値とを比較することにより、画面の分割単位を決定する。

例えば、ユーザ１０と出力部１１との距離が大きい場合には、ハイライト判定部１５は予め決められた分割単位よりも大きくなるよう分割単位を調整する。これは、ユーザ１０が出力部１１に表示された項目を詳細に見ることが難しいためである。いま、図６の分割単位が予め定められた分割単位であると仮定すると、ハイライト判定部１５は、図１７（ａ）に示すように、分割単位を大きくする。これにより、ユーザ１０が出力部１１から離れていても、出力部１１に表示された項目を詳細に見ることが可能になる。

また、ユーザ１０と出力部１１との距離が小さい場合には、ハイライト判定部１５は、予め決められた分割単位よりも小さくなるよう分割単位を調整する。これは、ユーザ１０と出力部１１との距離が近く、ユーザ１０が出力部１１に表示された項目を詳細に見ることができるためである。図６の分割単位が予め定められた分割単位であると仮定すると、ハイライト判定部１５は、図１７（ｂ）に示すように、分割単位を小さくする。これにより、ユーザ１０は、出力部１１に表示され、より多く分割された詳細な項目を見ることが可能になる。

以上のように、ユーザ１０と出力部１１との距離が比較的遠いことによって眼球運動計測の精度が低くなると考えられる場合には、分割を大きくして脳波信号による識別を重視する。一方、ユーザ１０と出力部１１との距離が比較的近いことによって眼球運動計測の精度が高くなると考えられる場合には、分割を小さくして眼球運動による識別を重視する。

これにより、眼球運動による識別と脳波信号による識別のうち精度が高いと考えられる方を、より有効に用いることができる。

ハイライト判定部１５は、ユーザ１０の眼球の回転角速度の情報と、ディスプレイ画面上での注視座標位置の情報を眼球運動計測部１３から受信する。例えば眼球の回転角速度が閾値以下になった場合、ハイライト判定部１５はユーザ１０の注視位置およびインタフェース画面分割情報に基づいて、インタフェース画面上でのユーザ１０の注視領域を検出する。

ハイライト判定部１５は、所定時間以上、眼球の回転角速度が閾値以下の状態を維持しており、かつ、インタフェース画面上でのユーザ１０の注視領域が同じであると判定した場合、そのタイミングでハイライトを開始するよう、脳波ＩＦ部１４に指示する。同時にハイライト判定部１５は、当該領域に含まれる０個、１個または複数個の選択肢をハイライト対象として決定し、脳波ＩＦ部１４に対して当該ハイライト対象の選択肢の情報を送信する。なお、選択肢が０個ということは、当該領域に含まれる選択肢が存在しなかったことを意味しており、その場合にはハイライト判定部１５は、ハイライト対象となる選択肢を決定しないことを意味する。

上述の特開２００６−２０４８５５公報によれば、人間が視認を行う際の注視運動に要する時間はおよそ２００ミリ秒から４００ミリ秒程度という報告がある。従ってハイライトを開始させるまでの所定時間（Ｔ１）は、例えば４００ミリ秒とする。ハイライト判定部１５の処理の手順は図８のフローチャートを参照しながら後述する。

脳波ＩＦ部１４は、機器操作に関するインタフェース画面を、出力部１１を介してユーザ１０に提示する。そして脳波ＩＦ部１４は、ハイライト判定部１５からのトリガーを受けて、ハイライト対象として決定された選択肢をハイライトさせ、脳波計測部１２で計測された脳波の事象関連電位のＰ３００成分を切り出して識別する。

ハイライト対象として決定された選択肢が複数個の場合、識別に際して脳波ＩＦ部１４は、ハイライトされた選択肢ごとの、ある区間の脳波信号の最大振幅が最大のものを選んでもよいし、ある区間の平均電位が最大のものを選んでもよい。または、テンプレートとの相関係数の値が最大のものを選んでもよい。

ハイライト対象として決定された選択肢が１個の場合は、脳波ＩＦ部１４は、当該選択肢がハイライトされた際のある区間の脳波信号の最大振幅あるいは平均電位が所定の閾値以上であれば決定としてもよいし、またテンプレートとの相関係数の値が所定の閾値以上であれば決定としてもよい。

なお、事象関連電位の研究では一般的に、同じ選択肢をＮ回（例えば５回、１０回、２０回）ハイライトさせ、即ちハイライト対象として決定された選択肢が４個の場合は合計４×Ｎ回のハイライトを行い、同一選択肢毎の加算平均を求めてからＰ３００成分の識別が行われる。但し、本実施形態における脳波ＩＦ部１４の処理は、そのような加算回数に限定されるものではない。脳波ＩＦ部１４の処理の手順は図９のフローチャートを参照しながら後述する。

次に、図８および図９のフローチャートとともに図１０を参照しながら、図２に示したハイライト判定部１５および脳波ＩＦ部１４の処理の手順を説明する。この図１０は、脳波インタフェースシステム１において、ユーザ１０が１６チャンネルの中から、視聴したいテレビのチャンネル「ＣＨ２１」を選んだときの表示例を示している。

図８は、ハイライト判定部１５の処理の手順を示すフローチャートである。

はじめに出力部１１には、図１０（ａ）に示す画面が表示されているとする。後述する条件が満たされると、脳波ＩＦ部１４は出力部１１を介して図１０（ｂ）に示すインタフェース画面を表示する。これにより、脳波インタフェースシステム１において脳波インタフェースが起動される。

図１０（ｂ）に示すインタフェース画面が提示された際に、ハイライト判定部１５は、脳波ＩＦ部１４から当該インタフェース画面に予め割り当てられている画面番号を受信することによって処理を開始する。この画面番号は、図７に示す分割情報において、左端の「画面Ｎｏ」に対応する。

ステップＳ８１では、ハイライト判定部１５は、眼球運動計測部１３から受信した眼球の回転角速度が閾値Ｘ１以下か否かを判定する。閾値Ｘ１以下になった場合のみ、以降の処理を実施する。

ステップＳ８２では、ハイライト判定部１５は脳波ＩＦ部１４から受信したインタフェース画面の画面番号に基づいて、予め保持しているインタフェース画面の分割情報（図７）を読み出す。その結果、脳波ＩＦ部１４によって出力部１１を介して図１０（ｂ）に示すインタフェース画面が提示される。図１０（ｂ）に示すインタフェース画面では、テレビのチャンネルＣＨ００からＣＨ３３までの１６個の選択肢が表示されており、インタフェース画面は領域Ａから領域Ｄの４つの領域に分割されている。

ステップＳ８３では、ハイライト判定部１５は、インタフェース画面の分割情報と眼球運動計測部１３から受信したユーザ１０のディスプレイ画面上での注視位置とに基づいて、インタフェース画面上でのユーザ１０の注視領域を検出する。図１０（ｂ）の例では、ユーザ１０の注視位置は画面左下の領域Ｃにあると推定できるため、ユーザ１０の注視領域を画面左下の領域Ｃとする。なお、ユーザ１０の注視する位置は常に固定ではなく、僅かながらでも変動する。よって、図１０（ｂ）では、注視位置を点ではなく、点線によって示す範囲として示している。

ステップＳ８４では、ハイライト判定部１５は、所定の時間（Ｔ１）以上、ユーザ１０の注視位置が同じ領域内にあるか否かを判別する。同じ領域にある場合はステップＳ８５に進む。同じ領域に無い場合はステップＳ８１に戻る。なお、注視位置が存在する「領域」とは、インタフェース画面内に設定された領域を意味している。ユーザ１０がインタフェース画面外の一点を所定の時間（Ｔ１）以上注視したとしても、ステップＳ８５には進まず、ステップＳ８１に戻る。

ステップＳ８５では、ハイライト判定部１５は、当該領域に含まれる選択肢をハイライト対象の選択肢として、当該選択肢のリストを脳波ＩＦ部１４へ送信する。脳波ＩＦ部１４はこれをトリガーとしてハイライトを開始する。これは、所定の時間（Ｔ１）が経過したタイミングでハイライトが開始されることを意味している。図１０（ｂ）の例では、画面左下の領域Ｃに含まれるＣＨ２０、２１、３０、３１の４つがハイライト対象として決定されている。

次に、図９は、脳波ＩＦ部１４の処理の手順を示すフローチャートである。ステップＳ９１では、脳波ＩＦ部１４は出力部１１を介してインタフェース画面を提示する。例えば、ユーザ１０がコンテンツを視聴している時には、テレビのディスプレイに図１０（ａ）のような選択前の画面（この場合はニュース）が表示されている。このとき、画面の右下には「メニュー」と記述されたメニューアイコン１００が表示されており、特定の周波数で点滅している。

ユーザ１０がそのメニュー１００を見ると、脳波にはアイコン１００の点滅に対応した特定の周波数成分が重畳される。脳波ＩＦ部１４は、脳波信号における点滅周期の周波数成分のパワースペクトルを識別することにより、ユーザ１０がそのメニューアイコン１００を見ているか否かを判別できる。ユーザ１０がそのメニューアイコン１００を見ていると判別すると、脳波ＩＦ部１４は、脳波インタフェースを起動できる。「脳波インタフェースの起動」とは、脳波を用いて選択等を行うためのインタフェースの提供動作を開始することを意味する。脳波インタフェースが起動されることによって、図１０（ｂ）に示すインタフェース画面が表示される。

ステップＳ９２では、脳波ＩＦ部１４は、当該インタフェース画面の番号をハイライト判定部１５に送信することにより、前述のハイライト判定部１５の処理を開始させる。

ステップＳ９３では、脳波ＩＦ部１４は、ハイライト判定部１５から、ハイライトの開始トリガーとともにハイライトの対象となる選択肢のリストを受信する。図１０（ｂ）の例では、ハイライトの対象となる選択肢のリストには、領域Ｃ内の選択肢である、ＣＨ２０、２１、３０、３１が記述されている。

ステップＳ９４では、脳波ＩＦ部１４は、ハイライトの対象となる全ての選択肢のハイライトを終了したか否かを判別する。終了していない場合はステップＳ９５に進み、終了している場合はステップＳ９７に進む。

ステップＳ９５では、対象となる各々の選択肢を順次またはランダムにハイライトする。

図１０（ｃ）は、脳波ＩＦ部１４が出力部１１を介して、対象となる各々の選択肢をランダムにハイライトしている様子を示している。このときのハイライトの切り替わり時間の間隔は、例えば３５０ミリ秒とする。図１０の画面（ｃ）−１〜（ｃ）−４の例に示すように、選択肢のリストに記述された、領域Ｃに属する４つの選択肢がハイライトの対象となっている。よって、４つの選択肢のハイライトが全て終了した時点で処理はステップＳ９７に進む。

図１０（ｃ）の例では、ＣＨ２０、２１、３０、３１はこの順序でハイライトされている。なお、ハイライトはインタフェース画面上での選択肢の輝度、色相および大きさの変化の少なくとも一つであればよく、また、ハイライトの代わりに、またはハイライトとともに補助的矢印を用いたポインタで選択肢を提示してもよい。また、選択肢のハイライト順序はランダムでなくてもよく、たとえばチャンネル番号順などの所定の順序にしたがってもよい。

ステップＳ９６では、脳波ＩＦ部１４は、脳波計測部１２で計測された脳波信号のうち、各選択肢がハイライトされた時点を起点とした事象関連電位のＰ３００成分を取得する。

ステップＳ９７では、脳波ＩＦ部１４は、ステップＳ９６で取得した各選択肢に対する事象関連電位のＰ３００成分を識別し、ユーザ１０が選択しようとしている選択肢を決定する。図１０（ｄ）は各選択肢がハイライトされた時点を起点とした事象関連電位を模式的に示している。

今、ユーザ１０はＣＨ２１を見たいと考えていたとする。画面（ｃ）−１から画面（ｃ）−４の各々に示すように、各選択肢がハイライトされた時点を起点として脳波信号１〜４が取得される。ＣＨ２１がハイライトされた画面（ｃ）−２をユーザ１０が見ると、その脳波信号には、ＣＨ２１がハイライトされた時点を起点に約３００ミリ秒付近に特徴的な陽性の成分が出現する。脳波ＩＦ部１４がこのＰ３００成分の出現を識別すると、ユーザ１０が選択したいと考えていたチャンネルの選択が可能となる。

ステップＳ９８では、ハイライト対象として決定された選択肢が０個であった場合、または事象関連電位のＰ３００成分に特徴的な陽性の成分が出現しなかった場合には、ステップＳ９２の処理が再度実行される。それ以外の場合はステップＳ９９へ進む。

ステップＳ９９では、脳波ＩＦ部１４は選択された機器動作の処理を実行する。図１０（ｅ）の例では、脳波ＩＦ部１４がチャンネルをＣＨ２１（天気予報）に切り替えることにより、出力部１１にＣＨ２１に対応する天気予報番組が表示されている。

本実施形態にかかる構成および処理の手順によれば、ハイライト判定部１５は、眼球運動からユーザ１０のインタフェース画面上での注視領域を検出し、注視領域に基づいて選択肢の中からハイライトさせる対象を判定する。そして、眼球の回転角速度が予め保持した閾値以下になった時点から所定時間が経過したか否かを判定して、所定時間が経過したときにハイライトを開始させる。これにより、脳波を利用したインタフェースを備えたシステムにおいて、インタフェース画面上に十数個あるいは数十個と多くの選択肢が存在した場合でも、その中からユーザ１０が所望する選択肢を効率良く選択させることができる。

例えば、図６に示す６×６個の選択肢が存在するとき、注視領域を９分割することにより、ハイライトの回数は４回にまで低減することができる。よって、より素早く選択肢を選択することが可能となる。

ハイライト判定部１５がハイライト対象となる選択肢を決定し、脳波ＩＦ部１４が、ハイライト対象として決定された選択肢の中から、ユーザ１０が選択したい選択肢を特定するため、不要なハイライトを低減することができる。

以下で、具体的に説明する。

本実施形態によるハイライト判定部１５が存在せず、脳波ＩＦ部１４のみで選択肢をハイライトさせると、ユーザ１０が選択肢を見ていない場合や、ユーザ１０が選択肢に選択意思がない場合にも、対象をハイライトしてしまう可能性がある。

一方、本実施形態では、ハイライト判定部１５がハイライト対象の選択肢を決定し、脳波ＩＦ部１４が当該選択肢をハイライトさせて、事象関連電位を取得する。ハイライト対象は、眼球の運動に基づいて決定されている。ユーザ１０が選択肢を見ていないときにはハイライト対象は決定されないので、選択肢がハイライトされるときにはユーザ１０は必ず選択肢を見ている。換言すれば、選択肢がハイライトされるのであれば、ユーザ１０が選択肢を見ていない、ということは起こらない。

また、ユーザ１０が選択意思を持って選択肢を見ていなければ、１つの選択肢を所定の時間（Ｔ１）以上見続けることがないと考えられるため、そのような選択肢がハイライト対象として決定されることがない。よってユーザ１０に選択意志がない場合に、ハイライトしてしまうことも起こらない。したがって、不要なハイライトを低減することができる。

次に、図１１を参照しながら、本実施形態の変形例を説明する。図１１は、コンテンツ表示領域１１１とメニュー表示領域１１０とが含まれたインタフェース画面の例を示している。ユーザ１０が選択すべき選択肢はメニュー表示領域１１０にのみ存在している。

このようなインタフェース画面では、ユーザ１０の注視領域がメニュー表示領域１１０にあり、眼球の回転角速度が閾値以下になった時点から所定の時間（Ｔ１）以上、ユーザ１０の注視領域が同じメニュー表示領域１１０に存在していた場合のみ、ハイライトを開始させればよい。これにより、ユーザ１０がコンテンツ視聴中の場合は不必要なハイライトを抑制することができ、ユーザ１０がメニュー変更等の機器動作を所望する場合のみハイライトを開始することができる。

（実施形態２）
実施形態１による脳波インタフェースシステム１では、ユーザ１０の眼球運動に基づいて、脳波インタフェースに必要とされるハイライトに関して、その対象となる選択肢や開始させるタイミングを判定していた。実施形態１では、ユーザ１０の眼球の回転角速度が、閾値以下になった時点からハイライトを開始させるまでの所定時間やハイライトの時間間隔は一定の値であった。

しかしながら、ユーザの状態に応じて柔軟に、より効率的な選択を行わせることができれば、なお好ましい。具体的には、ユーザ１０が脳波インタフェースシステム１を何度も使用することなどにより、脳波インタフェース画面上に表示される選択肢の位置をユーザ１０が予め知っている場合において、ユーザ１０がそのような選択肢を更に素早く選択すること、逆に選択対象を迷っているユーザ１０に対してスムーズに意志を決定させるために、不要なハイライトを抑制すること、ができれば、なお好ましいといえる。

ここで図１２を参照しながら、上述のユーザ１０の状態に対するユーザ１０の眼球運動を説明する。

図１２の（ａ）−１および（ｂ）−１は、選択肢の位置をユーザ１０が予め知っているときにおける、ユーザ１０の注視位置の変化およびその時間変化を示す。

図１２（ａ）−１は、番組表の項目（番組ＡからＤ）および機器操作メニューの項目から構成されているインタフェース画面である。機器操作メニューの項目は、番組表を動かす上下右左の移動方向アイコン、番組表等の存在する番組を検索する「検索」項目アイコン、ユーザ１０の視聴履歴に基づいて番組表等に存在する番組のおすすめ番組を表示させるため「おすすめ」項目アイコンが表示されている。矢印は、点Ａから点Ｂへのユーザ１０の注視位置の移動を示している。

インタフェース画面は、番組表のような、逐次更新される項目の部分と、機器操作メニューのような、常に同じ項目が同じ場所に提示される部分とに分けられる。ただし、機器操作メニューについては、常に同じ項目が同じ場所に提示されるものに限らず、番組表のような逐次（例えば、１時間ごと、又は１日ごとに）更新される項目よりも更新の頻度が低い項目としても良い。

本実施形態では、１つの分割領域内に、常に同じ項目が同じ場所に提示される項目（機器操作メニューの項目）が１つになるように、脳波インタフェース画面を構成する。これにより、機器操作メニューの選択については、脳波ＩＦ部１４では、その選択肢の選択意思があったかどうかの確認のみを事象関連電位を用いて行なうことにより、ハイライト対象が複数ある場合よりも素早く選択肢を決定することができる。

図１２（ｂ）−１は、図１２（ａ）−１における点、つまり、ユーザ１０の注視位置の時間変化を模式的に示す。図１２（ｂ）−１における時刻ｔαはインタフェース画面を表示するための処理を開始した時刻、ｔβはインタフェース画面が提示された時刻とする。具体的には、時刻ｔαから時刻ｔβの期間は、図１０（ａ）のような選択前の画面から、図１０（ｂ）のような画面（機器の動作に関連する項目が表示された画面）に表示が切り替えられるまでの期間を示している。つまり、時刻ｔαから時刻ｔβの間は、図１２（ａ）のインタフェース画面がまだ表示されていない。そのため、ユーザ１０は、目視でインタフェース画面にどのような項目が表示されるかわからない状態である。

ここで、時刻ｔαは、インタフェース画面を表示するための処理を開始した時刻より所定時間前としても良い。

ユーザ１０が何度も脳波インタフェースを利用し、慣れてくると、図１２（ａ）−１のようなインタフェース画面が表示される前であっても、ユーザ１０は、その後に提示されるインタフェース画面上の項目の位置を記憶していくと考えられる。このような項目を記憶している脳波インタフェースの利用に慣れたユーザ１０に対しては、素早く選択できるようにすることが望まれる。

本実施形態においては、インタフェース画面が提示される前の時刻（時刻ｔαから時刻ｔβ）の眼球の回転角速度を観測することによって、ユーザ１０が次に所望する選択肢を素早く選択できるようにする。以下、その詳細を説明する。

ユーザ１０がインタフェース画面に表示される項目とその項目の座標を記憶しており、かつ、目的とする選択肢の脳波インタフェース上での座標位置を明確に知っているとする。このとき、ユーザ１０の眼球の回転角速度は、インタフェース画面が提示される前に（即ち時刻ｔαから時刻ｔβの間に）跳躍性眼球運動を行い、インタフェース画面提示後は目的とする選択肢で注視状態になる。なぜなら、目的とする選択肢のインタフェース画面上での座標位置を記憶していれば、ユーザ１０の注視位置はインタフェース画面提示前に目的の選択肢がある領域へ移動できるからである。

例えば、図１２（ｂ）−１から理解されるように、インタフェース画面が提示される時刻ｔβ前にユーザ１０の眼球は跳躍性眼球運動を行い、注視位置が「番組Ｃ」の領域から「検索」の領域に移動している。そしてインタフェース画面提示された時刻ｔβの後は「検索」の領域に留まっている。これは、インタフェース画面上での「検索」の座標位置を記憶していたユーザ１０が、インタフェース画面の提示前から「検索」を選択することを意図していたと判断できる。

ここで、「跳躍性眼球運動」とは、提示された項目を移動した場合の眼球運動を示している。跳躍性眼球運動および、インタフェース画面上に提示された表示を読んでいるときの眼球運動は、眼球運動の角速度の違いによって判別できる。すなわち、それらを判別できる眼球運動の角速度を設定することができる。

続いて、選択対象を迷っているユーザ１０の眼球運動を検討する。

選択対象を迷っているユーザ１０の眼球運動は、インタフェース画面提示後の各注視位置での注視時間が長くなると考えられる。例えば、選択したい番組名が明確な場合は、番組表中の番組名を注視してからすぐに該当するか否かの判定が可能である。しかし、選択したい番組が決まっておらず、迷っている場合は、各注視位置で選択するか否かを思考する分、注視時間が長くなる。

図１２（ａ）−２および（ｂ）−２は、ユーザ１０が選択対象を迷っているときにおける、ユーザ１０の注視位置の変化およびその時間変化を示す。

この例では、目的とする選択肢が決まっておらず、そのため目的とする選択肢の脳波インタフェース上での座標位置も決まっていない。よって、インタフェース画面が提示される前の時刻（時刻ｔαから時刻ｔβ）では、跳躍性眼球運動は見られず、インタフェース画面提示後（時刻ｔβ以降）にユーザ１０の注視位置は「番組Ａ」、「番組Ｃ」、「番組Ｂ」、「おすすめ」、「番組Ｄ」と移動し、各々の注視時間は長くなっている。

本実施形態による脳波インタフェースシステムでは、ユーザ１０の眼球運動が閾値以下になった時点からハイライトを開始させるまでの所定時間やハイライトの時間間隔を、ユーザ１０の眼球運動に基づいて調整する。

より具体的には、インタフェース画面が起動してから提示されるまでの間に、眼球の回転角速度が予め保持した閾値（Ｘ１）以上になり、かつ、インタフェース画面提示後の初期値の所定時間（Ｔ１）より短い時間（Ｔ２）だけ、眼球運動の回転角速度が閾値（Ｘ１）以下の状態になった場合を想定する。

このとき、当該ユーザ１０は選択対象が明確であり、かつ、脳波インタフェース上での座標位置を記憶していると判断される。そして当該時点を起点としてハイライトを開始する。よって、インタフェース画面が提示される前の眼球の回転角速度を観測することによって、脳波インタフェース上での座標位置を記憶しているユーザ１０は、より素早く選択することが可能になる。ハイライトの時間間隔も初期設定値（Ｔａ）より短く調整すればよい（Ｔｂ）。

このようにハイライトを開始させるまでの時間やハイライトの時間間隔を通常より短くすることによって、前述のユーザ１０に対して更に素早く目的の選択肢を選択させることが可能となる。

一方、インタフェース画面提示後の各注視位置での注視時間の平均値が所定時間（Ｔ１）以上になったときは、そのユーザ１０は選択対象を迷っていると判断される。そして、眼球の回転角速度が所定時間（Ｔ１）より長い時間（Ｔ３）、予め保持した閾値（Ｘ１）以下の状態になった時点をハイライトの開始タイミングと判定し、ハイライトの時間間隔も初期設定値（Ｔａ）より長く調整する（Ｔｃ）。このようにハイライトを開始させるまでの時間やハイライトの時間間隔を通常より長くすることによって、前述のユーザ１０に対して不要なハイライトを抑制することが可能となる。

従来文献であるＥｒｉｃ Ｗ． Ｓｅｌｌｅｒｓ、“Ａ Ｐ３００ ｅｖｅｎｔ−ｒｅｌａｔｅｄ ｐｏｔｅｎｔｉａｌ ｂｒａｉｎ−ｃｏｍｐｕｔｅｒ ｉｎｔｅｒｆａｃｅ（ＢＣＩ）：Ｔｈｅ ｅｆｆｅｃｔｓ ｏｆ ｍａｔｒｉｘ ｓｉｚｅ ａｎｄ ｉｎｔｅｒ ｓｔｉｍｕｌｕｓ ｉｎｔｅｒｖａｌ ｏｎ ｐｅｒｆｏｒｍａｎｃｅ”、ＢＩＯＬＯＧＩＣＡＬ ＰＳＹＣＨＯＬＯＧＹ、７３（２００６）、２４２−２５２、および特開２００５−２１５６９公報によれば、ハイライトの時間間隔を１７５ミリ秒、３５０ミリ秒、および１．５秒とした際の、脳波インタフェースの例が報告されている。

そこで本実施形態においては、たとえばハイライトの時間間隔の初期設定値（Ｔａ）は３５０ミリ秒、短く調整する場合（Ｔｂ）は１７５ミリ秒、長く調整する場合（Ｔｃ）は１．５秒とした。

また、従来文献である特開２００６−２０４８５５公報には、人間が視認を行う際の注視運動に要する時間はおよそ２００ミリ秒から４００ミリ秒程度と記載されている。そこで本実施形態においては、ハイライトを開始させるまでの所定時間の初期設定値（Ｔ１）は４００ミリ秒、短く調整する場合（Ｔ２）は２００ミリ秒、長く調整する場合（Ｔ３）は余裕を持って８００ミリ秒とする。

図１３は、本実施形態による脳波インタフェースシステム１の構成を示す。本実施形態による脳波インタフェースシステム１は、実施形態１の脳波インタフェース装置２とは異なる脳波インタフェース装置２０を備えている。

脳波インタフェース装置２０は、実施形態１の脳波インタフェース装置２に対して、ハイライトタイミング調整部１６およびハイライト間隔調整部１７を追加して構成されている。なお、ハイライトタイミング調整部１６およびハイライト間隔調整部１７を簡略化して、それぞれ「タイミング調整部」および「間隔調整部」と記載することがある。

ハイライトタイミング調整部１６は、前述の通り、眼球の回転角速度が予め保持した閾値（Ｘ１）以下の状態になってからハイライトを開始させるまでの所定時間を調整する。ハイライト間隔調整部１７は、ハイライトの時間間隔を調整する。

図１４は、ハイライト判定部１５の処理の手順を示している。実施形態１におけるハイライト判定部１５のフローチャート（図８）との相違点は、ステップＳ１３４のハイライトタイミング調整処理およびステップＳ１３５のハイライト間隔調整部が追加されたこと、および、ステップＳ１３７の脳波ＩＦ部１４へ送信する情報にハイライト間隔が追加されたことである。以下、これらの処理を説明する。

ステップＳ１３１では、眼球運動計測部１３から受信した眼球の回転角速度が閾値Ｘ１以下か否かを判別する。閾値Ｘ１以下になった場合のみ、以降の処理を実施する。

ステップＳ１３２では、ハイライト判定部１５は脳波ＩＦ部１４から受信したインタフェース画面の画面番号に基づいて、予め保持しているインタフェース画面の分割情報（図７）を読み出す。

ステップＳ１３３では、ハイライト判定部１５は、インタフェース画面の分割情報と眼球運動計測部１３から受信したユーザ１０のディスプレイ画面上での注視位置とに基づいて、インタフェース画面上でのユーザ１０の注視領域を検出する。

ステップＳ１３４では、ハイライトタイミング調整部１６がハイライトを開始させるタイミングの調整処理を行う。この処理の詳細は図１５を参照しながら後述する。

ステップＳ１３５では、ハイライト間隔調整部１７は、ハイライトの時間間隔の調整処理を行う。この処理の詳細は図１６を参照しながら後述する。

ステップＳ１３６では、ハイライト判定部１５は、所定の時間（Ｔ１）以上、ユーザ１０の注視位置が同じ領域内にあるか否かを判別する。同じ領域にある場合はステップＳ１３７に進み、同じ領域に無い場合はステップＳ１３１に戻る。なお、ハイライトを開始させるまでの所定時間Ｔは、ステップＳ１３４において調整されている。

ステップＳ１３７では、ハイライト判定部１５は、その時点がハイライトを開始させるタイミングであるとして、当該領域に含まれる選択肢をハイライト対象の選択肢として、当該選択肢のリストおよびステップＳ１３５で調整されたハイライト間隔を、脳波ＩＦ部１４へ送信する。脳波ＩＦ部１４はこれをトリガーとしてハイライトを開始する。

図１５は、ハイライトタイミング調整部１６の処理の手順を示している。図１５に示す処理により、ハイライトを開始させるまでの所定時間がＴ１、Ｔ２、Ｔ３のいずれかに設定される。

以下に示すハイライトを開始させるまでの所定時間Ｔ１、Ｔ２、Ｔ３はそれぞれ４００ミリ秒、２００ミリ秒、８００ミリ秒であるとする。すなわち、Ｔ２＜Ｔ１＜Ｔ３の関係を持つとする。

ステップＳ１４１では、ハイライトタイミング調整部１６は、図１２（ｂ）−１におけるｔαとｔβの間、即ちインタフェース画面が起動してから提示されるまで時間に、眼球の回転角速度が予め保持した閾値（Ｘ１）以上になっている否かを判別する。閾値Ｘ１以上になった場合はステップＳ１４４へ進み、それ以外の場合はステップＳ１４２へ進む。

ステップＳ１４２では、ハイライトタイミング調整部１６は、インタフェース画面提示後の各注視位置での注視時間の平均値を算出する。

ステップＳ１４３では、ハイライトタイミング調整部１６は、ステップＳ１４２で算出した平均値が所定時間（Ｔ１）以上になっているか否かを判別する。所定時間（Ｔ１）以上になった場合はステップＳ１４５へ進み、それ以外の場合はステップＳ１４６へ進む。

ステップＳ１４４では、ハイライトタイミング調整部１６は、ハイライトを開始させるまでの所定時間をＴ２に調整する。即ち初期設定値より短めに調整する。

ステップＳ１４５では、ハイライトタイミング調整部１６はハイライトを開始させるまでの所定時間をＴ３に調整する。即ち初期設定値より長めに調整する。

ステップＳ１４６では、ハイライトタイミング調整部１６は、ハイライトを開始させるまでの所定時間をＴ１に調整する。即ち初期設定値と同じ値に調整する。

図１６は、ハイライト間隔調整部１７の処理の手順を示している。図１６に示す処理により、ハイライトの時間間隔がＴａ、Ｔｂ、Ｔｃのいずれかに設定される。

なお、以下に示すハイライトの時間間隔Ｔａ、Ｔｂ、Ｔｃはそれぞれ３５０ミリ秒、１７５ミリ秒、１．５秒であるとする。すなわち、Ｔｂ＜Ｔａ＜Ｔｃの関係を持つとする。

ステップＳ１７１からステップＳ１７３までは、ハイライト間隔調整部１７は、上述の図１５に示すステップＳ１４１からＳ１４３までと同様の処理を実行する。

ステップＳ１７４では、ハイライト間隔調整部１７は、ハイライトの時間間隔をＴｂに調整する。即ち初期設定値より短めに調整する。

ステップＳ１７５では、ハイライト間隔調整部１７は、ハイライトの時間間隔をＴｃに調整する。即ち初期設定値より長めに調整する。

ステップＳ１７６では、ハイライト間隔調整部１７は、ハイライトの時間間隔をＴａに調整する。即ち初期設定値と同じ値に調整する。

本実施形態にかかる構成および処理の手順によれば、脳波を利用したインタフェースを備えたシステムにおいて、ハイライトを開始させるまでの所定時間やハイライトの時間間隔をユーザ１０の眼球運動に基づいて調整する。よって、ユーザ１０が、選択したい選択肢の脳波インタフェース上での座標位置を明確に知っているときには、ユーザ１０に更に素早く選択肢を選択させることができる。逆に選択対象を迷っているユーザ１０に対してはスムーズな意志決定行為を行わせるために不要なハイライトを抑制することができる。

なお、本実施形態においては、図１２の（ａ）−１および（ａ）−２に示す画面例を参照しながら脳波インタフェース装置２０の動作を説明した。ただしこれは、実施形態１の説明において参照した図１０（ｂ）の画面例に適用できないことを意味するものではない。図１２の（ａ）−１に示す点Ａから点Ｂへの矢印は図１０（ｂ）の画面例にも同様に適用できる。ただし、このとき点Ａは、ユーザ１０が図１０（ａ）のメニューアイコン１００を注視したことによってインタフェース画面を表示するための処理を開始した時刻における注視位置であり、点Ｂは、図１０（ｂ）のインタフェース画面が提示される前の時刻における注視位置である。

上述の実施形態のいずれについても、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。

たとえば図２に示す脳波インタフェース装置２は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。

眼球運動計測部１３や脳波計測部１２もまた、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）または専用のプロセッサ（半導体回路）として実現され得る。たとえば、取得した角膜網膜電位に基づいて眼球運動計測部１３が眼球の回転角度と回転角速度を算出する処理は、プログラムとして実現され得る。また、脳波計測部１２がバンドパスフィルタ処理やベースライン補正処理は、プログラムとして実現され得る。

本発明にかかる脳波インタフェース装置およびその装置が組み込まれた脳波インタフェースシステムによれば、脳波インタフェースに必要とされるハイライトに関して、その対象となる選択肢や開始させるタイミング、および時間間隔をユーザの眼球運動に基づいて判定する。これにより、脳波を用いた機器操作インタフェースが搭載されている情報機器や映像音響機器などの操作性改善に有用である。

１ 脳波インタフェースシステム
２、２０ 脳波インタフェース装置
１１ 出力部
１２ 脳波計測部
１３ 眼球運動計測部
１４ 脳波ＩＦ部
１５ ハイライト判定部
１６ ハイライトタイミング調整部
１７ ハイライト間隔調整部

Claims (15)

1. ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムであって、
   前記ユーザの脳波信号を計測する脳波計測部と、
   前記ユーザの眼球運動を計測する眼球運動計測部と、
   機器の動作に関連する選択肢を画面上に提示する出力部と、
   前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定し、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するハイライト判定部と、
   前記ハイライト判定部によって決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別し、識別した前記成分に基づいて前記機器の動作を決定するインタフェース部と、
   前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するタイミング調整部と
   を備えた脳波インタフェースシステム。
2. 前記タイミング調整部は、前記眼球運動の変化量が予め保持した閾値以上になり、かつ、前記画面表示後に、前記所定時間より短い時間、前記眼球運動の変化量が予め保持した閾値以下の状態になった時点から、前記選択肢のハイライトを開始させる、請求項１に記載の脳波インタフェースシステム。
3. 前記タイミング調整部は、前記画面が表示された後、前記ユーザが前記画面中の領域を注視している場合に各注視領域での注視時間を測定し、測定時間の平均値が前記所定時間以上になった場合であって、かつ、前記眼球運動の変化量が前記所定時間より長い時間、予め保持した閾値以下の状態になった時点から、前記選択肢のハイライトを開始させる、請求項１に記載の脳波インタフェースシステム。
4. 前記ハイライト判定部は、前記画面中の領域に含まれる選択肢を前記ハイライトさせる選択肢として決定する、請求項１に記載の脳波インタフェースシステム。
5. 前記インタフェース部は、前記画面上において、前記ハイライト判定部によって決定された前記選択肢の輝度、色相および大きさの少なくとも一つを変化させることにより、決定された前記選択肢をハイライトさせる、請求項１に記載の脳波インタフェースシステム。
6. 前記インタフェース部は、前記ハイライト判定部によって決定された前記選択肢の数に応じて、ハイライトさせる方法を変化させる、請求項１に記載の脳波インタフェースシステム。
7. 前記ハイライト判定部によって決定された前記選択肢が複数存在する場合は、複数の選択肢をランダムにまたは順番に所定のハイライト間隔でハイライトさせる、請求項６に記載の脳波インタフェースシステム。
8. 前記ハイライト判定部は、前記画面中の領域に選択肢が存在しない場合には、前記ハイライトさせる選択肢を決定しない、請求項１に記載の脳波インタフェースシステム。
9. 前記眼球運動に基づいて、ハイライトの時間間隔を調整する間隔調整部をさらに備えた、請求項１に記載の脳波インタフェースシステム。
10. 前記間隔調整部は、前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの時間間隔を調整する、請求項９に記載の脳波インタフェースシステム。
11. 前記間隔調整部は、前記眼球運動の変化量が予め保持した閾値以上になり、かつ、前記画面表示後に、前記所定時間より短い時間、前記眼球運動の変化量が予め保持した閾値以下の状態になったときにおいて、前記ハイライトの時間間隔を設定値より短く調整する、請求項１０に記載の脳波インタフェースシステム。
12. 前記間隔調整部は、前記画面が表示された後、前記ユーザが前記画面中の領域を注視している場合に各注視領域での注視時間を測定し、測定時間の平均値が前記所定時間以上になった場合には、前記ハイライトの時間間隔を設定値より長く調整する、請求項９に記載の脳波インタフェースシステム。
13. 機器の動作に関連する選択肢を画面上に提示し、ユーザの眼球運動および脳波信号を利用して、前記機器の動作を制御する脳波インタフェースシステムにおいて用いられる脳波インタフェース装置であって、
    前記脳波インタフェースシステムは、前記ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部とを有しており、
    前記眼球運動計測部から受け取った前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定し、所定の時間が経過したときには、前記ユーザが注視している画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するハイライト判定部と、
    前記ハイライト判定部によって決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として、前記脳波計測部から受け取った前記脳波信号に含まれる事象関連電位の成分を識別し、識別した前記成分に基づいて前記機器の動作を決定するインタフェース部と、
    前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するタイミング調整部と
    を備えた脳波インタフェース装置。
14. ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムにおいて用いられる方法であって、
    前記ユーザの脳波信号を計測するステップと、
    前記ユーザの眼球運動を計測するステップと、
    機器の動作に関連する選択肢を画面上に提示するステップと、
    前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、
    所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、
    決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、
    識別した前記成分に基づいて前記機器の動作を決定するステップと、
    前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するステップと
    を包含する、方法。
15. 脳波インタフェース装置において実行されるコンピュータプログラムであって、
    前記脳波インタフェース装置は、ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムに組み込まれており、
    前記脳波インタフェースシステムは、
    前記ユーザの脳波信号を計測する脳波計測部と、
    前記ユーザの眼球運動を計測する眼球運動計測部と、
    機器の動作に関連する選択肢を画面上に提示する出力部と
    を有しており、
    前記コンピュータプログラムは、前記脳波インタフェース装置のコンピュータに対し、
    前記眼球運動計測部によって計測された、前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、
    所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、
    決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、
    識別した前記成分に基づいて前記機器の動作を決定するステップと、
    前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するステップと
    を実行させる、コンピュータプログラム。

Images