JP4630382B2 - 脳波インタフェースシステムに組み込まれる補正装置、方法およびコンピュータプログラム - Google Patents

Description

本発明は、脳波を用いて機器操作を行うインタフェースを搭載した機器に関する。より具体的には、前記インタフェースを搭載した機器において、脳波を計測してユーザの意図を判別する際、機器がユーザの意図判別を誤ったことを自動的に検出し、推定結果を自律的に補正できる機器、方法、およびそのような機器において実行されるコンピュータプログラムに関する。

生活において様々な機器が提案され、それらの機器に囲まれて暮らす中で、ユーザは機器を操作することで所望の情報やサービスを受けている。そのインタフェースの操作性向上の重要性は、機器の数自体の増加、機器を使わないと得られない情報の増加、などから年々高まっている。例えば、情報機器（テレビ、携帯電話、ＰＤＡ等）においては、画面を見ながら操作の選択肢を選択することで、機器操作が実現されてきた。その操作入力手段としては、ボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作する、などの方法が用いられていたが、例えば、家事、育児や、自動車の運転中など、両手が機器操作以外の作業のために使えない場合は、操作が実行できないこともあった。

これに対して、ユーザの生体信号を利用した入力手段がある。非特許文献１では、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する技術が開示されている。具体的には、選択肢をランダムにハイライトし、ユーザが選択したいと思っている選択肢がハイライトされた時点を起点に約３００ミリ秒後に出現する事象関連電位（Ｐ３００と呼ばれることが多い）の波形を利用して、選択肢の推定を実現している。この技術によって、ユーザは両手がふさがっている場合でも、また病気等により手足が動かせない状況においても選択したいと思った選択肢が選択でき、機器操作等のインタフェースが実現できる。また特許文献１においても、同様に事象関連電位を用いた脳波インタフェースの例が説明されている。

特開２００４−２７５６１９号公報

Ｄｏｎｃｈｉｎ他著，"Ｔｈｅ Ｍｅｎｔａｌ Ｐｒｏｓｔｈｅｓｉｓ：Ａｓｓｅｓｓｉｎｇ ｔｈｅ Ｓｐｅｅｄ ｏｆ ａ Ｐ３００−Ｂａｓｅｄ Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ"，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ ＥＮＧＩＮＥＥＲＩＮＧ， Ｖｏｌ．８， Ｎｏ．２， Ｊｕｎｅ ２０００

脳波信号はゆらぎを持つ微弱な信号であるため、ノイズ混入を完全になくすことは難しく、常に正確にユーザの意図が判別できるわけではない。例えば、非特許文献１の図３では、加算回数が少ない場合には１００％の判別率には至らないことが示されている。報告によれば、実際、多くの判別手法は、複数回数の加算平均の波形を使って８０％−９０％程度の判別率を実現したものが多い。

このような状況では、脳波インタフェースの使用時には、機器が必ずしも全ての操作時に正しく判別してくれるとは限らず、例えば、１０回程度の操作に対して１〜２回の失敗事例が含まれることを意味する。このため、脳波インタフェース使用時には、正しく意図が伝達できなかった場合に備えて本来の選択肢以外に「戻る」、「キャンセル」等の補助的な選択肢が準備されている。

しかしながら、補助的な選択肢を利用すると、これらの修正用の選択肢を脳波で選択することによって元に戻り、もう一度、選択したかった選択肢を選択しなおすという手間が発生していた。このため、識別精度の向上のための研究が進められてきた。

本発明の目的は、脳波インタフェース（ＩＦ）を利用してユーザが希望すると思われる選択肢を判定した後に、脳波によって選択肢の判定誤りを検出し、判定誤りが検出されると選択肢判定に用いられた脳波情報によって選択肢を補正することにある。

本発明による補正装置は、脳波インタフェースシステムに組み込まれる。前記脳波インタフェースシステムは、ユーザの脳波信号を計測し、蓄積する生体信号計測部と、前記脳波信号に含まれる事象関連電位を解析する解析部と、前記脳波解析部による解析結果に基づきユーザが希望した選択肢を推定する推定部と、前記推定部によって推定された選択肢をユーザに提示する出力部とを有している。前記生体信号計測部は、前記ユーザに前記選択肢が提示された時点を起点とした前記ユーザの脳波信号を計測する。前記補正装置は、前記選択肢の推定後に取得された前記脳波信号に含まれる事象関連電位に基づいて、推定された前記選択肢の正誤を判定する判定部と、推定された前記選択肢が誤りであると判定されたときに、前記選択肢の推定前に蓄積された前記事象関連電位に基づいて、推定された前記選択肢を補正し、補正後の選択肢に基づき機器動作を指示する補正部とを備えている。

前記判定部は、前記選択肢の推定後に取得された前記脳波信号のうち事象関連電位の６００ミリ秒近辺の陽性波形に基づいて、推定された前記選択肢の正誤を判定してもよい。

前記判定部は、前記選択肢の正誤を判定するための閾値を保持しており、前記判定部は、前記選択肢の推定後に取得された前記脳波信号のうち事象関連電位の６００ミリ秒近辺の陽性振幅の大きさが前記閾値以上か否かに応じて、推定された前記選択肢の正誤を判定してもよい。

前記判定部は、前記選択肢の正誤を判定するための閾値を保持しており、さらに前記判定部は、前記選択肢の推定前に取得された前記脳波信号であって、推定された前記選択肢の提示に対応して計測された事象関連電位および他の選択肢の提示に対応して計測された事象関連電位に関し、３００ミリ秒近辺の特徴の相違に応じて前記閾値を変化させてもよい。

前記判定部は、推定された前記選択肢の提示に対応して計測された事象関連電位および他の選択肢の提示に対応して計測された事象関連電位に関し、３００ミリ秒近辺の頂点振幅の大きさの相違に応じて前記所定の閾値を変化させてもよい。

前記判定部は、前記頂点振幅の大きさの相違を判断するために基準閾値を保持しており、前記判定部は、前記頂点振幅の大きさが前記基準閾値よりも大きい場合には前記選択肢の正誤を判定するための閾値をより大きく変化させてもよい。

前記補正部は、前記選択肢の推定前に取得された、各選択肢の提示に対応して計測された事象関連電位を用いて前記選択肢を補正してもよい。

前記選択肢の推定前において、前記出力部は複数の選択肢を順次提示し、前記生体信号計測部は、各選択肢の提示を起点としてそれぞれ計測された前記ユーザの脳波信号を蓄積し、前記解析部は、各選択肢に対応する前記脳波信号中の事象関連電位のうち、振幅が最も大きい事象関連電位に対応する選択肢を前記ユーザが希望した選択肢であると推定し、前記補正部は、推定された前記選択肢の補正候補として、各選択肢に対応する前記脳波信号中の事象関連電位のうち、振幅が２番目に大きい事象関連電位に対応する選択肢を採用してもよい。

前記判定部によって、推定された前記選択肢が正しいと判定されたとき、前記補正部は推定された前記選択肢を修正しなくてもよい。

本発明による補正方法は、脳波インタフェースシステムにおいて実行される。前記脳波インタフェースシステムは、ユーザの脳波信号を計測し、蓄積する生体信号計測部と、前記脳波信号に含まれる事象関連電位を解析する解析部と、前記脳波解析部による解析結果に基づきユーザが希望した選択肢を推定する推定部と、前記推定部によって推定された選択肢をユーザに提示する出力部とを有している。前記生体信号計測部は、前記ユーザに前記選択肢が提示された時点を起点として前記ユーザの脳波信号を計測する。前記補正方法は、前記選択肢の推定後に取得された前記脳波信号に含まれる事象関連電位に基づいて、推定された前記選択肢の正誤を判定するステップと、推定された前記選択肢が誤りであると判定されたときに、前記選択肢の推定前に蓄積された前記事象関連電位に基づいて、推定された前記選択肢を補正するステップと、補正後の選択肢に基づき機器動作を指示するステップとを包含する。

本発明によるコンピュータプログラムは、脳波インタフェースシステムに組み込まれた補正装置によって実行される。前記脳波インタフェースシステムは、ユーザの脳波信号を計測し、蓄積する生体信号計測部と、前記脳波信号に含まれる事象関連電位を解析する解析部と、前記脳波解析部による解析結果に基づきユーザが希望した選択肢を推定する推定部と、前記推定部によって推定された選択肢をユーザに提示する出力部とを有する。前記生体信号計測部は、前記ユーザに前記選択肢が提示された時点を起点とした前記ユーザの脳波信号を計測する。前記コンピュータプログラムは、前記補正装置のコンピュータに対し、前記選択肢の推定後に取得された前記脳波信号に含まれる事象関連電位に基づいて、推定された前記選択肢の正誤を判定するステップと、推定された前記選択肢が誤りであると判定されたときに、前記選択肢の推定前に蓄積された前記事象関連電位に基づいて、推定された前記選択肢を補正するステップと、補正後の選択肢に基づき機器動作を指示するステップとを実行させる。

脳波インタフェースシステムに組み込まれる本発明の補正装置によれば、機器がユーザの所望の選択肢を誤判定した場合でも自動的に誤りが補正されるので、再操作の必要が減少し脳波インタフェースを効率的に使用できる。

ユーザ１０に利用される、実施形態１による脳波インタフェース（ＩＦ）システム１の構成を示す図である。 本願発明者らが想定する脳波ＩＦシステム１の構成および利用環境を示す図である。 主として補正装置３の処理の手順を示す図である。 脳波ＩＦ装置の処理のフローチャート１である。 （ａ）および（ｂ）は脳波インタフェースの動作例を示す図である。 脳波ＩＦ装置の処理のフローチャート２である。 本願発明者らによる実験方法およびデータ処理方法に関する処理の手順を示すフローチャートである。 （ａ）〜（ｃ）は、誤推定検出に関する実験画面例を示す図である。 図７に示す実験手続により収集された事象関連電位の波形を加算平均した２種類の波形を示す図である。 （ａ）および（ｂ）は補正に関する解析結果を示す図である。 実施形態１による脳波ＩＦ装置２および補正装置３の処理を時系列的に示す図である。 実施形態１による、誤推定検出処理および推定結果補正処理の手順を示すフローチャートである。 実施形態２による、後期陽性電位の判定閾値の調整方法の手順を示すフローチャートである。

以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムの実施形態を説明する。

実施形態の説明に先立って、本願発明者らの得た知見を説明する。

脳波を利用して選択肢を推定するシステムでは、識別方法を改善して推定精度を向上させたとしても、ユーザ所望の選択肢に判定の誤りが含まれる可能性は完全には排除できないと考えられる。本願発明者らは、誤って判定された選択肢が提示されたときのユーザの反応に着目した。具体的には本願発明者らは、機器側が正しくユーザの選択肢を推定できなかった場合を、ユーザの事象関連電位から特定するための独自の脳波実験を実施し、その事象関連電位の特徴を特定し、また、脳波解析により誤推定時の正解選択肢と誤推定選択肢の波形の特徴を見出した。これら知見を元に、誤推定を機器側で自動的に検出し、推定結果を自動的に補正できる脳波インタフェースを実現できた。以下、実施形態１および２として、脳波インタフェースシステムを詳細に説明する。

なお、本願明細書においては、事象関連電位を取得するためにある時点から起算した所定時間経過後の時刻を、たとえば「約３００ミリ秒」や「６００ミリ秒近辺」と表現している。これは、「３００ミリ秒」や「６００ミリ秒」という特定の時刻を中心とした範囲を包含し得ることを意味している。一般的に、事象関連電位の波形には、個人ごとに３０〜５０ミリ秒の差異（ずれ）が表れることが知られている（加我 君孝ほか編集，「事象関連電位（ＥＲＰ）マニュアル―Ｐ３００を中心に−」，篠原出版新社，１９９５，３０ｐ表１）。したがって、「約Ｘミリ秒」や「Ｘミリ秒近辺」という語は、Ｘミリ秒を中心として、「３０〜５０ミリ秒」の幅がその前後に存在し得ることを意味している。

（実施形態１）
１．脳波インタフェースシステムおよび補正装置の構成
図１は、ユーザ１０に利用される、実施形態１による脳波インタフェース（ＩＦ）システム１の構成を示す。脳波ＩＦシステム１は、脳波インタフェース（ＩＦ）装置２および補正装置３を含んでいる。

脳波ＩＦ装置２は脳波によってユーザの意図を判定し、機器に対してユーザの意図に対応する動作を実行させるために利用される。補正装置３は、脳波ＩＦ装置２によってユーザ１０の意図を判定した結果の正誤を判定し、判定結果を補正するために、脳波ＩＦシステム１に組み込まれている。

脳波ＩＦシステム１の動作の概要は以下のとおりである。脳波ＩＦ装置２は、表示装置の画面に表示される複数の選択肢の中からユーザ１０が希望すると思われる選択肢をユーザ１０の脳波を用いて判定する。補正装置３は、当該選択肢を提示した後のユーザの脳波によって、その選択肢が正しかったか否かを判定する。

ユーザの脳波中に誤っていたことを示す波形が存在することを検出した場合には、補正装置３は選択肢判定に用いられた脳波情報によって選択肢を補正する。補正結果は脳波ＩＦ装置２に送られ、脳波ＩＦ装置２は補正された選択肢に対応する動作を実行する。

一方、選択肢を提示した後のユーザの脳波によって、その選択肢が正しかったことを検出した場合には、補正装置３は、選択肢の補正を行わない。この結果、脳波ＩＦ装置２はその選択肢に対応する動作を実行する。

以下、脳波ＩＦシステム１を構成する脳波ＩＦ装置２および補正装置３のそれぞれについて、構成要素を説明する。

脳波ＩＦ装置２は、生体信号計測部１１と、脳波解析部１２と、選択肢推定部１３と、出力部１４と、制御部１７とを有している。

生体信号計測部１１は、ユーザ１０の頭部に装着された電極における電位変化を計測する機器であり、たとえば脳波計である。脳波解析部１２は、生体信号検出部１１で検出された脳波データを解析する。選択肢推定部１３は、脳波解析部１２で解析された結果をもとに、脳波インタフェースでユーザがどの選択肢を選択したいと思っているかを推定する。出力部１４は、ユーザ１０に対して選択肢の提示や選択結果の提示、その他の機器動作に関する情報を提示する。出力部１４は、例えば機器がテレビであればテレビの画面が該当する。このとき出力部１４からはテレビ番組等も出力される。

次に、補正装置３は、推定結果正誤判定部１５と、推定結果補正部１６とを有している。

推定結果正誤判定部１５（以下「判定部１５」と記述する。）は、出力部１４にて提示された選択肢推定結果に対するユーザ１０の反応を脳波によって取得する。判定部１５は、取得した脳波に基づいて、その推定選択肢の正誤を判定する。

推定結果補正部１６（以下「補正部１６」と記述する）は、仮に判定部１５が機器の選択肢推定結果は誤りであると判定した場合には、正しいと思われる結果（選択肢）を再度推定して先の推定結果を補正し、出力部１４に返す。正しい場合には推定結果の補正は行われない。

制御部１７は、脳波ＩＦ装置２の全体の動作を制御する。制御部１７は、たとえば半導体集積回路である。

このように生体信号計測部１１は、脳波インタフェースにおける選択肢推定のためと、補正の必要性の判定の両方のときに使用される。

２．脳波ＩＦシステムの具体的構成
本願発明者らは、将来的には、装着型の脳波計と装着型のディスプレイとを組み合わせた環境で脳波ＩＦシステムが構築されることを想定している。ユーザは脳波計とディスプレイとを常に装着し、装着型ディスプレイを利用してコンテンツの視聴や画面の操作を行うことができる。また、他には、家庭用のテレビと装着型の脳波計とを組み合わせた家庭内などの環境でも脳波ＩＦシステムが構築されることを想定している。ユーザはテレビを見るときに、脳波計を装着してコンテンツの視聴や画面の操作を行うことができる。

たとえば図２は、後者の例による、本願発明者らが想定する脳波ＩＦシステム１の構成および利用環境を示す。この脳波ＩＦシステム１は後述する実施形態１のシステム構成に対応させて例示している。

脳波ＩＦシステム１は、ユーザ１０の脳波信号を利用してＴＶ１４ａを操作するインタフェースを提供するためのシステムである。ユーザ１０の脳波信号はユーザが頭部に装着した生体信号計測部１１によって取得され、無線または有線で脳波ＩＦ装置２に送信される。ＴＶ１４ａに内蔵された脳波ＩＦ装置２は、脳波の一部を構成する事象関連電位のＰ３成分を利用してユーザの意図を認識し、チャンネルの切り替えなどの動作を行う。補正装置３は、脳波ＩＦ装置２の動作を見ながら、必要に応じて、推定選択肢の補正をすることで、動作の補正を行う。

３．脳波ＩＦシステム１の処理の概要
次に、図３を参照しながら、補正装置３による補正処理を含む脳波ＩＦシステム１の処理を説明する。図３は、主として補正装置３の処理の手順を示す。補正装置３は、脳波ＩＦ装置２の処理の後に、脳波ＩＦ装置２によって判定された選択肢推定結果が正しかったかどうかを判定して、誤っていた場合には補正する処理を実施する。

ステップＳ１０において、図１の脳波ＩＦ装置２は脳波インタフェースを実施する。出力部１４には、各場面に応じて選択可能な選択肢が提示され、提示された各選択肢のハイライトの時点を起点とした事象関連電位を解析し、ユーザ１０の意図する選択肢を推定する処理を行う。脳波ＩＦ装置２の詳細な動作は、別途図４のフローチャートを用いて後述する。ステップＳ１０では、ユーザ１０が選択したい選択肢を脳波ＩＦ装置２が推定し、その結果が次のステップＳ２０に渡される。

ステップＳ２０において、出力部１４はステップＳ１０において推定された選択肢を提示する。これによりユーザ１０は意図した選択肢がシステムに伝わったか否かを確認できる。補正装置３は、以下の処理を実行することにより、推定選択肢が正しかったか否かを確認できる。

ステップＳ３０において、生体信号計測部１１は、ステップＳ２０で推定結果が表示された時点を起点とした事象関連電位を計測する。この事象関連電位には、システムの提示する選択肢推定結果に対して、ユーザ１０がどう感じたかの情報が含まれる。事象関連電位の波形の具体的な説明は後述する。

ステップＳ４０において、補正装置３の判定部１５は、ステップＳ３０で計測された事象関連電位から、ユーザ１０が思っていた通りの推定ができたかを判定する。推定の正誤判定は、発明者らが実施した実験から特定した脳波の特徴によって行う。誤推定ありと判定された場合には、ステップＳ５０へ進み、誤推定がないと判定された場合にはステップＳ６０へ進む。

ステップＳ５０において、誤推定の判定を受けて、補正部１６は、その推定結果を補正する処理を行う。補正方法に関しても、実験結果の解析から知見が得られている。有効な補正方法については後述する。

ステップＳ６０において、出力部１４は、ステップＳ２０で得られた推定結果に基づいて、もしくは、ステップＳ５０の補正結果に基づいて、機器動作を実施する。例えばテレビの番組を変更する課題であれば、選択肢には、テレビの番組名などが提示され、本ステップの機器動作としては表示されている画面が選択された番組名に切り替わることを意味する。

以上のような処理により、補正装置３が動作する。以下、上述した各ステップの詳細を説明する。

４．脳波インタフェースの動作概要と処理手順
まず、図３のステップＳ１０において行われる脳波ＩＦ装置２の動作を説明する。

脳波ＩＦ装置２は、事象関連電位を用いて、ディスプレイ等に表示された複数の選択項目からユーザがどの項目を選択したいかを識別する。図４は、脳波ＩＦ装置２の処理のフローチャートを示し、図５に脳波インタフェースの動作例を示す。

以下、図４のフローチャートに沿って、脳波ＩＦ装置２の動作を説明する。

ステップＳ１１において、出力部１４は現在選択可能な選択肢が列挙されるメニューを表示する。脳波インタフェースが起動されると、図５（ａ）のようなメニュー画面２１が表示される。画面には「どの番組をご覧になりたいですか？」という質問２２と、見たい番組の候補である選択肢２３が提示される。ここでは「野球」２３ａ、「天気予報」２３ｂ、「アニメ」２３ｃ、「ニュース」２３ｄの４種類が表示されている。この４種類のうち一つは明るい色でハイライト表示されている。例えば、画面２１では「野球」２３ａがハイライトされている。

ステップＳ１２において、制御部１７は、ハイライトされる項目を選択する。図５（ａ）の例ではまず一番上の「野球」２５ａが選択される。以下、このステップＳ４２が実行されるたびに、順次、次の選択肢が選択され、４つ目のニュースの次はまた一番目の野球に戻る。

ステップＳ１３において、出力部１４においてステップＳ１２で選択された項目がハイライト表示される。ハイライト表示とは、他の項目より明るい背景によって表示されたり、明るい文字色によって表示されたり、それ以外にも、カーソル等で指し示すことによって指示される。ここではユーザ１０が見たときに、システム側が現在どの項目について注意して欲しいかが伝わるようになっていればよい。脳波ＩＦ装置２では、ユーザ１０は自分が選択したい選択肢がハイライトされたタイミングで、「選択したい！」と意識したり、単にハイライトされたことを意識する。この意識が脳波に表れて次のステップで脳波計によって計測される。

ステップＳ１４において、生体信号計測部１１によって事象関連電位が取得され、各選択肢に対応するメモリ（図示せず）に蓄積される。事象関連電位は生体信号検出部１１の脳波計によって取得され、事象関連電位の起点は、ステップＳ１３にてハイライト表示された瞬間に設定し、この瞬間より例えば２００ミリ秒前から１秒後までの脳波を取得する。これによって、ハイライト表示された項目に対するユーザの反応が得られる。ここで各選択肢に対応するメモリに蓄積することで、選択肢間の波形の比較等が可能になる。

ステップＳ１５において、制御部１７は、全ての選択肢が表示されたかを判定する。全ての選択肢が表示されればステップＳ１６に進み、全ての選択肢が表示されていない場合にはステップＳ１２に戻り、次にハイライトすべき選択肢が決定される。

ステップＳ１６において、制御部１７は、全ての選択肢が所定の回数ずつ表示されたかを判定する。脳波インタフェースにおいては、脳波の波形が揺らいでいて一つ一つの波形にはノイズが多く含まれることが多い場合に、加算平均により必要な信号を取り出す処理を行うことで解決が図られる。この繰り返し数は、例えば５回や１０回と設定され、各選択肢がそれぞれ複数回ハイライトされ、その反応を加算して信号判別に用いられる。この繰り返し回数は、脳波の状態や個人の波形の状態、判別精度などによって決められ、１回で加算をしない場合もありえる。

ステップＳ１７において、選択肢推定部１３は、ステップＳ１４で蓄積された、各選択肢のハイライトに対する事象関連電位を比較し、Ｐ３００が最も含まれる波形を抽出して、どの選択肢が選択されたかったかを判定する。例えば、図５（ｂ）の例においては、各事象関連電位は２４ａ〜２４ｄであり、ここで２４ｂのみ、特徴的な波形になっているので、この波形２４ｂに対応する選択肢である「天気予報」２３ｂが、ユーザ１０が選択したかった選択肢であると決定される。比較方法は、例えば、約３００ミリ秒近辺のピーク振幅の大きさを比較したり、典型的なＰ３００の波形からテンプレートを作成して、そのテンプレートとの類似度を算出したりする手法が挙げられる。

上述の処理によって、事象関連電位から選択肢を推定することが可能になる。

なお、ステップＳ１２では、項目は順次選択されるとしたが、ランダムに選択する方法も可能である。これにより、事前にどの項目が選択されるか不明なため、より注意深くメニューが選択される可能性がある。

また、脳波インタフェースの処理としては、別の方法も考えられる。図４の処理（以下、方式１と呼ぶ）においては、全ての選択肢のハイライトに対する事象関連電位を比較することで、ユーザの意図する選択肢を推定していたが、一つ一つの事象関連電位の処理によっても意図する選択肢を推定できる。以下、この処理方法を方式２と呼ぶ。

図６に、一つ一つの事象関連電位によって選択肢を推定する方式２のフローチャートを示す。図４の方式１のフローチャートに示した処理と同じ処理に対しては同じステップ番号を付与し、異なる部分のみを説明する。

ステップＳ１１〜ステップＳ１３までは、図４の方式１と同様の処理を行う。

ステップＳ１８において、生体信号計測部１１は事象関連電位を取得する。図４の方式１と異なり、最後に事象関連電位の比較をする必要がないので、現在の波形のみが記憶されればよい。

ステップＳ１９において、脳波解析部１２は現在取得した事象関連電位を、識別方法調整後の識別方法で識別する。識別される内容は、現在取得した脳波の波形が、ユーザ１０が選択したい項目に対する波形か、それとも選択したくない項目に対する波形かを判別するものである。図５（ｂ）には、脳波波形の仮想的な例２４ａ〜２４ｄを示す。各メニュー項目がハイライトされた場合に対応する脳波が図５（ｂ）に表示されているとする。ユーザ１０が「天気予報」２３ｂを見たいと思っているとした場合に、「天気予報」２３ｂの項目がハイライトされた場合のみに、特徴的な波形２４ｂが見られている様子を示している。これは、事象関連電位の中では、Ｐ３００成分と呼ばれる成分であり、メニュー項目が切り替わってから約３００ミリ秒後に、陽性の特徴的な波形が見られるものである。この成分が観察されたかどうかを判定する。この成分が観察された場合には、ステップＳ２１に進み、観察されない場合はステップＳ１２に戻る。

ステップＳ２１において、選択肢推定部１３は、ユーザ１０のＰ３００成分が観察された項目が、ユーザ１０が選択したかった項目であると判定し、選択肢が決定されて次の処理に渡される。

このような処理によって、ボタン操作等をすることなく、脳波によって意図した選択肢が選択できる。

５．本願発明者らが実施した実験の概要
次に、図７を参照しながら、本願発明者らが実施した実験方法と、データ処理方法とを説明する。併せて、図８を参照しながら、被験者に提示する画面の例を説明する。この実験により、推定結果が正しいかどうかを判定するための事象関連電位の特徴を特定することが可能になった。

図７は、実験方法およびデータ処理方法に関する処理の手順を示す。

ステップＳ７１において、実験プログラムからユーザ１０に選択項目の指示を出す。これにより事前にユーザ１０がどの項目を選択すべきかを指定して、後からユーザ１０の事象関連電位が正しく判定できたかの指標とする。図８（ａ）は、選択項目の指示の例を示す。画面上に「「野球」を選んでください」３１のように指示が出され、ユーザは指示に従って項目を選択する。

図７のステップＳ７２において、脳波ＩＦ装置２は脳波インターフェースを動作させる。具体的には、脳波ＩＦ装置２は、図４に示した処理によって図８（ｂ）に示す選択肢３２ａ〜３２ｄがユーザ１０に提示されたときの事象関連電位にＰ３００が含まれるか否かを判定し、その判定結果に応じて、そのときのユーザ１０が選択したい選択肢を決定する。選択肢は、図８（ｂ）のように各選択肢が順次ハイライト表示される。

ステップＳ７３において、推定結果として、たとえば図８（ｃ）の画面３３が表示される。画面３３には、「あなたが選んだのは「野球」ですね」と表示されている。この推定結果は、ステップＳ７１にて指示をした項目に関係なく、ステップＳ７２の内部で脳波を処理した結果である。このため、必ずしもステップＳ７１で指示の通りの推定結果になるわけではない。この原因としては、脳波の処理アルゴリズムが汎用的なものであり、個人差に対応できずに誤ってしまうもの、ノイズ混入によるもの、脳波がうまく出ていなかった等、複数考えられる。

ステップＳ７４において、ステップＳ７３で推定結果を表示した時点を起点とした事象関連電位を取得する。取得範囲は、例えば、起点から−１００ミリ秒〜１０００ミリ秒などである。このうち、−１００ミリ秒〜０ミリ秒の事象関連電位はベースライン補正に用いられる。なお、起点よりも前に事象関連電位の取得が開始されているが、これは技術的には問題なく可能である。たとえば推定結果を表示する前から事象関連電位の取得を開始しておき事後的に起点の−１００ミリ秒以後の事象関連電位を採用すればよいためである。または、推定結果が画面に表示されるタイミングは予め調整可能であるため、それよりも先に事象関連電位の取得開始タイミングを制御することも可能だからである。

ステップＳ７５において、ステップＳ７１でユーザ１０に指示した選択肢と、ステップＳ７３で表示されたシステムが推定した選択肢が同一であったかを判定する。もしも、一致していた場合にはステップＳ７６に進み、一致していた場合にはステップＳ７７に進む。

ステップＳ７６において、ステップＳ７４で取得した波形データを、ユーザ１０が正しく脳波インタフェースを使用できたときの波形として蓄積する。この事象関連電位には、ユーザ１０は思っていた通りの結果がフィードバックされたことを確認した時の情報が含まれていると考えてよい。

ステップＳ７７において、ステップＳ７４で取得した波形データを、ユーザ１０が正しく脳波インタフェースを使用できなかった、もしくはインタフェース側が判別を誤ったときの波形として蓄積する。この事象関連電位には、ユーザ１０は思っていたのとは違う結果がフィードバックされたことを知った時の情報が含まれていると考えてよい。

このステップＳ７１からステップＳ７７の処理により、ある所定の選択項目指示に対して、ユーザ１０が正しく脳波インタフェースを操作できたか、もしくはユーザ１０の操作意図が正しく脳波インタフェースに伝わったかに関する事象関連電位が取得できる。選択項目指示を変化させながらこの操作を所定の回数繰り返すことにより、ユーザ１０の正しく推定できたとき、推定できなかったときの波形を収集できる。実験においては、この処理を１２名の被験者に対して実施した。

図９は、図７に示す実験手続により収集された事象関連電位の波形を加算平均した波形を示す。脳波は、頭皮上のＰｚ（国際１０−２０法）における電位変化で耳朶を基準に計測した。被験者は１２名、うち、誤って判別される事例を含むデータのみを集計した。縦軸は頭皮上の電位で単位はμＶ、横軸は推定結果を表示した時点を起点とした経過時間で、単位はミリ秒である。

図９において点線４１は、正しく選択肢が選択でき、正しい判別が行われたときの波形である。この点線４１の波形は、約３００ミリ秒を中心とした、下向き（陽性）の山形の波形を持ち、これはユーザの期待通りのフィードバックがシステムから返された場合に誘発するとされているＰ３００の波形と考えられる。

一方、実線４２の波形は、ユーザ１０が想定していた選択肢とは異なる選択肢が表示された場合の波形である。この赤色の波形は約４００−６００ミリ秒を中心とした下向き（陽性）の比較的なだらかな山形の波形を持つ。これは、ユーザの意図した選択肢とは異なる選択肢がシステムから返された場合に誘発された波形であると考えられる。これは、Ｐ３００よりも遅い時間帯に見られる陽性成分を持つ波形である。本明細書においてはこの波形を、「後期陽性電位」（Ｌａｔｅ Ｐｏｓｉｔｉｖｅ Ｐｏｔｅｎｔｉａｌ：ＬＰＰ）と呼ぶことにする。

この後期陽性電位と類似の信号としては、特許第３７８６９５２号の「サービス提供装置、期待はずれ判定装置および期待はずれ判定方法」における、フィードバック時点から約６００ミリ秒後に陽性成分を持つ信号が挙げられる。当該特許にかかる信号は、自分の行為に対するフィードバックが明らかに期待通りではない場合に現れる信号であり、約５５０〜６００ミリ秒近辺に比較的明確なピークを持つ波形が得られている。

本発明にかかる今回の実験では、新しい信号が得られていると考えてよい。その理由は、機器に意図を伝達しようとした場面で正しく伝達できなかった状況を計測したものであり、状況が異なること、および、波形の特徴も互いに異なるためである。また、意図通りの選択肢が選択できた場面（期待通りの場面）の波形の比較においても、上述した特許ではＰ３００が見られないため、異なった状況での計測であるといえる。

実験の結果をまとめると以下の知見が新たに得られた。すなわち、ユーザ１０が待ち構えていた通りのフィードバックがされていた場合、すなわちシステムが正しく脳波を判別できた場合にはＰ３００が観察される。一方、ユーザ１０が待ち構えていたのとは異なるフィードバックがなされた場合、すなわちシステムが選択肢の推定を誤った場合）には、後期陽性電位が観察される。

上述の信号を検出することで、システムがユーザ１０の選択肢を正しく推定できたか否かを判定できる。信号の区別には、下向きの山形の波形の頂点の時間（潜時）を比較したり、図８の加算波形をテンプレートにして、そのテンプレートとの形の違いを見たりすることで、システム側の推定誤りを検出でき、推定結果の修正が必要かどうか知ることができる。より具体的には、下向きの山形の波形の頂点の潜時が６００ミリ秒に近いか、それとも、３００ミリ秒に近いかによって判別可能で、６００ミリ秒に近い場合には後期陽性電位が発生し、３００ミリ秒に近い場合にはＰ３００が発生していると判定できる。

また、後期陽性電位の山形の波形はなだらかなため、頂点の検出が難しい場合には、それぞれ後期陽性電位とＰ３００の加算波形をテンプレートにして、どちらのテンプレートに近いかで、後期陽性電位の検出を行っても良い。

または、図９の２本の波形を比較すると、電位は約４５０ミリ秒より早い時間帯ではＰ３００の方が大きくなり、約４５０ミリ秒より遅い時間帯では後期陽性電位のほうが、電位（振幅）が大きい。よって、電位の変化を判別に使っても良い。例えば、３００ミリ秒〜４５０ミリ秒の区間平均電位と、４５０ミリ秒と６００ミリ秒の区間平均電位を比較して、前者のほうが大きい場合にはＰ３００が発生したと判定し、後者のほうが大きい場合には後期陽性電位が発生したと判定する、などと考えられる。

６．補正に利用するためのデータの分析
次に、補正方法について検討を行った。図１０（ａ）は、図４のステップＳ１４にて蓄積された事象関連電位のうち、正解選択肢の振幅の大きさが全選択肢の中で何番目であったかを試行毎に分析し、カウントした表を示す。この表は、図７のステップＳ７２の脳波インタフェースを実施する中で、正解の選択肢に対するＰ３００の振幅が、その他の選択肢も含めた全部で４つの事象関連電位の中で何番目に大きかったかを示している。例えば正解選択肢が提示されたときのＰ３００の振幅は、全９６試行のうち６９試行において最大値を取っていた、すなわちどの不正解選択肢が提示されたときよりもＰ３００の振幅は大きかったことを示している。また、全９６試行のうち１４試行では、２番目に大きい値を取っていたことを示している。

ステップＳ７２の脳波インタフェースにおいては、各選択肢のハイライトの時点に対応した４つの事象関連電位のうち、Ｐ３００成分またはその近辺の時刻における成分の振幅が最も大きいものを推定選択肢として決定していた。しかしながら実際には、脳波の波形は揺らぎやノイズの混入等により、必ずしも常に４つの選択肢のうちで最大の振幅を取るわけではない。これを示したのが図１０（ａ）である。

被験者１２名で８試行ごとの選択を行い、全体で９６試行のデータを解析した。このうち正解の選択肢のＰ３００の振幅が最大であったものが、６９試行で全体の７２％存在した。したがって、Ｐ３００の最大振幅が正解選択肢であると推定したときの正答率は、７２％になる。

また、図１０（ａ）の表に示されるように、波形の振幅の分析結果からは、ユーザ１０が選択したい選択肢が４つの選択肢の中の２番目であった事例が１４回、３番目であった事例が７回、４番目であった事例が６回あった。

この結果によれば、仮に最大振幅が得られたときの選択肢が間違いであったとしても（表では９６回中の２７回）、２番目の振幅の選択肢が正解である確率は２７回中の１４回と５０％以上を示すことが読み取れる。このため、図３のステップＳ４０で推定が誤っていると判定されたときには、脳波インタフェース使用時の各選択肢のハイライトに対する事象関連電位のうち、２番目にＰ３００の振幅が大きかった選択肢に補正することで、半分以上のケースでは正解になることが明らかになった。この知見を活用すると、ある程度の補正も可能になる。

図１０（ｂ）は、図１０（ａ）の実験データに基づく、補正効果の検討結果を示す。全９６試行のうち、誤りがなく正しく推定できたであろう事例が６９回で、誤り判定のないときの正解率は７２％であると算出できる。これに対して誤り判定後の補正（振幅が２番目に大きな候補に補正すること）を少なくとも１回導入すると、誤り回数２７回中１４回が正しく補正されて、合計では９６回中の８３回（＝６９回＋１４回）は正解にたどり着くことができるようになり、全体での正答率は８７％に向上する。

このように、Ｐ３００の振幅の上位２位以内に多くの事例が集中する理由は、ノイズはある程度の間隔をあけて突発的に起こり、すべての選択肢の提示中に平均的に影響を及ぼすと考えられるためである。例えば、瞬きをしたことによる眼電の変化は突発的な変化として脳波に影響を与えるが、この場合には、４つの選択肢に対する事象関連電位の中に、正解の選択肢に対応した事象関連電位と、眼電の影響を受けた事象関連電位が混在することになり、このような場合に１位と２位の混同が発生したとも考えられる。この考えによれば、選択肢が５つやそれ以上になった場合でも、ノイズ混入が連続しない限りは、正解選択肢は１位もしくは２位に含まれ、この補正は有効であると考えられる。選択肢のハイライトが一巡するのには、ハイライト間隔（例えば０．３秒〜１秒程度）にも依存するがおよそ１から３秒程度が想定されるので、通常であれば瞬きがこの間に何度も発生しないので、この補正は有効に機能すると考えられる。

このような理由から、２位の選択肢と３位以降の選択肢には、正解脳波の混入する確率に大きな違いが生じると考えられる。この特性は、選択肢の数が４の場合でなく、５以上の場合にも当てはまる。

また、正解選択肢が３位以降になる条件を想定すると、正解選択肢以外の２以上の選択肢に、Ｐ３００と類似の波形が見られることが必要になる。このような条件は突発的に混入するノイズ源では生じにくい。よって、他の原因により、正解選択肢が３位以降になったと考えられる。

たとえば、ユーザの脳波がハイライトのタイミングで出なかった等のユーザ側の原因や、ノイズ混入が常にあって波形が安定しない等の状況が考えられ、この場合には、フィルタの改善や電源や電極装着方法の工夫等、定常的なノイズ対策を行うことで、２位以上に正解が含まれる可能性を高めることができる。

なお、本実験では１２名の被験者に対して行った実験の結果を示したが、脳波ＩＦ装置２での判別方法は、２００ミリ秒から５００ミリ秒の区間平均電位を比較する方法を取っていた。この方法は、様々な形状の脳波波形に対して比較的ロバストに作用するが、正しくＰ３００を判定しているとは言いがたい面もある。判別方法を改良することで、最初の７２％の正解率も向上すると考えられる。また、個人毎のデータに最適化をすることも効果のある方法である。

このような判別方法の改善は、複数の選択肢に定常的に混入するノイズを除去することに貢献し、複数の選択肢の波形がＰ３００と類似の波形に見える確率を低減する。よって、正解選択肢が２位になる場合と３位以降になる場合の確率の差を大きくし、２位の候補に補正する効果を高めると考えられる。

また、最初の７２％の正解率が向上すると、誤推定検出ステップＳ４０の検出精度も向上することが考えられる。脳波では、低頻度の事象に対しては振幅が大きくなることが知られており（宮田洋監修「新生理心理学２巻」Ｐ１４参照）、ユーザ１０の意図と違う推定結果を表示した場合の、後期陽性電位の振幅も大きくなると考えられ、検出が容易になると想定される。

このため判別方法をチューニングすることで、誤判定の検出の精度も向上し、相乗的に全体の精度は向上することが見込まれる。

以上のように、誤推定時のユーザ１０の特徴的な脳波成分により、機器側の推定結果が誤りであったかが機器側で把握でき、さらに自動的に補正できる可能性もあることがわかる。

７．誤推定検出処理および推定結果補正処理の手順の詳細
これまでに得られた実験の結果を踏まえ、次に、図１１および図１２を参照しながら、本実施形態による誤推定検出処理および推定結果補正処理の手順を詳細に説明する。この処理は、推定選択肢が決定され、ユーザに対して表示された後に実行される。

図１１は、本実施形態による脳波ＩＦ装置２および補正装置３の処理を時系列的に示す。横軸は時間軸であり、右方向に時間が進む。図１１では、時間軸の上側に処理内容が記載されている。以下、時間軸に沿って処理を概説する。

まず脳波ＩＦ装置２の制御部１７は、項目の選択およびハイライトを繰り返す（図１１ステップＳ１０１）。そしてその都度事象関連電位の波形を蓄積する（ステップＳ１０２）。これらの処理は、図４のステップＳ１２〜Ｓ１４に対応する。

項目のハイライトが終了すると、脳波ＩＦ装置２の選択肢推定部１３は、蓄積された事象関連電位の波形に基づいて選択肢を推定し決定する（ステップＳ１０３）。この処理は、図４のステップＳ１７に対応する。

その後、出力部１４は推定結果を表示する（ステップＳ１０４）。

以後、補正装置３により、その選択肢がユーザの希望する選択肢であるか否かを判定する処理が開始される。

補正装置３は、出力部１４によって推定された選択肢が表示された時点を起点として、たとえば−１００ミリ秒〜６００ミリ秒の範囲の事象関連電位の波形を取得する（ステップＳ１０５）。

そして補正装置３の判定部１５は、得られた事象関連電位中に、図９において説明した後期陽性電位が発生しているか否かを判定する。判定部１５が後期陽性電位の発生を認定すると（ステップＳ１０６）、出力部１４に表示された選択肢は誤りであったということができる。そこで補正部１６は、推定した選択肢を補正する処理を実行し、他の選択肢を決定する（ステップＳ１０７）。このとき他の選択肢を決定する根拠として利用されるのが、最初の選択肢を決定する際に利用された、蓄積された事象関連電位である。

補正部１６は、項目ハイライト時に蓄積された事象関連電位を抽出して、その事象関連電位のＰ３００の振幅が２番目に大きかったときに提示された選択肢を、次の候補として選択する。

補正部１６は補正結果としてその選択肢を脳波ＩＦ装置２に通知し、出力部１４はその選択肢を提示する。脳波ＩＦ装置２はその選択肢に対応する動作を機器に実行させる（ステップＳ１０８）。

以下、図１２を参照しながら処理の手順を説明する。図１２は、本実施形態による、誤推定検出処理および推定結果補正処理の手順を示す。予め項目ハイライトが行われ、ある選択肢がユーザの意図を示すものであるとして推定され、特定されているとする。

ステップＳ３０において、出力部１４は推定選択肢を表示する。

ステップＳ４０において、生体信号計測部１１は、推定結果の確認用の脳波（事象関連電位）を計測する。図１１から明らかなように、この計測は、選択肢のハイライトに対して行われた事象関連電位の計測ではない。

ステップＳ５１において、生体信号計測部１１は、ステップＳ３０での表示の時点を起点にして事象関連電位を切り出す。切り出す範囲は、たとえば−１００ミリ秒〜６００ミリ秒である。この範囲であれば、脳波ＩＦシステム１の反応時間を短くすることが可能である。ただし、反応時間に余裕を持たせることが許される場合には、例えば−１００ミリ秒〜１０００ミリ秒などであってもよい。この間隔は、システムに求められる反応時間と、検出精度との兼ね合いで決定される。

ステップＳ５２において、判定部１５は、ステップＳ５１で切り出された事象関連電位の中に後期陽性電位が含まれているかを判定する。後期陽性電位の判定には、波形の形状や、頂点の潜時が何ミリ秒近辺にあるかなどを用いることで判定が可能である。また、標準的なＰ３００と後期陽性電位の波形のテンプレートを作成して、どちらのテンプレートに現在の波形が近いかを算出してもよい。後期陽性電位が含まれていると判定された場合は、ステップＳ６１に進み、推定選択肢の補正が行われる。一方、後期陽性電位が含まれていないと判定された場合には、推定が正しかったことを意味する。処理はステップＳ６３に進む。

ステップＳ６１において、推定選択肢の補正のために、補正部１６は、図４のステップＳ１４にて蓄積されていた各選択肢のハイライトに対する事象関連電位をメモリから抽出する。各事象関連電位は、ステップＳ１６の繰り返し回数に応じて、加算平均されている場合も、加算平均されていない場合もある。

ステップＳ６２において、補正部１６は、ステップＳ６１で抽出した各選択肢のハイライトに対する波形から、振幅が２位の選択肢を候補として補正する。これにより、第１位が間違っていた場合には、半分以上の確率で第２位の選択肢が正解であるという知見を活用できる。

ステップＳ６３において、選択肢の補正がないので、補正部１６は、脳波ＩＦ装置２に対して選択肢の補正を行わないことを示す信号を送信する。その結果、ステップＳ３０で決定された選択肢が、最終選択肢として、脳波解析部１２から出力部１４に送られる。その後処理はステップＳ６４に進む。

ステップＳ６４において、機器が実施すべき最終的な選択肢が決定されたのを受けて、出力部１４は機器に動作を実行させる。例えば本実施形態のようにテレビにおける番組選択においては、テレビに対して選択された番組に切り替えて表示するよう指示する。

このような処理によって、もしも脳波のゆらぎやノイズの混入などによって、機器が推定を誤った場合でも、その選択肢の補正ができ、再操作の回数を減少させることができるので、脳波インタフェースの操作性が向上する。

以上の構成により、脳波信号を脳波インタフェースにおける選択肢の推定に使用するだけでなく、選択肢の推定結果の正誤の判別にも使用することにより、ユーザの意図をより正確に伝えることができ、効率的に脳波インタフェースを使用できる。

（実施形態２）
実施形態１では、補正装置の全体の動作について説明した。

本実施形態では、脳波ＩＦ装置２の動作中の脳波を用いて、さらに誤推定の検出精度を調整可能な例を説明する。

本願発明者らは、以下の点に着眼した。すなわち、脳波インタフェースの実行時には、図５（ｂ）のように、各選択肢のハイライトに対して様々な波形が観察されるが、この波形の状況によって、ユーザ１０の選択の意図がどの程度明瞭に機器に伝達できたかが判定できる。この判定内容に応じて誤推定検出の方法を調整することが可能である。

以下、図１３を参照しながら、脳波ＩＦ装置２におけるＰ３００の信頼度に応じて後期陽性電位の判定の閾値を調整する処理を説明する。

図１３は、本実施形態による、後期陽性電位の判定閾値の調整方法の手順を示す。この処理は、判定部１５において行われる誤推定検出処理の一部として実行される。

ステップＳ８１において、脳波インタフェース実施時の波形を参照するために、判定部１５は、図４のステップＳ１４にて蓄積されていた各選択肢のハイライトに対する事象関連電位をメモリから抽出する。各事象関連電位は、ステップＳ１６の繰り返し回数に応じて、加算平均されている場合も、加算平均されていない場合もある。

ステップＳ８２において、判定部１５は、ステップＳ８１で抽出された波形から、Ｐ３００の振幅が最も大きいものを選び出す。振幅の算出方法は、例えば、２００ミリ秒から４００ミリ秒の区間において、山形の波形を抽出しその最高点の振幅を用いるなどが考えられる。

ステップＳ８３において、判定部１５はステップＳ８３で抽出された波形から、Ｐ３００の振幅が２番目に大きいものを選び出す。

ステップＳ８４において、ステップＳ８２とＳ８３で抽出された２つの振幅の差を検出する。その差が閾値よりも大きい場合にはステップＳ８４へ進み、閾値よりも小さい場合にはステップＳ８７へ進む。この振幅の差は、どれぐらい振幅が最も大きいユーザの選択肢の候補が、その他の選択肢とどれぐらいかけ離れているか、すなわち、どれぐらいはっきりと選択したい選択肢のみにＰ３００の波形が見られているかの指標として利用可能である。

脳波は、揺らぎが多く、ノイズの影響も受けやすい。したがって、ノイズの影響を受けてたまたまＰ３００と類似の形状になった場合には、真のＰ３００を含む事象関連電位とＰ３００と類似の形状を含む事象関連電位の２つが見られることになり、振幅の１位と２位の差が小さくなることが想定される。このときは、２位が正解である可能性も高いと考えられる。

なお、振幅の差は実験的に妥当な値が決定可能であるが、差の大きさは例えば数μＶ、より具体的には２μＶ等が使用可能と考えられる。なお、差の絶対値によらず振幅の大きさの比によっても判定可能で、１位の振幅の何％以上の振幅が見られたかどうかを指標としてもよい。例えば２位の振幅が１位の８０％より大きい場合には差が小さいと判定し、８０％以下の場合には差が大きいと判定すればよい。この値も実験的に妥当な値が決定可能である。

ステップＳ８５およびステップＳ８７は、判定部１５の処理結果によって示される信頼度の高さを示している。

ステップＳ８５は、ステップＳ８４において振幅差が大きいと判定された結果として、信頼度が高いことを意味している。１位と２位の振幅差が大きいということは、Ｐ３００の波形が全選択肢の中で一つだけ際立っていたということになり、Ｐ３００の波形が正しく出ていたと考えられる。よって、その波形の信頼度は高いということになる。信頼度が高い場合には、誤推定検出ステップＳ４０において、なるべく誤推定の信号が検出されにくく設定すればよい。誤推定検出ステップの後期陽性電位の有無の判定においても、脳波を用いるため、ノイズ混入の可能性があり、後期陽性電位の検出されやすさを調整することは、補正装置３全体の効率を向上させることにつながる。

そこでステップＳ８６において、誤推定検出ステップＳ４０における後期陽性電位検出の閾値を高く設定する。閾値とは例えば後期陽性電位検出のための基準の振幅の大きさなどが対応する。閾値を高くすると、振幅が大きい場合のみに後期陽性電位が発生したと判定されるようになる。これにより後期陽性電位は検出がされにくくなり、多少のノイズの影響で後期陽性電位に類似の波形が見られたとしても、後期陽性電位が検出されなくなる。

ステップＳ８７は、ステップＳ８４において振幅差が小さいと判定された結果として、Ｐ３００検出の信頼度が低いことを意味している。これは、ユーザ１０が実際に望んでいた選択肢は、２位とされた選択肢であった可能性も高いと考えられることに起因する。

そこでステップＳ８８において、ステップＳ８６と反対に、後期陽性電位の閾値を低く設定し、後期陽性電位が検出されやすくすることで、なるべく誤推定時の後期陽性電位反応を見逃さないようにできる。

このように脳波ＩＦ装置２で蓄積された事象関連電位の波形の形状の特徴に基づき、判定部１５の信頼度を高めることができる。

なお、本実施形態では、信頼度の判定に振幅の差を用いたが、選択肢候補の１位と２位が明確に異なるか、似ているかの情報を元に信頼度を算出できればよい。例えば、１位と２位、もしくは１位とそれ以外の波形の類似度を用いたり、標準的なＰ３００のテンプレートとの相関係数を用いたりすることでも、同様に信頼度の判別が可能である。

このように、判定部１５における後期陽性電位成分の検出の閾値も調整することで、より誤推定時の判定も正確になり、インタフェースの使いやすさがさらに向上する。

以上、上述の実施形態１および２のいずれについても、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。出力部１４を除く脳波ＩＦ装置２の全体および補正装置３は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。

本発明にかかる補正装置３は、機器制御に脳波インタフェースが使用されるシステムにおいて、脳波によるユーザの希望の選択に誤りが存在し得る種々の場面で、候補として推定された選択肢を新たな選択肢に補正するために幅広く利用可能である。

１ 脳波インタフェースシステム
２ 脳波インタフェース装置
３ 補正装置
１０ ユーザ
１１ 生体信号計測部
１２ 脳波解析部
１３ 選択肢推定部
１４ 出力部
１５ 推定結果正誤判定部
１６ 推定結果補正部
２１ メニュー項目画面
２２ メッセージ欄
２３ 選択肢ハイライト
２４ 事象関連電位
３１ 選択項目指示画面
３２ 選択肢ハイライト
３３ 推定結果表示画面
４１ 事象関連電位（正しく判別）
４２ 事象関連電位（誤判別）

Claims (11)

1. 脳波インタフェースシステムに組み込まれる補正装置であって、
   前記脳波インタフェースシステムは、
   ユーザの脳波信号を計測し、蓄積する生体信号計測部と、
   前記脳波信号に含まれる事象関連電位を解析する解析部と、
   前記脳波解析部による解析結果に基づきユーザが希望した選択肢を推定する推定部と、
   前記推定部によって推定された選択肢をユーザに提示する出力部と
   を有し、前記生体信号計測部は、前記ユーザに前記選択肢が提示された時点を起点とした前記ユーザの脳波信号を計測し、
   前記補正装置は、
   前記選択肢の推定後に取得された前記脳波信号に含まれる事象関連電位に基づいて、推定された前記選択肢の正誤を判定する判定部と、
   推定された前記選択肢が誤りであると判定されたときに、前記選択肢の推定に用いた前記事象関連電位に基づいて、推定された前記選択肢を補正し、補正後の選択肢に基づき機器動作を指示する補正部と
   を備えた、補正装置。
2. 前記判定部は、前記選択肢の推定後に取得された前記脳波信号のうち事象関連電位の６００ミリ秒近辺の陽性波形に基づいて、推定された前記選択肢の正誤を判定する、請求項１に記載の補正装置。
3. 前記判定部は、前記選択肢の正誤を判定するための閾値を保持しており、
   前記判定部は、前記選択肢の推定後に取得された前記脳波信号のうち事象関連電位の６００ミリ秒近辺の陽性振幅の大きさが前記閾値以上か否かに応じて、推定された前記選択肢の正誤を判定する、請求項２に記載の補正装置。
4. 前記判定部は、前記選択肢の正誤を判定するための閾値を保持しており、
   さらに前記判定部は、前記選択肢の推定に用いた前記脳波信号であって、推定された前記選択肢の提示に対応して計測された事象関連電位および他の選択肢の提示に対応して計測された事象関連電位に関し、３００ミリ秒近辺の特徴の相違に応じて前記閾値を変化させる、請求項２に記載の補正装置。
5. 前記判定部は、推定された前記選択肢の提示に対応して計測された事象関連電位および他の選択肢の提示に対応して計測された事象関連電位に関し、３００ミリ秒近辺の頂点振幅の大きさの相違に応じて前記所定の閾値を変化させる、請求項４に記載の補正装置。
6. 前記判定部は、前記頂点振幅の大きさの相違を判断するために基準閾値を保持しており、
   前記判定部は、前記頂点振幅の大きさが前記基準閾値よりも大きい場合には前記選択肢の正誤を判定するための閾値をより大きく変化させる、請求項５に記載の補正装置。
7. 前記補正部は、前記選択肢の推定前に取得された、各選択肢の提示に対応して計測された事象関連電位を用いて前記選択肢を補正する、請求項１に記載の補正装置。
8. 前記選択肢の推定前において、
   前記出力部は複数の選択肢を順次提示し、
   前記生体信号計測部は、各選択肢の提示を起点としてそれぞれ計測された前記ユーザの脳波信号を蓄積し、
   前記解析部は、各選択肢に対応する前記脳波信号中の事象関連電位のうち、振幅が最も大きい事象関連電位に対応する選択肢を前記ユーザが希望した選択肢であると推定し、
   前記補正部は、推定された前記選択肢の補正候補として、各選択肢に対応する前記脳波信号中の事象関連電位のうち、振幅が２番目に大きい事象関連電位に対応する選択肢を採用する、請求項７に記載の補正装置。
9. 前記判定部によって、推定された前記選択肢が正しいと判定されたとき、前記補正部は推定された前記選択肢を修正しない、請求項１に記載の補正装置。
10. 脳波インタフェースシステムにおいて実行される補正方法であって、
    前記脳波インタフェースシステムは、
    ユーザの脳波信号を計測し、蓄積する生体信号計測部と、
    前記脳波信号に含まれる事象関連電位を解析する解析部と、
    前記脳波解析部による解析結果に基づきユーザが希望した選択肢を推定する推定部と、
    前記推定部によって推定された選択肢をユーザに提示する出力部と
    を有し、前記生体信号計測部は、前記ユーザに前記選択肢が提示された時点を起点として前記ユーザの脳波信号を計測し、
    前記補正方法は、
    前記選択肢の推定後に取得された前記脳波信号に含まれる事象関連電位に基づいて、推定された前記選択肢の正誤を判定するステップと、
    推定された前記選択肢が誤りであると判定されたときに、前記選択肢の推定に用いた前記事象関連電位に基づいて、推定された前記選択肢を補正するステップと、
    補正後の選択肢に基づき機器動作を指示するステップと
    を包含する、補正方法。
11. 脳波インタフェースシステムに組み込まれた補正装置において実行されるコンピュータプログラムであって、
    前記脳波インタフェースシステムは、
    ユーザの脳波信号を計測し、蓄積する生体信号計測部と、
    前記脳波信号に含まれる事象関連電位を解析する解析部と、
    前記脳波解析部による解析結果に基づきユーザが希望した選択肢を推定する推定部と、
    前記推定部によって推定された選択肢をユーザに提示する出力部と
    を有し、前記生体信号計測部は、前記ユーザに前記選択肢が提示された時点を起点とした前記ユーザの脳波信号を計測し、
    前記コンピュータプログラムは、前記補正装置のコンピュータに対し、
    前記選択肢の推定後に取得された前記脳波信号に含まれる事象関連電位に基づいて、推定された前記選択肢の正誤を判定するステップと、
    推定された前記選択肢が誤りであると判定されたときに、前記選択肢の推定に用いた前記事象関連電位に基づいて、推定された前記選択肢を補正するステップと、
    補正後の選択肢に基づき機器動作を指示するステップと
    を実行させる、コンピュータプログラム。

Images