JP4460644B2 - 脳波識別方法の調整装置、方法およびコンピュータプログラム - Google Patents

Description

本発明は、脳波を利用して機器を操作することが可能なインタフェース（脳波インタフェース）システムに関する。より具体的には、ユーザの脳波をリアルタイムで計測し、的確に解析するために、脳波インタフェース使用時のユーザの脳波のうちメニュー項目ハイライト前に出現する陰性成分を用いて、ユーザがメニュー項目の選択のための脳波を出している状態か否かを判定し、選択のための脳波を出していない場合を除去する装置を備えた脳波インタフェースシステムに関する。

近年、テレビ、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の様々な種類の情報機器が普及し、人間の生活に入り込んできたため、ユーザは普段の生活の中の多くの場面で情報機器を操作する必要が生じている。通常、ユーザは手を使ってボタン等の入力手段（インタフェース部）を介して入力コマンドを入力し、機器の操作を実現している。しかし、たとえば、家事、育児や運転をしているときなど、両手が機器操作以外のタスクで塞がっている状況ではインタフェース部を利用した入力が困難となり、機器操作が実現できなかった。そのため、あらゆる状況で情報機器を操作したいというユーザのニーズが高まっている。

このようなニーズに対して、ユーザの生体信号を利用した入力手段が開発されている。たとえば非特許文献１では、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別するという技術が開示されている。非特許文献１に記載された技術を具体的に説明すると、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ｍｓ後に出現する事象関連電位のＰ３成分を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によって、ユーザは手を使うことなく、選択したいと思った選択肢を特定可能となる。

ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースは、外的な事象として視覚に対する刺激によって得られる事象関連電位を利用する。たとえば、視覚刺激に対する事象関連電位のうちの、いわゆるＰ３成分と呼ばれる成分を利用すると、チャンネルの切り替え、視聴を希望する番組のジャンルの選択、音量の調整などの処理を行うことができる。「Ｐ３成分」とは、事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく標的刺激提示後２５０ｍｓから５００ｍｓの時間帯に出現する陽性成分をいう。

事象関連電位をインタフェースに応用するためには、対象の事象関連電位（たとえばＰ３成分）を高い精度で識別することが重要である。そのために、生体信号を精度良く計測すること、および、計測した生体信号を適切な識別手法によって精度良く識別することが必要となる。

識別率が低下する原因は、二つに大別できる。一つ目の原因は、脳波インタフェースに用いる成分（Ｐ３成分等）は脳波に含まれているにも関わらず、Ｓ／Ｎが低いことや識別手法の精度が低いことである。そのため、精度の高い識別が困難になり、識別率が低下する。二つ目の原因は、たとえば被験者の状態に応じて、対象の脳波成分がそもそも出現していないため、識別ができないことである。脳波インタフェースは無理に識別しようとするため、誤った識別結果を出力する。その結果、識別率が低下する。

上述の第一の原因に対しては、脳波に混入するノイズの除去方法、精度の高い識別方法がそれぞれ開発されつつある。たとえば、特許文献１では、バンドパスフィルタを用いて、脳波に含まれるノイズのうち、商用電源ノイズ等の識別対象（事象関連電位）の周波数とは異なる周波数で混入するノイズを除去した後で、識別を行うことで識別率を向上させる技術が開示されている。また、特許文献２では、単純な周波数フィルタでは除去がしにくい眼電等の生体由来のノイズを除去する技術として、眼電が含まれた試行は識別対象から除外することで識別率を向上させる技術が開示されている。

上述の第二の原因に対しては、対象の脳波成分が出現しない環境は排除する、という手法が採られていた。具体的には、従来の実験室条件での実験では、外乱を排除した実験室で課題に集中するよう教示したり、確認ボタンの押下をさせる等によって被験者の状態を統制することで、定常的に反応を出現させるという手法が採られてきた。

国際公開第２００５／００１６７７号パンフレット 特開平１０−１４６３２３号公報

エマニュエル・ドンチン（Ｅｍａｎｕｅｌ Ｄｏｎｃｈｉｎ）、他２名、"Ｔｈｅ Ｍｅｎｔａｌ Ｐｒｏｓｔｈｅｓｉｓ ： Ａｓｓｅｓｓｉｎｇ ｔｈｅ Ｓｐｅｅｄ ｏｆ ａ Ｐ３００−Ｂａｓｅｄ Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ"、ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ ＥＮＧＩＮＥＥＲＩＮＧ、Ｖｏｌ． ８、２０００年６月 入戸野宏、「心理学のための事象関連電位ガイドブック」、北大路書房、２００５年、３２頁

しかしながら、テレビやＤＶＤレコーダ等の日常的に用いられる実機の操作に脳波インタフェースを利用する場合には、ユーザが画面表示に集中しているとは限らない。換言すれば、ユーザの脳波には、常にメニュー選択のための脳波が出現しているとは限らない。

たとえば、脳波インタフェースの画面が提示されているにもかかわらずユーザがそれ以外の作業（たとえば家事や育児）を並行して行っている場合に、その作業に気を取られてメニューを見ていないという状況が発生する。このような状況下では、インタフェース画面を常に注視することは難しい。また、ユーザが次に選択するメニュー項目を選んでいる途中にメニュー項目のハイライトが開始されると、メニュー選択のための脳波が出現していないという状況が発生する。ユーザは次に選択するメニュー項目を選ぶために時間を要する。よって脳波インタフェースメニュー提示直後に選択のための脳波が出現すると考えることは難しい。

上述の例は、前述した二つ目の原因である、対象の脳波成分がそもそも出現していないという状況に対応している。このような状況は多く想定し得るため、脳波に基づく識別ができない状況が増加すると考えられる。

ところで、ユーザがメニュー項目を見ていない場合には、ユーザが選択したいと思っているメニュー項目がハイライトされてもＰ３成分は出現しない。しかしながら、たとえばＰ３成分に似た波形のノイズが偶然混入した場合には、ユーザの意図しないメニュー項目が選択されてしまう。これは、実験室条件の実験からは想定されなかった課題であり、脳波を日常的に計測し、インタフェースに利用するとしたときに初めて認識されたものである。

本発明の目的は、日常的に脳波インタフェースを利用して機器が操作される状況下において、ユーザが意図しない機器動作を減少させることにある。

本発明による調整装置は、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して規則的な順序で提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を予め定められた所定の識別方法を用いて識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる装置であって、前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを求める分析部と、前記分析部で求めた前記波形の傾きと閾値とを比較し、比較結果に応じて、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定する判定部とを備えている。

前記分析部で求めた前記波形の傾きが所定の負の閾値よりも小さい場合には、前記判定部は、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定し、前記脳波インタフェース部に対して前記判定結果に基づいて前記機器を動作させてもよい。

前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定したときにおいて、前記判定部は、前記脳波インタフェース部に対して、前記各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分の識別を行わないよう指示してもよい。

前記判定部は、前記事象関連電位（μＶ）を時間（ｓ）で除算することによって前記波形の傾きを求め、前記負の閾値である−４と比較してもよい。

前記分析部で求めた前記波形の傾きが閾値よりも大きい場合には、前記判定部は、前記脳波インタフェース部に対して指示をせず、前記脳波インタフェース部は、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別してもよい。

前記分析部は、前記脳波インタフェース部からハイライトの時間間隔を示す情報ｔを取得し、前記メニュー項目がハイライトされる時刻ｔ１よりも所定時間だけ前の時刻ｔ２から、前記時刻ｔ１までの事象関連電位の波形を切り出してもよい。

前記分析部は、切り出した前記事象関連電位の波形の傾きを最小二乗法によって求めてもよい。

本発明による調整方法は、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して規則的な順序で提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を予め定められた所定の識別方法を用いて識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる方法であって、前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを求めるステップと、前記傾きを求めるステップで求めた前記波形の傾きと閾値とを比較し、比較結果に応じて、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定するステップとを包含する。

本発明によるコンピュータプログラムは、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して規則的な順序で提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を予め定められた所定の識別方法を用いて識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられるコンピュータプログラムであって、前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを求めるステップと、前記傾きを求めるステップで求めた前記波形の傾きと閾値とを比較し、比較結果に応じて、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定するステップとを実行させる。

本発明によれば、メニュー項目ハイライト前においてユーザの事象関連電位の波形の傾きが閾値よりも大きい場合に、メニュー項目がハイライトされる前の脳波（特に事象関連電位）に基づいて、ユーザがどのメニュー項目の選択を希望していたかを判断できる。これにより、処理の高速化が期待でき、かつ、ユーザが意図しない機器動作の減少が実現できる。よって、脳波の識別ミスによるユーザの意図しない機器動作が減少するため脳波インタフェースの操作性向上を実現できる。

脳波インタフェースシステム１の構成および利用環境を示す図である。 （ａ）〜（ｃ）は、脳波インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したいジャンルの番組を見るときの例を示す図である。 脳波インタフェースの処理手順Ａの例を示すフローチャートである。 脳波インタフェースの処理手順Ｂを示すフローチャートである。 本願発明者らが実施したランダム実験の機器側の処理手順を示すフローチャートである。 （ａ）は被験者に提示したメニュー項目を簡略化して示す図であり、（ｂ）はメニュー項目のハイライトの例を示す図である。 （ａ）および（ｂ）は、本願発明者らが実施したランダム実験の参加者側のフローチャートである。 ハイライト前６００ｍｓの事象関連電位の総加算平均波形の図である。 本願発明者らが実施した降順実験の機器側の処理フローである。 本願発明者らが実施した降順実験の参加者側の処理フローである。 降順実験の結果を示す加算平均波形の図である。 本発明の実施形態による脳波インタフェースシステム１の機能ブロックの構成を示す図である。 本発明の実施形態による脳波インタフェースシステム１の処理手順を示すフローチャートである。 脳波インタフェースシステム１の処理手順を示すフローチャートである。

以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波インタフェースシステムに組み込まれる識別方法の調整装置の実施形態を説明する。

本願発明者らは、ハイライトされた選択肢（メニュー項目）からユーザがメニュー選択のためにメニュー項目に注目しているときには、メニュー項目ハイライト前の脳波の事象関連電位に陰性シフトが出現することを発見した。事象関連電位の「陰性シフト」とは、事象関連電位が時間を追って正から負の方向へと徐々に値を小さくしていくことをいう。典型的には、事象関連電位の波形を直線近似することにより、その傾きが負になっていることによって確認できる。

本発明では、脳波を利用したインタフェースを備えたシステムにおいて、メニュー項目ハイライト前のユーザ脳波（特に事象関連電位）に基づいて、ユーザがどのメニュー項目の選択を希望していたかを判断する。処理の高速化が期待でき、かつ、ユーザが意図しない機器動作の減少が実現できる。これにより、視線検出装置等を新たに加えることなく、ユーザがメニュー項目を選択するための脳波を出していなかった場合の検出およびメニュー項目の選択を実現できる。

以下では、まず脳波インタフェースシステムの概要および、ユーザがメニュー選択のための脳波を出しているか否かに特徴的な脳波成分を探索するために、本願発明者らが実施した実験について説明し、その後、識別方法調整装置の構成および動作を説明する。

１．脳波インタフェースシステムの概要
図１は、脳波インタフェースシステム１の構成および利用環境を示す。この脳波インタフェースシステム１は後述する本発明の実施形態のシステム構成に対応させて例示している。

脳波インタフェースシステム１は、ユーザ５の脳波信号を利用してＴＶ２を操作するインタフェースを提供するためのシステムである。ユーザ５の脳波信号はユーザが頭部に装着した生体信号計測部５０によって取得され、無線または有線で脳波インタフェース部１００に送信される。ＴＶ２に内蔵された脳波インタフェース部１００は、脳波の一部を構成する事象関連電位と呼ばれる成分を利用してユーザの意図を認識し、チャンネルの切り替えなどの処理を行う。

図２は、脳波インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したい番組を見るときの例を示す。

図２（ａ）は、脳波インタフェース部１００がＴＶ２の画面７ａを介してユーザに提示するメニューの例である。図２（ａ）では、画面７ａ−１から画面７ａ−４において、それぞれ「野球」、「天気予報」、「アニメ」、「ニュース」というメニュー項目が順にまたはランダムにハイライトされる様子を示している。本明細書において、図２（ａ）に示した機器操作に関する選択肢群を「メニュー」、選択肢の一つ一つを「メニュー項目」と定義する。メニュー項目をハイライトすることによって、それぞれのメニュー項目がハイライトされた時刻を起点とした事象関連電位が計測可能となる。なお、ハイライトの代わりに、または後述する図６（ｂ）のように、ハイライト７０と共に補助的矢印７１を用いたポインタでメニューを提示してもよい。

図２（ｂ）は、メニュー項目がハイライトされた時刻を起点に計測したユーザの脳波信号の事象関連電位を模式的に示す。今、ユーザは「天気予報」を見たいと考えていたとする。画面７ａ−１から画面７ａ−４までのそれぞれに対応する脳波信号２０１〜２０４のうち、ユーザ５が「天気予報」がハイライトされた画面７ａ−２を見ると、「天気予報」がハイライトされた時刻を起点に潜時約４００−４５０ｍｓに特徴的な陽性の成分が出現する（非特許文献１）。

脳波インタフェース部１００がこのＰ３成分の出現を識別すると、ユーザが選択したいと考えていたメニュー項目「天気予報」の選択が可能となる。図２（ｃ）では、Ｐ３成分を識別した結果、チャンネルが「天気予報」に切り替えられた後の画面７ａ−５を示している。

図３は、脳波インタフェースの処理手順の例を示す（処理手順Ａ）。ステップＳ１０１において、脳波インタフェース部１００はたとえば４つのメニュー項目を含んだ脳波インタフェースメニュー（図２（ａ）の左側）を提示する。ここで、必須ではないが問いかけの文章（図２（ａ）の右側）を脳波インタフェースメニューと共に提示してもよい。ステップＳ１０２において、脳波インタフェース部１００は次にハイライトするメニュー項目を選択する。次にハイライトするメニュー項目はランダムな順序に選択してもよいし、降順に選択してもよい。ステップＳ１０３において、ステップＳ１０２で選択されたメニュー項目をハイライトする。

ステップＳ１０４において、脳波インタフェース部１００は、ステップＳ１０３においてメニュー項目がハイライトされた時刻を起点に、たとえば５００ｍｓ分のユーザの事象関連電位を計測する。事象関連電位として切り出す区間は、３００−５００ｍｓに出現するＰ３成分が含まれれば、たとえば８００ｍｓ、１０００ｍｓであってもよい。ここでは、図２（ｂ）に模式的に示す脳波信号の事象関連電位２０１〜２０４が計測される。

ステップＳ１０５において、ステップＳ１０４で計測した事象関連電位にＰ３成分が含まれているか否かを識別する。Ｐ３成分の識別は、単純に波形の最大振幅または波形のある区間の平均電位があらかじめ設定した閾値よりも大きいかどうかによって行ってもよいし、特許文献２に記載のようにあらかじめユーザごとに計測したＰ３成分の加算平均波形で作成したテンプレートとの相関係数を求めることによって行ってもよい。なお、閾値は、ユーザごとに決定してもよい。ステップＳ１０５でＹｅｓの場合、ステップＳ１０６に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。

ステップＳ１０６において、脳波インタフェース部１００はステップＳ１０５において選択されたメニュー項目に対応する処理を実行する。これにより、そのメニュー項目が選択され、実行されて、図２（ｃ）に示す画面７ａ−５が表示される。たとえば、図２の例で言えば、天気予報が選択され、天気予報の番組が提示された。

このような脳波インタフェースシステム１によれば、たとえば家事や育児で両手が塞がっている場合にもユーザは手を使わずにＴＶ２等の機器を操作することが可能となる。よって機器の操作性が格段に向上する。

上述の処理では、メニュー項目がハイライトされたタイミングにおいて、ユーザがメニューを見ていない場合や選択するメニュー項目を選ぶ途中段階で選択のための脳波を出していない場合には、ステップＳ１０３においてＰ３成分は計測されない。しかしながら、ステップＳ１０４において取得した事象関連電位にノイズ（たとえば眼電）が混入しＰ３成分に似た波形を示した場合には、ステップＳ１０５においてＰ３成分ありと判定され、ステップＳ１０６においてユーザが意図しないメニュー項目が選択される可能性があった。

別の識別方法として、たとえばそれぞれのメニュー項目がハイライトされた後の事象関連電位を比較し、最もＰ３成分が出現した可能性の高いものを選択するという処理の手順（後述する処理手順Ｂ）を用いたとしても同様にユーザが意図していないメニュー項目が選択される可能性があった。処理手順Ｂを用いた場合には、事象関連電位の比較によってＰ３成分と近いものの選択が可能であるため、多少のノイズが混入しても機器動作が実現できる。

図４に、脳波インタフェースの処理手順Ｂを示す。なお、図３に示す脳波インタフェースの処理手順と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。ステップＳ１０７において、全ての選択項目が少なくとも一度はハイライトされたかどうかにより分岐する。ステップＳ１０７でＹｅｓの場合、ステップＳ１０８に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。

ステップＳ１０８において、ステップＳ１０４で取得したメニュー項目ごとの事象関連電位にＰ３成分が含まれる可能性を計算し、項目ごとに比較をして一番近いメニュー項目をＰ３成分ありと識別し、選択項目として決定する。項目ごとの事象関連電位にＰ３成分が含まれる可能性の計算は、図３中のステップＳ１０４のように、単純に波形の最大振幅値として最大振幅が最大のものを選ぶことによって行ってもよいし、ある区間の平均電位の大きさを求め平均電位が最大のものを選ぶことによって取得してもよい。また、テンプレートとの相関係数の値が大きいものを選ぶことによって行ってもよい。

このように、メニュー項目ごとの事象関連電位を比較し、最もＰ３成分が出現した可能性の高い選択項目を選ぶことで、多少のノイズが混入しても識別が可能な識別方法が実現される。処理手順Ｂを用いた場合も同様である。しかしながら、ユーザがメニューを見ていない場合や選択するメニュー項目を選ぶ途中段階で選択のための脳波を出していない場合にも、Ｐ３成分が含まれている可能性のあるいずれかのメニュー項目が選択されてしまうため、ユーザの意図しないメニュー項目が選択される可能性があった。

これらのユーザが意図しないメニュー項目の選択は、いずれもユーザがメニュー選択のための脳波を出していたかどうかを機器側が判定できないために発生する。メニュー選択のための脳波を出していたか否かの判定が可能であれば、メニュー選択のための脳波を出していない場合には識別対象から除外するなど識別方法の調整によって、これらの意図しない機器動作をなくすことができる。

本願発明者らは、脳波インタフェースを利用するユーザのメニュー項目ハイライト前の脳波が陰性シフトしていたか否かを判定することで、ユーザがメニュー選択のための脳波を出しているかどうかの判定が可能であることを発見した。これにより、視線検出装置等を新たに加えることなく、ユーザがメニュー選択のための脳波を出していなかった場合の検出が実現できる。以下、図５から図１１を参照しながら本願発明者らが実施した実験および実験結果について説明する。

２．実験
実験は、２名の参加者（男性）に対して、ハイライトの方法を変えて、ランダムな順番でメニュー項目のハイライトを行うランダム実験と、降順にハイライトを行う降順実験の２種類を実施した。脳波は頭皮上Ｐｚ（国際１０−２０法）から右耳朶を基準に計測した。また、視覚刺激は被験者の目前２ｍの３７インチプラズマディスプレイに提示した。

まず、ランダム実験について説明する。ランダム実験では、ユーザが選択のための脳波を出しているか否かによる波形の違いを調べるために、メニュー選択のための脳波を出す条件／出さない条件の２条件で実験を実施し、メニュー項目ハイライト前の波形を比較した。

はじめに、図５を参照しながらランダム実験の機器側のフローを説明する。機器側のフローは、メニュー選択のための脳波を出すか出さないかの条件に関わらず、同様である。

ステップＳ５０は、被験者の脳波計測を開始するステップである。

ステップＳ５１は、脳波インタフェースメニューの４つのメニュー項目を提示し、メニュー項目の種類をユーザに示すステップである。図６（ａ）に実際に被験者に提示したメニュー項目を簡略化して示す。我々の実験では２秒間提示した。なお、ステップＳ５１は、メニュー項目ハイライト開始の前に脳波を安定させ、眼電等のノイズを低減させる効果もある。

ステップＳ５２は、次にハイライトするメニュー項目をランダムに選択するステップである。なお、同一のメニュー項目は連続で選択しないようにした。

ステップＳ５３は、ステップＳ５２で選択したメニュー項目を１０００ｍｓ間ハイライトするステップである。ハイライトの例を図６（ｂ）に示す。

ステップＳ５４は、ステップＳ５３でメニュー項目がハイライトされた時刻を０ｍｓとしてハイライト前の脳波を切り出し、事象関連電位を取得するステップである。切り出す事象関連電位は、一つ前のハイライトに対する影響が少ないハイライト前６００ｍｓからハイライトがされるまでの６００ｍｓ間とした。

ステップＳ５５は、メニュー項目がハイライトされた回数ｎによる分岐で、ハイライトの回数が２１より小さい場合にはステップＳ５２に進み、メニュー項目のハイライトを繰り返す。これによって、メニュー項目ごとに５回（２０回÷４メニュー項目）ずつハイライトを実行する。これは、実験的に事象関連電位を繰り返し加算平均して、成分の確認をより確実に行うためのステップである。なお、実際に脳波インタフェースを利用する場合にはステップＳ５５は必ずしも実行しなくてもよい。

前述のステップＳ５０からステップＳ５５によって、各メニュー項目が５回程度ずつハイライトされたときの、ハイライトを起点とした事象関連電位が２０試行分収録できる。

次に、図７を用いてランダム実験の参加者側のフローを説明する。

図７（ａ）は、メニュー選択のための脳波を出す条件（選択条件）の参加者側のフローを示した図である。

ステップＳ６１は、図５中のステップＳ５１で提示されたメニューを見るステップである。被験者はメニュー項目の上から順に選択するようあらかじめ指示されており、ここで選択対象のメニュー項目に視線を移動する。選択対象項目の指示は、実際に脳波インタフェースを用いる場合にユーザが実現したいと思う機器動作にあたる。

ステップＳ６２は、選択対象のメニュー項目を注視し、図５（ａ）中のステップＳ５２からＳ５５によって提示されるメニュー項目のハイライトを見て、選択対象のメニュー項目がハイライトされることを待つ状態である。

ステップＳ６３は、ステップＳ６１で選択対象のメニュー項目がハイライトされたかどうかによる分岐で、ステップＳ６３でＹｅｓの場合はステップＳ６４へ、Ｎｏの場合はステップＳ６２に進む。

ステップＳ６４は、ステップＳ６１で選択対象のメニュー項目がハイライトされた回数をメンタルカウントするステップである。メンタルカウントとは、心の中で数をカウントすることである。これにより事象関連電位にＰ３成分が発生することが知られている。

ステップＳ６５は、所定回数のハイライトが終了したかどうかによる分岐で、ステップＳ６５でＹｅｓの場合には終了へ、Ｎｏの場合にはステップＳ６２へそれぞれ進む。

図７（ｂ）は、メニュー選択のための脳波を出さない条件（選択不実行条件）の参加者側のフローを示した図である。図７（ａ）に示す選択条件と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

選択条件との差異は、メニュー選択のための脳波を出すためのステップＳ６３およびステップＳ６４がない点である。これにより、参加者はハイライトされるメニュー項目を選択意図を持たずにただ見ているだけの状態となる。

実験結果の一例を図８に示す。図８は、ハイライト前６００ｍｓの事象関連電位の総加算平均波形である。分析対象の事象関連電位はハイライト前の区間であるため、ハイライトが選択対象項目であったか否かに関わらず、全てのハイライト前の事象関連電位を加算平均した。なお、ハイライト前５０ｍｓの平均電位でベースライン補正を行い、振幅の最大値が１００μＶを超えた試行は眼電等のノイズが混入した可能性があるため、識別対象から除外した。図８中に、選択条件の総加算平均波形および選択不実行条件の総加算平均波形を、それぞれ太実線および細実線で示した。横軸は時間で単位はｍｓ、縦軸は電位で単位はμＶである。選択条件では、０ｍｓ（次ハイライト開始）に向かって波形が陰性にシフトしているが、選択不実行条件では、陰性シフトは見られない。最小二乗法を用いて総加算平均波形の傾きを求めた結果、選択条件、選択不実行条件において−７．７４μＶ／ｓ、１．６５μＶ／ｓであった。傾きを図８中にそれぞれ太点線、細点線で示す。

この陰性シフトは、次のハイライトに対する準備状態を反映して、選択条件でのみ出現する成分であると考えられる。よって、メニュー項目がランダムにハイライトされる脳波インタフェースでは、ハイライト前の陰性シフトの有無に基づき、ユーザがメニュー選択のための脳波を出していたか否かが判定可能となる。陰性シフトの有無の判定は、求めた傾きの符号によって容易に特定されるが、これは、傾き０を閾値としたときの、閾値と求めた傾きとの比較結果と同義である。

一般的に刺激に対する準備状態を反映する陰性シフトとして、ＣＮＶ（Ｃｏｎｔｉｎｇｅｎｔ Ｎｅｇａｔｉｖｅ Ｖａｒｉａｔｉｏｎ）と呼ばれる随伴性陰性電位が出現することが知られている。ＣＮＶ成分は予告刺激の後、命令刺激を待っている状態で記録される穏やかな陰性電位であり、予期、注意、意欲、動機づけなどの心理的要因と強く関連するとされている（例えば、丹羽真一、鶴紀子：「事象関連電位事象関連電位と神経情報科学の発展」、新興医学出版社、１９９７年、Ｐ１８９参照）。しかしながら、脳波インタフェース利用時にユーザがメニュー選択のための脳波を出していたかどうかに関連して陰性シフト量に差が生じることは知られていなかった。

次に、降順実験について説明する。ランダム実験とは異なり、メニュー項目を降順にハイライトする降順実験では、ユーザは次にハイライトされるメニュー項目の予期が可能で全てのハイライトに対して選択対象であったか否かの判定を行うためにハイライトを待ち構える必要がない。そこで、降順実験では、ユーザがメニュー選択のための脳波を出す条件で実験を実施し、ハイライトに対する構えの違いが陰性シフトに及ぼす影響を調べる。また、ハイライト前の脳波から選択対象のメニュー項目が判定可能か否かを調べる。

はじめに、図９を用いて降順実験の機器側のフローを説明する。図５に示すランダム実験と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

ランダム実験との差異は、メニュー項目を降順に、３５０ｍｓずつハイライトする点である。

ステップＳ７１は、次にハイライトするメニュー項目を降順に選択するステップである。

ステップＳ７２は、ステップＳ７１で選択したメニュー項目を３５０ｍｓ間ハイライトするステップである。

ステップＳ７３は、ステップＳ７２でメニュー項目がハイライトされた時刻を０ｍｓとしてハイライト前５００ｍｓからハイライトがされるまでの５００ｍｓ間の脳波を切り出し、事象関連電位を取得するステップである。

次に、図１０を用いて降順実験の参加者側のフローを説明する。

図１０は、降順実験の参加者側のフローを示した図である。図７に示すランダム実験の参加者側のフローと同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。降順実験では、参加者がメニュー選択のための脳波を出す選択条件で実験を実施した。

図７に示したランダム実験の参加者側のフローとの差異は、降順実験では次にハイライトされるメニュー項目の予期が可能であるため、ランダム実験のように毎回のハイライトに対して選択対象メニュー項目であったか否かの判定（図７（ａ）のステップＳ６３）を実施しない点である。

降順実験では、参加者は選択対象のメニュー項目がいつハイライトされるかのタイミングの予期が可能である。そのため、予期したタイミングの周辺でのみハイライト検出の準備をして選択対象メニュー項目のハイライトを検出すると考えられる。

ステップＳ８１は、選択対象のメニュー項目の一つまたは二つ（複数）前のメニュー項目がハイライトされたかどうかによる分岐で、ステップＳ８１でＹｅｓの場合はステップＳ８２へ、Ｎｏの場合はステップＳ６２へ進む。

ステップＳ８２は、ステップＳ８１で選択対象メニュー項目の一つまたは二つ（複数）前のメニュー項目がハイライトされたことを受け、メンタルカウントの準備をするステップである。

ステップＳ８３は、選択対象のメニュー項目ハイライトを検出する分岐で、ステップＳ８３でＹｅｓの場合はステップＳ６４へ、Ｎｏの場合はステップＳ８２へ進む。

実験結果の一例を図１１に示す。図１１は、各メニュー項目ハイライト前５００ｍｓからハイライトがされるまでの５００ｍｓ間の事象関連電位を選択対象メニュー項目からいくつ前のメニュー項目であったかに基づいて総加算平均（２名）した波形である。なお、ハイライト前５０ｍｓの平均電位でベースライン補正を行い、振幅の最大値が１００μＶを超えた試行は眼電等のノイズが混入した可能性があるため、識別対象から除外した。図１１中には、０ｍｓにおいて選択対象のメニュー項目がハイライトされた場合の総加算平均波形（以下、波形０とする）を太実線で、選択対象項目の一つ前、二つ前、三つ前のメニュー項目がハイライトされた場合の総加算平均波形（以下、波形１、波形２、波形３とする）を細実線で示した。図１１より、０ｍｓにおいて選択対象のメニュー項目がハイライトされる前の総加算平均波形（波形０）が相対的に陰性に大きくシフトしており、他の波形１から３は陰性へのシフトは実質的には存在していないことが分かる。また、最小二乗法を用いて、それぞれの総加算平均波形の傾きを求めた結果、波形０の傾きは、−７．８５μＶ／ｓ、波形１から波形３の傾きはそれぞれ、５．５６μＶ／ｓ、−０．７８μＶ／ｓ、２．８２μＶ／ｓであった。傾きを図１１中に重ねて示す。波形０と、波形１〜３とを識別する傾きの閾値として、たとえば−４や−５（μＶ／ｓ）を採用することができる。

波形０において出現した陰性シフトは、降順実験のようにメニュー項目ハイライトの予期が可能な設定でハイライトを実施する場合に、選択対象のメニュー項目のハイライトに対する準備状態を反映していると考えられる。また、選択対象のメニュー項目以外がハイライトされた場合には、陰性シフトは出現しない。ゆえに、メニュー項目ハイライトの予期が可能な設定において、メニュー項目ハイライト前の事象関連電位が陰性にシフトしていたか否かに基づき、メニュー項目ハイライト前にユーザがどのメニュー項目を選択していたかを判定が可能であると言える。また、メニュー項目ハイライトの予期が可能な設定でハイライトを実施する場合には、少なくとも１つのメニュー項目ハイライト前において、波形が陰性シフトしていれば、ユーザは選択のための脳波を出していると判定してもよい。

以下に、本発明による識別方法調整装置およびその調整装置を含む脳波インタフェースシステムを説明する。

一般的に、たとえば降順のように規則的な順序で刺激を提示する場合には、ユーザが反応する（選択を希望するメニュー項目がハイライトされた）タイミングの予測が可能になるためＰ３成分の振幅は小さくなり、Ｐ３成分の識別が難しくなると言われている。そのため、識別精度が重要視される脳波インタフェースでは、ランダムな順序でハイライトを行うことが多く、降順ハイライトの設定は敬遠されてきた。

しかしながら、選択に対するユーザの負荷の観点からすると、予測したハイライトタイミングのみで反応する降順ハイライトの方が、全てのハイライトに対して選択対象か否かの判定が必要なランダムハイライトよりも負担が少ない。これに対して本発明による識別方法調整装置は、複数のメニュー項目を降順でハイライトさせたときのユーザ脳波のうち、メニュー項目ハイライト前の事象関連電位の傾きを求め、求めた傾きに基づき、ユーザがメニュー選択のための脳波を出していたか否か、さらにはどの傾きが陰性シフトしているか否かを判定する。そして、ユーザがメニュー選択のための脳波を出していない場合には識別対象から除外してユーザが意図しない機器動作の低減をすること、ユーザがメニュー選択のための脳波を出している場合には、ユーザがどのメニュー項目の選択を希望しているかを特定することが可能になる。

３．本発明による脳波インタフェースシステムの実施形態
前述の降順実験の結果によれば、降順にメニュー項目をハイライトする場合には、メニュー項目ハイライト前の陰性シフト量のみに基づいて、ユーザがどのメニュー項目を選択していたかを判定することが可能であることが分かった。

この結果に基づいて、本実施形態による脳波インタフェースシステムでは、メニュー項目を降順にハイライトし、ハイライトごとにハイライト前の事象関連電位の傾き（陰性シフト量）を求め、陰性シフト量のみから選択対象のメニュー項目を判定する。このように、ハイライト前の事象関連電位の陰性シフト量を指標に判定を行うことで、ハイライト直前に選択対象のメニュー項目の判定が可能となり、ハイライト後の事象関連電位からＰ３成分の識別を行うための待ち時間が不要になる。その結果、ハイライト直後に動作するためにレスポンスが良く、操作性に優れた脳波インタフェースを実現できる。

以下、本実施形態による脳波インタフェースシステムを説明する。

図１２は、本実施形態による脳波インタフェースシステム１の機能ブロックの構成を示す。脳波インタフェースシステム１は、出力部７と、識別方法調整装置１０と、生体信号計測部５０と、脳波インタフェース（ＩＦ）部１００とを有している。図１２はまた、調整装置１０の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。なお、出力部７は、ユーザ５にメニュー等を提示する画面を示す。

ユーザ５は、脳波インタフェース部１００によって出力部７に提示される機器操作に関するメニュー項目がハイライトされるかどうかに注意して見ているだけで操作入力はしないが、脳波インタフェース部１００を介して選択されたメニュー項目に応じて機器が動作するものとする。

識別方法調整装置１０は、有線または無線で生体信号計測部５０および脳波インタフェース部１００と接続され、信号の送信および受信を行う。図１２においては、生体信号計測部５０および脳波インタフェース部１００は識別方法調整装置１０とは別体であるが、これは例である。生体信号計測部５０および脳波インタフェース部１００の一部または全部を、識別方法調整装置１０内に設けてもよい。または、１つのデバイスで実現してもよい。

生体信号計測部５０は、ユーザ５の生体信号を検出する脳波計であり、生体信号として脳波を計測する。脳波計は図１に示すようなヘッドマウント式脳波計であってもよい。ユーザ５はあらかじめ脳波計を装着しているものとする。

ユーザ５の頭部に装着されたとき、その頭部の所定の位置に接触するよう、生体信号計測部５０には電極が配置されている。電極の配置は、たとえばＰｚ（正中頭頂）、Ａ１（耳朶）およびユーザ５の鼻根部になる。ただし、電極は最低２個あればよく、たとえばＰｚとＡ１のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。

この結果、生体信号計測部５０はユーザ５の事象関連電位を測定することができる。測定されたユーザ５の脳波は、コンピュータで処理できるようにサンプリングされ、脳波インタフェース部１００および識別方法調整装置１０に送られる。なお、脳波に混入するノイズの影響を低減するため、生体信号計測部５０において計測される脳波は、あらかじめたとえば０．０５から２０Ｈｚのバンドパスフィルタ処理がされ、メニュー項目ハイライト前のたとえば５０ｍｓの平均電位でベースライン補正されているものとする。

脳波インタフェース部１００は、機器操作に関するメニュー項目をランダムな順序で、たとえば１秒間隔でユーザに提示し、生体信号計測部５０で計測された脳波を切り出して識別する。そして識別結果に応じて機器動作を制御する。脳波インタフェース部１００における基本的な動作は前述の通りである。

脳波インタフェース部１００を利用して制御する機器が、たとえば図１に示すＴＶ２であるとすると、メニューは出力部７を介して視覚的にユーザ５に提示される。

脳波インタフェース部１００は、メニュー項目がハイライトされた時刻を起点に、生体信号計測部５０で計測されたユーザ５のメニュー項目ハイライト後の脳波をたとえばＰ３成分のピーク潜時よりも長い５００ｍｓ分を切り出し、波形を識別する。脳波を切り出す時間は波形のピークからの戻りの部分も考慮して１０００ｍｓ分であってもよい。事象関連電位の識別する方法としては、単純に波形を閾値処理してもよいし、特許文献２に記載のようにあらかじめユーザごとに計測したＰ３成分の加算平均波形で作成したテンプレートとの相関係数を求めてもよい。識別のためのパラメータは後述する方法によって識別方法調整装置１０によって調整される。

次に、本実施形態による識別方法調整装置１０の詳細な構成を説明する。本発明の主要な特徴のひとつは、識別調整装置１０の構成および動作にある。

識別方法調整装置１０は、陰性シフト量逐次分析部２１と、Ｐ３識別要否判定部３１とを有している。

陰性シフト量逐次分析部２１は、脳波インタフェース部１００から、メニュー項目ハイライトの間隔を示す情報を取得する。また、陰性シフト量逐次分析部２１は、生体信号計測部５０で計測されたユーザ５のメニュー項目ハイライト前で、かつ、前のメニュー項目ハイライトの影響の少ない時間帯の脳波信号（より詳細には事象関連電位）の情報を受け取り、事象関連電位の波形を切り出して波形の傾きを求める。

ここで、「影響の少ない時間帯」とは、たとえばメニュー項目ハイライトの間隔を１秒（１０００ｍｓ）とし、ハイライトされる基準時刻を０ｍｓとすると、陰性シフト量逐次分析部２１は−６００ｍｓから０ｍｓの事象関連電位の波形を切り出す。そして陰性シフト量逐次分析部２１は、さらに２Ｈｚのローパスフィルタをかけた後に波形の傾きを求める。この「６００ｍｓ」という値については、陰性シフト量逐次分析部２１は、基準時刻から遡って切り出し開始時刻を特定するためのオフセット値として保持しているとする。この値は、メニュー項目のハイライト間隔ｔよりも短いことは言うまでもない。なお、陰性シフト量逐次分析部２１は、そのようなハイライト間隔ｔを特定する情報を脳波インタフェース部１００から取得し、その情報に基づいて、ハイライト間隔よりも短いオフセット値（Ｔ）を適宜設定してもよい。その結果、陰性シフト量逐次分析部２１は、ハイライト時刻ｔ１より時間Ｔだけ前の時刻ｔ２（＝ｔ１−Ｔ）から時刻ｔ１までの事象関連電位の波形を切り出して、波形の傾きを最小二乗法によって求めることもできる。

波形の傾きを求めるために、たとえば最小二乗法を用いる。波形を切り出す区間は、メニュー項目ハイライトの間隔に応じて、一つ前のメニュー項目ハイライトの影響が少ない時間帯であればよい。なお、陰性シフト量は、ハイライトごとに１試行分の波形から求めて判定してもよいし、これまでのハイライトに対する波形を加算平均した波形から求めて判定してもよい。

Ｐ３識別要否判定部３１は、陰性シフト量逐次分析部２１から受け取った波形の傾きが、たとえば閾値以下であったかどうかを判定し、脳波インタフェース部１００においてＰ３成分の識別が必要か否かを判定する。閾値は、ユーザごとに求めてもよいし、予め、たとえば−５μＶ／ｓのように設定してもよい。

本実施形態においては、メニュー提示時の陰性シフト量のみでユーザがメニュー選択のための脳波を出していたかどうかを判断し、選択項目を決定する。Ｐ３識別要否判定部３１は、あるハイライト前の波形の傾きが閾値以下の場合、そのハイライトが選択項目であったと判定し、脳波インタフェース部１００においてＰ３成分の識別を行わないよう調整する。たとえばＰ３識別要否判定部３１は、脳波インタフェース部１００に対し、Ｐ３成分の識別を行わないよう指示する。同時に、Ｐ３識別要否判定部３１は、脳波インタフェース部１００に対して、そのハイライトが選択項目であったという当該判定結果に基づいて機器を動作させるよう指示する。

逆に、波形の傾きが閾値以上の場合、Ｐ３識別要否判定部３１は何も行わず、脳波インタフェース部１００においてＰ３成分の識別がなされる。脳波インタフェース部１００は、生体信号計測部５０からメニュー項目ハイライト後、所定期間内（たとえば０〜５００ｍｓ）の事象関連電位に基づいて、選択されたメニュー項目を特定する。

このように構成することで、ハイライト前の陰性シフト量に基づき、脳波インタフェース部１００においてハイライト後の事象関連電位においてＰ３成分の識別が必要か否の判定が可能となる。よって、ハイライト前の陰性シフト量が閾値以下の場合にハイライト前に選択対象のメニュー項目の判定が可能となり、ハイライト後の事象関連電位からＰ３成分の識別を行うための待ち時間がなくなり、レスポンスが良く操作性に優れた脳波インタフェースを実現できる。

このように構成することで、ユーザが選択を希望していたメニュー項目をハイライト前の脳波の陰性シフト量を指標に判定ができる。これによって、ユーザが意図しない機器動作を減少し、ユーザにとって使いやすい脳波インタフェースが実現できる。また、メニュー項目のハイライトを一巡させると、ユーザが選択したいと考えていたメニュー項目の存否が予測できるので、迅速は処理が可能になる。

次に、図１３のフローチャートを参照しながら、脳波インタフェースシステム１において行われる全体的な処理の手順を説明する。

図１３は、本実施形態による脳波インタフェースシステム１の処理手順を示す。なお、図１３に示すステップＳ１０１からステップＳ１０６は、図３に示す脳波インタフェースの処理手順と同じである。よって、以下ではそれらの説明は省略する。ただし、ステップＳ１０２における項目選択は降順に行うものとする。

ステップＳ２０１において、陰性シフト量逐次分析部２１は、ステップＳ１０４において生体信号計測部５０で計測した脳波のうちハイライト前の脳波を切り出し、ローパスフィルタをかけた後に、ハイライトごとに波形の傾きを逐次求める。脳波を切り出す時間幅は、メニュー項目のハイライトが一巡する間隔の半分程度としてもよい。ローパスフィルタは、切り出す時間に応じて、たとえば２Ｈｚに設定してもよい。波形の傾きを求めるために、たとえば最小二乗法を用いる。

続くステップＳ３０１は、Ｐ３識別要否判定部３１において、予め保持した閾値とステップＳ２０１で陰性シフト量逐次分析部２１によって逐次求められたあるメニュー項目ハイライトに対するハイライト前の波形の傾きと、閾値との比較結果に基づく分岐である。

波形の傾きが閾値よりも小さい場合（ステップＳ３０１でＹｅｓ）、ユーザはそのメニュー項目を選択していたと判定し、脳波インタフェース部１００におけるＰ３成分の識別を行わないよう調整し、ステップＳ１０６に進み判定したメニュー項目を実行する。

逆に、波形の傾きが閾値以上の場合（ステップＳ３０１でＮｏ）、Ｐ３識別要否判定部３１は何も行わず、ステップＳ１０５に進み、脳波インタフェース部１００においてＰ３成分の識別を行う。なお、ステップＳ３０１における閾値は、陰性シフト量のみで選択項目を決定するため、ステップＳ２０１の閾値と比較して厳しい設定としてもよい。

このような処理によって、メニュー項目を降順にハイライトし、ハイライトごとにハイライト前の脳波の陰性シフト量を逐次求め、陰性シフト量に基づいて脳波インタフェース部１００におけるＰ３成分識別の要否の調整が可能となる。

なお、図１３に示した本実施形態の処理と、図１４に示す処理とを組み合わせた処理も可能である。たとえば、識別方法調整装置１０において、閾値ａ、閾値ｂ（閾値ａ＞閾値ｂ）を保存し、あるハイライト前の事象関連電位波形の傾きｘとの比較を行い、（１）閾値ｂ＞傾きｘの場合には、図１３の処理のようにそのハイライトを選択項目と判定しＰ３識別を行わない、（２）閾値ａ＞傾きｘ＞閾値ｂの場合には、図１４の処理を行いＰ３識別のパラメータを調整し、（３）閾値ａ＜傾きｘの場合には、何もしない、という処理も可能である。

なお、図１４に記載された、ステップＳ２０２を除くすべてのステップの説明は、図３および図１３に関連して既に説明したとおりである。ステップＳ２０２では、Ｐ３識別要否判定部３１は、予め保持した閾値とステップＳ２０１で陰性シフト量逐次分析部２１によって逐次求められたメニュー項目ハイライト前の波形の傾きとを比較し、閾値よりも小さいかどうかによって、脳波インタフェース部１００の識別パラメータを調整する。波形の傾きが閾値よりも小さい場合には、ハイライト後にＰ３成分が含まれたと判定されやすくなるよう、たとえばＰ３成分識別の閾値を下げるなどの変更を行う。逆に、波形の傾きが閾値以上の場合、Ｐ３成分が含まれていないと判定されやすくなるよう、たとえばＰ３成分識別の閾値を上げるなどの方法で変更する。

本実施形態の脳波インタフェースシステム１に識別方法調整装置１０を設けることにより、メニュー項目を降順にハイライトし、ハイライトごとにハイライト前の事象関連電位の傾き（陰性シフト量）を逐次求め、波形の傾きが閾値以下の場合には、脳波インタフェース部１００でＰ３成分の識別をしないように識別方法を調整する。このように、ハイライト前の陰性シフト量が閾値以下の場合にハイライト前に選択対象のメニュー項目の判定が可能となり、ハイライト後の事象関連電位からＰ３成分の識別を行うための待ち時間がなくなり、レスポンスが良く操作性に優れた脳波インタフェースを実現できる。

上述の実施形態においては、陰性シフト量が閾値より小さい場合（図１３のステップＳ３０１のＹｅｓ）には、ユーザがそのメニュー項目を選択していたと判定し、脳波インタフェース部１００におけるＰ３成分の識別を行わないよう調整するとした。しかしながら、その場合において、ハイライト前の事象関連電位に基づいてユーザが選択を希望するメニュー項目の候補を絞っておき、その後、脳波インタフェース部１００においてＰ３成分の識別を行うことにより、判定結果がその候補に含まれているか否かを判断してもよい。その結果、精度がより高くなると考えられる。

上述の実施形態においては、メニュー項目のハイライトが上下に配置されており（たとえば図６）、その上方から下方に向けて降順にメニュー項目をハイライトとさせた。しかしながらこれは例である。メニュー項目の配置およびハイライトの順序に基づけば、ユーザが次にどのメニュー項目がハイライトされるかを予測できる場合には、図１１に示す事象関連電位が得られることは当業者であれば容易に判断できる。よって、たとえば、斜めに配列されたメニュー項目を一定の方向に順にハイライトさせる場合や、昇順（下から上）にハイライトさせる場合／ユーザが学習したある順序（たとえば１つ飛ばし／使用頻度の順）でハイライトされる場合等であっても、本発明によるメニュー選択処理が可能である。

上述の実施形態についても、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。識別方法処理装置を構成する全部または一部の構成要素や、脳波インタフェース部は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。

本発明の識別方法調整装置および識別方法調整装置が組み込まれた脳波インタフェースシステムによれば、脳波インタフェースを操作しているユーザのハイライト前の脳波の陰性シフト量によって、ユーザがメニュー選択のための脳波を出していないことが検出可能になる。視線検出装置等を加える必要が無いため、コストを抑え、システムの規模も抑えることが可能である。

識別方法調整装置および脳波インタフェースシステムによれば、メニュー項目がハイライトされる前の脳波（特に事象関連電位）に基づいて、ユーザがどのメニュー項目の選択を希望していたかを判断できる。これにより、処理の高速化が期待でき、かつ、ユーザが意図しない機器動作の減少が実現できる。例えばウェアラブル機器（ヘッドマウントディスプレイや音楽プレーヤ）を脳波インタフェースで操作する場合には、筋電・眼電・商用電源に由来するノイズが混入し、脳波の識別が難しくなることが想定されるが、本発明の識別方法調整装置の適用により、ノイズの影響を受けにくい脳波インタフェースが実現できる。なお、このような識別方法調整装置の機能は、たとえばコンピュータプログラムによって実現することも可能であるため、システムの大幅な改変をすることなく、容易に実装できる。

１ 脳波インタフェースシステム
５ ユーザ
７ 出力部
７ａ 画面
１０ 識別方法調整装置
２１ 陰性シフト量逐次分析部
３１ Ｐ３識別要否判定部
５０ 生体信号計測部
１００ 脳波インタフェース部

Claims (9)

1. 機器の操作メニューを視覚的に提示する出力部と、
   ユーザの脳波信号を取得する生体信号計測部と、
   前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して規則的な順序で提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を予め定められた所定の識別方法を用いて識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部と
   を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる装置であって、
   前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
   前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを求める分析部と、
   前記分析部で求めた前記波形の傾きと閾値とを比較し、比較結果に応じて、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定する判定部と
   を備えた、脳波識別方法の調整装置。
2. 前記分析部で求めた前記波形の傾きが所定の負の閾値よりも小さい場合には、前記判定部は、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定し、前記脳波インタフェース部に対して前記判定結果に基づいて前記機器を動作させる、請求項１に記載の調整装置。
3. 前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定したときにおいて、前記判定部は、前記脳波インタフェース部に対して、前記各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分の識別を行わないよう指示する、請求項１に記載の調整装置。
4. 前記判定部は、前記事象関連電位（μＶ）を時間（ｓ）で除算することによって前記波形の傾きを求め、前記負の閾値である−４と比較する、請求項２に記載の調整装置。
5. 前記分析部で求めた前記波形の傾きが閾値よりも大きい場合には、前記判定部は、前記脳波インタフェース部に対して指示をせず、
   前記脳波インタフェース部は、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別する、請求項２に記載の調整装置。
6. 前記分析部は、前記脳波インタフェース部からハイライトの時間間隔を示す情報ｔを取得し、前記メニュー項目がハイライトされる時刻ｔ１よりも所定時間だけ前の時刻ｔ２から、前記時刻ｔ１までの事象関連電位の波形を切り出す、請求項２に記載の調整装置。
7. 前記分析部は、切り出した前記事象関連電位の波形の傾きを最小二乗法によって求める、請求項６に記載の調整装置。
8. 機器の操作メニューを視覚的に提示する出力部と、
   ユーザの脳波信号を取得する生体信号計測部と、
   前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して規則的な順序で提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を予め定められた所定の識別方法を用いて識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部と
   を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる方法であって、
   前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
   前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを求めるステップと、
   前記傾きを求めるステップで求めた前記波形の傾きと閾値とを比較し、比較結果に応じて、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定するステップと
   を包含する、調整方法。
9. 機器の操作メニューを視覚的に提示する出力部と、
   ユーザの脳波信号を取得する生体信号計測部と、
   前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して規則的な順序で提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を予め定められた所定の識別方法を用いて識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部と
   を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられるコンピュータプログラムであって、
   前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
   前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、
   前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを求めるステップと、
   前記傾きを求めるステップで求めた前記波形の傾きと閾値とを比較し、比較結果に応じて、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定するステップと
   を実行させる、コンピュータプログラム。

Images