本発明は、脳波を利用して機器を操作することが可能なインタフェース(脳波インタフェース)システムに関する。より具体的には、本発明は、個人ごとに大きく異なる脳波を的確に解析するために、脳波インタフェースシステムにおいて脳波の識別方法を調整する機能を実現する機器に関する。
近年、テレビ、携帯電話、PDA(Personal Digital Assistant)等の様々な種類の情報機器が普及し、人間の生活に入り込んできたため、ユーザは普段の生活の中の多くの場面で情報機器を操作する必要が生じている。通常、ユーザはボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作するなどの入力手段(インタフェース部)を用いて、情報機器を操作している。しかし、たとえば、家事、育児や運転をしているときなど、両手が機器操作以外の作業のために使えない場合は、インタフェース部を利用した入力が困難となり、機器操作が実現できなかった。そのため、あらゆる状況で情報機器を操作したいというユーザのニーズが高まっている。
このようなニーズに対して、ユーザの生体信号を利用した入力手段が開発されている。たとえば非特許文献1には、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する脳波インタフェース技術が開示されている。非特許文献1に記載された技術を具体的に説明すると、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約300ミリ秒付近に出現する事象関連電位の波形を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によれば、ユーザは両手が塞がっている状況においても、また病気等により手足が動かせない状況においても選択したいと思った選択肢が選択できるため、上述のニーズに合致する機器操作等のインタフェースが実現される。
ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースでは、外的な事象の発生タイミングを起点として計測される、この事象関連電位を利用する。例えば、視覚刺激などに対して発生する事象関連電位のP300という成分を利用すると、メニューの選択肢が選択できるとされている。「P300」とは、一般には事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく起点から約300ミリ秒付近に現れる事象関連電位の陽性の成分を示すものとして扱われることが多い。
事象関連電位をインタフェースに応用するためには、対象の事象関連電位(たとえばP300成分)を高い精度で識別することが重要である。そのために、生体信号を精度良く計測すること、および、計測した生体信号を適切な識別手法によって精度良く識別することが必要となる。
上述の脳波の波形の出方は個人差が大きいため、事象関連電位をインタフェースの入力手段として用いるためにはこの個人差に対応した精度の高い識別を実現する必要がある。非特許文献2の32頁に掲載されている図を図19に示す。図19は、視覚刺激に対する弁別課題を36名の被験者に対して実施した場合の脳波の個人差の一例を示している。各被験者のグラフには2種類の状況に対する脳波が表示され、それぞれ実線と破線とによって示されている。図19から明らかなように、個人差によって波形およびピーク位置における振幅が大きく異なるため、単一の基準で全てのユーザの識別を精度良く行うことは困難であるといえる。
個人差の大きい脳波を精度良く識別するための方法として、事前に各ユーザに対するシステムの調整を行っておくこと(いわゆるキャリブレーション)が考えられる。図20(a)を用いて具体的に説明する。図20(a)は、キャリブレーションの手順を示している。ユーザには脳波インタフェースを使用する前に、脳波インタフェースを仮想的に操作する作業を実施してもらう。例えば、4つの選択肢の中から脳波インタフェースを用いて1つの選択肢を選択する作業をユーザに実施してもらう場合、4つの選択肢を順次またはランダムにハイライトし、選択肢がハイライトされたタイミングを起点に4つの脳波波形データ(ステップ41)が得られる。同時にユーザが選択しようとした選択肢(ターゲット選択肢)はどの選択肢だったのかを示す正解データ(ステップ42)も得られる。そして、その正解データに記述されたターゲット選択肢に対する脳波波形データの特徴を用いて、ユーザごとに最適な識別方法に調整し(ステップ43)、調整された識別方法によってユーザが実際に脳波インタフェースを使用した際にユーザが選択したいと思っている選択肢を識別する(ステップ44)。
例えば特許文献1では、事象関連電位の成分に現れる個人差を考慮し、ユーザごとに識別方法を調整して識別率を向上させる技術が開示されている。この技術は単一の基準で全てのユーザの識別を行うのではなく、事前のキャリブレーションによって取得したユーザごとの脳波から、識別に際してユーザごとに最適な事象関連電位の成分を抽出・記憶しておき、その成分を用いてユーザが選択したいと思っている選択肢を識別している。ここで、ユーザごとに最適な事象関連電位の成分として、P300成分の他に、P200成分、N200成分、あるいはそれらの組み合わせが挙げられている。特許文献1ではP200成分とは、起点から約200ミリ秒付近に現れる事象関連電位の陽性の成分とされ、N200成分とは、起点から約200ミリ秒付近に現れる事象関連電位の陰性の成分とされている。
特開2005−34620公報
特開平7−108848公報
しかしながら、特許文献1では、個人差を抽出・記憶するための実験として、1被験者あたり100回の実験を実施している(0050段落)。1回の実験に要する時間が約1分であると記述されているため、キャリブレーション全体では約100分もの時間を要していることになる。例えば、ユーザがある民生機器を購入し、実際に使用しようとした場合、事前に約100分もの時間を要するキャリブレーションの実行を必須とするのは、ユーザにとって大きな負担であり、手間もかかる。
また、個人が占有する機器ではなく、例えば駅の券売機や銀行のATM、病院の待合システムなどのような、不特定多数のユーザが利用するシステムや利用時間が限られているシステムにおいて脳波インタフェースを適用する場合、それを利用するユーザ1人1人が時間を要するキャリブレーションを行うことは、ユーザにとっても負担であると同時にシステム運用の観点からも極めて非効率的であり現実的ではない。
したがって、脳波インタフェースを民生機器に搭載する際や不特定多数のユーザが利用するシステムに適用する際には、キャリブレーションの手間をなくすことでユーザが気軽に利用でき、かつ精度良く動作して本来の機能を発揮できなければならない。
一方、計測した脳波波形データを予め用意した分類体系に分類し、その分類結果に基づいて処理を決定する技術が開発されている。例えば特許文献2では、運転者の脳波波形データから単位時間あたりのα波、速波、徐波の数を計算し、その数値によって、予め用意した分類体系である「正常」、「ぼんやり」、「軽い眠気」、「入眠」のいずれかに分類する。そして、その分類結果に応じて運転者に対する「刺激なし」「刺激あり(香り)」「刺激あり(空気圧)」「刺激あり(ブザー音)」の処理を決定している。
ここで、機器操作選択のための脳波インタフェースにおいて、キャリブレーションにおけるユーザの負担をなくし、かつ精度良く識別を行うために、脳波波形データから予め用意した分類体系のいずれかに分類し、その分類結果に応じて識別方法を調整する方法が考えられる。
しかしながらその方法には課題が存在する。その課題を、図20(b)を用いて説明する。図20(b)は、ユーザの脳波波形データを分類してキャリブレーションを行う手順を示している。例えば、事前のキャリブレーション時ではなく、実際にユーザが脳波インタフェースを用いて4つの選択肢の中から1つの選択肢を選択しようとしている場合、4つの脳波波形データ(ステップ45)が得られる。この4つの脳波波形データには、ユーザが選択しようとした選択肢(ターゲット選択肢)に対する脳波波形データが1つと、それ以外の選択肢(ノンターゲット選択肢)に対する脳波波形データが3つ含まれているとする。これらの脳波波形データから予め用意した分類体系のいずれかのタイプに分類し(ステップ46)、その分類結果に応じて最適な識別方法に調整し(ステップ47)、調整された識別方法によってユーザが選択したいと思っている選択肢を識別する(ステップ48)。
前述のタイプ分類(ステップ46)は、各々の選択肢に対する脳波波形データ(図20(b)の例では4つの脳波波形データ)のうち、ターゲット選択肢に対する脳波波形データの特徴を反映した分類であることが必要である。なぜなら、それ以外の脳波波形データの特徴を反映した分類だと、その後の処理であるターゲット選択肢を精度良く識別するための識別方法の調整が的確に実施できなくなるからである。それは、図20(a)の例において正しい正解データを入力しなければ、すなわちターゲット選択肢に対する脳波波形データの特徴を正しく抽出できていなければ、的確な識別方法の調整ができないことからも明らかである。
しかしながら、実際に脳波インタフェースを利用する際には、どれがターゲット選択肢に対する脳波波形データなのかを示す正解データが存在しないため、前述のタイプ分類をする時点ではターゲット選択肢に対する脳波波形データを特定することができない。そのため、タイプ分類や識別方法の調整を的確に実施することができず、その結果識別精度を高く維持することができない。したがって、タイプ分類や識別方法の調整を的確に実施するためには、ターゲット選択肢が特定できない複数の選択肢に対する脳波波形データから、ターゲット選択肢に対する脳波波形データの特徴を推定することが必要である。
上述の課題は、特許文献2の従来技術のように分類後には脳波波形データを利用しない場合には問題とされない。一方、上述のように、分類後もその分類結果に基づいてターゲット選択肢を識別するために脳波波形データを利用する場合には問題となる。
本発明の目的は、ターゲット選択肢を識別するために脳波波形データを利用する場合において、ユーザの脳波波形に基づいてタイプ分類および識別方法の調整を的確に実施して、ユーザに対して煩雑なキャリブレーションの負担をなくし、かつ、脳波に関する識別精度を高く維持することにある。
本発明による調整装置は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記調整装置は、脳波信号の特徴を類型化するための基準データを予め保持し、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定する分類判定部と、前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整する識別方法調整部とを備えている。
前記分類判定部が用いる複数の選択肢に対する脳波信号は、前記出力部で提示した全ての選択肢に対する脳波信号であってもよい。
前記分類判定部は、前記複数の選択肢に対する脳波信号の所定の周波数帯域のパワースペクトルの平均値および/または所定の時間幅と周波数帯域のウェーブレット係数の平均値を、前記複数の選択肢の全てに対する脳波信号に共通する特徴量として保持する。
前記分類判定部は、8Hzから15Hzの周波数帯域のパワースペクトルの平均値を用いて、前記脳波信号のN200成分の大きさを判定してもよい。
前記分類判定部は、200ミリ秒から250ミリ秒の時間幅および8Hzから15Hzの周波数帯域のウェーブレット係数の平均値を用いてP200成分の大きさを判定してもよい。
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号を識別する際に用いる前記脳波信号のP300成分、P200成分およびN200成分に対する重み係数を分類結果に応じて調整してもよい。
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号の識別に用いられるテンプレートを類型化された前記複数の分類ごとに保持しており、分類結果に応じたテンプレートを利用することにより、前記脳波信号の識別方法を調整してもよい。
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号を識別する際に用いる教示データを分類結果に応じて採択することにより、前記脳波信号の識別方法を調整してもよい。
本発明による方法は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。本発明による前記方法は、脳波信号の特徴を類型化するための基準データを用意するステップと、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定するステップと、前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを包含する。
本発明によるコンピュータプログラムは、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、脳波信号の特徴を類型化するための基準データを予め保持するステップと、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定するステップと、前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを実行させる。
本発明による調整装置は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記調整装置は、(i)前記選択肢に対する脳波信号から、2以上の選択肢の脳波信号を選択し、(ii)基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出する特徴量抽出部と、前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整する識別方法調整部とを備えている。
本発明による方法は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。本発明による前記方法は、前記選択肢に対する脳波信号から、2以上の選択肢の脳波信号を選択するステップと、基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出するステップと、前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを包含する。
本発明によるコンピュータプログラムは、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、前記選択肢に対する脳波信号から、2以上の選択肢の脳波信号を選択するステップと、基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出するステップと、前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを実行させる。
本発明によれば、複数の選択肢の中からユーザが選択したいと思っている選択肢を、脳波を利用して識別するインタフェースを備えたシステムにおいて、全ての選択肢に対する脳波信号に共通する特徴量を用いて、予め用意した分類体系のいずれかのタイプに分類し、その分類結果に応じて最適な識別方法に調整する。
その結果、ユーザに対するキャリブレーションの実行を必須としないため、ユーザへの負担および手間を大幅に軽減することができ、かつ、分類されたタイプに応じて識別方法を調整することにより、識別精度を高く維持することができる。
テレビと装着型の脳波計とを組み合わせた例による脳波インタフェースシステム1の構成および利用環境を示す図である。
実施形態1による脳波インタフェースシステム1の機能ブロック構成を示す図である。
脳波インタフェース1の処理の手順を示すフローチャートである。
(a)〜(d)は、脳波インタフェースシステム1においてユーザ10が視聴したいジャンルの番組を選ぶときの画面の遷移図である。
実験の結果、被験者01〜13の各々から得られた脳波波形データを、被験者ごとに加算平均した波形を示す図である。
図5に示した被験者ごとの脳波波形データを、300ミリ秒以前のP200成分およびN200成分の大きさに基づいて個人の脳波の特徴を類型化した分類体系を示す図である。
(a)〜(d)は、分類したタイプごとの脳波波形データの総加算平均波形を示す図である。
図6に示した分類体系のN200成分が“Large”の被験者群(7名)と“Small”の被験者群(6名)とに対する脳波波形データのパワースペクトルを示す図である。
図6に示した分類体系のP200成分が“Large”、“Middle”、“Small”のレベルと、脳波波形データの所定の時間周波数成分および周波数帯域のウェーブレット係数との関係を被験者ごとにプロットした図である。
分類判定部14の分類処理手順を示す図である。
実験結果をもとに作成したタイプ分類用の基準データの一部を示す図である。
識別方法調整部15の処理の手順を示すフローチャートである。
タイプごとのP300成分およびP200成分、N200成分に対する重み係数を示す図である。
(a)および(b)は、タイプAの場合の教示データの例を示す図である。
ターゲット選択肢の識別率の全被験者平均値を3つの条件を示す図である。
図15の内訳であるタイプAの被験者、タイプDの被験者、その他の被験者のそれぞれの場合の識別率を示す図である。
タイプ分類に用いる特徴量を、(b)パワースペクトルとウェーブレット係数の両方を用いる場合、(b−1)パワースペクトルのみを用いる場合、(b−2)ウェーブレット係数のみを用いる場合の3つの条件について、タイプAとタイプDの被験者の識別率を示す図である。
実施形態2による脳波インタフェースシステム3の機能ブロック構成を示す図である。
視覚刺激に対する弁別課題を36名の被験者に対して実施した場合の脳波の個人差の一例を示す図である。
(a)は、キャリブレーションの手順を示す図であり、(b)は、ユーザの脳波波形データを分類してキャリブレーションを行う手順を示す図である。
以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波識別方法調整装置の実現形態を説明する。
はじめに、本発明による脳波インタフェースシステムおよび脳波識別方法調整装置の主要な特徴の概略を説明する。その後、脳波インタフェースシステムの各実施形態を説明する。
本願発明者らは、将来的には、装着型の脳波計と装着型のディスプレイとを組み合わせた環境で脳波インタフェースシステムが構築されることを想定している。ユーザは脳波計とディスプレイとを常に装着し、装着型ディスプレイを利用してコンテンツの視聴や画面の操作を行うことができる。また、他には、家庭用のテレビと装着型の脳波計とを組み合わせた家庭内などの環境でも脳波インタフェースシステムが構築されることを想定している。ユーザはテレビを見るときに、脳波計を装着してコンテンツの視聴や画面の操作を行うことができる。
例えば図1は、後者の例による、本願発明者らが想定する脳波インタフェースシステム1の構成および利用環境を示す。この脳波インタフェースシステム1は後述する実施形態1のシステム構成に対応させて例示している。
脳波インタフェースシステム1は、ユーザ10の脳波信号を利用してテレビ11を操作するインタフェースを提供するためのシステムである。テレビ11に表示された複数の選択肢が1つずつハイライトされると、各ハイライトを起点としてユーザ10の脳波の事象関連電位に影響が現れる。ユーザ10の脳波信号はユーザが頭部に装着した脳波計測部12によって取得され、無線または有線で脳波IF部13に送信される。テレビ11に内蔵された脳波IF部13は、ユーザ10の脳波の事象関連電位を利用して、ユーザが選択したいと思っている選択肢を識別する。その結果、ユーザの意図に応じてチャンネルの切り替えなどの処理を行うことが可能になる。
脳波インタフェースシステム1の脳波インタフェース(IF)部13(後述)には、所定の識別方法が予め定められている。この「識別方法」とは、脳波信号が予め定められた基準に合致するか否かに応じて事象関連電位の成分を識別する方法をいう。
ユーザ10の脳波の事象関連電位を利用して、ユーザが選択したいと思っている選択肢を識別するためには、ユーザに応じて識別方法を最適化することが必要とされる。
本実施形態による、テレビ11に内蔵された脳波識別方法調整装置2は、脳波波形データから個人の脳波の特徴を類型化した分類体系のいずれかのタイプに分類し、その分類結果に応じて、脳波IF部13において利用される識別方法が最適になるよう調整する処理を行う。このとき、特定の選択肢がハイライトされたときの脳波信号だけでなく、全ての選択肢に対する脳波信号に共通する特徴量が用いられる。予め定められた分類体系に対応して、たとえば2つの脳波波形のテンプレート(教示データ)も用意されている。1つは、選択しようとした選択肢がハイライトされたときに現れる教示データであり、他の1つは、選択しようとしていない選択肢がハイライトされたときに現れる教示データである。得られた脳波波形データとこれらの各教示データとを比較して、どちらに近いかを評価することにより、その脳波波形が測定されたときに、ユーザがハイライトされた選択肢を選択したかったか否かを判断できる。
脳波波形の現われ方には個人差が大きいが、本願発明者らは複数ユーザの脳波波形に共通する特徴を見出して、その特徴ごとに分類を行うとともに、その特徴を識別可能にする教示データを分類に応じて設けた。これにより、分類結果に応じてそのユーザにとって最適な識別方法を採用することができる。
本願発明者らは、全ての選択肢毎に1回(または数回程度の少ない回数)の刺激で得られた事象関連電位のN200成分およびP200成分(後述)を利用して分類を行った。本願発明者らは、周波数帯域のパワースペクトルの平均値および周波数帯域のウェーブレット係数の平均値によって分類すると効果があることを見出した。
(実施形態1)
以下、本願発明の実施形態を詳細に説明する。
図2は、本実施形態による脳波インタフェースシステム1の機能ブロック構成を示す。脳波インタフェースシステム1は、出力部11と、脳波計測部12と、脳波IF部13と、脳波識別方法調整装置2を有している。脳波識別方法調整装置2は、分類判定部14と、識別方法調整部15とで構成されている。ユーザ10のブロックは説明の便宜のために示されているものであり、脳波インタフェースシステム1自体の構成ではない。
出力部11は、ユーザにコンテンツや脳波インタフェースにおける選択されるべきメニューを出力する。図1に示すテレビ11は出力部の具体例であるため、以下では参照符号11を出力部に充てて説明する。出力部11は、出力される内容が動画や静止画の場合にはディスプレイ画面に対応し、出力される内容に音声が含まれている場合にはディスプレイ画面およびスピーカが出力部11として併用されることもある。
脳波計測部12は、ユーザ10の頭部に装着された電極における電位変化を計測することによって脳波信号を検出する脳波計である。脳波計は図1に示すようなヘッドマウント式脳波計であっても良い。ユーザ10は予め脳波計を装着しているものとする。
ユーザ10の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部12には電極が配置されている。電極の配置は、例えばPz(正中頭頂)、A1(耳朶)およびユーザ10の鼻根部になる。但し、電極は最低2個あれば良く、例えばPzとA1のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。
この結果、脳波計測部12はユーザ10の脳波を測定することができる。測定されたユーザ10の脳波は、コンピュータで処理できるようにサンプリングされ、脳波IF部13に送られる。なお、脳波に混入するノイズの影響を低減するため、本実施形態の脳波計測部12において計測される脳波は、予め例えば15Hzのローパスフィルタ処理がされているものとする。
脳波IF部13は、機器操作に関するインタフェース画面を、出力部11を介してユーザに提示し、インタフェース画面上での複数の選択肢を順次またはランダムにハイライトさせ、脳波計測部12で計測された脳波波形データからユーザが選択しようとした選択肢を識別する。以下、本実施形態において、ユーザが選択しようとした選択肢を「ターゲット選択肢」といい、ターゲット選択肢以外の選択肢を「ノンターゲット選択肢」という。
なお、以下の説明では、「選択肢」とは、見たい番組の候補であるとして説明している(図4(b)における「野球」、「天気予報」、「アニメ」、「ニュース」)。しかしながらこれは一例である。操作対象機器における選択可能な操作に対応する複数の項目が存在すれば、各項目は本明細書でいう「選択肢」に該当する。「選択肢」の表示態様は任意である。
図3および図4を適宜参照しながら、図2に示した脳波インタフェース1の処理の手順を説明する。図3は、脳波インタフェースシステム1の処理の手順を示すフローチャートである。また図4(a)〜(d)は脳波インタフェースシステム1においてユーザ10が視聴したいジャンルの番組を選ぶときの画面の遷移図である。
ステップS61では、脳波IF部13はSSVEPを用いて、脳波インタフェースの起動を判断し、出力部11を介してインタフェース画面を提示する。SSVEP(Steady State Visual Evoked Potential)とは、定常視覚誘発電位を意味する。
例えば、ユーザ10がコンテンツを視聴している時には、テレビに図4(a)のような選択前の画面51(この場合はニュース)が表示されているとする。右下に表示されたメニュー52は特定の周波数で点滅している。ユーザ10がそのメニュー52を見ると、特定の周波数成分が脳波に重畳されることが知られている。そこで、脳波信号における点滅周期の周波数成分のパワースペクトルを識別することによってそのメニュー52が見られているかが判別でき、脳波インタフェースを起動できる。脳波インタフェースの起動とは、脳波を用いて選択等を行うためのインタフェースの動作を開始させることを意味する。
なお、SSVEPは、例えば、Xiaorong Gao,“A BCI−Based Environmental Controller for the Motion−Disabled”,IEEE Transaction on Neural Systems and Rehabilitation Engineering,Vol.11,No.2,June 2003に記載されているものを示す。
脳波インタフェースが起動されることによって、図4(b)に示すインタフェース画面53が表示される。画面には「どの番組をご覧になりたいですか?」という質問と、見たい番組の候補である選択肢が提示される。この例では「野球」53a「天気予報」53b「アニメ」53c「ニュース」53dの4種類が表示されている。
再び図3を参照する。ステップS62では、脳波IF部13が、出力部11を介してインタフェース画面53の各々の選択肢を順次またはランダムにハイライトさせる。図4(b)の例では、画面53の上から「野球」53a、「天気予報」53b、「アニメ」53c、「ニュース」53dの順にハイライトしている様子を示している。このときのハイライトの切り替わり時間の間隔は、350ミリ秒とする。なお、ハイライトはインタフェース画面上での選択肢の輝度、色相および大きさの変化の少なくとも1つであれば良く、また、ハイライトの代わりに、またはハイライトとともに補助的矢印を用いたポインタで選択肢を提示しても良い。
ステップS63では、脳波IF部13が、脳波計測部12で計測された脳波信号のうち、各選択肢がハイライトされた時点を起点として、−100ミリ秒から600ミリ秒までの脳波波形データを切り出す。
ステップS64では、脳波IF部13は、切り出した脳波波形データのベースライン補正を行う。例えば、選択肢がハイライトされた時点を起点として、−100ミリ秒から0ミリ秒までの平均電位でベースラインを補正する。
ステップS65では、脳波IF部13が、インタフェース画面53の全ての選択肢のハイライトが終了したか否かを判別する。終了していない場合はS62に戻り、終了している場合はS66に進む。
なお、事象関連電位の研究では一般的に、同じ選択肢をN回(例えば5回、10回、20回)ハイライトさせる(たとえば選択肢が4個の場合は合計4×N回だけハイライトさせる)ことが多い。そして同一選択肢ごとの加算平均を求めてからターゲット選択肢の識別が行われる。これにより、ランダムな脳の活動電位を相殺でき、一定の潜時と極性を持つ事象関連電位(例えばP300成分、P200成分、N200成分)を検出できる。
なお、同じ選択肢をN回(N:2以上の整数)ハイライトさせると識別精度は高くなるが、その処理の回数に応じた時間が必要になる。そのため、不特定多数のユーザが脳波インタフェースシステム1を利用する場合には、同じ選択肢を多くない回数(たとえば2、3回)だけハイライトさせてもよいし、1回だけハイライトさせてもよい。同一選択肢ごとの加算平均を求める場合において、加算回数(ハイライト回数)は限定されるものではない。
ステップS66では、脳波識別方法調整装置2が、全ての選択肢に対する脳波波形データに共通する特徴量を用いて、個人の脳波の特徴を、類型化した分類体系のいずれかのタイプに分類し、その分類結果に応じて最適な識別方法に調整する処理を行う。処理の詳細は図10および図12の分類判定部14および識別方法調整部15の処理の手順を参照しながら後述する。
ステップS67では、脳波IF部13が、脳波識別方法調整装置2におけるタイプ分類およびそれに応じた識別方法の調整結果を受けて、複数の選択肢の中からターゲット選択肢の識別を行う。ここで、ターゲット選択肢の識別は、タイプ分類に用いた脳波信号と同じ信号を用いる。同じ脳波信号を用いて、タイプ分類と選択肢の識別とを行うことができるため、選択肢の識別を伴わないキャリブレーションを行うことなく、識別精度を向上させることができる。
図4(c)は、4つの選択肢に対する脳波波形データ54a〜54dから、脳波波形データ54bをターゲット選択肢として識別している様子を示している。識別に際して脳波IF部13は、ハイライトされた選択肢ごとの、ある区間の脳波波形データの区間平均電位に基づいて選んでも良いし、またテンプレートとの相関係数の値に基づいて選んでも良い。または、線形判別分析または非線形判別分析による事後確率の値に基づいて選んでも良い。上記のそれぞれに方法に関する詳細は、識別方法の調整を行う識別方法調整部15の説明の後に再度説明する。
図3のステップS68では、脳波IF部13は、識別された選択肢の動作を実行させるために、適切な機器に当該動作を実行させる。図4(d)の例では、脳波IF部13は出力部(TV)11に対してチャンネルを「天気予報」に切り替えるよう指示し、出力部(TV)11がその処理を実行している。
分類判定部14は、図3に示した処理ステップS66において、脳波IF部13から分類対象となる脳波波形データを受信することによって処理が開始される。図4(c)の例では、ハイライトされた4つの選択肢に対する脳波波形データ54a〜54dを受信する。更に受信した全ての選択肢に対する脳波信号に共通する特徴量を用いて、個人の脳波の特徴を類型化した分類体系のいずれかのタイプに分類する。「全ての選択肢に対する脳波信号に共通する特徴量」とは、全ての選択肢に対する脳波波形を用いて得られる波形の特徴を示す。具体的な算出処理は、後述する。
識別方法調整部15は、分類判定部14の分類結果に応じて、ターゲット選択肢を精度良く識別するための識別方法の調整を行い、調整結果を脳波IF部13へ送信する。
ここで、上述のタイプ分類を実施する際の分類体系について、本願発明者らが実施した脳波インタフェースの実験結果をもとに具体的に説明する。
被験者は男性9名、女性4名の合計13名で、平均年齢は26±6.5歳である。被験者には図4(b)で示した4つの選択肢を含むインタフェース画面をモニターに提示し、350ミリ秒ごとにハイライトされる選択肢を見て、指定された選択肢(ターゲット選択肢)がハイライトされた直後に「それ」と頭の中で思う課題を課した。選択肢のハイライトはランダムな順序で4つの選択肢を各5回(すなわち加算回数が5回)の計20回繰り返し、これを1試行の実験とした。また、ターゲット選択肢の指定は、上から「野球」53a「天気予報」53b「アニメ」53c「ニュース」53dの順とし、それぞれ10試行(計40試行)の実験を各被験者に対して実施した。
また、被験者は脳波計(ティアック、ポリメイトAP−1124)を装着し、電極の配置は国際10−20電極法を用い、導出電極をPz(正中頭頂)、基準電極をA1(右耳朶)、接地電極を前額部とした。サンプリング周波数200Hz、時定数3秒で計測した脳波波形データに対して15Hzのローパスフィルタ処理をかけ、選択肢のハイライトを起点に−100ミリ秒から600ミリ秒の脳波波形データを切り出し、−100ミリ秒から0ミリ秒の平均電位でベースライン補正を行った。
図5は、上述の実験の結果、被験者01〜13の各々から得られた脳波波形データを、被験者ごとに加算平均した波形を示す。横軸は選択肢のハイライトを0ミリ秒とした時間(潜時)で単位はミリ秒、縦軸は電位で単位はμVである。実線はターゲット選択肢に対する脳波波形データの平均波形(40試行分、総加算回数は40×5=200回)であり、点線はノンターゲット選択肢に対する脳波波形データの平均波形(3選択肢の40試行分、総加算回数は3×40×5=600回)を示している。
図5に示した被験者ごとの脳波波形データから、ターゲット選択肢に対する脳波波形データ(実線)の特徴として、潜時が300ミリ秒以降の、特に400ミリ秒付近で陽性になっている点では共通している。しかし、100ミリ秒から300ミリ秒までのターゲット選択肢の脳波波形データの特徴は被験者ごとに異なっていることが分かる。例えば、被験者01のターゲット選択肢に対する脳波波形データは200ミリ秒後付近で大きな陽性成分が見られるが、被験者12のターゲット選択肢に対する脳波波形データは200ミリ秒前付近で大きな陰性成分が見られる。
図6は、図5に示した被験者ごとの脳波波形データを、300ミリ秒以前のP200成分およびN200成分の大きさに基づいて個人の脳波の特徴を類型化した分類体系を示す。横軸はP200成分の大きさ、縦軸はN200成分の大きさを表している。P200成分およびN200成分の大きさは、図5に示すターゲット選択肢およびノンターゲット選択肢の両方から求めている。
具体的には、「P200成分」とは、ターゲット選択肢に対する脳波波形の200ミリ秒から300ミリ秒までの平均電位から、ノンターゲット選択肢に対する脳波波形の200ミリ秒から300ミリ秒までの平均電位を減じたものとした。そのようにして求めたP200成分の大きさが10μV以上になった場合を“Large”とし、1μV以上10μV未満になった場合を“Middle”とし、1μV未満になった場合を“Small”とした。このようにして得られた電位は、「全ての選択肢に対する脳波信号に共通する特徴量」の一例である。
一方、「N200成分」とは、ノンターゲット選択肢に対する脳波波形データの100ミリ秒から200ミリ秒までの平均電位から、ターゲット選択肢に対する脳波波形データの100ミリ秒から200ミリ秒までの平均電位を減じたものとした。そのようにして求めたN200成分の大きさが1.4μV以上になった場合を“Large”とし、1.4μV未満になった場合を“Small”とした。
なお、P200成分およびN200成分の算出にあたって、脳波波形の200ミリ秒から300ミリ秒を採用したことは一例である。たとえば脳波波形の200ミリ秒から250ミリ秒の脳波波形を採用してP200成分を算出してもよい。同様に、N200成分の算出にあたって、脳波波形の100ミリ秒から200ミリ秒を採用したことも一例である。
図6はまた、上記の分類基準に則って、図5に示した被験者ごとの脳波波形データを分類した結果を示している。P200成分が“Large”でN200成分が“Small”に該当する被験者は2名で、これをタイプAとした。P200成分が“Middle”でN200成分が“Small”に該当する被験者は4名で、これをタイプBとした。P200成分が“Middle”でN200成分が“Large”に該当する被験者は3名でこれをタイプCとした。P200成分が“Small”でN200成分が“Large”に該当する被験者は4名でこれをタイプDとした。また、P200成分とN200成分が両方とも“Large”または“Small”に該当する被験者は本実験では存在しなかった。
図7は、上記で分類したタイプごとの脳波波形データの総加算平均波形を示す。横軸は選択肢のハイライトを0ミリ秒とした時間(潜時)で単位はミリ秒、縦軸は電位で単位はμVである。実線はターゲット選択肢に対する脳波波形データを、点線はノンターゲット選択肢に対する脳波波形データを示している。
図7から、タイプAではP200成分が大きく出現しており、タイプDではN200成分が大きく出現していることが分かる。分類判定部14は、ユーザの脳波波形に基づいて、その波形を上記の分類体系のいずれかのタイプに分類する。
更に本願発明者らが実施した脳波インタフェースの実験結果をもとに新たに特定した、タイプ分類に用いられる特徴量について具体的に説明する。本願発明者らはターゲット選択肢の脳波波形データの特徴に基づいた前述の分類体系と、全ての選択肢の脳波波形データに共通する特徴量との関係について、様々な分析を実施した。その結果、強い相関関係を持つ2つの特徴量を特定することができた。この強い相関関係を持つ特徴量を見出したことにより、特許文献1のように、事前にキャリブレーションを行うことなく精度を向上させることができる。
すなわち、事前のキャリブレーションを行い、複数のターゲット選択肢の波形特徴を抽出して分類する必要がなく、ターゲット選択肢及びノンターゲット選択肢を含むいずれの選択肢に対する脳波信号を利用しても、精度を向上させることができる。
従来は、ターゲット選択肢を特定し、その脳波波形から特徴量を抽出していた。しかし、ノンターゲット選択肢を含む全ての選択肢に対する脳波波形に現れる特徴量を見出したことにより、ターゲット選択肢を特定することなく、いずれの選択肢の脳波波形から抽出したユーザの特徴を利用しても、精度を向上させることができる。以下に詳しく説明する。
まず、図6に示した分類体系のN200成分が“Large”の被験者群(7名)と“Small”の被験者群(6名)とに対する脳波波形データのパワースペクトルを図8に示す。横軸は周波数で単位はHz、縦軸はパワースペクトル値で単位は(μV)2/Hzである。時系列の脳波波形データからフーリエ変換によって周波数成分データが求められる。パワースペクトル値は周波数成分データとその複素共役との積で算出される。
図8中の実線はN200成分が“Large”の被験者群を示している。実線上の「○」は、7名分のターゲット選択肢およびノンターゲット選択肢を含んだ全ての脳波波形データのパワースペクトルの平均値を示し、「○」を上下に通る両矢印は被験者ごとのばらつきを表している。点線はN200成分が“Small”の被験者群を示している。破線上の「×」は、6名分のターゲット選択肢とノンターゲット選択肢を含んだ全ての脳波波形データのパワースペクトルの平均値を示し、「×」を上下に通る両矢印は被験者ごとのばらつきを表している。
図8より、各周波数において、“Large”の被験者群と“Small”の被験者群に対して統計的な有意差検定であるt検定を行った結果、周波数が8Hzから15Hz付近の区間で、N200成分が“Large”の被験者群が“Small”の被験者群に比べて、ターゲット選択肢とノンターゲット選択肢を含んだ全ての脳波波形データのパワースペクトルの平均値が有意に低くなっていることが分かった(有意水準P=0.05)。5%の有意水準で有意差があるということは、2つの群のデータの間に統計的に95%の信頼度で意味のある差が存在していることを意味する。
上記の関係を利用することによって、複数の選択肢に対する脳波波形データのうち、ターゲット選択肢に対する脳波波形データが特定できなくても、全ての脳波波形データに対する上述の周波数帯域のパワースペクトルの平均値からN200成分が“Large”の被験者か“Small”の被験者かを分類することが可能になる。
図8の例の場合、N200成分が“Large”と“Small”の被験者における、周波数が8Hzから15Hz付近の区間の平均パワースペクトル値がそれぞれ1.6と3.6であるため、閾値を、たとえばその中間値2.6とする。閾値2.6未満の場合は“Large”の被験者、閾値2.6以上の場合は“Small”の被験者となる。図6の例では、タイプAまたはBの被験者か、タイプCまたはDの被験者かを分類することが可能になる。なお、閾値の決定方法は例である。上述の例のように、1.6と3.6の間に存在していれば中間値でなくてもよい。
次に、図6に示した分類体系のP200成分が“Large”、“Middle”、“Small”のレベルと、脳波波形データの時間周波数成分、具体的には200ミリ秒から250ミリ秒の時間幅および8Hzから15Hz付近の周波数帯域のウェーブレット係数との関係を被験者ごとにプロットしたものを図9に示す。左記のウェーブレット係数はマザーウェーブレットをメキシカンハットとした場合を示している。縦軸はP200成分のレベルであり、“Large”の場合は3(対象被験者は2名)、“Middle”の場合は2(対象被験者は7名)、“Small”の場合は1(対象被験者は4名)としている。横軸は被験者ごとにターゲット選択肢とノンターゲット選択肢を含んだ全ての脳波波形データのウェーブレット係数の平均値である。
図9において、線形回帰分析を行った結果、近似式y=0.1586x+1.6673に近似され、P200成分のレベル(y)とウェーブレット係数(x)との間に強い相関関係があることが分かった(相関係数R=0.83)。相関係数とは、2つの変数の間の相関(類似性の度合い)を示す統計的指標であり、一般的に絶対値が0.7以上の場合に強い相関があることを意味する。
上記の関係を利用することによって、複数の選択肢に対する脳波波形データのうち、ターゲット選択肢に対する脳波波形データが特定できなくても、全ての脳波波形データに対する上述の時間幅および周波数帯域のウェーブレット係数の平均値からP200成分が“Large”の被験者か“Middle”の被験者か“Small”の被験者かを分類することが可能になる。
図9の例の場合、前記近似式のP200成分のレベル(y)=2.5(“Large:3”と“Middle:2”の中間値)および1.5(“Miidle:2”と“Small:1”の中間値)に対応するx=5.2および−1.0をそれぞれ閾値とした。ウェーブレット係数(x)が閾値5.2以上の場合は“Large”の被験者、閾値−1.0以上5.2未満の場合は“Middle”の被験者、閾値−1.0未満の場合は“Small”の被験者となる。なお、上述の例では中間値を閾値として説明したが、これは例である。“Large:3”と“Middle:2”との間、および、“Miidle:2”と“Small:1”との間であれば、中間値でなくてもよい。
上述の近似式および閾値に基づけば、図6の例では、タイプAの被験者か、タイプBまたはCの被験者か、タイプDの被験者かを分類することが可能になる。
ここで、上記の関係についての本願発明者らの考察を以下に述べる。従来文献(藤澤清ら、新生理心理学1巻119頁、1998)によれば、N200成分(特にN2b)は予期しない刺激に対する注意の焦点化を反映するとされている。また、従来文献(藤澤清ら、新生理心理学2巻110頁、1998)によれば、覚醒水準が低下すると脳波の8Hzから13Hzの成分であるα波も次第に減少し、やがては消失して、低振幅のθ波が出現するとされている。これらを考慮すると、N200成分が“Large”だった被験者は、本実験中の覚醒水準が低く(すなわちα波付近の成分が減少し)、本実験の課題遂行に対する集中力が低かったため、ターゲット選択肢のハイライトに対して予期しない刺激に対するような注意の焦点化を起こし、結果N200成分が惹起されたと考えることもできる。
一方、P200成分が“Large”だった被験者は、本実験の課題遂行に対する集中力が高かったため、ウェーブレット係数においてα波付近の周波数成分が減少せず、特に200ミリ秒から250ミリ秒の時間幅で大きな値が得られたと考えることもできる。
なお、実際のN200成分やP200成分のレベルと上述のタイプ分類結果とが異なる場合が起こり得る。しかし、図15〜17の識別率の試算結果で後述するように、統計的に見れば本発明によるタイプ分類は識別率の維持向上に非常に効果的であると言える。また、図8に示した周波数帯域のパワースペクトルと図9に示した時間幅および周波数帯域のウェーブレット係数を同時に利用することによって、より詳細にかつ正確にタイプ分類を行うことが可能になる。
次に、図10のフローチャートを参照しながら、上記の特徴量をもとにタイプ分類を行うための分類判定部14の処理の手順を説明する。
図10は、分類判定部14の分類処理手順を示す。
ステップS121では、分類判定部14は、脳波IF部13から分類対象となる脳波波形データを受信する。分類対象となる脳波波形データは、脳波計測部12で計測された脳波信号から脳波IF部13によって切り出され、分類判定部14に送られている。図4(c)の例では、分類判定部14はハイライトされた4つの選択肢に対する脳波波形データ54a〜54dを受信する。
ステップS122では、分類判定部14は受信した全ての脳波波形データに対して、以下の特徴量を抽出し、その平均値を算出する。特徴量とは、先の実験結果で述べた、周波数帯域が8Hzから15Hz付近のパワースペクトル、時間幅が200ミリ秒から250ミリ秒および周波数帯域が8Hzから15Hz付近のウェーブレット係数である。
ステップS123では、分類判定部14はタイプ分類のために用いられる基準データを読み出す。図11は、前述の実験結果をもとに作成したタイプ分類用の基準データの一部を示す。タイプ分類用の基準データは、脳波波形データの番号、パワースペクトルとウェーブレット係数の特徴パラメータ、当該脳波波形データが属するタイプで構成されている。パワースペクトルとウェーブレット係数の特徴パラメータの数は、それぞれ8Hzから15Hzの区間にあるサンプルの数だけ存在する。サンプル数は脳波波形データを計測する際のサンプリング周波数や切り出す時間幅などによって決定される。図11に示した基準データは、分類判定部14が予め保持しているものとする。図11に実際に記載される特徴パラメータの値は、前述のような実験を事前に実施することによって準備しておく必要がある。
ステップS124では、分類判定部14はステップS122で抽出した特徴量を用いてタイプ分類を実施する。タイプ分類は、前記実験結果で述べたN200成分やP200成分のそれぞれの閾値に基づいて分類しても良いし、ステップS123で読み出したタイプ分類用データに基づいて判別分析を行うことによって分類しても良い。以下、図11に示すタイプ分類用データに基づく判別分析の場合について具体的に説明する。
分類判定部14は、タイプ分類用データのA〜Dの4つのタイプをそれぞれ順にk=1、2、3および4と対応付けし、また特徴パラメータをUi(i=1〜8)として、k個のタイプごとの特徴パラメータUiの平均を下記数1によって求める。
分類判定部14は、各タイプ共通の分散共分散行列Sを下記数2によって求める。
nは総データ数、nkはタイプごとのデータ数、iとjは1〜8の整数である。
ステップS122で抽出した周波数帯域が8Hzから15Hz付近のパワースペクトルの平均値および時間幅が200ミリ秒から250ミリ秒かつ周波数帯域が8Hzから15Hz付近のウェーブレット係数の平均値をXi(i=1〜8)とすると、次の線形関数Zkを最大にするkを求めることによって、Xiが属するタイプkを決定することができる。
ステップS125では、分類判定部14は、ステップS124で分類した結果を識別方法調整部15に送信する。
識別方法調整部15の処理の手順を、図12のフローチャートを参照しながら説明する。
ステップS141では、識別方法調整部15は、分類判定部14で分類した結果を受信する。
ステップS142では、識別方法調整部15は、識別方法調整データを読み出す。識別方法調整データは、識別方法調整部15に予め保持しているものとする。詳細は以下に説明する。
ステップS143では、識別方法調整部15は、ステップS141で受信した分類結果に応じて、脳波IF部13へ調整結果として送信すべきデータを、識別方法調整データの中から選択する。
上述の識別方法調整部15で読み出される識別方法調整データは、脳波IF部13におけるターゲット選択肢の識別方法の種類によって異なる。
まず、ある区間の脳波波形データの区間平均電位に基づいてターゲット選択肢を識別する場合、識別方法調整部15は、図13に示す識別方法調整データを読み出す。図13はタイプごとのP300成分およびP200成分、N200成分に対する重み係数で構成されている割り当て表を示す。例えばタイプ分類の結果がタイプAの場合は、タイプAに対するP300成分、P200成分、N200成分の重み係数(1、1、0)を選択する。
次にテンプレートとの相関係数の値に基づいてターゲット選択肢を識別する場合、読み出される識別方法調整データは図7(a)〜(d)に実線で示したターゲット選択肢に対する脳波波形データとなる。例えばタイプ分類の結果がタイプAの場合は、図7(a)に実線で示された脳波波形データをテンプレートとして選択する。
最後に線形判別分析または非線形判別分析による事後確率の値に基づいてターゲット選択肢を識別する場合、読み出される識別方法調整データはタイプごとに用意された教示データとなる。図14はタイプAの場合の教示データの例を示しており、(a)はターゲット選択肢に対する脳波波形データ(データ数80)で、(b)はノンターゲット選択肢に対する脳波波形データ(データ数240)である。タイプ分類の結果がタイプAの場合は、図14のデータを教示データとして選択する。
ステップS144では、識別方法調整部15は、ステップS143で選択したデータを脳波IF部13へ調整結果として送信する。
ここで再び脳波IF部13のターゲット選択肢の識別処理(図3のステップS67)を説明する。識別方法調整部15の調整結果を受けて、以下に示す処理を実施する。
まず、ある区間の脳波波形データの区間平均電位に基づいてターゲット選択肢を識別する場合、ハイライトされた選択肢の脳波波形データごとに次数4で表される計算を行う。
ここでWp3、Wp2、Wn2とはそれぞれ識別方法調整部15から受信したP300成分、P200成分、N200成分の重み係数である。図13は、当該重み係数を示す。例えば、分類判定部14がユーザの脳波波形をタイプAに分類した場合、すなわちターゲット選択肢の脳波波形データにP200成分が大きく、N200成分が小さく現れると判定した場合は、識別方法調整部15は、上記の重み係数を(1、1、0)としてP200成分に重みをつける。
同様に分類判定部14がタイプDと分類した場合、すなわちターゲット選択肢の脳波波形データにP200成分が小さく、N200成分が大きく現れると判定した場合、識別方法調整部15は、上記の重み係数を(1、0、1)としてN200成分に重みをつける。Pp3、Pp2、Pn2とはそれぞれP300成分(300ミリ秒から500ミリ秒までの平均電位)、P200成分(200ミリ秒から300ミリ秒までの平均電位)、N200成分(100ミリ秒から200ミリ秒までの平均電位)であり、Eは評価値を表している。N200成分はターゲット選択肢の場合に陰性の電位として現れることを特徴としているため、上式では減算することによって評価値Eに反映させている。ハイライトされた選択肢ごとの脳波波形データから評価値Eを計算し、その値が最も大きい選択肢をターゲット選択肢として識別する。
次にテンプレートとの相関係数の値に基づいてターゲット選択肢を識別する場合、ハイライトされた選択肢ごとの脳波波形データと識別方法調整部15から受信したテンプレートとの相関係数、例えばピアソンの積率相関係数を求め、その値が最も大きい選択肢をターゲット選択肢として識別する。
最後に線形判別分析または非線形判別分析による事後確率の値に基づいてターゲット選択肢を識別する場合、ハイライトされた選択肢ごとの脳波波形データに対して、識別方法調整部15から受信した教示データに基づいて、線形判別分析または非線形判別分析を行う。具体的には、ベイズ推定を用いたターゲット選択肢らしさを表す事後確率を求め、その値が最も大きい選択肢をターゲット選択肢として識別する。
上述の方法により、識別方法調整部15における識別方法の調整結果を受けて、複数の選択肢の中からターゲット選択肢の識別を行うことが可能となる。
上記に説明した分類判定部14および識別方法調整部15の処理は、ユーザが脳波インタフェースを利用する際にその都度自動的に実施しても良いし、またユーザの指示によって実施し、その際の調整結果を脳波IF部13で保持していても良い。
上述した本発明の実施形態によって得られた効果を、ターゲット選択肢の識別率の試算結果をもとに具体的に説明する。
識別率の試算は、前述の実験結果(被験者13名に対して4つの選択肢の中から脳波を用いて1つ選ぶ実験の結果)に基づいて実施した。図2の分類判定部14におけるタイプ分類には線形判別分析を用い、特徴量は脳波波形データのパワースペクトルとウェーブレット係数の両方を用いた。図2の脳波IF部13におけるターゲット選択肢の識別にも線形判別分析を用い、特徴量は脳波波形データの25ミリ秒ごとの平均電位とした。
また、この識別率の試算の目的は、次に示す3つの条件における識別率を比較し、本発明の効果を確認することである。3つの条件とは、(a)被験者ごとのキャリブレーションをしない場合、(b)キャリブレーションなしで、かつ本発明によるタイプ分類および識別方法の調整をした場合、(c)被験者ごとのキャリブレーションをした場合である。したがって、ターゲット選択肢の識別に用いる教示データは、(a)の場合は全被験者共通の教示データとするため、全被験者の実験結果を教示データとして用いた。(b)の場合は、本発明によるタイプ分類を行い、その分類結果に応じた教示データとするため、例えばタイプAと分類した場合はタイプAに属する被験者(図5の例では被験者01と08)の実験結果を教示データとして用いた。(c)の場合は、被験者ごとの教示データとするため、例えば被験者01の場合は被験者01の実験結果を教示データとして用いた。但し、上記の全ての条件において、評価対象データは常に教示データから除外して、ターゲット選択肢の識別を行う、いわゆるleave‐1‐out法による評価を実施した。
図15は、ターゲット選択肢の識別率の全被験者平均値を3つの条件を示している。(a)のキャリブレーションなしの場合が最も識別率が低く(74.6%)、(c)の手間のかかる煩雑なキャリブレーションをした場合が最も識別率が高くなっている(83.5%)。(b)の本発明を用いた場合は、被験者ごとのキャリブレーションをしていないにも関わらず、(c)のキャリブレーションありの場合に近い精度になっていることが分かる(81.3%)。
図16は、図15の内訳であるタイプAの被験者、タイプDの被験者、その他の被験者のそれぞれの場合の識別率を示す。図16より、タイプAの被験者およびタイプDの被験者の場合、本発明の効果が顕著に現れていることが分かる。つまり、(b)の本発明を用いた場合は(a)の場合と比較し、大幅に識別率が向上しており、(c)の場合と比較し、被験者ごとの煩雑なキャリブレーションをしていないにも関わらず、ほぼ同等の識別精度を維持していることが分かる。
したがって、図15(b)および図16(b)から明らかなように、脳波インタフェースシステム1において、本発明による脳波識別方法調整装置2を備えることによって、識別精度を高く維持しつつ、従来ユーザにとって負担となっていた事前のキャリブレーションの手間をなくすことが可能となる。
更に図17は、タイプ分類に用いる特徴量を、(b)パワースペクトルとウェーブレット係数の両方を用いる場合、(b−1)パワースペクトルのみを用いる場合、(b−2)ウェーブレット係数のみを用いる場合の3つの条件について、タイプAとタイプDの被験者の識別率を示す。ここで図17(b)と図16(b)は同じ評価内容を表している。図17より、(b−1)のパワースペクトルのみを用いる場合および(b−2)のウェーブレット係数のみを用いる場合は、(b)の両方を用いる場合と比較して識別率は多少低下しているものの、図16(a)の場合と比較すればキャリブレーションなしで大幅に識別率が向上していることが分かる。したがって、脳波波形データのパワースペクトルとウェーブレット係数のどちらか一方でも効果があることが分かる。
本実施形態によれば、少ない回数(たとえば1〜3回程度)の刺激で得られた選択肢ごとの事象関連電位と、上述したN200成分およびP200成分によって分類をする場合には、非常に効果的である。図15〜図17によれば、これは特に、周波数帯域のパワースペクトルの平均値および/または周波数帯域のウェーブレット係数の平均値によって分類した場合に顕著であるといえる。
したがって、タイプ分類の際に用いる特徴量は、前述のように脳波波形データのパワースペクトルとウェーブレット係数の両方を利用しても良いし、どちらか一方でも良い。パワースペクトルのみを利用する場合は、N200成分が“Large”または“Small”を分類することになり、図6の例ではタイプCおよびDかまたはタイプAおよびBかの2タイプに分類することになる。同様にウェーブレット係数のみを利用する場合は、P200成分が“Large”または“Middle”または“Small”を分類することになり、図6の例ではタイプAかまたはタイプBおよびCかまたはタイプDかの3タイプに分類することになる。
本実施形態にかかる構成および処理の手順により、複数の選択肢の中からユーザが選択したいと思っている選択肢を、脳波を利用して識別するインタフェースを備えたシステムにおいて、全ての選択肢に対する脳波波形データに共通する特徴量を用いて、より具体的には周波数帯域が8Hzから15Hz付近のパワースペクトルの平均値および時間幅が200ミリ秒から250ミリ秒かつ周波数帯域が8Hzから15Hz付近のウェーブレット係数の平均値を用いて、予め用意した分類体系のいずれかのタイプに分類し、その分類結果に応じて最適な識別方法に調整する処理を行うことによって、ユーザに対する煩雑なキャリブレーションの負担をなくし、かつ、脳波に関する識別精度を高く維持することができる。
上述の実施形態に関して、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。識別方法調整装置を構成する全部または一部の構成要素や、脳波IF部は、コンピュータプログラムを実行する汎用のプロセッサ(半導体回路)として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。脳波識別方法調整装置の機能を実現するコンピュータプログラムは、脳波IF部の機能を実現するためのコンピュータプログラムを実行するプロセッサによって実行されてもよいし、脳波インタフェースシステム内の他のプロセッサによって実行されてもよい。
また本実施形態においては、脳波識別方法調整装置2は脳波IF部13とともに出力部(テレビ)11内に設けられているが、これも例である。いずれか一方または両方がテレビ外に設けられていてもよい。
(実施形態2)
実施形態1では、全ての選択肢に対する脳波波形データに共通する特徴量を用いて、個人の脳波の特徴を、図6に示す類型化した分類体系のいずれかのタイプに分類した。そして、その分類結果に応じて最適な識別方法に調整する処理を行った(図3のステップ66)。
実施形態1において説明したとおり、いずれの選択肢の脳波波形からも特徴量が抽出できることが見出せた。この点に鑑みると、いずれの選択肢の脳波波形からも特徴量が抽出できれば、全ての選択肢のうち2つ以上の選択肢の脳波波形を用いることにより、従来よりも容易に特徴量を抽出し、精度を向上させることができるのは明らかである。
そこで本実施形態では、全ての選択肢に対する脳波波形を用いず、その一部(ただし3つ以上の全ての選択肢うち少なくとも2つ以上)の選択肢に対する脳波波形を利用する。また、図6に示すようなタイプ分類を用いることなく、当該一部の選択肢に対する脳波波形がN200とP200のいずれの特徴量を有するか判断し、その特徴量に重み付けを行って、ターゲット選択肢を求める。
図18は、本実施形態による脳波インタフェースシステム3の機能ブロック構成を示す。脳波インタフェースシステム3は、出力部11と、脳波計測部12と、脳波IF部13と、脳波識別方法調整装置4を有している。実施形態1による脳波インタフェースシステム1との相違点は、脳波識別方法調整装置の構成および動作である。
本実施形態による脳波識別方法調整装置4は、特徴量抽出部114と、識別方法調整部115とで構成されている。以下、実施形態1との相違点のみを説明する。実施形態2にかかる構成のうち、特に言及するものを除いては、実施形態1と同じである。よってそれらの説明は省略する。
特徴量抽出部114は、各選択肢が提示された後の各脳波信号から、2以上の選択肢に対応する脳波信号を選択する。特徴量抽出部114は、基準データを予め保持しており、当該基準データおよび選択した脳波信号に共通する特徴量を抽出する。
識別方法調整部115は、特徴量抽出部114によって抽出された特徴量に重み付けを行い、ユーザ10が選択した選択肢に対する脳波信号の識別方法を調整を行う。そして調整結果を脳波IF部13へ送信する。これにより、脳波IF部13における、事象関連電位の成分を識別するための識別方法が変更される。
図3のフローチャートは、概ね本実施形態による脳波インタフェースシステム3の処理にも適用できる。ただし、ステップS66が以下の点で異なる。
本実施形態においては、ステップS66において、脳波識別方法調整装置4の特徴量抽出部114が、3以上の選択肢に対応して得られた脳波信号のうち、2以上の選択肢に対応する脳波信号を選択する。特徴量抽出部114はさらに、選択した脳波波形を抽出し、それらが、N200とP200のいずれの特徴量を有するかを求める。特徴量は、周波数帯域が8Hzから15Hz付近のパワースペクトル、時間幅が200ミリ秒から250ミリ秒および周波数帯域が8Hzから15Hz付近のウェーブレット係数によって求めることが可能である。
なお、図6に示されるように、P200成分とN200成分とが両方Largeと両方Smallになることはない。よって、特徴量抽出部114は、選択した脳波波形が、N200とP200のいずれかの特徴量を有することを確実に判別することができる。本実施形態においては、特徴量抽出部114は、図11に示す基準データを保持しており、N200とP200のいずれの特徴量を有するかを求める。
識別方法調整部115は、求めた特徴量に応じた重み付けを行うよう、脳波IF部13における識別方法の調整を行う。これにより、図3のステップS67において、ユーザが選択した選択肢に対する脳波信号を識別する際に、ターゲット選択肢を識別することが可能になる。重み付けとは、たとえば図13に記載されているような重み付け係数を、脳波識別時に脳波信号に課すことを意味する。
上述のとおり、本実施形態では、脳波信号を図6に示すようなタイプA〜Dに分類しない。よって、たとえば図10のステップS123、S124などの分類に関連する処理は行われなくてもよい。
なお、本実施形態による処理もまた、コンピュータに実行されるプログラムとして実現され得る。そのようなプログラムの説明は、実施形態1におけるプログラムの説明と同じであるため、省略する。
本発明にかかる脳波識別方法調整装置およびその装置が組み込まれた脳波インタフェースシステムは、脳波の個人差を反映させて識別方法を向上させる必要のある機器、例えば脳波を用いた機器操作インタフェースが搭載されている情報機器や映像音響機器などや、駅の券売機や銀行のATMのように不特定多数のユーザが利用するシステムの操作性改善に有用である。
1 脳波インタフェースシステム
2 脳波識別方法調整装置
11 出力部
12 脳波計測部
13 脳波IF部
14 分類判定部
15 識別方法調整部
本発明は、脳波を利用して機器を操作することが可能なインタフェース(脳波インタフェース)システムに関する。より具体的には、本発明は、個人ごとに大きく異なる脳波を的確に解析するために、脳波インタフェースシステムにおいて脳波の識別方法を調整する機能を実現する機器に関する。
近年、テレビ、携帯電話、PDA(Personal Digital Assistant)等の様々な種類の情報機器が普及し、人間の生活に入り込んできたため、ユーザは普段の生活の中の多くの場面で情報機器を操作する必要が生じている。通常、ユーザはボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作するなどの入力手段(インタフェース部)を用いて、情報機器を操作している。しかし、たとえば、家事、育児や運転をしているときなど、両手が機器操作以外の作業のために使えない場合は、インタフェース部を利用した入力が困難となり、機器操作が実現できなかった。そのため、あらゆる状況で情報機器を操作したいというユーザのニーズが高まっている。
このようなニーズに対して、ユーザの生体信号を利用した入力手段が開発されている。たとえば非特許文献1には、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する脳波インタフェース技術が開示されている。非特許文献1に記載された技術を具体的に説明すると、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約300ミリ秒付近に出現する事象関連電位の波形を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によれば、ユーザは両手が塞がっている状況においても、また病気等により手足が動かせない状況においても選択したいと思った選択肢が選択できるため、上述のニーズに合致する機器操作等のインタフェースが実現される。
ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースでは、外的な事象の発生タイミングを起点として計測される、この事象関連電位を利用する。例えば、視覚刺激などに対して発生する事象関連電位のP300という成分を利用すると、メニューの選択肢が選択できるとされている。「P300」とは、一般には事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく起点から約300ミリ秒付近に現れる事象関連電位の陽性の成分を示すものとして扱われることが多い。
事象関連電位をインタフェースに応用するためには、対象の事象関連電位(たとえばP300成分)を高い精度で識別することが重要である。そのために、生体信号を精度良く計測すること、および、計測した生体信号を適切な識別手法によって精度良く識別することが必要となる。
上述の脳波の波形の出方は個人差が大きいため、事象関連電位をインタフェースの入力手段として用いるためにはこの個人差に対応した精度の高い識別を実現する必要がある。非特許文献2の32頁に掲載されている図を図19に示す。図19は、視覚刺激に対する弁別課題を36名の被験者に対して実施した場合の脳波の個人差の一例を示している。各被験者のグラフには2種類の状況に対する脳波が表示され、それぞれ実線と破線とによって示されている。図19から明らかなように、個人差によって波形およびピーク位置における振幅が大きく異なるため、単一の基準で全てのユーザの識別を精度良く行うことは困難であるといえる。
個人差の大きい脳波を精度良く識別するための方法として、事前に各ユーザに対するシステムの調整を行っておくこと(いわゆるキャリブレーション)が考えられる。図20(a)を用いて具体的に説明する。図20(a)は、キャリブレーションの手順を示している。ユーザには脳波インタフェースを使用する前に、脳波インタフェースを仮想的に操作する作業を実施してもらう。例えば、4つの選択肢の中から脳波インタフェースを用いて1つの選択肢を選択する作業をユーザに実施してもらう場合、4つの選択肢を順次またはランダムにハイライトし、選択肢がハイライトされたタイミングを起点に4つの脳波波形データ(ステップ41)が得られる。同時にユーザが選択しようとした選択肢(ターゲット選択肢)はどの選択肢だったのかを示す正解データ(ステップ42)も得られる。そして、その正解データに記述されたターゲット選択肢に対する脳波波形データの特徴を用いて、ユーザごとに最適な識別方法に調整し(ステップ43)、調整された識別方法によってユーザが実際に脳波インタフェースを使用した際にユーザが選択したいと思っている選択肢を識別する(ステップ44)。
例えば特許文献1では、事象関連電位の成分に現れる個人差を考慮し、ユーザごとに識別方法を調整して識別率を向上させる技術が開示されている。この技術は単一の基準で全てのユーザの識別を行うのではなく、事前のキャリブレーションによって取得したユーザごとの脳波から、識別に際してユーザごとに最適な事象関連電位の成分を抽出・記憶しておき、その成分を用いてユーザが選択したいと思っている選択肢を識別している。ここで、ユーザごとに最適な事象関連電位の成分として、P300成分の他に、P200成分、N200成分、あるいはそれらの組み合わせが挙げられている。特許文献1ではP200成分とは、起点から約200ミリ秒付近に現れる事象関連電位の陽性の成分とされ、N200成分とは、起点から約200ミリ秒付近に現れる事象関連電位の陰性の成分とされている。
特開2005−34620公報
特開平7−108848公報
しかしながら、特許文献1では、個人差を抽出・記憶するための実験として、1被験者あたり100回の実験を実施している(0050段落)。1回の実験に要する時間が約1分であると記述されているため、キャリブレーション全体では約100分もの時間を要していることになる。例えば、ユーザがある民生機器を購入し、実際に使用しようとした場合、事前に約100分もの時間を要するキャリブレーションの実行を必須とするのは、ユーザにとって大きな負担であり、手間もかかる。
また、個人が占有する機器ではなく、例えば駅の券売機や銀行のATM、病院の待合システムなどのような、不特定多数のユーザが利用するシステムや利用時間が限られているシステムにおいて脳波インタフェースを適用する場合、それを利用するユーザ1人1人が時間を要するキャリブレーションを行うことは、ユーザにとっても負担であると同時にシステム運用の観点からも極めて非効率的であり現実的ではない。
したがって、脳波インタフェースを民生機器に搭載する際や不特定多数のユーザが利用するシステムに適用する際には、キャリブレーションの手間をなくすことでユーザが気軽に利用でき、かつ精度良く動作して本来の機能を発揮できなければならない。
一方、計測した脳波波形データを予め用意した分類体系に分類し、その分類結果に基づいて処理を決定する技術が開発されている。例えば特許文献2では、運転者の脳波波形データから単位時間あたりのα波、速波、徐波の数を計算し、その数値によって、予め用意した分類体系である「正常」、「ぼんやり」、「軽い眠気」、「入眠」のいずれかに分類する。そして、その分類結果に応じて運転者に対する「刺激なし」「刺激あり(香り)」「刺激あり(空気圧)」「刺激あり(ブザー音)」の処理を決定している。
ここで、機器操作選択のための脳波インタフェースにおいて、キャリブレーションにおけるユーザの負担をなくし、かつ精度良く識別を行うために、脳波波形データから予め用意した分類体系のいずれかに分類し、その分類結果に応じて識別方法を調整する方法が考えられる。
しかしながらその方法には課題が存在する。その課題を、図20(b)を用いて説明する。図20(b)は、ユーザの脳波波形データを分類してキャリブレーションを行う手順を示している。例えば、事前のキャリブレーション時ではなく、実際にユーザが脳波インタフェースを用いて4つの選択肢の中から1つの選択肢を選択しようとしている場合、4つの脳波波形データ(ステップ45)が得られる。この4つの脳波波形データには、ユーザが選択しようとした選択肢(ターゲット選択肢)に対する脳波波形データが1つと、それ以外の選択肢(ノンターゲット選択肢)に対する脳波波形データが3つ含まれているとする。これらの脳波波形データから予め用意した分類体系のいずれかのタイプに分類し(ステップ46)、その分類結果に応じて最適な識別方法に調整し(ステップ47)、調整された識別方法によってユーザが選択したいと思っている選択肢を識別する(ステップ48)。
前述のタイプ分類(ステップ46)は、各々の選択肢に対する脳波波形データ(図20(b)の例では4つの脳波波形データ)のうち、ターゲット選択肢に対する脳波波形データの特徴を反映した分類であることが必要である。なぜなら、それ以外の脳波波形データの特徴を反映した分類だと、その後の処理であるターゲット選択肢を精度良く識別するための識別方法の調整が的確に実施できなくなるからである。それは、図20(a)の例において正しい正解データを入力しなければ、すなわちターゲット選択肢に対する脳波波形データの特徴を正しく抽出できていなければ、的確な識別方法の調整ができないことからも明らかである。
しかしながら、実際に脳波インタフェースを利用する際には、どれがターゲット選択肢に対する脳波波形データなのかを示す正解データが存在しないため、前述のタイプ分類をする時点ではターゲット選択肢に対する脳波波形データを特定することができない。そのため、タイプ分類や識別方法の調整を的確に実施することができず、その結果識別精度を高く維持することができない。したがって、タイプ分類や識別方法の調整を的確に実施するためには、ターゲット選択肢が特定できない複数の選択肢に対する脳波波形データから、ターゲット選択肢に対する脳波波形データの特徴を推定することが必要である。
上述の課題は、特許文献2の従来技術のように分類後には脳波波形データを利用しない場合には問題とされない。一方、上述のように、分類後もその分類結果に基づいてターゲット選択肢を識別するために脳波波形データを利用する場合には問題となる。
本発明の目的は、ターゲット選択肢を識別するために脳波波形データを利用する場合において、ユーザの脳波波形に基づいてタイプ分類および識別方法の調整を的確に実施して、ユーザに対して煩雑なキャリブレーションの負担をなくし、かつ、脳波に関する識別精度を高く維持することにある。
本発明による調整装置は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記調整装置は、脳波信号の特徴を類型化するための基準データを予め保持し、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定する分類判定部と、前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整する識別方法調整部とを備えている。
前記分類判定部が用いる複数の選択肢に対する脳波信号は、前記出力部で提示した全ての選択肢に対する脳波信号であってもよい。
前記分類判定部は、前記複数の選択肢に対する脳波信号の所定の周波数帯域のパワースペクトルの平均値および/または所定の時間幅と周波数帯域のウェーブレット係数の平均値を、前記複数の選択肢の全てに対する脳波信号に共通する特徴量として保持する。
前記分類判定部は、8Hzから15Hzの周波数帯域のパワースペクトルの平均値を用いて、前記脳波信号のN200成分の大きさを判定してもよい。
前記分類判定部は、200ミリ秒から250ミリ秒の時間幅および8Hzから15Hzの周波数帯域のウェーブレット係数の平均値を用いてP200成分の大きさを判定してもよい。
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号を識別する際に用いる前記脳波信号のP300成分、P200成分およびN200成分に対する重み係数を分類結果に応じて調整してもよい。
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号の識別に用いられるテンプレートを類型化された前記複数の分類ごとに保持しており、分類結果に応じたテンプレートを利用することにより、前記脳波信号の識別方法を調整してもよい。
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号を識別する際に用いる教示データを分類結果に応じて採択することにより、前記脳波信号の識別方法を調整してもよい。
本発明による方法は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。本発明による前記方法は、脳波信号の特徴を類型化するための基準データを用意するステップと、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定するステップと、前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを包含する。
本発明によるコンピュータプログラムは、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、脳波信号の特徴を類型化するための基準データを予め保持するステップと、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定するステップと、前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを実行させる。
本発明による調整装置は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記調整装置は、(i)前記選択肢に対する脳波信号から、2以上の選択肢の脳波信号を選択し、(ii)基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出する特徴量抽出部と、前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整する識別方法調整部とを備えている。
本発明による方法は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。本発明による前記方法は、前記選択肢に対する脳波信号から、2以上の選択肢の脳波信号を選択するステップと、基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出するステップと、前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを包含する。
本発明によるコンピュータプログラムは、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、前記選択肢に対する脳波信号から、2以上の選択肢の脳波信号を選択するステップと、基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出するステップと、前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを実行させる。
本発明によれば、複数の選択肢の中からユーザが選択したいと思っている選択肢を、脳波を利用して識別するインタフェースを備えたシステムにおいて、全ての選択肢に対する脳波信号に共通する特徴量を用いて、予め用意した分類体系のいずれかのタイプに分類し、その分類結果に応じて最適な識別方法に調整する。
その結果、ユーザに対するキャリブレーションの実行を必須としないため、ユーザへの負担および手間を大幅に軽減することができ、かつ、分類されたタイプに応じて識別方法を調整することにより、識別精度を高く維持することができる。
テレビと装着型の脳波計とを組み合わせた例による脳波インタフェースシステム1の構成および利用環境を示す図である。
実施形態1による脳波インタフェースシステム1の機能ブロック構成を示す図である。
脳波インタフェース1の処理の手順を示すフローチャートである。
(a)〜(d)は、脳波インタフェースシステム1においてユーザ10が視聴したいジャンルの番組を選ぶときの画面の遷移図である。
実験の結果、被験者01〜13の各々から得られた脳波波形データを、被験者ごとに加算平均した波形を示す図である。
図5に示した被験者ごとの脳波波形データを、300ミリ秒以前のP200成分およびN200成分の大きさに基づいて個人の脳波の特徴を類型化した分類体系を示す図である。
(a)〜(d)は、分類したタイプごとの脳波波形データの総加算平均波形を示す図である。
図6に示した分類体系のN200成分が“Large”の被験者群(7名)と“Small”の被験者群(6名)とに対する脳波波形データのパワースペクトルを示す図である。
図6に示した分類体系のP200成分が“Large”、“Middle”、“Small”のレベルと、脳波波形データの所定の時間周波数成分および周波数帯域のウェーブレット係数との関係を被験者ごとにプロットした図である。
分類判定部14の分類処理手順を示す図である。
実験結果をもとに作成したタイプ分類用の基準データの一部を示す図である。
識別方法調整部15の処理の手順を示すフローチャートである。
タイプごとのP300成分およびP200成分、N200成分に対する重み係数を示す図である。
(a)および(b)は、タイプAの場合の教示データの例を示す図である。
ターゲット選択肢の識別率の全被験者平均値を3つの条件を示す図である。
図15の内訳であるタイプAの被験者、タイプDの被験者、その他の被験者のそれぞれの場合の識別率を示す図である。
タイプ分類に用いる特徴量を、(b)パワースペクトルとウェーブレット係数の両方を用いる場合、(b−1)パワースペクトルのみを用いる場合、(b−2)ウェーブレット係数のみを用いる場合の3つの条件について、タイプAとタイプDの被験者の識別率を示す図である。
実施形態2による脳波インタフェースシステム3の機能ブロック構成を示す図である。
視覚刺激に対する弁別課題を36名の被験者に対して実施した場合の脳波の個人差の一例を示す図である。
(a)は、キャリブレーションの手順を示す図であり、(b)は、ユーザの脳波波形データを分類してキャリブレーションを行う手順を示す図である。
以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波識別方法調整装置の実現形態を説明する。
はじめに、本発明による脳波インタフェースシステムおよび脳波識別方法調整装置の主要な特徴の概略を説明する。その後、脳波インタフェースシステムの各実施形態を説明する。
本願発明者らは、将来的には、装着型の脳波計と装着型のディスプレイとを組み合わせた環境で脳波インタフェースシステムが構築されることを想定している。ユーザは脳波計とディスプレイとを常に装着し、装着型ディスプレイを利用してコンテンツの視聴や画面の操作を行うことができる。また、他には、家庭用のテレビと装着型の脳波計とを組み合わせた家庭内などの環境でも脳波インタフェースシステムが構築されることを想定している。ユーザはテレビを見るときに、脳波計を装着してコンテンツの視聴や画面の操作を行うことができる。
例えば図1は、後者の例による、本願発明者らが想定する脳波インタフェースシステム1の構成および利用環境を示す。この脳波インタフェースシステム1は後述する実施形態1のシステム構成に対応させて例示している。
脳波インタフェースシステム1は、ユーザ10の脳波信号を利用してテレビ11を操作するインタフェースを提供するためのシステムである。テレビ11に表示された複数の選択肢が1つずつハイライトされると、各ハイライトを起点としてユーザ10の脳波の事象関連電位に影響が現れる。ユーザ10の脳波信号はユーザが頭部に装着した脳波計測部12によって取得され、無線または有線で脳波IF部13に送信される。テレビ11に内蔵された脳波IF部13は、ユーザ10の脳波の事象関連電位を利用して、ユーザが選択したいと思っている選択肢を識別する。その結果、ユーザの意図に応じてチャンネルの切り替えなどの処理を行うことが可能になる。
脳波インタフェースシステム1の脳波インタフェース(IF)部13(後述)には、所定の識別方法が予め定められている。この「識別方法」とは、脳波信号が予め定められた基準に合致するか否かに応じて事象関連電位の成分を識別する方法をいう。
ユーザ10の脳波の事象関連電位を利用して、ユーザが選択したいと思っている選択肢を識別するためには、ユーザに応じて識別方法を最適化することが必要とされる。
本実施形態による、テレビ11に内蔵された脳波識別方法調整装置2は、脳波波形データから個人の脳波の特徴を類型化した分類体系のいずれかのタイプに分類し、その分類結果に応じて、脳波IF部13において利用される識別方法が最適になるよう調整する処理を行う。このとき、特定の選択肢がハイライトされたときの脳波信号だけでなく、全ての選択肢に対する脳波信号に共通する特徴量が用いられる。予め定められた分類体系に対応して、たとえば2つの脳波波形のテンプレート(教示データ)も用意されている。1つは、選択しようとした選択肢がハイライトされたときに現れる教示データであり、他の1つは、選択しようとしていない選択肢がハイライトされたときに現れる教示データである。得られた脳波波形データとこれらの各教示データとを比較して、どちらに近いかを評価することにより、その脳波波形が測定されたときに、ユーザがハイライトされた選択肢を選択したかったか否かを判断できる。
脳波波形の現われ方には個人差が大きいが、本願発明者らは複数ユーザの脳波波形に共通する特徴を見出して、その特徴ごとに分類を行うとともに、その特徴を識別可能にする教示データを分類に応じて設けた。これにより、分類結果に応じてそのユーザにとって最適な識別方法を採用することができる。
本願発明者らは、全ての選択肢毎に1回(または数回程度の少ない回数)の刺激で得られた事象関連電位のN200成分およびP200成分(後述)を利用して分類を行った。本願発明者らは、周波数帯域のパワースペクトルの平均値および周波数帯域のウェーブレット係数の平均値によって分類すると効果があることを見出した。
(実施形態1)
以下、本願発明の実施形態を詳細に説明する。
図2は、本実施形態による脳波インタフェースシステム1の機能ブロック構成を示す。脳波インタフェースシステム1は、出力部11と、脳波計測部12と、脳波IF部13と、脳波識別方法調整装置2を有している。脳波識別方法調整装置2は、分類判定部14と、識別方法調整部15とで構成されている。ユーザ10のブロックは説明の便宜のために示されているものであり、脳波インタフェースシステム1自体の構成ではない。
出力部11は、ユーザにコンテンツや脳波インタフェースにおける選択されるべきメニューを出力する。図1に示すテレビ11は出力部の具体例であるため、以下では参照符号11を出力部に充てて説明する。出力部11は、出力される内容が動画や静止画の場合にはディスプレイ画面に対応し、出力される内容に音声が含まれている場合にはディスプレイ画面およびスピーカが出力部11として併用されることもある。
脳波計測部12は、ユーザ10の頭部に装着された電極における電位変化を計測することによって脳波信号を検出する脳波計である。脳波計は図1に示すようなヘッドマウント式脳波計であっても良い。ユーザ10は予め脳波計を装着しているものとする。
ユーザ10の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部12には電極が配置されている。電極の配置は、例えばPz(正中頭頂)、A1(耳朶)およびユーザ10の鼻根部になる。但し、電極は最低2個あれば良く、例えばPzとA1のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。
この結果、脳波計測部12はユーザ10の脳波を測定することができる。測定されたユーザ10の脳波は、コンピュータで処理できるようにサンプリングされ、脳波IF部13に送られる。なお、脳波に混入するノイズの影響を低減するため、本実施形態の脳波計測部12において計測される脳波は、予め例えば15Hzのローパスフィルタ処理がされているものとする。
脳波IF部13は、機器操作に関するインタフェース画面を、出力部11を介してユーザに提示し、インタフェース画面上での複数の選択肢を順次またはランダムにハイライトさせ、脳波計測部12で計測された脳波波形データからユーザが選択しようとした選択肢を識別する。以下、本実施形態において、ユーザが選択しようとした選択肢を「ターゲット選択肢」といい、ターゲット選択肢以外の選択肢を「ノンターゲット選択肢」という。
なお、以下の説明では、「選択肢」とは、見たい番組の候補であるとして説明している(図4(b)における「野球」、「天気予報」、「アニメ」、「ニュース」)。しかしながらこれは一例である。操作対象機器における選択可能な操作に対応する複数の項目が存在すれば、各項目は本明細書でいう「選択肢」に該当する。「選択肢」の表示態様は任意である。
図3および図4を適宜参照しながら、図2に示した脳波インタフェース1の処理の手順を説明する。図3は、脳波インタフェースシステム1の処理の手順を示すフローチャートである。また図4(a)〜(d)は脳波インタフェースシステム1においてユーザ10が視聴したいジャンルの番組を選ぶときの画面の遷移図である。
ステップS61では、脳波IF部13はSSVEPを用いて、脳波インタフェースの起動を判断し、出力部11を介してインタフェース画面を提示する。SSVEP(Steady State Visual Evoked Potential)とは、定常視覚誘発電位を意味する。
例えば、ユーザ10がコンテンツを視聴している時には、テレビに図4(a)のような選択前の画面51(この場合はニュース)が表示されているとする。右下に表示されたメニュー52は特定の周波数で点滅している。ユーザ10がそのメニュー52を見ると、特定の周波数成分が脳波に重畳されることが知られている。そこで、脳波信号における点滅周期の周波数成分のパワースペクトルを識別することによってそのメニュー52が見られているかが判別でき、脳波インタフェースを起動できる。脳波インタフェースの起動とは、脳波を用いて選択等を行うためのインタフェースの動作を開始させることを意味する。
なお、SSVEPは、例えば、Xiaorong Gao,“A BCI−Based Environmental Controller for the Motion−Disabled”,IEEE Transaction on Neural Systems and Rehabilitation Engineering,Vol.11,No.2,June 2003に記載されているものを示す。
脳波インタフェースが起動されることによって、図4(b)に示すインタフェース画面53が表示される。画面には「どの番組をご覧になりたいですか?」という質問と、見たい番組の候補である選択肢が提示される。この例では「野球」53a「天気予報」53b「アニメ」53c「ニュース」53dの4種類が表示されている。
再び図3を参照する。ステップS62では、脳波IF部13が、出力部11を介してインタフェース画面53の各々の選択肢を順次またはランダムにハイライトさせる。図4(b)の例では、画面53の上から「野球」53a、「天気予報」53b、「アニメ」53c、「ニュース」53dの順にハイライトしている様子を示している。このときのハイライトの切り替わり時間の間隔は、350ミリ秒とする。なお、ハイライトはインタフェース画面上での選択肢の輝度、色相および大きさの変化の少なくとも1つであれば良く、また、ハイライトの代わりに、またはハイライトとともに補助的矢印を用いたポインタで選択肢を提示しても良い。
ステップS63では、脳波IF部13が、脳波計測部12で計測された脳波信号のうち、各選択肢がハイライトされた時点を起点として、−100ミリ秒から600ミリ秒までの脳波波形データを切り出す。
ステップS64では、脳波IF部13は、切り出した脳波波形データのベースライン補正を行う。例えば、選択肢がハイライトされた時点を起点として、−100ミリ秒から0ミリ秒までの平均電位でベースラインを補正する。
ステップS65では、脳波IF部13が、インタフェース画面53の全ての選択肢のハイライトが終了したか否かを判別する。終了していない場合はS62に戻り、終了している場合はS66に進む。
なお、事象関連電位の研究では一般的に、同じ選択肢をN回(例えば5回、10回、20回)ハイライトさせる(たとえば選択肢が4個の場合は合計4×N回だけハイライトさせる)ことが多い。そして同一選択肢ごとの加算平均を求めてからターゲット選択肢の識別が行われる。これにより、ランダムな脳の活動電位を相殺でき、一定の潜時と極性を持つ事象関連電位(例えばP300成分、P200成分、N200成分)を検出できる。
なお、同じ選択肢をN回(N:2以上の整数)ハイライトさせると識別精度は高くなるが、その処理の回数に応じた時間が必要になる。そのため、不特定多数のユーザが脳波インタフェースシステム1を利用する場合には、同じ選択肢を多くない回数(たとえば2、3回)だけハイライトさせてもよいし、1回だけハイライトさせてもよい。同一選択肢ごとの加算平均を求める場合において、加算回数(ハイライト回数)は限定されるものではない。
ステップS66では、脳波識別方法調整装置2が、全ての選択肢に対する脳波波形データに共通する特徴量を用いて、個人の脳波の特徴を、類型化した分類体系のいずれかのタイプに分類し、その分類結果に応じて最適な識別方法に調整する処理を行う。処理の詳細は図10および図12の分類判定部14および識別方法調整部15の処理の手順を参照しながら後述する。
ステップS67では、脳波IF部13が、脳波識別方法調整装置2におけるタイプ分類およびそれに応じた識別方法の調整結果を受けて、複数の選択肢の中からターゲット選択肢の識別を行う。ここで、ターゲット選択肢の識別は、タイプ分類に用いた脳波信号と同じ信号を用いる。同じ脳波信号を用いて、タイプ分類と選択肢の識別とを行うことができるため、選択肢の識別を伴わないキャリブレーションを行うことなく、識別精度を向上させることができる。
図4(c)は、4つの選択肢に対する脳波波形データ54a〜54dから、脳波波形データ54bをターゲット選択肢として識別している様子を示している。識別に際して脳波IF部13は、ハイライトされた選択肢ごとの、ある区間の脳波波形データの区間平均電位に基づいて選んでも良いし、またテンプレートとの相関係数の値に基づいて選んでも良い。または、線形判別分析または非線形判別分析による事後確率の値に基づいて選んでも良い。上記のそれぞれに方法に関する詳細は、識別方法の調整を行う識別方法調整部15の説明の後に再度説明する。
図3のステップS68では、脳波IF部13は、識別された選択肢の動作を実行させるために、適切な機器に当該動作を実行させる。図4(d)の例では、脳波IF部13は出力部(TV)11に対してチャンネルを「天気予報」に切り替えるよう指示し、出力部(TV)11がその処理を実行している。
分類判定部14は、図3に示した処理ステップS66において、脳波IF部13から分類対象となる脳波波形データを受信することによって処理が開始される。図4(c)の例では、ハイライトされた4つの選択肢に対する脳波波形データ54a〜54dを受信する。更に受信した全ての選択肢に対する脳波信号に共通する特徴量を用いて、個人の脳波の特徴を類型化した分類体系のいずれかのタイプに分類する。「全ての選択肢に対する脳波信号に共通する特徴量」とは、全ての選択肢に対する脳波波形を用いて得られる波形の特徴を示す。具体的な算出処理は、後述する。
識別方法調整部15は、分類判定部14の分類結果に応じて、ターゲット選択肢を精度良く識別するための識別方法の調整を行い、調整結果を脳波IF部13へ送信する。
ここで、上述のタイプ分類を実施する際の分類体系について、本願発明者らが実施した脳波インタフェースの実験結果をもとに具体的に説明する。
被験者は男性9名、女性4名の合計13名で、平均年齢は26±6.5歳である。被験者には図4(b)で示した4つの選択肢を含むインタフェース画面をモニターに提示し、350ミリ秒ごとにハイライトされる選択肢を見て、指定された選択肢(ターゲット選択肢)がハイライトされた直後に「それ」と頭の中で思う課題を課した。選択肢のハイライトはランダムな順序で4つの選択肢を各5回(すなわち加算回数が5回)の計20回繰り返し、これを1試行の実験とした。また、ターゲット選択肢の指定は、上から「野球」53a「天気予報」53b「アニメ」53c「ニュース」53dの順とし、それぞれ10試行(計40試行)の実験を各被験者に対して実施した。
また、被験者は脳波計(ティアック、ポリメイトAP−1124)を装着し、電極の配置は国際10−20電極法を用い、導出電極をPz(正中頭頂)、基準電極をA1(右耳朶)、接地電極を前額部とした。サンプリング周波数200Hz、時定数3秒で計測した脳波波形データに対して15Hzのローパスフィルタ処理をかけ、選択肢のハイライトを起点に−100ミリ秒から600ミリ秒の脳波波形データを切り出し、−100ミリ秒から0ミリ秒の平均電位でベースライン補正を行った。
図5は、上述の実験の結果、被験者01〜13の各々から得られた脳波波形データを、被験者ごとに加算平均した波形を示す。横軸は選択肢のハイライトを0ミリ秒とした時間(潜時)で単位はミリ秒、縦軸は電位で単位はμVである。実線はターゲット選択肢に対する脳波波形データの平均波形(40試行分、総加算回数は40×5=200回)であり、点線はノンターゲット選択肢に対する脳波波形データの平均波形(3選択肢の40試行分、総加算回数は3×40×5=600回)を示している。
図5に示した被験者ごとの脳波波形データから、ターゲット選択肢に対する脳波波形データ(実線)の特徴として、潜時が300ミリ秒以降の、特に400ミリ秒付近で陽性になっている点では共通している。しかし、100ミリ秒から300ミリ秒までのターゲット選択肢の脳波波形データの特徴は被験者ごとに異なっていることが分かる。例えば、被験者01のターゲット選択肢に対する脳波波形データは200ミリ秒後付近で大きな陽性成分が見られるが、被験者12のターゲット選択肢に対する脳波波形データは200ミリ秒前付近で大きな陰性成分が見られる。
図6は、図5に示した被験者ごとの脳波波形データを、300ミリ秒以前のP200成分およびN200成分の大きさに基づいて個人の脳波の特徴を類型化した分類体系を示す。横軸はP200成分の大きさ、縦軸はN200成分の大きさを表している。P200成分およびN200成分の大きさは、図5に示すターゲット選択肢およびノンターゲット選択肢の両方から求めている。
具体的には、「P200成分」とは、ターゲット選択肢に対する脳波波形の200ミリ秒から300ミリ秒までの平均電位から、ノンターゲット選択肢に対する脳波波形の200ミリ秒から300ミリ秒までの平均電位を減じたものとした。そのようにして求めたP200成分の大きさが10μV以上になった場合を“Large”とし、1μV以上10μV未満になった場合を“Middle”とし、1μV未満になった場合を“Small”とした。このようにして得られた電位は、「全ての選択肢に対する脳波信号に共通する特徴量」の一例である。
一方、「N200成分」とは、ノンターゲット選択肢に対する脳波波形データの100ミリ秒から200ミリ秒までの平均電位から、ターゲット選択肢に対する脳波波形データの100ミリ秒から200ミリ秒までの平均電位を減じたものとした。そのようにして求めたN200成分の大きさが1.4μV以上になった場合を“Large”とし、1.4μV未満になった場合を“Small”とした。
なお、P200成分およびN200成分の算出にあたって、脳波波形の200ミリ秒から300ミリ秒を採用したことは一例である。たとえば脳波波形の200ミリ秒から250ミリ秒の脳波波形を採用してP200成分を算出してもよい。同様に、N200成分の算出にあたって、脳波波形の100ミリ秒から200ミリ秒を採用したことも一例である。
図6はまた、上記の分類基準に則って、図5に示した被験者ごとの脳波波形データを分類した結果を示している。P200成分が“Large”でN200成分が“Small”に該当する被験者は2名で、これをタイプAとした。P200成分が“Middle”でN200成分が“Small”に該当する被験者は4名で、これをタイプBとした。P200成分が“Middle”でN200成分が“Large”に該当する被験者は3名でこれをタイプCとした。P200成分が“Small”でN200成分が“Large”に該当する被験者は4名でこれをタイプDとした。また、P200成分とN200成分が両方とも“Large”または“Small”に該当する被験者は本実験では存在しなかった。
図7は、上記で分類したタイプごとの脳波波形データの総加算平均波形を示す。横軸は選択肢のハイライトを0ミリ秒とした時間(潜時)で単位はミリ秒、縦軸は電位で単位はμVである。実線はターゲット選択肢に対する脳波波形データを、点線はノンターゲット選択肢に対する脳波波形データを示している。
図7から、タイプAではP200成分が大きく出現しており、タイプDではN200成分が大きく出現していることが分かる。分類判定部14は、ユーザの脳波波形に基づいて、その波形を上記の分類体系のいずれかのタイプに分類する。
更に本願発明者らが実施した脳波インタフェースの実験結果をもとに新たに特定した、タイプ分類に用いられる特徴量について具体的に説明する。本願発明者らはターゲット選択肢の脳波波形データの特徴に基づいた前述の分類体系と、全ての選択肢の脳波波形データに共通する特徴量との関係について、様々な分析を実施した。その結果、強い相関関係を持つ2つの特徴量を特定することができた。この強い相関関係を持つ特徴量を見出したことにより、特許文献1のように、事前にキャリブレーションを行うことなく精度を向上させることができる。
すなわち、事前のキャリブレーションを行い、複数のターゲット選択肢の波形特徴を抽出して分類する必要がなく、ターゲット選択肢及びノンターゲット選択肢を含むいずれの選択肢に対する脳波信号を利用しても、精度を向上させることができる。
従来は、ターゲット選択肢を特定し、その脳波波形から特徴量を抽出していた。しかし、ノンターゲット選択肢を含む全ての選択肢に対する脳波波形に現れる特徴量を見出したことにより、ターゲット選択肢を特定することなく、いずれの選択肢の脳波波形から抽出したユーザの特徴を利用しても、精度を向上させることができる。以下に詳しく説明する。
まず、図6に示した分類体系のN200成分が“Large”の被験者群(7名)と“Small”の被験者群(6名)とに対する脳波波形データのパワースペクトルを図8に示す。横軸は周波数で単位はHz、縦軸はパワースペクトル値で単位は(μV)2/Hzである。時系列の脳波波形データからフーリエ変換によって周波数成分データが求められる。パワースペクトル値は周波数成分データとその複素共役との積で算出される。
図8中の実線はN200成分が“Large”の被験者群を示している。実線上の「○」は、7名分のターゲット選択肢およびノンターゲット選択肢を含んだ全ての脳波波形データのパワースペクトルの平均値を示し、「○」を上下に通る両矢印は被験者ごとのばらつきを表している。点線はN200成分が“Small”の被験者群を示している。破線上の「×」は、6名分のターゲット選択肢とノンターゲット選択肢を含んだ全ての脳波波形データのパワースペクトルの平均値を示し、「×」を上下に通る両矢印は被験者ごとのばらつきを表している。
図8より、各周波数において、“Large”の被験者群と“Small”の被験者群に対して統計的な有意差検定であるt検定を行った結果、周波数が8Hzから15Hz付近の区間で、N200成分が“Large”の被験者群が“Small”の被験者群に比べて、ターゲット選択肢とノンターゲット選択肢を含んだ全ての脳波波形データのパワースペクトルの平均値が有意に低くなっていることが分かった(有意水準P=0.05)。5%の有意水準で有意差があるということは、2つの群のデータの間に統計的に95%の信頼度で意味のある差が存在していることを意味する。
上記の関係を利用することによって、複数の選択肢に対する脳波波形データのうち、ターゲット選択肢に対する脳波波形データが特定できなくても、全ての脳波波形データに対する上述の周波数帯域のパワースペクトルの平均値からN200成分が“Large”の被験者か“Small”の被験者かを分類することが可能になる。
図8の例の場合、N200成分が“Large”と“Small”の被験者における、周波数が8Hzから15Hz付近の区間の平均パワースペクトル値がそれぞれ1.6と3.6であるため、閾値を、たとえばその中間値2.6とする。閾値2.6未満の場合は“Large”の被験者、閾値2.6以上の場合は“Small”の被験者となる。図6の例では、タイプAまたはBの被験者か、タイプCまたはDの被験者かを分類することが可能になる。なお、閾値の決定方法は例である。上述の例のように、1.6と3.6の間に存在していれば中間値でなくてもよい。
次に、図6に示した分類体系のP200成分が“Large”、“Middle”、“Small”のレベルと、脳波波形データの時間周波数成分、具体的には200ミリ秒から250ミリ秒の時間幅および8Hzから15Hz付近の周波数帯域のウェーブレット係数との関係を被験者ごとにプロットしたものを図9に示す。左記のウェーブレット係数はマザーウェーブレットをメキシカンハットとした場合を示している。縦軸はP200成分のレベルであり、“Large”の場合は3(対象被験者は2名)、“Middle”の場合は2(対象被験者は7名)、“Small”の場合は1(対象被験者は4名)としている。横軸は被験者ごとにターゲット選択肢とノンターゲット選択肢を含んだ全ての脳波波形データのウェーブレット係数の平均値である。
図9において、線形回帰分析を行った結果、近似式y=0.1586x+1.6673に近似され、P200成分のレベル(y)とウェーブレット係数(x)との間に強い相関関係があることが分かった(相関係数R=0.83)。相関係数とは、2つの変数の間の相関(類似性の度合い)を示す統計的指標であり、一般的に絶対値が0.7以上の場合に強い相関があることを意味する。
上記の関係を利用することによって、複数の選択肢に対する脳波波形データのうち、ターゲット選択肢に対する脳波波形データが特定できなくても、全ての脳波波形データに対する上述の時間幅および周波数帯域のウェーブレット係数の平均値からP200成分が“Large”の被験者か“Middle”の被験者か“Small”の被験者かを分類することが可能になる。
図9の例の場合、前記近似式のP200成分のレベル(y)=2.5(“Large:3”と“Middle:2”の中間値)および1.5(“Miidle:2”と“Small:1”の中間値)に対応するx=5.2および−1.0をそれぞれ閾値とした。ウェーブレット係数(x)が閾値5.2以上の場合は“Large”の被験者、閾値−1.0以上5.2未満の場合は“Middle”の被験者、閾値−1.0未満の場合は“Small”の被験者となる。なお、上述の例では中間値を閾値として説明したが、これは例である。“Large:3”と“Middle:2”との間、および、“Miidle:2”と“Small:1”との間であれば、中間値でなくてもよい。
上述の近似式および閾値に基づけば、図6の例では、タイプAの被験者か、タイプBまたはCの被験者か、タイプDの被験者かを分類することが可能になる。
ここで、上記の関係についての本願発明者らの考察を以下に述べる。従来文献(藤澤清ら、新生理心理学1巻119頁、1998)によれば、N200成分(特にN2b)は予期しない刺激に対する注意の焦点化を反映するとされている。また、従来文献(藤澤清ら、新生理心理学2巻110頁、1998)によれば、覚醒水準が低下すると脳波の8Hzから13Hzの成分であるα波も次第に減少し、やがては消失して、低振幅のθ波が出現するとされている。これらを考慮すると、N200成分が“Large”だった被験者は、本実験中の覚醒水準が低く(すなわちα波付近の成分が減少し)、本実験の課題遂行に対する集中力が低かったため、ターゲット選択肢のハイライトに対して予期しない刺激に対するような注意の焦点化を起こし、結果N200成分が惹起されたと考えることもできる。
一方、P200成分が“Large”だった被験者は、本実験の課題遂行に対する集中力が高かったため、ウェーブレット係数においてα波付近の周波数成分が減少せず、特に200ミリ秒から250ミリ秒の時間幅で大きな値が得られたと考えることもできる。
なお、実際のN200成分やP200成分のレベルと上述のタイプ分類結果とが異なる場合が起こり得る。しかし、図15〜17の識別率の試算結果で後述するように、統計的に見れば本発明によるタイプ分類は識別率の維持向上に非常に効果的であると言える。また、図8に示した周波数帯域のパワースペクトルと図9に示した時間幅および周波数帯域のウェーブレット係数を同時に利用することによって、より詳細にかつ正確にタイプ分類を行うことが可能になる。
次に、図10のフローチャートを参照しながら、上記の特徴量をもとにタイプ分類を行うための分類判定部14の処理の手順を説明する。
図10は、分類判定部14の分類処理手順を示す。
ステップS121では、分類判定部14は、脳波IF部13から分類対象となる脳波波形データを受信する。分類対象となる脳波波形データは、脳波計測部12で計測された脳波信号から脳波IF部13によって切り出され、分類判定部14に送られている。図4(c)の例では、分類判定部14はハイライトされた4つの選択肢に対する脳波波形データ54a〜54dを受信する。
ステップS122では、分類判定部14は受信した全ての脳波波形データに対して、以下の特徴量を抽出し、その平均値を算出する。特徴量とは、先の実験結果で述べた、周波数帯域が8Hzから15Hz付近のパワースペクトル、時間幅が200ミリ秒から250ミリ秒および周波数帯域が8Hzから15Hz付近のウェーブレット係数である。
ステップS123では、分類判定部14はタイプ分類のために用いられる基準データを読み出す。図11は、前述の実験結果をもとに作成したタイプ分類用の基準データの一部を示す。タイプ分類用の基準データは、脳波波形データの番号、パワースペクトルとウェーブレット係数の特徴パラメータ、当該脳波波形データが属するタイプで構成されている。パワースペクトルとウェーブレット係数の特徴パラメータの数は、それぞれ8Hzから15Hzの区間にあるサンプルの数だけ存在する。サンプル数は脳波波形データを計測する際のサンプリング周波数や切り出す時間幅などによって決定される。図11に示した基準データは、分類判定部14が予め保持しているものとする。図11に実際に記載される特徴パラメータの値は、前述のような実験を事前に実施することによって準備しておく必要がある。
ステップS124では、分類判定部14はステップS122で抽出した特徴量を用いてタイプ分類を実施する。タイプ分類は、前記実験結果で述べたN200成分やP200成分のそれぞれの閾値に基づいて分類しても良いし、ステップS123で読み出したタイプ分類用データに基づいて判別分析を行うことによって分類しても良い。以下、図11に示すタイプ分類用データに基づく判別分析の場合について具体的に説明する。
分類判定部14は、タイプ分類用データのA〜Dの4つのタイプをそれぞれ順にk=1、2、3および4と対応付けし、また特徴パラメータをUi(i=1〜8)として、k個のタイプごとの特徴パラメータUiの平均を下記数1によって求める。
分類判定部14は、各タイプ共通の分散共分散行列Sを下記数2によって求める。
nは総データ数、nkはタイプごとのデータ数、iとjは1〜8の整数である。
ステップS122で抽出した周波数帯域が8Hzから15Hz付近のパワースペクトルの平均値および時間幅が200ミリ秒から250ミリ秒かつ周波数帯域が8Hzから15Hz付近のウェーブレット係数の平均値をXi(i=1〜8)とすると、次の線形関数Zkを最大にするkを求めることによって、Xiが属するタイプkを決定することができる。
ステップS125では、分類判定部14は、ステップS124で分類した結果を識別方法調整部15に送信する。
識別方法調整部15の処理の手順を、図12のフローチャートを参照しながら説明する。
ステップS141では、識別方法調整部15は、分類判定部14で分類した結果を受信する。
ステップS142では、識別方法調整部15は、識別方法調整データを読み出す。識別方法調整データは、識別方法調整部15に予め保持しているものとする。詳細は以下に説明する。
ステップS143では、識別方法調整部15は、ステップS141で受信した分類結果に応じて、脳波IF部13へ調整結果として送信すべきデータを、識別方法調整データの中から選択する。
上述の識別方法調整部15で読み出される識別方法調整データは、脳波IF部13におけるターゲット選択肢の識別方法の種類によって異なる。
まず、ある区間の脳波波形データの区間平均電位に基づいてターゲット選択肢を識別する場合、識別方法調整部15は、図13に示す識別方法調整データを読み出す。図13はタイプごとのP300成分およびP200成分、N200成分に対する重み係数で構成されている割り当て表を示す。例えばタイプ分類の結果がタイプAの場合は、タイプAに対するP300成分、P200成分、N200成分の重み係数(1、1、0)を選択する。
次にテンプレートとの相関係数の値に基づいてターゲット選択肢を識別する場合、読み出される識別方法調整データは図7(a)〜(d)に実線で示したターゲット選択肢に対する脳波波形データとなる。例えばタイプ分類の結果がタイプAの場合は、図7(a)に実線で示された脳波波形データをテンプレートとして選択する。
最後に線形判別分析または非線形判別分析による事後確率の値に基づいてターゲット選択肢を識別する場合、読み出される識別方法調整データはタイプごとに用意された教示データとなる。図14はタイプAの場合の教示データの例を示しており、(a)はターゲット選択肢に対する脳波波形データ(データ数80)で、(b)はノンターゲット選択肢に対する脳波波形データ(データ数240)である。タイプ分類の結果がタイプAの場合は、図14のデータを教示データとして選択する。
ステップS144では、識別方法調整部15は、ステップS143で選択したデータを脳波IF部13へ調整結果として送信する。
ここで再び脳波IF部13のターゲット選択肢の識別処理(図3のステップS67)を説明する。識別方法調整部15の調整結果を受けて、以下に示す処理を実施する。
まず、ある区間の脳波波形データの区間平均電位に基づいてターゲット選択肢を識別する場合、ハイライトされた選択肢の脳波波形データごとに次数4で表される計算を行う。
ここでWp3、Wp2、Wn2とはそれぞれ識別方法調整部15から受信したP300成分、P200成分、N200成分の重み係数である。図13は、当該重み係数を示す。例えば、分類判定部14がユーザの脳波波形をタイプAに分類した場合、すなわちターゲット選択肢の脳波波形データにP200成分が大きく、N200成分が小さく現れると判定した場合は、識別方法調整部15は、上記の重み係数を(1、1、0)としてP200成分に重みをつける。
同様に分類判定部14がタイプDと分類した場合、すなわちターゲット選択肢の脳波波形データにP200成分が小さく、N200成分が大きく現れると判定した場合、識別方法調整部15は、上記の重み係数を(1、0、1)としてN200成分に重みをつける。Pp3、Pp2、Pn2とはそれぞれP300成分(300ミリ秒から500ミリ秒までの平均電位)、P200成分(200ミリ秒から300ミリ秒までの平均電位)、N200成分(100ミリ秒から200ミリ秒までの平均電位)であり、Eは評価値を表している。N200成分はターゲット選択肢の場合に陰性の電位として現れることを特徴としているため、上式では減算することによって評価値Eに反映させている。ハイライトされた選択肢ごとの脳波波形データから評価値Eを計算し、その値が最も大きい選択肢をターゲット選択肢として識別する。
次にテンプレートとの相関係数の値に基づいてターゲット選択肢を識別する場合、ハイライトされた選択肢ごとの脳波波形データと識別方法調整部15から受信したテンプレートとの相関係数、例えばピアソンの積率相関係数を求め、その値が最も大きい選択肢をターゲット選択肢として識別する。
最後に線形判別分析または非線形判別分析による事後確率の値に基づいてターゲット選択肢を識別する場合、ハイライトされた選択肢ごとの脳波波形データに対して、識別方法調整部15から受信した教示データに基づいて、線形判別分析または非線形判別分析を行う。具体的には、ベイズ推定を用いたターゲット選択肢らしさを表す事後確率を求め、その値が最も大きい選択肢をターゲット選択肢として識別する。
上述の方法により、識別方法調整部15における識別方法の調整結果を受けて、複数の選択肢の中からターゲット選択肢の識別を行うことが可能となる。
上記に説明した分類判定部14および識別方法調整部15の処理は、ユーザが脳波インタフェースを利用する際にその都度自動的に実施しても良いし、またユーザの指示によって実施し、その際の調整結果を脳波IF部13で保持していても良い。
上述した本発明の実施形態によって得られた効果を、ターゲット選択肢の識別率の試算結果をもとに具体的に説明する。
識別率の試算は、前述の実験結果(被験者13名に対して4つの選択肢の中から脳波を用いて1つ選ぶ実験の結果)に基づいて実施した。図2の分類判定部14におけるタイプ分類には線形判別分析を用い、特徴量は脳波波形データのパワースペクトルとウェーブレット係数の両方を用いた。図2の脳波IF部13におけるターゲット選択肢の識別にも線形判別分析を用い、特徴量は脳波波形データの25ミリ秒ごとの平均電位とした。
また、この識別率の試算の目的は、次に示す3つの条件における識別率を比較し、本発明の効果を確認することである。3つの条件とは、(a)被験者ごとのキャリブレーションをしない場合、(b)キャリブレーションなしで、かつ本発明によるタイプ分類および識別方法の調整をした場合、(c)被験者ごとのキャリブレーションをした場合である。したがって、ターゲット選択肢の識別に用いる教示データは、(a)の場合は全被験者共通の教示データとするため、全被験者の実験結果を教示データとして用いた。(b)の場合は、本発明によるタイプ分類を行い、その分類結果に応じた教示データとするため、例えばタイプAと分類した場合はタイプAに属する被験者(図5の例では被験者01と08)の実験結果を教示データとして用いた。(c)の場合は、被験者ごとの教示データとするため、例えば被験者01の場合は被験者01の実験結果を教示データとして用いた。但し、上記の全ての条件において、評価対象データは常に教示データから除外して、ターゲット選択肢の識別を行う、いわゆるleave‐1‐out法による評価を実施した。
図15は、ターゲット選択肢の識別率の全被験者平均値を3つの条件を示している。(a)のキャリブレーションなしの場合が最も識別率が低く(74.6%)、(c)の手間のかかる煩雑なキャリブレーションをした場合が最も識別率が高くなっている(83.5%)。(b)の本発明を用いた場合は、被験者ごとのキャリブレーションをしていないにも関わらず、(c)のキャリブレーションありの場合に近い精度になっていることが分かる(81.3%)。
図16は、図15の内訳であるタイプAの被験者、タイプDの被験者、その他の被験者のそれぞれの場合の識別率を示す。図16より、タイプAの被験者およびタイプDの被験者の場合、本発明の効果が顕著に現れていることが分かる。つまり、(b)の本発明を用いた場合は(a)の場合と比較し、大幅に識別率が向上しており、(c)の場合と比較し、被験者ごとの煩雑なキャリブレーションをしていないにも関わらず、ほぼ同等の識別精度を維持していることが分かる。
したがって、図15(b)および図16(b)から明らかなように、脳波インタフェースシステム1において、本発明による脳波識別方法調整装置2を備えることによって、識別精度を高く維持しつつ、従来ユーザにとって負担となっていた事前のキャリブレーションの手間をなくすことが可能となる。
更に図17は、タイプ分類に用いる特徴量を、(b)パワースペクトルとウェーブレット係数の両方を用いる場合、(b−1)パワースペクトルのみを用いる場合、(b−2)ウェーブレット係数のみを用いる場合の3つの条件について、タイプAとタイプDの被験者の識別率を示す。ここで図17(b)と図16(b)は同じ評価内容を表している。図17より、(b−1)のパワースペクトルのみを用いる場合および(b−2)のウェーブレット係数のみを用いる場合は、(b)の両方を用いる場合と比較して識別率は多少低下しているものの、図16(a)の場合と比較すればキャリブレーションなしで大幅に識別率が向上していることが分かる。したがって、脳波波形データのパワースペクトルとウェーブレット係数のどちらか一方でも効果があることが分かる。
本実施形態によれば、少ない回数(たとえば1〜3回程度)の刺激で得られた選択肢ごとの事象関連電位と、上述したN200成分およびP200成分によって分類をする場合には、非常に効果的である。図15〜図17によれば、これは特に、周波数帯域のパワースペクトルの平均値および/または周波数帯域のウェーブレット係数の平均値によって分類した場合に顕著であるといえる。
したがって、タイプ分類の際に用いる特徴量は、前述のように脳波波形データのパワースペクトルとウェーブレット係数の両方を利用しても良いし、どちらか一方でも良い。パワースペクトルのみを利用する場合は、N200成分が“Large”または“Small”を分類することになり、図6の例ではタイプCおよびDかまたはタイプAおよびBかの2タイプに分類することになる。同様にウェーブレット係数のみを利用する場合は、P200成分が“Large”または“Middle”または“Small”を分類することになり、図6の例ではタイプAかまたはタイプBおよびCかまたはタイプDかの3タイプに分類することになる。
本実施形態にかかる構成および処理の手順により、複数の選択肢の中からユーザが選択したいと思っている選択肢を、脳波を利用して識別するインタフェースを備えたシステムにおいて、全ての選択肢に対する脳波波形データに共通する特徴量を用いて、より具体的には周波数帯域が8Hzから15Hz付近のパワースペクトルの平均値および時間幅が200ミリ秒から250ミリ秒かつ周波数帯域が8Hzから15Hz付近のウェーブレット係数の平均値を用いて、予め用意した分類体系のいずれかのタイプに分類し、その分類結果に応じて最適な識別方法に調整する処理を行うことによって、ユーザに対する煩雑なキャリブレーションの負担をなくし、かつ、脳波に関する識別精度を高く維持することができる。
上述の実施形態に関して、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。識別方法調整装置を構成する全部または一部の構成要素や、脳波IF部は、コンピュータプログラムを実行する汎用のプロセッサ(半導体回路)として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。脳波識別方法調整装置の機能を実現するコンピュータプログラムは、脳波IF部の機能を実現するためのコンピュータプログラムを実行するプロセッサによって実行されてもよいし、脳波インタフェースシステム内の他のプロセッサによって実行されてもよい。
また本実施形態においては、脳波識別方法調整装置2は脳波IF部13とともに出力部(テレビ)11内に設けられているが、これも例である。いずれか一方または両方がテレビ外に設けられていてもよい。
(実施形態2)
実施形態1では、全ての選択肢に対する脳波波形データに共通する特徴量を用いて、個人の脳波の特徴を、図6に示す類型化した分類体系のいずれかのタイプに分類した。そして、その分類結果に応じて最適な識別方法に調整する処理を行った(図3のステップ66)。
実施形態1において説明したとおり、いずれの選択肢の脳波波形からも特徴量が抽出できることが見出せた。この点に鑑みると、いずれの選択肢の脳波波形からも特徴量が抽出できれば、全ての選択肢のうち2つ以上の選択肢の脳波波形を用いることにより、従来よりも容易に特徴量を抽出し、精度を向上させることができるのは明らかである。
そこで本実施形態では、全ての選択肢に対する脳波波形を用いず、その一部(ただし3つ以上の全ての選択肢うち少なくとも2つ以上)の選択肢に対する脳波波形を利用する。また、図6に示すようなタイプ分類を用いることなく、当該一部の選択肢に対する脳波波形がN200とP200のいずれの特徴量を有するか判断し、その特徴量に重み付けを行って、ターゲット選択肢を求める。
図18は、本実施形態による脳波インタフェースシステム3の機能ブロック構成を示す。脳波インタフェースシステム3は、出力部11と、脳波計測部12と、脳波IF部13と、脳波識別方法調整装置4を有している。実施形態1による脳波インタフェースシステム1との相違点は、脳波識別方法調整装置の構成および動作である。
本実施形態による脳波識別方法調整装置4は、特徴量抽出部114と、識別方法調整部115とで構成されている。以下、実施形態1との相違点のみを説明する。実施形態2にかかる構成のうち、特に言及するものを除いては、実施形態1と同じである。よってそれらの説明は省略する。
特徴量抽出部114は、各選択肢が提示された後の各脳波信号から、2以上の選択肢に対応する脳波信号を選択する。特徴量抽出部114は、基準データを予め保持しており、当該基準データおよび選択した脳波信号に共通する特徴量を抽出する。
識別方法調整部115は、特徴量抽出部114によって抽出された特徴量に重み付けを行い、ユーザ10が選択した選択肢に対する脳波信号の識別方法を調整を行う。そして調整結果を脳波IF部13へ送信する。これにより、脳波IF部13における、事象関連電位の成分を識別するための識別方法が変更される。
図3のフローチャートは、概ね本実施形態による脳波インタフェースシステム3の処理にも適用できる。ただし、ステップS66が以下の点で異なる。
本実施形態においては、ステップS66において、脳波識別方法調整装置4の特徴量抽出部114が、3以上の選択肢に対応して得られた脳波信号のうち、2以上の選択肢に対応する脳波信号を選択する。特徴量抽出部114はさらに、選択した脳波波形を抽出し、それらが、N200とP200のいずれの特徴量を有するかを求める。特徴量は、周波数帯域が8Hzから15Hz付近のパワースペクトル、時間幅が200ミリ秒から250ミリ秒および周波数帯域が8Hzから15Hz付近のウェーブレット係数によって求めることが可能である。
なお、図6に示されるように、P200成分とN200成分とが両方Largeと両方Smallになることはない。よって、特徴量抽出部114は、選択した脳波波形が、N200とP200のいずれかの特徴量を有することを確実に判別することができる。本実施形態においては、特徴量抽出部114は、図11に示す基準データを保持しており、N200とP200のいずれの特徴量を有するかを求める。
識別方法調整部115は、求めた特徴量に応じた重み付けを行うよう、脳波IF部13における識別方法の調整を行う。これにより、図3のステップS67において、ユーザが選択した選択肢に対する脳波信号を識別する際に、ターゲット選択肢を識別することが可能になる。重み付けとは、たとえば図13に記載されているような重み付け係数を、脳波識別時に脳波信号に課すことを意味する。
上述のとおり、本実施形態では、脳波信号を図6に示すようなタイプA〜Dに分類しない。よって、たとえば図10のステップS123、S124などの分類に関連する処理は行われなくてもよい。
なお、本実施形態による処理もまた、コンピュータに実行されるプログラムとして実現され得る。そのようなプログラムの説明は、実施形態1におけるプログラムの説明と同じであるため、省略する。
本発明にかかる脳波識別方法調整装置およびその装置が組み込まれた脳波インタフェースシステムは、脳波の個人差を反映させて識別方法を向上させる必要のある機器、例えば脳波を用いた機器操作インタフェースが搭載されている情報機器や映像音響機器などや、駅の券売機や銀行のATMのように不特定多数のユーザが利用するシステムの操作性改善に有用である。
1 脳波インタフェースシステム
2 脳波識別方法調整装置
11 出力部
12 脳波計測部
13 脳波IF部
14 分類判定部
15 識別方法調整部