本発明は、ユーザの脳波を計測し、計測した脳波に基づいて、ユーザが所望する機器の制御を可能にする機器操作インタフェース技術に関する。より具体的には、本発明は、ヘッドマウントディスプレイ(HMD)などのウェアラブル機器に組み込まれて、ユーザの脳波によって当該ウェアラブル機器または他の機器の機能を選択および起動させることを可能とする機器操作インタフェース技術に関する。
近年、機器の小型軽量化により、ヘッドマウントディスプレイ(HMD)等のウェアラブル機器が普及してきている。多くの機器のインタフェースとして、ボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作するなどの、ハードウェアを利用した方法が用いられている。しかしながら、HMDのように本体が小型でハンズフリーを特徴とする機器の制御では、上記のような物理的な操作を必須とするとハンズフリーの特徴を損ない、有効ではない。そこで、物理的な操作を行わずに機器を制御するインタフェース、具体的には、考えただけで機器を制御できる、脳波を利用した手軽なインタフェースが注目を浴びてきている。
脳波とは、基準極と計測対象極の電位の差により電気信号として計測される脳活動(脳神経細胞の電気的活動)である。この脳波を利用したインタフェースとして、たとえば特許文献1に記載された、事象関連電位を利用した人の心理状態等の判定方法及び装置があげられる。
特許文献1では、脳波の事象関連電位の特徴的な信号を用いてユーザが選択したいと思っている選択肢を判別する技術が開示されている。
具体的には、頭頂部に電極を装着し、画面上にランダムに単語を表示し、ユーザが選択したいと思っている単語が表示されたタイミングを起点に300msから500msの時間帯に出現する陽性成分(P300成分)などを利用して、ユーザが選択した単語の判別を行う脳波インタフェースが実現されている。
従来の脳波計測では、電極を国際10−20法の場所表記にしたがって装着され、頭頂部に計測対象極を装着することで計測が行われてきた。特許文献1では、国際10−20法における位置Pz(正中頭頂)およびCz(正中中心)の位置の特徴信号を用いて脳波計測が行われている。特許文献1で利用される特徴信号は位置Pzの位置で強く計測できることが知られている。そのため、従来の脳波インタフェースの電極の位置は、Pzが主に利用されている。
本願発明者らは、実際に、位置Pzで計測した脳波を利用して、TV画面に表示された4つの選択肢の中からユーザが選択した項目を判別するインタフェースを構築した。なお、以下において、「脳波インタフェースを構築」と記した場合には、同様のインタフェースを構築したことを意味するものとする。
被験者8名に対して評価を実施したところ、81.3%の識別率(全試行回数のうち判別結果が的中した割合)で判別が可能であった。
特開2005−34620号公報
特開平7−64709号公報
特開平9−38037号公報
しかしながら脳波計測は、上述のように頭頂部に装着した電極を利用して行われなければならない。そのため、頭頂部と接触する構造を持たない機器、たとえば上述のHMDを用いる場合には、別途、頭頂部に脳波を計測するための電極を別途装着する必要がある。HMDは、常時装着されず必要な時のみ装着され、かつ、頻繁に脱着が行われる機器である。よって、HMD以外に別途電極を装着することは、ユーザにとって負担となる。この事情は、頭頂部と接触する構造を持たない、HMD以外の機器についても当てはまる。
なお、HMDを利用してユーザの生体信号を取得する研究が行われている。たとえば、特許文献2では、HMD内側のユーザの顔面と接触する位置に電極を設け、眼電、筋電を計測し視線方向を検出する方法が開示されている。また、特許文献3では、眼の上下、左右の位置に電極を取り付け、各々の電位差を計測することにより眼電を計測する方法が開示されている。これらはいずれも顔の筋肉の反応(筋電)や眼球の動き(眼電)を計測する研究である。
本発明の目的は、国際10−20法の位置Pz(正中頭頂)で脳波を計測しなくても、従来眼電や筋電などの計測で利用されていた顔面部の電極に加え、HMD等ウェアラブル機器形状の範囲内の新しい電極位置を組み合わせて利用することで、位置Pzで計測した脳波に基づいて動作する脳波インタフェースシステムと同程度の精度で動作する脳波インタフェースを提供することである。
本発明による、脳波を用いた機器の制御方法は、機器の操作メニューに関する視覚刺激を提示するステップ(a)と、前記視覚刺激の提示後に、複数の事象関連電位を計測するステップ(b)であって、ユーザの顔面部に装着された複数の電極の各々と、ユーザの耳周辺部に装着された少なくとも1つの基準電極との間の電位差から、前記視覚刺激が提示されたタイミングを起点とした複数の事象関連電位を計測するステップ(b)と、計測された前記複数の事象関連電位から、5Hz以下でかつ所定の時区間を含む脳波データをそれぞれ抽出し、前記抽出された脳波データを組み合わせて脳波特徴データとするステップ(c)と、予め用意された操作メニューの選択の要否を判別するための基準データと前記脳波特徴データとを比較するステップ(d)と、前記ステップ(d)の比較結果に基づいて、前記機器の操作メニューに対応する操作を実行するステップ(e)とを包含する。
前記所定の時区間は、前記視覚刺激の提示を起点とした200msから400msの区間であってもよい。
前記ステップ(b)は、前記ユーザの両側の耳周辺部にそれぞれ少なくとも1つ装着された基準電極を用いて、前記複数の事象関連電位を計測してもよい。
前記ステップ(b)は、前記ユーザの右目上部および左目上部の少なくとも一方の位置に装着された電極を用いて、前記複数の事象関連電位を計測してもよい。
前記ステップ(c)は、計測された前記複数の事象関連電位の波形から、前記波形の周波数的および時間的な特徴を示す脳波特徴データを抽出してもよい。
前記ステップ(c)は、計測された前記複数の事象関連電位の波形から、前記波形の周波数的および時間的な特徴を示す脳波特徴データを抽出してもよい。
前記ステップ(c)は、前記出力部において前記機器の操作メニューが提示された後200ms〜400msの区間で、かつ、周波数が5Hz以下の特徴を示す脳波特徴データを抽出してもよい。
前記ステップ(c)は、前記耳周辺部の少なくとも1つの基準電極および前記顔面部の複数の電極で計測される前記複数の事象関連電位の各波形から前記各波形の特徴を示すデータを抽出し、各データに基づいて1つの脳波特徴データを生成してもよい。
前記ユーザの顔面部に装着された複数の電極の各々と、前記ユーザの両側の耳周辺部にそれぞれ少なくとも1つ装着された基準電極との間の電気的特性に基づいて、前記複数の電極および前記基準電極の各々の装着状態を判別するステップ(f)と、前記ステップ(f)の判別結果に基づいて、前記ステップ(b)において前記複数の事象関連電位を計測する電極の組み合わせを決定するステップ(g)とをさらに包含してもよい。
前記ステップ(g)は、前記ユーザの顔面部に装着された複数の電極の各々と、前記ユーザの両側の耳周辺部にそれぞれ少なくとも1つ装着された基準電極とを組み合わせて得られた前記複数の事象関連電位の計測値が閾値を越える電極の組み合せを複数検出し、前記電極の組み合わせに共通して含まれる電極を探索することにより、装着状態に不具合がある電極を特定してもよい。
前記ステップ(g)によって特定された電極を識別可能に通知してもよい。
本発明による脳波インタフェースシステムは、操作メニューを視覚的に提示する出力部と、ユーザの耳周辺部および顔面部にそれぞれ装着されて、前記ユーザの脳波を計測する複数の電極と、前記操作メニューの提示タイミングに基づいて特定される、前記脳波の波形の少なくとも一部から、前記波形の特徴を示す脳波特徴データを抽出する脳波特徴抽出部と、予め用意されたデータと前記脳波特徴データとを比較してその類似度を判別し、判別結果に基づいて機器を制御する判別部とを備えている。
前記出力部はディスプレイであり、前記判別部は、前記判別結果に基づいて前記ディスプレイの表示内容を制御してもよい。
前記脳波インタフェースシステムは、外部機器に対して制御信号を出力する送信部を備え、前記判別部は、前記判別結果に基づいて前記制御信号を出力し、前記制御信号に基づいて前記外部機器の動作を制御してもよい。
本発明による制御装置は、表示装置とともに脳波インタフェースシステムを形成する、前記表示装置の制御装置であって、前記表示装置と通信して、前記表示装置に操作メニューを視覚的に提示させる通信部と、ユーザの耳周辺部および顔面部にそれぞれ装着されて、前記ユーザの脳波を計測する複数の電極と、前記操作メニューの提示タイミングに基づいて特定される、前記脳波の波形の少なくとも一部から、前記波形の特徴を示す脳波特徴データを抽出する脳波特徴抽出部と、予め用意されたデータと前記脳波特徴データとを比較してその類似度を判別し、判別結果に基づいて前記機器を制御する判別部とを備えている。
本発明によれば、顔面部を含む、ユーザと接触する位置に複数の電極を設けた機器を用いることにより、従来の頭頂部での脳波計測による脳波インタフェースシステムと同等の精度で動作する脳波インタフェースシステムを構築できる。このような機器は、たとえば眼鏡(ゴーグル)型のHMDのような、ユーザ頭部の比較的狭い範囲に装着される機器であり、ユーザの顔面部および耳部に電極を設ければよい。ユーザはわざわざ機器がユーザに接触する位置以外に電極を装着する必要がなくなり、HMD装着と同時に電極の装着も完了できるため、機器装着負担が削減できる。
従来の眼電計測で利用していた電極の位置101〜104を示す図である。
従来眼電計測や筋電計測で利用されていた電極位置のうち、HMD形状の範囲内に含まれる電極位置を示す図である。
本願発明者らが行った実験結果として、すべての電極位置の組合せと識別率との関係を示す図である。
(a)は顔面部の電極位置を示す図であり、(b)は耳周辺部の電極位置を示す図である。
本願発明者らが行った実験における電極位置の例を示す図である。
電極の組合せと識別率の関係を示す図である。
実施形態1による脳波インタフェースシステム1の構成図である。
脳波インタフェースシステム1を眼鏡(ゴーグル)型ヘッドマウントディスプレイ(HMD)として構成した実施例を示す図である。
実施形態1による脳波インタフェース装置のハードウェア構成図である。
脳波インタフェースシステム1で行われる処理のフローチャートである。
(a)〜(c)は、脳波インタフェースシステム1で行われる処理の例を示す図である。
脳波特徴抽出部の処理のフローチャートである
(a)〜(e)は、各電極で計測された脳波波形から、特徴データを抽出する処理の遷移を示す図である。
判別部14の処理のフローチャートである。
判別部14の処理順序を示す図である。
HMD型脳波インタフェースシステム1を用いた本実験において、ユーザ10の顔面に接触する位置の例を示す図である。
教師データの例を示す図である。
精度検証の結果を示す図である。
実施形態1による第1の変形例にかかる脳波インタフェースシステム1aを示す図である。
実施形態1による第2の変形例にかかる脳波インタフェースシステム1bを示す図である。
HMD以外の例として、マッサージの施術ベッドの例を示す図である。
実施形態における脳波インタフェースシステム2の構成図である。
脳波特徴抽出部13における脳波特徴データ抽出処理のフローチャートである。
電極の装着位置を示す図である。
電極装着判別部17の処理のフローチャートである。
(a)〜(c)は、電極装着状態ごとの計測に使用する電極例を示す図である。
精度検証の結果を示す図である。
頭頂部で発生する特徴信号の発生時間帯や周波数帯の例を示す図である。
切り出されるWavelet変換されたデータの領域を示す図である。
以下ではまず、本願発明者らが行った実験を説明する。そして、当該実験から得られた知見、具体的には、国際10−20法の位置Pz(正中頭頂)で脳波を計測しなくても、従来眼電や筋電などの計測で利用されていた顔面部の電極、および、ユーザと接触する位置に設けた他の電極を利用することにより、位置Pzで計測した脳波に基づいて動作する脳波インタフェースシステムと同程度の精度で動作する脳波インタフェースを構築できることを説明する。その後、当該脳波インタフェースの各実施形態を説明する。
上述のとおり、ヘッドマウントディスプレイ(HMD)の、ユーザの顔面と接触する位置に電極を設け、顔の筋肉の反応(筋電)や眼球の動き(眼電)を計測する研究は従来から行われていた。
本願発明者らは、ユーザの顔面と接触するHMDの位置に電極を設け、その電極を用いて脳波を計測することができるか否かを実験した。
実験では、本願発明者らは脳波インタフェースを構築し、Pz(正中頭頂)に設けた電極で被験者8名の脳波を計測し、脳波に基づく脳波インタフェースの評価を行った。本願発明者らはあわせて、従来の眼電計測で利用されている電極位置を利用して脳波を計測する脳波インタフェースを構築し、同じ被験者8名に対してその脳波インタフェースの評価を実施した。
図1は、従来の眼電計測で利用していた電極の位置101〜104を示している。電極は、ユーザの両眼の左右の位置101および102、両眼間の位置104、および、右目上の位置103に貼り付けられる。
脳波の計測方法としては、電極の組み合わせにおいて、一方の電極を基準極、他方の電極を計測対象極とし、基準極を基準とした計測対象極の電位を計測する。脳波インタフェースはこの計測された脳波を利用して、判別を行う。
本実験では、従来眼電で利用されていた電極の組み合わせのうち、一方を基準極、他方を計測対象極と仮定し、識別率の評価を実施した。
評価結果は以下のとおりである。
眼の左右運動を計測する位置(基準極:右目横101と、計測対象極:左目横102の電位差)で計測した場合の識別率=37.8%
眼の上下運動を計測する位置(基準極:右目上103と、計測対象極:鼻104)で計測した場合の識別率=63.8%
従来利用されていた電極位置では、Pzで脳波を計測した場合の識別率と比較して、精度が悪いことが理解される。
眼電計測では、電極を装着した部分で発生する電位を計測するのが目的であるため、電極の位置関係が重要になるが、脳波の計測では、頭頂部で発生した電位を顔面部で計測するため、電極の位置関係は従来の眼電計測の位置関係にとらわれる必要はない。
そこで、HMDがユーザの頭部と接触する範囲内(以下、「HMD形状の範囲内」と記述する。)で眼電、筋電計測で利用されていた電極位置を総あたりで組み合わせ、脳波インタフェースを構築し、識別率の評価を行った。図2は、従来眼電計測や筋電計測で利用されていた電極位置のうち、HMD形状の範囲内に含まれる電極位置を示す。電極の位置としては、右耳上21、右目横22、右目上23、鼻24、左目上25、左目横26、左耳上27が想定される。
本願発明者らは、図2に示す顔面部の位置21〜27に設け得る電極のうちの2つの電極を1組として、すべての組を列挙した。そして、一方の電極を基準極とし、他方の電極を計測対象極として、脳波インタフェースの識別率の評価を行った。図3は、すべての電極位置の組合せと識別率との関係を示す。
実験の結果によると、顔面部の電極を組み合わせた場合においても、識別率は右目上25を基準極とした右目横26の電極の電位差を利用した場合の65.9%が最大であった。
このように、顔前面部の電極のみで脳波を計測してユーザが選択した項目の判別をおこなっても、位置Pzで計測した場合の識別率81.3%と比較して精度が悪く、脳波インタフェースの性能が十分ではないという結論が得られた。
次に、本願発明者らが実施したHMD形状の範囲内における最適基準極位置探索実験を説明する。
図4(a)は、従来の眼電計測で利用されていた顔面部の電極位置を示す。図4(a)に示すように、目の上28aの電極は眼窩29の上縁に装着され、目の横28bの電極は眼窩29の外縁(外眼瞼角)に、鼻の電極は鼻根28cに装着される。
図4(b)は、耳周辺部の電極位置30a〜30eを示している。従来の眼電計測では、耳の上の耳付根上部30eにも電極が装着されていた。
HMD形状の範囲に鑑みれば、眼電計測で利用されている顔面部の電極に加えて、HMDが耳と接触する位置にさらに他の電極を設けることが可能である。その位置は具体的には、耳下部(耳の付け根の下部)のマストイド30a、耳朶部30b、耳前部の耳珠30c、耳後部(耳の付け根の後部)30dなどの耳周辺部である。そこで、本願発明者らは、上記耳周辺部を代表して、耳の裏の付け根の頭蓋骨の突起部であるマストイド(乳様突起)30aを選択し、従来顔面部で利用されていた電極の位置に対し、マストイドを基準極とした脳波インタフェースの識別率評価実験を実施した。
実験は、HMD形状においてユーザの顔面に接触する位置の例として、図2に示す位置をあげ、それらの部分を利用した具体的な精度の検証を行った。
実験には、20代の被験者15名に対して計測実験を行い、覚醒度が高く維持されていた8名を対象に解析を行った。
脳波計測は、ポリメイトAP−1124(デジテックス製)を使用し、サンプリング周波数は200Hz、時定数は3秒、フィルタは30Hzのローパスフィルタをかけた。
図5は、本実験における電極位置の例を示す。本実験では、基準極を右マストイド31または左マストイド32とする。また、顔電極部として、従来眼電や筋電計測で利用されていた右耳上21、右目横22、右目上23、鼻24、左目上25、左目横26、左耳上27の7箇所に電極を装着し、設置電極は国際10−20法の場所表記によるFPz33に装着した。各被験者に40回ずつ選択してもらい、判別結果が的中した割合を識別率として算出を行うことで、精度検証を行った。
図6は、電極の組合せと識別率の関係を示す。実験結果より、マストイドを基準極とした組合せでは、右マストイド31を基準極にした右目上の電位差を利用した識別率が75.3%と最も高いことがわかった。また、平均の識別率でも左マストイド基準で57.8%、右マストイド基準で66.6%となった。左右のマストイドを基準に顔面部の電位を計測した脳波は、顔面部の電極を基準して計測された脳波よりも識別率が高くなり、脳波インタフェース構築に必要な脳波信号を含んでいることがわかる。
このように耳周辺部(マストイド)を基準とした顔面部の電極の電位差により脳波を計測することで、顔面部の電極だけを利用して脳波を計測した場合に比べて10%近く識別率を向上させることが可能となる。
しかし、マストイドを基準とした顔面部の電極の電位差により脳波を計測した場合でも、最大識別率75.3%と、Pzを利用した識別率81.3%にはまだ及ばない。
次に本願発明者らは、耳周辺部を基準とした顔面部の電位を利用して事象関連電位を計測し、頭頂部(Pz)近辺で発生した脳波信号が含まれる周波数帯のデータを利用した判別を行った。
具体的な判別方法を以下に説明する。まず、計測された事象関連電位を時間周波数分解(本実施形態ではWavelet変換)し、選択時の脳波の特徴信号の発生時間帯や周波数帯を選びだす。頭頂部で発生する特徴信号の発生時間帯や周波数帯の例を図28に示す。図28は横軸に時間(単位:ms)、縦軸に周波数(単位:Hz)を表している。図28のハッチングを付した時間周波数領域が、頭頂部で計測した事象関連電位の判別に利用される特徴信号である。顔面部でも同様に、特徴信号以外の領域を除外し、図28の特徴信号領域のみを抽出し、判別を行った。結果、69.7%と75.3%よりも精度が低下した。これは、微弱な信号の領域にノイズが多く混入してしまった結果であると考えられる。
そこで本願発明者らは、さらに精度を向上させるため、瞬きなどのノイズが混入する領域を除外したうえで、頭頂部近辺で発生した脳波信号が前面部に伝わってきている弱い特徴信号の時間周波数領域を抽出し、その成分を複数組み合わせた。その結果、脳波インタフェースに必要な強い特徴信号を抽出し、Pzと同程度の精度での脳波インタフェースを実現することができた。以下、本発明として、その脳波インタフェースシステムを説明する。
本発明により、耳周辺部を基準にした顔面部の電極の脳波信号の組み合わせで、脳波インタフェースの識別率を80.6%にまで向上させることが可能になり、位置Pzに電極を装着しなくても、十分高い性能を有する脳波インタフェースシステムが得られることを確認できた。
以下、添付の図面を参照しながら、本発明の実施形態を説明する。
(実施形態1)
図7は、本実施形態による脳波インタフェースシステム1の構成図である。脳波インタフェースシステム1は、耳電極部11と、顔電極部12と、脳波特徴抽出部13と、判別部14と、判別基準データベース(DB)15とを備えている。なお、図7では、ユーザ10は理解の便宜のために記載されている。
図8は、脳波インタフェースシステム1を眼鏡(ゴーグル)型ヘッドマウントディスプレイ(HMD)として構成した実施例である。以下では、図8に示すHDM型の脳波インタフェースシステム1を詳細に説明する。
図8に示すHMD型脳波インタフェースシステム1の各部位の名称は眼鏡と同様である。以下では、ユーザ10の耳に引っ掛かりHMD本体を固定する部分を「先セル部」と呼ぶ。また、ユーザ10の鼻に接触しHMD本体を支える部分を「ノーズパッド部」と呼ぶ。そしてユーザ10の各眼球の前に設置される出力部16を保持し固定する部分を「リム部」、両目の前のリム部をつなぎ支える部分を「ブリッジ部」、リム部と先セル部をつなぎ支える部分を「テンプル部」と呼ぶ。
耳電極部11はユーザの耳周辺部に設けられ、顔電極部12a、12bはユーザの顔面周辺に設けられる。具体的には、耳電極部11は、先セル部の内側に設置される。よって、耳電極部11は、ユーザ10の片側の耳の周辺と接触する。顔電極部12a、12bは、HMDのテンプル部、リム部、ノーズパッド部のいずれかに設置される。よって顔電極部12a、12bは、ユーザ10の顔面部の複数の箇所でユーザと接触する。
脳波特徴抽出部13は、耳電極部11と顔電極部12a、12bとの電位の差から脳波を計測し、脳波特徴データを抽出する。「脳波特徴データ」とは、脳波の時間的および周波数的な特徴を示すデータである。たとえば計測された脳波波形を後述のWavelet変換によって得ることができる。
判別部14は、ユーザの脳波特徴データに対して所定の判別基準に基づいて、ユーザが選択した項目を判別する。「所定の判別基準」とは、予め定められたデータであり、判別基準DB15に蓄積されている。ディスプレイ16は、判別部14の判別結果に基づいて機器の制御を行う。
図8の例では、耳電極部11は、HMDの右先セルの内側に設置され、顔電極部12aはHMDの右テンプル部、顔電極部12bはHMDの左上のリム部に設置されている。脳波特徴抽出部13、判別部14および判別基準DB15は、HMDのブリッジ部に設置されている。ディスプレイ16は、ユーザ10の目の前のレンズの部分に設置されている。なお、ディスプレイ16は図7に示す出力部の具体例である。
図8の構成は一例であり、耳電極部11の位置は右側左側のどちらでもよい。また、顔電極部12の位置は、HMDのテンプル部、リム部、ノーズパッド部、ブリッジ部のいずれかの位置に複数設置されていればよい。また、顔電極部の数は12a、12bの2つだけに限定せず、3つ以上の電極を左記の範囲に配置することは本特許の範疇である。また、脳波特徴抽出部13、判別部14、判別基準DB15が設置される位置はこの限りではなく、HMD形状の範囲内のいずれかの位置に設置することが可能である。なお、判別基準DB15は、HDM内に設けなくてもよく、脳波インタフェースシステム1の使用環境(たとえば自宅内)に配置されていてもよい。そのときは、判別部14と無線で接続すればよい。または判別基準DB15を判別部14内に組み込まれ、判別部14の機能の一部とされてもよい。
また、ディスプレイ16は、選択された項目に関係する映像の出力を想定して、眼鏡におけるレンズの位置に設置する例を示した。しかし、音声を出力するスピーカーや音声出力端子等の、映像表示以外の機器制御を行ってもよい。
図9は、本実施形態による脳波インタフェース装置のハードウェア構成図である。
耳電極部11と顔面部に複数装着された顔電極部12(電極12a、12b)はバス131に接続されており、脳波特徴抽出部13との信号の授受が行われる。脳波特徴抽出部13は、CPU111aとRAM111bとROM111cとを有している。CPU111aは、ROM111cに格納されているコンピュータプログラム111dをRAM111bに読み出し、RAM111b上に展開して実行する。脳波特徴抽出部13は、このコンピュータプログラム111dにしたがって、後述の脳波特徴データ抽出の処理を行う。脳波特徴抽出部13はさらに、バス132と接続されており、各構成要素信号の授受が行われる。なお、バス131とバス132は共通のバスを利用してもよい。
判別部14は、CPU112aと、RAM112bと、ROM112cとを有している。CPU112aと、RAM112bと、ROM112cのそれぞれの機能は、脳波特徴抽出部13の同名の構成要素と同様である。ROM112cに格納されたコンピュータプログラム112dは、ROM112cに格納された判別基準DBの判断基準に基づいた処理を行う。なお、脳波特徴抽出部13および判別部14のCPU、RAMおよびROMを共通化し、コンピュータプログラムのみを別個設け、構成を簡略化してもよい。また、ROM111c、ROM112cは書き換え可能なROM(たとえばEEPROM)であってもよい。
ディスプレイ16は、画像処理回路121を有している。画像処理回路121は、CPU112aの結果に従い、選択されたコンテンツ映像表示などの映像信号を画面122へ出力する。また、ディスプレイ16は、HMDに必要な情報を提示する機能をあわせて有していてもよい。
なお、上述のディスプレイ16は、映像機器の制御を想定して、ディスプレイ16が画像処理回路121や画面122を有すると説明した。しかしながら、制御する機器のモーダルの種類に応じて、画像処理回路121や画面122を音声処理回路やスピーカーなどとしてもよい。
上述のコンピュータプログラムは、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、脳波特徴抽出部13および判別部14は、半導体回路にコンピュータプログラムを組み込んだDSP等のハードウェアとして実現することも可能である。
次に、本発明のHMDのインタフェースとして利用される脳波インタフェースシステム1の概要について説明し、その処理を概観した後に、脳波特徴データの抽出方法を説明する。
脳波インタフェースでできることは、脳波特徴データを用いて、ディスプレイ等に表示された複数の選択項目からユーザがどの項目を選択したいかを識別することである。
図10は、脳波インタフェースシステム1で行われる処理のフローチャートを示す。また図11は、脳波インタフェースシステム1で行われる処理の例を示す。以下、適宜図11を参照しながら、図10の脳波インタフェースシステム1の動作を説明する。
ステップS51では、ディスプレイ16がメニュー画面を表示する。「メニュー画面」とは、機器操作するための選択項目をリスト状に表示した画面をいう。
ユーザ10は、表示されたメニュー画面の選択肢の中から所望の項目を選択することで機器操作を行うことが可能になる。所望の項目の選択は、ユーザが頭の中で考えることにより実現される。
コンテンツ視聴時には、図11(a)のような選択前の画面151がディスプレイ16に表示されている。脳波インタフェースシステム1が起動されることによって、図11(b)のようなメニュー画面152が表示される。画面には「どの番組をご覧になりたいですか?」という質問153と、見たい番組の候補である選択肢154が提示される。ここでは「野球」154a「天気予報」154b「アニメ」154c「ニュース」154dの4種類が表示されている。この4種類のうち一つは明るい色でハイライト表示されている。
ステップS52で、脳波特徴抽出部13は、ハイライトを行う項目を決定する。図11(b)の例ではまず一番上の野球154aが決定される。以下、このステップS52が実行されるたびに、順次次の選択肢のハイライトを決定し、4つ目のニュースの次はまた一番目の野球に戻る。
ステップS53では、ディスプレイ16がステップS52で決定された項目をハイライト表示する。「ハイライト表示」とは、他の項目より明るい背景によって表示されたり、明るい文字色によって表示されたり、それ以外にも、カーソル等で指し示すことによって指示される。ここではユーザ10が見たときに、システム側が現在どの項目について注意して欲しいかが伝わるようになっていればよい。
ステップS54では、脳波特徴抽出部13が事象関連電位の取得を行う。事象関連電位は耳電極部11と顔面部に複数装着された顔電極部12の電位差から複数計測される。換言すれば、耳電極部11と顔面部に複数装着された顔電極部12の電位差に基づいて計測される物理量が、事象関連電位である。ステップS53にてハイライト表示された瞬間が、事象関連電位取得の起点とされる。この起点から、例えば100ミリ秒前から600ms後までの脳波を取得する。これによって、ハイライト表示された項目に対するユーザの反応が得られる。なお、脳波特徴抽出部13がハイライトのタイミングを決定しているため、脳波特徴抽出部13が起点から100ミリ秒前の時点を特定することは可能である。よって、起点が定められる前の時刻であっても、事象関連電位の取得を開始することができる。
ステップS55では、脳波特徴抽出部13は、計測された複数の事象関連電位の波形データに基づいて脳波特徴データを抽出する。脳波特徴データの具体的な抽出方法は後述する。
ステップS56では、判別部14は、抽出した脳波特徴データを判別基準DB15に蓄積された判断基準に従って識別する。
識別される内容は、現在取得した脳波特徴データの波形が、ユーザ10が選択したい項目に対する波形か、それとも選択したくない項目に対する波形かを判別するものである。
ステップS57では、ユーザ10が選択したい項目に対する波形と判別された場合、選択された項目をディスプレイ16により実行するものである。
なお、上述の判別基準、取得した脳波特徴データの波形に基づく識別方法の具体例、および、選択された項目の出力例は後述する。
このような処理によって、ボタン操作等することなく、脳波によってメニュー項目の選択が実現される。
なお、ステップS52では、ハイライトする項目を上から順番に決定するとしたが、ランダムに提示する方法も可能である。これにより、事前にどの項目が選択されるか不明なため、ユーザ10がより注意深く選択を行うため脳波の振幅が大きくなり、判別に利用する特徴信号が明瞭に出現することで、判別が行いやすくなる可能性がある。
次に、ステップS51からステップS55で行われる脳波特徴抽出部13の処理に関して説明を行う。本実施形態では、図6の実験の結果において精度の高かった顔電極部の位置を例に説明する。顔電極部12の電極位置を左目上23(図2)、右目上25(図2)、右耳上27(図2)に示す位置とし、耳電極部11は右マストイドに装着すると仮定する。図12のフローチャートおよび図13の波形の例を用いて、脳波特徴抽出部13の処理の詳細を説明する。
まず、ステップS61では、耳電極部11を基準に、顔面部に複数装着した顔電極部12の電位差を計測することにより、常時脳波の計測が行われている。図13(a)に、ステップS61で計測されている脳波の例を示す。脳波は、3つの波形が同時に計測されており、ハイライトのタイミングも蓄積されている。3つの波形とは以下のとおりである。
波形1−右耳電極部を基準にした左目上電極の脳波波形
波形2−右耳電極部を基準にした右目上電極の脳波波形
波形3−右耳電極部を基準にした右耳上の脳波波形
ステップS62では、脳波特徴抽出部13がハイライトをディスプレイ16に指示する。ディスプレイ16では、図11(b)に示すような項目ハイライトの出力が行われる。脳波特徴抽出部13では指示したハイライトタイミングを保持し、ハイライトを行った場合、ステップS63にて、ハイライトを指示したタイミングを起点とした事象関連電位の取得を行う。
具体的には、上述の波形1〜3の脳波から、ハイライトタイミングの−100ミリ秒〜600ミリ秒の区間を切り取って、3本の事象関連電位をそれぞれ取得する。また、取得した事象関連電位に対して、ベースライン補正を行う。ベースラインは、−100ミリ秒〜0ミリ秒の区間の値とする。取得された1〜3の事象関連電位の例を図13(b)に示す。
ステップS64では、脳波特徴抽出部13にて取得した事象関連電位の時間周波数分解(Wavelet変換)を行う。Wavelet変換により、脳波を時間と周波数の特徴量に詳細化することで、選択時の脳波の特徴信号の発生時間帯や周波数帯を選び出して抽出することが可能になる。具体的な発生時間帯や周波数帯の値は後述する。波形1〜3の事象関連電位をWavelet変換したデータの例を図13(c)に示す。Wavelet変換の範囲は、取得した事象関連電位のうち0msから600msの区間に対して、脳波の成分を含む0から15Hzの範囲内で変換される。図13(c)のグラフはWavelet変換後のデータを示している。グラフの横軸は時間成分で、縦軸は周波数成分を示しており、色の濃い部分が強いパワーが出現していることを表している。
ステップS65では、Wavelet変換されたデータから、眼の動き(サッケード)に起因するノイズ成分を除去することにより、必要な脳波特徴信号に関する領域の切り出しを行う。顔面部で計測される脳波には、頭頂部で計測されていた場合には計測されなかった微細な眼の動き(サッケード)に起因する電位が多く混入する。サッケードのノイズは主に5〜17Hzの領域に混入し、この領域に含まれる脳波特徴信号にもノイズが多く混入していると考えられる。そこで、周波数0Hzより大きく、5Hz以下の領域を切り出すことで、ノイズ混入が少ない脳波特徴成分を抽出することができる。図29は、切り出されるWavelet変換されたデータの領域を示す。領域(a)は、5Hzより高い周波数領域のデータの集合であり、サッケードノイズが混入する領域として除外される。
ハイライト後から200msまでの区間は、瞬きに起因するノイズの混入や視覚刺激の反応等のノイズの影響が現れる。これらもまた、頭頂部で計測する際には問題とならないが、顔面部で脳波計測を行う場合には大きな問題となる。これらのノイズを軽減するため、図29の領域(b)に示す、ハイライト後200msまでと400ms以降の区間をノイズ領域として除外する。
領域(a)および(b)が除外され、その結果残された領域は、脳波特徴成分に対応するデータとして抽出される。
切り出す領域を図13(c)に示す。周波数5Hz以下の200msから400msの領域は、図13(c)の点線内の部分となり、点線内に含まれるサンプル点の抽出を、上述の3種の波形1〜3について行う。
ステップS66では、脳波特徴抽出部13において抽出された波形1〜3についての3つの脳波特徴成分を1つのデータに組み合わせ、脳波特徴データとして出力する。
次に、判別部14の具体的な判別処理の例を、図14のフローおよび図15のデータの流れの図を用いて説明する。
判別部14には、あらかじめ選択したい項目に対する波形と選択したくない項目に対する波形を教師データが保持されている。
「教師データ」は、以下の手順により、予め取得され保持されている。まず、複数人のユーザ(被験者)に、あらかじめどの選択肢を選択するか事前に明らかにしてもらった上で、実際に脳波インタフェースを利用する際と同様の電極位置において脳波インタフェースを実施し、項目を選択してもらう。その際に記録した事象関連電位データを上記の脳波計測と同様にWavelet変換し、周波数5Hz以下の200msから400msの脳波特徴領域のサンプル点を抽出する。複数の電極組み合わせから抽出した脳波特徴領域のサンプル点を1つのデータに組み合わせ、脳波特徴データを作成する。この脳波特徴データを選択したい項目に対するものと選択したくない(選択していない)項目に分類し、脳波特徴データと対応づけて教師データとして保持する。
この教師データは、上記のように不特定の複数人の脳波をもとに作成してもよいし、脳波インタフェースを利用するユーザ10に対し、上記と同様あらかじめ学習作業を実施し、ユーザ10の脳波を利用した教師データを作成してもよい。
ステップS81で、判別部14は、脳波特徴抽出部13より、各項目に対する脳波特徴データを取得する。図11の例に即して説明すると、判別部14は、図15に示すように脳波インタフェースの4つの項目「野球」「天気予報」「アニメ」「ニュース」を起点とした脳波特徴データ(41a、41b、41c、41d)を脳波特徴抽出部13より受信する。
ステップS82で、判別部14は、脳波特徴データが、選択したい場合の波形とどれだけ類似しているかを表す類似度の算出を行う。判別部14には、上述したようにあらかじめ教師データが保持されており、類似度の算出は、この教師データに含まれる選択したい場合の波形と選択したくない場合の波形を利用する。教師データに含まれる波形を選択したい場合の波形(正解波形)と選択したくない場合の波形(不正解波形)の2つの群に分類し、計測された脳波特徴データと、正解波形群、不正解波形群との距離を計算することにより、正解波形群との類似度を算出する。類似度の算出は、線形判別手法を利用する。計測された脳波特徴データが正解波形群に属する事後確率(posterior)を利用する。
判別部14は、各項目の脳波特徴データについて、同様に類似度を算出する。例えば、図15(b)に示すように、項目1〜4のそれぞれについて、類似度(事後確率)の算出を行う。
なお、本実施形態では、類似度の算出は線形判別手法を利用したが、サポートベクターマシンやニューラルネットなどの手法を用いることにより、正解波形群、不正解波形群をわける境界線から、計測された脳波特徴データがどれだけ正解波形群に近いか(境界線からの距離)を算出することで正解波形群との類似度を算出してもよい。
ステップS83で、判別部14は、各項目について算出された脳波特徴データの類似度の値を比較し、最も正解波形に類似している波形を選び出し、結果として出力する。例えば、類似度の値が最も大きい項目が、ユーザ10が選択した項目として識別する。図15の例の場合では、類似度はそれぞれ0.76、0.30、0.22、0.28であり、最も類似度の大きい「項目1」が選択された項目として識別され、図15(c)のような結果となる。識別された結果は、判別部14によりディスプレイ16に出力される。
次に、ディスプレイ16の出力例を説明する。図11(b)のように、映像コンテンツのジャンルを選択するインタフェースの例の場合、ユーザ10が選択したい項目に対する波形と判別された場合には、選択された項目にあった映像が映像出力デバイスを通じて出力される。例えば、図11(b)に示す項目選択の例において天気予報が選択された場合には、図11(c)に示すように、天気予報の映像155が出力される。
本実施形態においては、図7の出力部16の具体例としてディスプレイ16を挙げたが、出力を制御する対象に応じて出力部の具体的な構成は適宜変更される。たとえば、選択項目に応じたコンテンツ表示などの映像出力に代えて、またはそれとともに、音楽再生などの音声出力をする場合には、出力部16はスピーカの駆動制御回路を含む。さらに、アンプ、オーディオプレーヤなどの外部機器の操作する場合には、外部機器への制御信号を出力する制御回路、出力端子等もまた、出力部16の出力の範疇である。また、バイブレーションで反応をユーザに通知する振動出力をする場合には、出力部はバイブレータの駆動制御回路を含む。
なお、本実施形態では、選択された項目に基づいて、項目に合わせた映像を出力する脳波インタフェースを例にして説明を行ったが、判別結果を単に画面に出力する場合や、判別結果を出力しない脳波インタフェースについても、本発明の範疇に含まれる。
以上のような処理によって、耳周辺部と顔面部に設置された電極から、頭頂部に電極を設置した場合と同等の精度でユーザが選択した項目を判別することが可能となる。これにより、ユーザはわざわざHMD等のウェアラブル機器以外に電極を装着する必要がなくなり、ウェアラブル機器装着と同時に電極の装着も行えるため、機器装着負担が削減することができる。
次に、本願発明者らが実施した実験の内容とその結果を説明し、本実施形態の詳細と、その効果について説明する。
図16は、HMD型脳波インタフェースシステム1を用いた本実験において、ユーザ10の顔面に接触する位置の例を示す。この位置に接触するよう、電極が配置されている。この位置の電極を利用して、具体的な精度の検証を行った。
本願発明者らは、まず20代の被験者15名に対して計測実験を行い、覚醒度が高く維持されていた8名を対象に解析を行った。被験者は上述の評価実験の被験者と同じである。
脳波計測は、ポリメイトAP−1124(デジテックス製)を使用し、サンプリング周波数は200Hz、時定数は3秒、フィルタは30Hzのローパスフィルタをかけた。
電極は4箇所に配置した。耳電極部11は右マストイド31(図16)であり、これを基準極とした。顔電極部12は、左目中心部より4cm上の左目上部23(図16)、および、右目中心部から4cm上の右目上部25(図16)、右耳の付け根最上部から2cm上の耳上(右耳上)部27(図16)とした。設置電極は国際10−20法の場所表記によるFPz33(図16)に装着した。また、頭頂部での脳波計測との比較を目的として、国際10−20法の場所表記によるPzにも電極を装着した。
各被験者に40回ずつ選択してもらい、顔前面部で計測した場合と、Pzで計測した場合とで、同様の判別アルゴリズムで判別を実施し、判別結果が的中した割合を識別率として算出を行うことで、精度検証を行った。
評価の対象として利用した判別アルゴリズムでは、上述のステップS63からステップS64の処理を実施してWaveletデータを作成し、ステップS65において眼電等のノイズ除去処理を行った脳波特徴成分に対して判別処理を実施した。
具体的には、ハイライトタイミングを起点にした0ms〜600msの事象関連電位(サンプリング間隔5ms、Double型)のデータに対してWavelet変換を行った。Wavelet変換の周波数成分のサンプリング数は15Hz以下を40サンプルとし、時間成分のサンプリング数は0ms〜600msの140サンプルとし、40×140のWaveletデータに変換した。さらにWaveletデータのノイズの平滑化を目的に、Waveletデータに対し、4×20(周波数0〜15Hzを4分割、時間0〜600msを20分割のDouble型)のリサンプリングを行うことにより、事象関連電位のWavelet変換データを算出した。
ステップS65の脳波特徴成分(5Hz以下で200ms〜400msの領域)は、上記事象関連電位のWavelet変換データのうち、図13の(e)に示す時間周波数領域を抽出した。すなわち、周波数成分は、4分割された成分のうち低周波2成分の領域で、かつ、時間成分は210ms〜390msの領域(8〜13サンプル目の領域)の計12サンプルを脳波特徴領域として抽出した。各電極の組み合わせごとに抽出された脳波特徴領域のデータは1つのデータに結合され、脳波特徴データとなる。本実験では、耳基準の左目上の組み合わせ、耳基準の右目上の組み合わせ、耳基準の右耳上の組み合わせの3つの脳波からの脳波特徴成分抽出が行われるため、12サンプル点が3個結合した36サンプル点を持つ脳波特徴データが作成される。
判別部14では、上述の処理で作成された36サンプル点の脳波特徴データを線形判別することにより、選択したい項目に対する波形かの判別を行う。
ここで、判別部14による判別処理に利用される教師データのデータ構造および作成方法を説明する。
図17は、教師データの例を示す。この教師データは予め作成され、判別基準DB15に保持されている。教師データの作成方法は以下のとおりである。
まず、あらかじめ同一のユーザ10に、どの選択肢を選択するか事前に明らかにした上で、同様の電極位置における脳波インタフェースを実施し、項目を選択してもらう。その際に記録した事象関連電位データを上記の脳波計測と同様にWavelet変換し、図16に示す位置のそれぞれの電極の組み合わせから周波数5Hz以下の200msから400msの脳波特徴領域から12サンプル点ずつ抽出する。3つの電極組み合わせから抽出した脳波特徴領域のサンプル点を1つのデータに組み合わせ、36サンプル点の脳波特徴データを作成する。さらに、各脳波特徴データと、選択したい項目に対するデータか選択したくない(選択していない)項目に対するデータかを分類するため、脳波特徴データと対応づけて、選択したい項目に対する脳波特徴データには「+1」を、選択したくない項目に対する脳波特徴データには「−1」を正解不正解インデックスとして付与し、教師データとして保持する。
判別部14は、この教師データの複数の脳波特徴データと、今回ユーザ10から計測した36サンプル点の脳波特徴データとで類似度の計算を実施する。今回ユーザ10から計測した脳波特徴データが、図17に示した教師データの「+1」の群に含まれる確率(事後確率)を線形判別方式にて算出することで類似度を算出した。それぞれの項目において計測された脳波特徴データに対し、同様に類似度を算出する。判別部14は、各項目について算出した類似度を比較し、最大の値をとった項目が、今回ユーザ10から計測した脳波が選択したい項目に対する脳波の波形として判別を行った。
精度検証の結果を図18に示す。
実験の結果より、マストイドを基準とした顔面部に装着した電極との電位差による脳波計測を利用した脳波インタフェースの精度は図6に示すとおり、1−右マストイドを基準極にした左目上電極の脳波を利用した場合は75.0%、2−右マストイドを基準極にした右目上電極の脳波を利用した場合は、75.3%、3−右マストイドを基準極にした右耳上電極の脳波を利用した場合は、68.1%であった。
本発明を利用して、波形1〜3の脳波から脳波特徴領域を抽出し、組み合わせて作成した脳波特徴データにより判別を実施した結果、80.6%と、電極を組み合わせる前の波形1〜3の個別の識別率と比較して、最大10%以上の精度の向上が可能となった。また、識別率も約8割とPzで計測した場合とほぼ同等の精度となっていることがわかった。
ここで、例えば波形1の脳波特徴成分を15Hz以下で200ms〜400msの領域とし、データ数を倍の24サンプルにして、波形1の脳波特徴成分を利用した識別を行った場合の識別率の算出を行った。その結果、識別率は72.5%であり、12サンプルの場合の精度75.0%と比べても精度の向上が見られなかった。
これは、識別のためのサンプル数を増やしただけでは精度が向上しないことを示している。識別のためのサンプル点にノイズを含んだサンプル点が存在すると、ユーザ10が選択したい項目かどうかにかかわらずノイズが混入する可能性が高くなり、ノイズが脳波の特徴信号と識別されてしまう割合が高くなることで識別率が低下する。つまり、識別精度には、識別に利用するサンプル点の数よりもノイズの混入が少ないサンプル点かどうかが効いていると考えられる。
このように、単に組み合わせ等で脳波特徴成分のサンプル数を増やしても精度は向上せず、眼球運動に起因するノイズ成分を除去した上で特徴成分を組み合わせた脳波特徴データを利用して、はじめて精度が向上すると考えられる。
以上の実験結果から、耳周辺部(マストイド)を基準にして顔面部の複数の電極の電位から特徴データの抽出を行い、組み合わせたデータを判別することにより、耳電極部と顔面部の電極で計測される脳波単体で判別を行った場合よりも、高い精度で脳波インタフェースを構築できることがわかる。
また、本発明により精度を向上したことで、頭頂部で脳波を計測した場合と同等の精度で脳波インタフェースを構築できることがわかる。
このように、耳周辺部の電極を基準に顔面部で計測した事象関連電位から、Wavelet変換により、眼の動きに起因するノイズを除去した特徴信号成分を抽出した上で、複数の電極分の特徴信号成分を組み合わせて脳波特徴データを作成し利用する。これにより、はじめて頭頂部に電極を装着した場合と同等の高い精度での判別が可能となり、HMD等のウェアラブル機器以外に電極を装着する必要がなくなるため、ユーザの機器装着負担を削減できる。
これまでは、ディスプレイ16の表示内容を制御する例(図11)を説明した。しかしながら、表示内容の制御は例である。以下、図19および図20を参照しながら、外部機器を制御する例を説明する。
図19は、本実施形態による第1の変形例にかかる脳波インタフェースシステム1aを示す。脳波インタフェースシステム1a中の眼鏡型ヘッドマウントディスプレイ(HMD)100aには、送信装置4が設けられている。その他の構成は図8に示す構成と同じである。
HMD100aのディスプレイ16の表示内容が測定されたユーザの事象関連電位に基づいて制御されるとともに、エアコン3の動作が制御される。たとえば、ディスプレイ16にエアコン3の動作メニュー(たとえば「冷房」、「暖房」、「ドライ」)が表示され、順次ハイライトされる。所望の項目がハイライトされたとき、ユーザがその項目の選択をしたいと考える。すると、上述の処理により、事象関連電位に基づいて選択を希望した項目が特定される。判別部14は、その項目に対応する制御信号を生成して、送信装置4を介して出力する。
エアコン3の受信装置5は、送信装置4から送信された制御信号を受け取る。その結果、エアコン3は、その制御信号に対応する運転を開始する。
なお、送信装置4および受信装置5は、たとえば赤外線による送信機および受信機である。
図20は、本実施形態による第2の変形例にかかる脳波インタフェースシステム1bを示す。脳波インタフェースシステム1b中の眼鏡型コントローラ100bには、送信装置4が設けられているが、ディスプレイは設けられていない。先の変形例にかかるディスプレイに代えて、脳波インタフェースシステム1bでは、制御対象の機器としてTV7が設けられている。眼鏡型コントローラ100bには、通信装置6aが設けられており、TV7に設けられた通信装置6bと双方向通信が可能である。TV7のディスプレイ16に表示される内容は、上述のとおりである。眼鏡型コントローラ100bは、TV7の表示内容を制御する制御装置として機能する。
この変形例から明らかなように、図7の出力部16は、判別部14等と同じ筐体に設けられたディスプレイであってもよいし、異なる筐体に設けられたディスプレイであってもよい。
なお、本実施形態では、マストイドを基準極とする例で説明を行ったが、必ずしも耳電極部はマストイドに装着されることを限定するものではない。従来の脳波計測でも、マストイド部や耳朶部は脳電位、心電位、筋電位の影響を受けにくい部位として脳波計測でも同じように利用されることが多いことから、図4(b)に示した耳朶部、耳珠部、耳付根後部を含む耳周辺部に耳電極部を装着した場合も本発明の範疇と考えられる。
また、上述の例では、HMDを例にして処理の説明を行ったが、耳周辺部に装着した耳電極と顔面部に複数装着した顔電極部による脳波インタフェースが本実施形態の範疇であり、実現される装置はHMDに限定されない。HMD以外の例として、マッサージの施術ベッドの例を図21に示す。
ユーザはマッサージの施術ベッドにうつぶせに寝転び、ベッドに開けられた穴に顔を固定した状態でマッサージの施術をうける。この顔を固定する部分に、ユーザの耳周辺部と顔面部に接するように電極を配置し、穴の底に、たとえばテレビ(図示せず)を設けてメニューを表示する。このテレビは、マッサージ施術中にユーザが放送番組を視聴するために設けられている。メニューの一部であるメニュー項目として、操作対象の機器の機能が表示される。希望するメニュー項目がハイライトされたときに、ユーザがその機能、たとえばチャンネル切り替え、を使用したいと頭の中で考えることで、施術中にチャンネルが切り替えられる。これにより、脳波インタフェースシステムによる機器の制御に適用することができる。
このように、HMD以外のゴーグル型機器のインタフェースや、施術ベッドのように特定の場所に顔を固定する機器のインタフェースにおいても、本発明を適用することが可能である。
なお、本実施形態では、判別基準DB15に蓄積された判断基準を、不特定多数のユーザの脳波特徴データにより教師データを作成し線形判別を行うと説明したが、判断基準は閾値であり、抽出したユーザ10の脳波特徴データに、その閾値より大きい値を含むかどうかで選択したい項目に対する脳波波形かどうかの判別を行ってもよい。上記の場合、判別基準DBには、閾値の値が保持される。
(実施形態2)
実施形態1では、耳周辺部に基準極1つと顔面部位置に複数の電極を利用した脳波から脳波特徴データを抽出することで判別を行っていた。
HMDのような装着が不安定な機器の場合、顔に装着した電極の位置がずれたり外れたり、同様に耳周辺部に装着した基準極がずれたり外れたりするケースが頻発すると考えられる。また、発汗や、外気温や乾燥肌などの個人の特性の影響による皮膚の状態などによって電極と皮膚との接触が弱くなり、電極が皮膚から浮いてしまうケースや、電極と皮膚との間に汗などの不純物が混入してノイズが増加し、脳波信号が正しく計測できなくなるケースも多く発生すると考えられる。
そこで、本実施形態では、電極の1つに装着状態の不具合が発生した場合でも、実施形態1の発明が適用可能で、安定した精度で脳波判別が行える脳波インタフェースシステムについて説明する。
図22は、本実施形態における脳波インタフェースシステム2の構成図である。実施形態1と同じ構成要素には同じ番号を付与し、説明を省略する。
本実施形態による脳波インタフェースシステム2が実施形態1による脳波インタフェースシステム1と異なるのは、耳電極部11が複数になった点、および、新たに電極装着判別部17が設けられた点である。電極装着判別部17は、装着している各電極が適正に装着されている状態かを判別する。なお、主要な構成要素としては、電極装着判別部17が異なるだけであるが、電極装着判別部17の信号を受ける脳波特徴抽出部13内部の処理も異なる。
本実施形態における全体の処理のフローチャートは、実施形態1のフローチャート図10と同一である。よって脳波特徴抽出部13における脳波特徴データ抽出処理に関するフローチャートを説明し、電極装着判別部17や具体的な処理について説明する。
図23は、脳波特徴抽出部13における脳波特徴データ抽出処理のフローチャートを示す。実施形態1と同じ処理を行うステップに関しては、説明を簡易にとどめる。なお、各ステップの説明の詳細は、後に詳述する。
ステップS101において、電極装着判別部17は、ユーザ10が装着している各電極(耳電極部11、顔電極部12)の装着状態を判別し、電極装着情報を出力する。「装着状態」とは、電極が皮膚から外れていないか、外れかけていないか等を意味する。判別は、各電極間の電気的特性を調べることによって行われる。具体的には、判別は、電極間のインピーダンスをチェックすることにより行われる。
ステップS102において、電極装着判別部17において判別された電極状態情報に基づいて、脳波特徴抽出部13は計測すべき電極の組合せを選択する。
ステップS61では、脳波特徴抽出部13が、選択された電極の組み合わせの電位差を計測することにより、脳波を計測する。
ステップS62では、脳波特徴抽出部13の指示により、出力部16でハイライト表示が行われる。
ステップS63では、電極組合せ選択をして計測された脳波に対し、脳波特徴抽出部13は、ハイライトを指示したタイミングを起点とした事象関連電位の取得を行う。
ステップS64では、取得した事象関連電位を時間と周波数の特徴量に詳細化するため、Wavelet変換を行う。
ステップS65では、Wavelet変換されたデータから、脳波特徴信号に関する領域のみの切り出しを行う。
ステップS66では、脳波特徴抽出部において切り出しが行われた複数の脳波特徴成分を1つのデータに組み合わせ、脳波特徴データとして出力する。
その後の判別部14における判定処理や出力部16における出力例については、実施形態1で説明したものと同一である。
次に、図24を参照しながら、電極装着判別部17における電極装着状態の判別方法を説明する。電極は、図24に示す位置11a、11b、12aおよび12bに装着されているとする。すなわち、ユーザ10は右耳周辺部に耳電極部11aを、左耳周辺部に耳電極部11bを装着し、右耳上に顔電極部12aを、左目上に顔電極部12bを装着している。
図25は、電極装着判別部17の処理のフローチャートを示す。
ステップS71では、電極装着判別部17は、インピーダンスチェックにより、電極間の装着不具合判別を行う。これにより、電極とユーザの皮膚が接触しているかどうかを特定することができる。
インピーダンスチェックとは、2つの電極に間にごく微量の電流を流すことにより、2つの電極と皮膚とが接地している箇所にどれだけの抵抗値が発生しているかを計測する方式である。電極が外れた場合やユーザの発汗等により脳波が適正に検出できなくなった場合、電極の抵抗値が高くなる。よって、インピーダンスチェックし、電極の抵抗値を計測することにより、どの組み合わせの電極が正しく接地されていないかを判別することができる。
図24に示す両方の耳電極部11a、11bを基準とした顔面部に装着された電極12a、12bの電極の組み合わせは、耳電極部11aと顔電極部12aの組み合わせ201と、耳電極部11bと顔電極部12aの組み合わせ202と、耳電極部11aと顔電極部12bの組み合わせ203と、耳電極部11bと顔電極部12bの組み合わせ204とがあげられる。電極装着判別部17は、上記4つの電極の組み合わせ201、202、203、204におけるインピーダンスチェックを行い、各組合せ抵抗値の計測を行う。
ステップS72において、電極装着判別部17は、電極の組み合わせ201、202、203、204の抵抗値のうち、抵抗値が高いものが複数存在するかを判定する。具体的には、ステップS72で計測したある電極の組合せの抵抗値が100kオーム(キロオーム)を超えていた場合、電極の組み合わせのいずれかの電極に接地の不具合があると判別する。
抵抗値が高い電極の組合せが存在しなかった場合は、ステップS74で「不具合電極なし」の電極状態情報を脳波特徴抽出部13に出力する。たとえば抵抗値が5キロオーム程度であれば、その電極の組はいずれも問題なく装着されているといえる。
なお、ステップS71の電極間の装着不具合チェックやステップS72の装着不具合な組み合わせのチェックをインピーダンスチェックの利用により電極装着状態の判別を行うと説明したが、電極の組み合わせごとに脳波を測定し、脳波の周波数などの特性を判別することで電極間の装着不具合の検出行ってもよい。例えば、計測した脳波が±100μVを超えた回数や計測した脳波の周波数成分を調べることで、電極装着状態の判別を行うことができる。上述のように、抵抗値ではなく波形の特性を利用して電極状態の判別を行う場合、ステップS72では、電極装着不具合の特性を持つ脳波が計測された電極の組み合わせが、複数存在するかどうかのチェックが行われる。
ステップS72にて装着の不具合がある電極の組合せが複数存在した場合、ステップS73で電極装着判別部17は、装着の不具合がある電極の組み合わせに共通して含まれる電極を探索することにより、不具合電極を特定する。一般的に、インピーダンスチェックや波形の特性による装着不具合検出では、電極の組み合わせのいずれか一方に不具合があるということしか判別が行えない。よって、装着の不具合がある電極の組み合わせを複数検出し、複数の組み合わせに共通して含まれているか電極を特定することで、どの電極が外れているか等の不具合の発生を特定することが可能となる。例えば、図24の電極の組201間の抵抗値、および、電極の組202間の抵抗値が大きかった場合、2つの組み合わせに共通する顔電極部12aが、装着に不具合がある電極として特定される。
不具合が発生している電極を特定した後、電極装着判別部17はステップS74で、特定した電極の位置情報を電極状態情報として脳波特徴抽出部13に出力する。例えば、顔電極部12aが装着に不具合があった場合には、「右耳上電極不具合」の情報が電極状態情報として出力される。
上記の例では、インピーダンスチェックや脳波計測によって電極装着状態の判別を行う例を説明したが、圧力センサのような新たなセンサを電極に追加することにより、接地圧の強さによって電極の装着状態の判別を行ってもよい。
上記では、電極状態情報を「不具合電極なし」「右耳上電極不具合」として説明を行ったが、電極装着判別部17は何も出力しないことで不具合の状態の電極がないことを通知してもよい。また、電極に個別のIDが存在する場合は、電極のIDを出力することで、不具合のある電極を通知してもよい。
さらに、電極の組合せの抵抗値が100キロオームを超えないが、100キロオームに近いとき(たとえば80〜100キロオームの範囲内)には電極が外れかかっていると考えられる。そのような電極を利用して得られる脳波信号の信頼性は低く、その後の処理に利用すると、脳波インタフェースシステム2の判別精度を下げる可能性がある。よって、上述の電極外れと同じ方法によって外れかかっている電極を特定することにより、その電極から得られる事象関連電位を破棄してもよいし、不具合のある電極を通知してもよい。また、その電極から得られる事象関連電位に対してノイズ除去等処理を行ってもよい。
次に、脳波特徴抽出部13の処理について、図26(a)〜(c)の電極装着状態ごとの計測例を利用して説明を行う。
脳波特徴抽出部13は、電極装着判別部17の電極状態情報を受信し、脳波計測を行うべき電極の組合せを決定する。
電極装着判別部17より「不具合電極なし」の電極状態情報を受信した場合、脳波特徴抽出部13は、図26(a)に示すように、両方の耳電極部11a、11bを基準とした複数の顔電極の組み合わせ(図24の電極の組201、202、203、204)の電位差により、脳波を計測する。
また、電極装着判別部17より「右耳上電極不具合」の電極状態情報を受信した場合、脳波特徴抽出部13は、図26(b)に示すように、右耳上電極12aを含まない、耳電極部11a、11bを基準とした電極の組み合わせ203と204の電位差により、脳波を計測する。
さらに、電極装着判別部17より「右耳電極部不具合」の電極状態情報を受信した場合、脳波特徴抽出部13は、図26(c)に示すように、耳電極部11aを含まない、左耳電極部11bを基準とした顔電極の組み合わせ202と204の電位差により、脳波が計測される。
このように、電極装着状態を常に監視し、装着不具合のある電極を除外した電極を組み合わせて判別を行うことで、顔面部や耳周辺部の電極が外れた場合でも、耳電極部11を基準とした顔面部の電極を複数計測することが可能で、精度の高い判別を継続することができる。また、耳電極部11が外れた場合でも、脳波インタフェースの動作が継続できる。
また、装着不具合がある電極が特定できているため、「右耳後ろの電極の装着状態を確認してください」のような特定の電極の再装着を促すメッセージの提示や警告音により電極装着の不具合が発生していることをユーザ10に対し通知することが可能である。このメッセージにより、ユーザ10は装着不具合が発生している電極の部位を強く押し当てるなどの簡易な対応が可能になり、HMDをもう一度装着しなおすといった正常に装着されている電極まで再度装着しなおす手間を省くことができ、ユーザの電極装着負荷が軽減される。さらに、簡易に電極の装着不具合に対応できることにより、常に正常に電極が装着されている状態を保つことができ、高い精度の判別が行なえる状態を維持することが可能となる。
また、電極装着不具合が発生し、ユーザ10に装着不具合の通知を行わない場合でも、HMDが電極の設置状態を改善する機構(例えばHMDの先セル部形状を変化させ、HMDをよりユーザ10に密着させるような調整や、バネや空気圧を利用してHMDが特定の電極をユーザ10に強く接するように調整など)を有することにより、自動的に正常な電極装着状態を保ち、ユーザ10の手を煩わすことなく高い精度の判別が行なえる状態を維持することが可能となる。
よって、装着が不安定なHMDにおいて、ロバストに脳波インタフェースを動作させることが可能になる。
次に、本願発明者らが実施した実験の内容とその結果を説明し、本実施形態の効果について説明する。
実験は、両マストイドを基準とした本実施形態による、電極外れを想定した脳波インタフェースシステムの動作精度の検証と、片マストイドを基準とした方式において同様の位置の電極外れが発生したでの精度の比較を行った。
実験パラメータは、実施形態1で実施した実験と同様の脳波計、フィルタ処理を行い、精度算出方法も同様の方法で行った。
測定電極位置は、耳電極部として右マストイド11a(図24)、左マストイド11b(図24)を基準極とし、顔電極部として、左目中心部より4cm上の左目上部12b(図24)と、右耳の付け根最上部から2cm上の耳上(右耳上)部12b(図24)の計4箇所に電極を装着し、設置電極は国際10−20法の場所表記によるFPzに装着した。片耳マストイドのみを基準とした方式は、実施形態1で説明した電極位置と同様、図16で示す位置で行った。
精度検証の結果を図27に示す。
実験結果をみると、本実施形態の方式では、図26に示す(a)通常時、(b)顔電極部12aが外れた場合、(c)耳電極部11aが外れた場合の3つのケースの識別率をみると、それぞれ(a)80.6%、(b)75.6%、(c)69.1%であった。このように、本実施の形態により、電極が1つ外れた場合でも7割近い識別率を維持して、脳波インタフェースを動作させることが可能であることを確認できた。
また、本実施形態の方式と片マストイドを基準とした場合との比較を行う。片マストイドを基準とした場合では、(b)の場合で識別率75.0%と両マストイドを利用する本実施形態に比べて低く、(c)の場合では脳波の計測が不可能になり、脳波インタフェースを動作させることができなくなる。
以上の実験結果から、両マストイドを基準にして顔面部の複数の電極の電位から特徴データの抽出を行い、組み合わせたデータを判別することにより、片マストイドと顔面部の電位差単体で判別を行った場合よりも精度が高く、電極が1つ取れた状態になっても計測不能な状態にならず、比較的高い精度で脳波インタフェースをどうさせることが可能なことがわかった。
このように本実施形態による脳波インタフェースにより、両耳周辺部に電極1つずつと顔面部位置に複数の電極を装着し、電極が1つ外れてしまった場合でも、耳周辺部を基準極にした顔面部の電極の電位を複数確保できるようにすることで、電極装着不具合によって判別精度が低下するケースや判別が行えなくなってしまうケースを回避することができ、HMDのような装着が不安定な機器においても、ロバストな脳波インタフェースを実現することができる。
本発明にかかる脳波インタフェース装置では、顔面部において脳波計測をする場合に広く利用可能であり、HMDにとどまらず、映像出力を持たない眼鏡(ゴーグル)型のウェアラブル機器や、穴の開いた位置に顔を入れるエステやマッサージ等で用いられる施術ベッドのように、顔を特定の位置に固定する機器等において、脳波を利用したインタフェースを構築する場合に利用可能である。
1 脳波インタフェースシステム
10 ユーザ
11 耳電極部
12 顔電極部
13 脳波特徴抽出部
14 判別部
15 判別基準DB
16 出力部
17 電極装着判別部
本発明は、ユーザの脳波を計測し、計測した脳波に基づいて、ユーザが所望する機器の制御を可能にする機器操作インタフェース技術に関する。より具体的には、本発明は、ヘッドマウントディスプレイ(HMD)などのウェアラブル機器に組み込まれて、ユーザの脳波によって当該ウェアラブル機器または他の機器の機能を選択および起動させることを可能とする機器操作インタフェース技術に関する。
近年、機器の小型軽量化により、ヘッドマウントディスプレイ(HMD)等のウェアラブル機器が普及してきている。多くの機器のインタフェースとして、ボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作するなどの、ハードウェアを利用した方法が用いられている。しかしながら、HMDのように本体が小型でハンズフリーを特徴とする機器の制御では、上記のような物理的な操作を必須とするとハンズフリーの特徴を損ない、有効ではない。そこで、物理的な操作を行わずに機器を制御するインタフェース、具体的には、考えただけで機器を制御できる、脳波を利用した手軽なインタフェースが注目を浴びてきている。
脳波とは、基準極と計測対象極の電位の差により電気信号として計測される脳活動(脳神経細胞の電気的活動)である。この脳波を利用したインタフェースとして、たとえば特許文献1に記載された、事象関連電位を利用した人の心理状態等の判定方法及び装置があげられる。
特許文献1では、脳波の事象関連電位の特徴的な信号を用いてユーザが選択したいと思っている選択肢を判別する技術が開示されている。
具体的には、頭頂部に電極を装着し、画面上にランダムに単語を表示し、ユーザが選択したいと思っている単語が表示されたタイミングを起点に300msから500msの時間帯に出現する陽性成分(P300成分)などを利用して、ユーザが選択した単語の判別を行う脳波インタフェースが実現されている。
従来の脳波計測では、電極を国際10−20法の場所表記にしたがって装着され、頭頂部に計測対象極を装着することで計測が行われてきた。特許文献1では、国際10−20法における位置Pz(正中頭頂)およびCz(正中中心)の位置の特徴信号を用いて脳波計測が行われている。特許文献1で利用される特徴信号は位置Pzの位置で強く計測できることが知られている。そのため、従来の脳波インタフェースの電極の位置は、Pzが主に利用されている。
本願発明者らは、実際に、位置Pzで計測した脳波を利用して、TV画面に表示された4つの選択肢の中からユーザが選択した項目を判別するインタフェースを構築した。なお、以下において、「脳波インタフェースを構築」と記した場合には、同様のインタフェースを構築したことを意味するものとする。
被験者8名に対して評価を実施したところ、81.3%の識別率(全試行回数のうち判別結果が的中した割合)で判別が可能であった。
特開2005−34620号公報
特開平7−64709号公報
特開平9−38037号公報
しかしながら脳波計測は、上述のように頭頂部に装着した電極を利用して行われなければならない。そのため、頭頂部と接触する構造を持たない機器、たとえば上述のHMDを用いる場合には、別途、頭頂部に脳波を計測するための電極を別途装着する必要がある。HMDは、常時装着されず必要な時のみ装着され、かつ、頻繁に脱着が行われる機器である。よって、HMD以外に別途電極を装着することは、ユーザにとって負担となる。この事情は、頭頂部と接触する構造を持たない、HMD以外の機器についても当てはまる。
なお、HMDを利用してユーザの生体信号を取得する研究が行われている。たとえば、特許文献2では、HMD内側のユーザの顔面と接触する位置に電極を設け、眼電、筋電を計測し視線方向を検出する方法が開示されている。また、特許文献3では、眼の上下、左右の位置に電極を取り付け、各々の電位差を計測することにより眼電を計測する方法が開示されている。これらはいずれも顔の筋肉の反応(筋電)や眼球の動き(眼電)を計測する研究である。
本発明の目的は、国際10−20法の位置Pz(正中頭頂)で脳波を計測しなくても、従来眼電や筋電などの計測で利用されていた顔面部の電極に加え、HMD等ウェアラブル機器形状の範囲内の新しい電極位置を組み合わせて利用することで、位置Pzで計測した脳波に基づいて動作する脳波インタフェースシステムと同程度の精度で動作する脳波インタフェースを提供することである。
本発明による、脳波を用いた機器の制御方法は、機器の操作メニューに関する視覚刺激を提示するステップ(a)と、前記視覚刺激の提示後に、複数の事象関連電位を計測するステップ(b)であって、ユーザの顔面部に装着された複数の電極の各々と、ユーザの耳周辺部に装着された少なくとも1つの基準電極との間の電位差から、前記視覚刺激が提示されたタイミングを起点とした複数の事象関連電位を計測するステップ(b)と、計測された前記複数の事象関連電位から、5Hz以下でかつ所定の時区間を含む脳波データをそれぞれ抽出し、前記抽出された脳波データを組み合わせて脳波特徴データとするステップ(c)と、予め用意された操作メニューの選択の要否を判別するための基準データと前記脳波特徴データとを比較するステップ(d)と、前記ステップ(d)の比較結果に基づいて、前記機器の操作メニューに対応する操作を実行するステップ(e)とを包含する。
前記所定の時区間は、前記視覚刺激の提示を起点とした200msから400msの区間であってもよい。
前記ステップ(b)は、前記ユーザの両側の耳周辺部にそれぞれ少なくとも1つ装着された基準電極を用いて、前記複数の事象関連電位を計測してもよい。
前記ステップ(b)は、前記ユーザの右目上部および左目上部の少なくとも一方の位置に装着された電極を用いて、前記複数の事象関連電位を計測してもよい。
前記ステップ(c)は、計測された前記複数の事象関連電位の波形から、前記波形の周波数的および時間的な特徴を示す脳波特徴データを抽出してもよい。
前記ステップ(c)は、計測された前記複数の事象関連電位の波形から、前記波形の周波数的および時間的な特徴を示す脳波特徴データを抽出してもよい。
前記ステップ(c)は、前記出力部において前記機器の操作メニューが提示された後200ms〜400msの区間で、かつ、周波数が5Hz以下の特徴を示す脳波特徴データを抽出してもよい。
前記ステップ(c)は、前記耳周辺部の少なくとも1つの基準電極および前記顔面部の複数の電極で計測される前記複数の事象関連電位の各波形から前記各波形の特徴を示すデータを抽出し、各データに基づいて1つの脳波特徴データを生成してもよい。
前記ユーザの顔面部に装着された複数の電極の各々と、前記ユーザの両側の耳周辺部にそれぞれ少なくとも1つ装着された基準電極との間の電気的特性に基づいて、前記複数の電極および前記基準電極の各々の装着状態を判別するステップ(f)と、前記ステップ(f)の判別結果に基づいて、前記ステップ(b)において前記複数の事象関連電位を計測する電極の組み合わせを決定するステップ(g)とをさらに包含してもよい。
前記ステップ(g)は、前記ユーザの顔面部に装着された複数の電極の各々と、前記ユーザの両側の耳周辺部にそれぞれ少なくとも1つ装着された基準電極とを組み合わせて得られた前記複数の事象関連電位の計測値が閾値を越える電極の組み合せを複数検出し、前記電極の組み合わせに共通して含まれる電極を探索することにより、装着状態に不具合がある電極を特定してもよい。
前記ステップ(g)によって特定された電極を識別可能に通知してもよい。
本発明による脳波インタフェースシステムは、操作メニューを視覚的に提示する出力部と、ユーザの耳周辺部および顔面部にそれぞれ装着されて、前記ユーザの脳波を計測する複数の電極と、前記操作メニューの提示タイミングに基づいて特定される、前記脳波の波形の少なくとも一部から、前記波形の特徴を示す脳波特徴データを抽出する脳波特徴抽出部と、予め用意されたデータと前記脳波特徴データとを比較してその類似度を判別し、判別結果に基づいて機器を制御する判別部とを備えている。
前記出力部はディスプレイであり、前記判別部は、前記判別結果に基づいて前記ディスプレイの表示内容を制御してもよい。
前記脳波インタフェースシステムは、外部機器に対して制御信号を出力する送信部を備え、前記判別部は、前記判別結果に基づいて前記制御信号を出力し、前記制御信号に基づいて前記外部機器の動作を制御してもよい。
本発明による制御装置は、表示装置とともに脳波インタフェースシステムを形成する、前記表示装置の制御装置であって、前記表示装置と通信して、前記表示装置に操作メニューを視覚的に提示させる通信部と、ユーザの耳周辺部および顔面部にそれぞれ装着されて、前記ユーザの脳波を計測する複数の電極と、前記操作メニューの提示タイミングに基づいて特定される、前記脳波の波形の少なくとも一部から、前記波形の特徴を示す脳波特徴データを抽出する脳波特徴抽出部と、予め用意されたデータと前記脳波特徴データとを比較してその類似度を判別し、判別結果に基づいて前記機器を制御する判別部とを備えている。
本発明によれば、顔面部を含む、ユーザと接触する位置に複数の電極を設けた機器を用いることにより、従来の頭頂部での脳波計測による脳波インタフェースシステムと同等の精度で動作する脳波インタフェースシステムを構築できる。このような機器は、たとえば眼鏡(ゴーグル)型のHMDのような、ユーザ頭部の比較的狭い範囲に装着される機器であり、ユーザの顔面部および耳部に電極を設ければよい。ユーザはわざわざ機器がユーザに接触する位置以外に電極を装着する必要がなくなり、HMD装着と同時に電極の装着も完了できるため、機器装着負担が削減できる。
従来の眼電計測で利用していた電極の位置101〜104を示す図である。
従来眼電計測や筋電計測で利用されていた電極位置のうち、HMD形状の範囲内に含まれる電極位置を示す図である。
本願発明者らが行った実験結果として、すべての電極位置の組合せと識別率との関係を示す図である。
(a)は顔面部の電極位置を示す図であり、(b)は耳周辺部の電極位置を示す図である。
本願発明者らが行った実験における電極位置の例を示す図である。
電極の組合せと識別率の関係を示す図である。
実施形態1による脳波インタフェースシステム1の構成図である。
脳波インタフェースシステム1を眼鏡(ゴーグル)型ヘッドマウントディスプレイ(HMD)として構成した実施例を示す図である。
実施形態1による脳波インタフェース装置のハードウェア構成図である。
脳波インタフェースシステム1で行われる処理のフローチャートである。
(a)〜(c)は、脳波インタフェースシステム1で行われる処理の例を示す図である。
脳波特徴抽出部の処理のフローチャートである
(a)〜(e)は、各電極で計測された脳波波形から、特徴データを抽出する処理の遷移を示す図である。
判別部14の処理のフローチャートである。
判別部14の処理順序を示す図である。
HMD型脳波インタフェースシステム1を用いた本実験において、ユーザ10の顔面に接触する位置の例を示す図である。
教師データの例を示す図である。
精度検証の結果を示す図である。
実施形態1による第1の変形例にかかる脳波インタフェースシステム1aを示す図である。
実施形態1による第2の変形例にかかる脳波インタフェースシステム1bを示す図である。
HMD以外の例として、マッサージの施術ベッドの例を示す図である。
実施形態における脳波インタフェースシステム2の構成図である。
脳波特徴抽出部13における脳波特徴データ抽出処理のフローチャートである。
電極の装着位置を示す図である。
電極装着判別部17の処理のフローチャートである。
(a)〜(c)は、電極装着状態ごとの計測に使用する電極例を示す図である。
精度検証の結果を示す図である。
頭頂部で発生する特徴信号の発生時間帯や周波数帯の例を示す図である。
切り出されるWavelet変換されたデータの領域を示す図である。
以下ではまず、本願発明者らが行った実験を説明する。そして、当該実験から得られた知見、具体的には、国際10−20法の位置Pz(正中頭頂)で脳波を計測しなくても、従来眼電や筋電などの計測で利用されていた顔面部の電極、および、ユーザと接触する位置に設けた他の電極を利用することにより、位置Pzで計測した脳波に基づいて動作する脳波インタフェースシステムと同程度の精度で動作する脳波インタフェースを構築できることを説明する。その後、当該脳波インタフェースの各実施形態を説明する。
上述のとおり、ヘッドマウントディスプレイ(HMD)の、ユーザの顔面と接触する位置に電極を設け、顔の筋肉の反応(筋電)や眼球の動き(眼電)を計測する研究は従来から行われていた。
本願発明者らは、ユーザの顔面と接触するHMDの位置に電極を設け、その電極を用いて脳波を計測することができるか否かを実験した。
実験では、本願発明者らは脳波インタフェースを構築し、Pz(正中頭頂)に設けた電極で被験者8名の脳波を計測し、脳波に基づく脳波インタフェースの評価を行った。本願発明者らはあわせて、従来の眼電計測で利用されている電極位置を利用して脳波を計測する脳波インタフェースを構築し、同じ被験者8名に対してその脳波インタフェースの評価を実施した。
図1は、従来の眼電計測で利用していた電極の位置101〜104を示している。電極は、ユーザの両眼の左右の位置101および102、両眼間の位置104、および、右目上の位置103に貼り付けられる。
脳波の計測方法としては、電極の組み合わせにおいて、一方の電極を基準極、他方の電極を計測対象極とし、基準極を基準とした計測対象極の電位を計測する。脳波インタフェースはこの計測された脳波を利用して、判別を行う。
本実験では、従来眼電で利用されていた電極の組み合わせのうち、一方を基準極、他方を計測対象極と仮定し、識別率の評価を実施した。
評価結果は以下のとおりである。
眼の左右運動を計測する位置(基準極:右目横101と、計測対象極:左目横102の電位差)で計測した場合の識別率=37.8%
眼の上下運動を計測する位置(基準極:右目上103と、計測対象極:鼻104)で計測した場合の識別率=63.8%
従来利用されていた電極位置では、Pzで脳波を計測した場合の識別率と比較して、精度が悪いことが理解される。
眼電計測では、電極を装着した部分で発生する電位を計測するのが目的であるため、電極の位置関係が重要になるが、脳波の計測では、頭頂部で発生した電位を顔面部で計測するため、電極の位置関係は従来の眼電計測の位置関係にとらわれる必要はない。
そこで、HMDがユーザの頭部と接触する範囲内(以下、「HMD形状の範囲内」と記述する。)で眼電、筋電計測で利用されていた電極位置を総あたりで組み合わせ、脳波インタフェースを構築し、識別率の評価を行った。図2は、従来眼電計測や筋電計測で利用されていた電極位置のうち、HMD形状の範囲内に含まれる電極位置を示す。電極の位置としては、右耳上21、右目横22、右目上23、鼻24、左目上25、左目横26、左耳上27が想定される。
本願発明者らは、図2に示す顔面部の位置21〜27に設け得る電極のうちの2つの電極を1組として、すべての組を列挙した。そして、一方の電極を基準極とし、他方の電極を計測対象極として、脳波インタフェースの識別率の評価を行った。図3は、すべての電極位置の組合せと識別率との関係を示す。
実験の結果によると、顔面部の電極を組み合わせた場合においても、識別率は右目上25を基準極とした右目横26の電極の電位差を利用した場合の65.9%が最大であった。
このように、顔前面部の電極のみで脳波を計測してユーザが選択した項目の判別をおこなっても、位置Pzで計測した場合の識別率81.3%と比較して精度が悪く、脳波インタフェースの性能が十分ではないという結論が得られた。
次に、本願発明者らが実施したHMD形状の範囲内における最適基準極位置探索実験を説明する。
図4(a)は、従来の眼電計測で利用されていた顔面部の電極位置を示す。図4(a)に示すように、目の上28aの電極は眼窩29の上縁に装着され、目の横28bの電極は眼窩29の外縁(外眼瞼角)に、鼻の電極は鼻根28cに装着される。
図4(b)は、耳周辺部の電極位置30a〜30eを示している。従来の眼電計測では、耳の上の耳付根上部30eにも電極が装着されていた。
HMD形状の範囲に鑑みれば、眼電計測で利用されている顔面部の電極に加えて、HMDが耳と接触する位置にさらに他の電極を設けることが可能である。その位置は具体的には、耳下部(耳の付け根の下部)のマストイド30a、耳朶部30b、耳前部の耳珠30c、耳後部(耳の付け根の後部)30dなどの耳周辺部である。そこで、本願発明者らは、上記耳周辺部を代表して、耳の裏の付け根の頭蓋骨の突起部であるマストイド(乳様突起)30aを選択し、従来顔面部で利用されていた電極の位置に対し、マストイドを基準極とした脳波インタフェースの識別率評価実験を実施した。
実験は、HMD形状においてユーザの顔面に接触する位置の例として、図2に示す位置をあげ、それらの部分を利用した具体的な精度の検証を行った。
実験には、20代の被験者15名に対して計測実験を行い、覚醒度が高く維持されていた8名を対象に解析を行った。
脳波計測は、ポリメイトAP−1124(デジテックス製)を使用し、サンプリング周波数は200Hz、時定数は3秒、フィルタは30Hzのローパスフィルタをかけた。
図5は、本実験における電極位置の例を示す。本実験では、基準極を右マストイド31または左マストイド32とする。また、顔電極部として、従来眼電や筋電計測で利用されていた右耳上21、右目横22、右目上23、鼻24、左目上25、左目横26、左耳上27の7箇所に電極を装着し、設置電極は国際10−20法の場所表記によるFPz33に装着した。各被験者に40回ずつ選択してもらい、判別結果が的中した割合を識別率として算出を行うことで、精度検証を行った。
図6は、電極の組合せと識別率の関係を示す。実験結果より、マストイドを基準極とした組合せでは、右マストイド31を基準極にした右目上の電位差を利用した識別率が75.3%と最も高いことがわかった。また、平均の識別率でも左マストイド基準で57.8%、右マストイド基準で66.6%となった。左右のマストイドを基準に顔面部の電位を計測した脳波は、顔面部の電極を基準して計測された脳波よりも識別率が高くなり、脳波インタフェース構築に必要な脳波信号を含んでいることがわかる。
このように耳周辺部(マストイド)を基準とした顔面部の電極の電位差により脳波を計測することで、顔面部の電極だけを利用して脳波を計測した場合に比べて10%近く識別率を向上させることが可能となる。
しかし、マストイドを基準とした顔面部の電極の電位差により脳波を計測した場合でも、最大識別率75.3%と、Pzを利用した識別率81.3%にはまだ及ばない。
次に本願発明者らは、耳周辺部を基準とした顔面部の電位を利用して事象関連電位を計測し、頭頂部(Pz)近辺で発生した脳波信号が含まれる周波数帯のデータを利用した判別を行った。
具体的な判別方法を以下に説明する。まず、計測された事象関連電位を時間周波数分解(本実施形態ではWavelet変換)し、選択時の脳波の特徴信号の発生時間帯や周波数帯を選びだす。頭頂部で発生する特徴信号の発生時間帯や周波数帯の例を図28に示す。図28は横軸に時間(単位:ms)、縦軸に周波数(単位:Hz)を表している。図28のハッチングを付した時間周波数領域が、頭頂部で計測した事象関連電位の判別に利用される特徴信号である。顔面部でも同様に、特徴信号以外の領域を除外し、図28の特徴信号領域のみを抽出し、判別を行った。結果、69.7%と75.3%よりも精度が低下した。これは、微弱な信号の領域にノイズが多く混入してしまった結果であると考えられる。
そこで本願発明者らは、さらに精度を向上させるため、瞬きなどのノイズが混入する領域を除外したうえで、頭頂部近辺で発生した脳波信号が前面部に伝わってきている弱い特徴信号の時間周波数領域を抽出し、その成分を複数組み合わせた。その結果、脳波インタフェースに必要な強い特徴信号を抽出し、Pzと同程度の精度での脳波インタフェースを実現することができた。以下、本発明として、その脳波インタフェースシステムを説明する。
本発明により、耳周辺部を基準にした顔面部の電極の脳波信号の組み合わせで、脳波インタフェースの識別率を80.6%にまで向上させることが可能になり、位置Pzに電極を装着しなくても、十分高い性能を有する脳波インタフェースシステムが得られることを確認できた。
以下、添付の図面を参照しながら、本発明の実施形態を説明する。
(実施形態1)
図7は、本実施形態による脳波インタフェースシステム1の構成図である。脳波インタフェースシステム1は、耳電極部11と、顔電極部12と、脳波特徴抽出部13と、判別部14と、判別基準データベース(DB)15とを備えている。なお、図7では、ユーザ10は理解の便宜のために記載されている。
図8は、脳波インタフェースシステム1を眼鏡(ゴーグル)型ヘッドマウントディスプレイ(HMD)として構成した実施例である。以下では、図8に示すHDM型の脳波インタフェースシステム1を詳細に説明する。
図8に示すHMD型脳波インタフェースシステム1の各部位の名称は眼鏡と同様である。以下では、ユーザ10の耳に引っ掛かりHMD本体を固定する部分を「先セル部」と呼ぶ。また、ユーザ10の鼻に接触しHMD本体を支える部分を「ノーズパッド部」と呼ぶ。そしてユーザ10の各眼球の前に設置される出力部16を保持し固定する部分を「リム部」、両目の前のリム部をつなぎ支える部分を「ブリッジ部」、リム部と先セル部をつなぎ支える部分を「テンプル部」と呼ぶ。
耳電極部11はユーザの耳周辺部に設けられ、顔電極部12a、12bはユーザの顔面周辺に設けられる。具体的には、耳電極部11は、先セル部の内側に設置される。よって、耳電極部11は、ユーザ10の片側の耳の周辺と接触する。顔電極部12a、12bは、HMDのテンプル部、リム部、ノーズパッド部のいずれかに設置される。よって顔電極部12a、12bは、ユーザ10の顔面部の複数の箇所でユーザと接触する。
脳波特徴抽出部13は、耳電極部11と顔電極部12a、12bとの電位の差から脳波を計測し、脳波特徴データを抽出する。「脳波特徴データ」とは、脳波の時間的および周波数的な特徴を示すデータである。たとえば計測された脳波波形を後述のWavelet変換によって得ることができる。
判別部14は、ユーザの脳波特徴データに対して所定の判別基準に基づいて、ユーザが選択した項目を判別する。「所定の判別基準」とは、予め定められたデータであり、判別基準DB15に蓄積されている。ディスプレイ16は、判別部14の判別結果に基づいて機器の制御を行う。
図8の例では、耳電極部11は、HMDの右先セルの内側に設置され、顔電極部12aはHMDの右テンプル部、顔電極部12bはHMDの左上のリム部に設置されている。脳波特徴抽出部13、判別部14および判別基準DB15は、HMDのブリッジ部に設置されている。ディスプレイ16は、ユーザ10の目の前のレンズの部分に設置されている。なお、ディスプレイ16は図7に示す出力部の具体例である。
図8の構成は一例であり、耳電極部11の位置は右側左側のどちらでもよい。また、顔電極部12の位置は、HMDのテンプル部、リム部、ノーズパッド部、ブリッジ部のいずれかの位置に複数設置されていればよい。また、顔電極部の数は12a、12bの2つだけに限定せず、3つ以上の電極を左記の範囲に配置することは本特許の範疇である。また、脳波特徴抽出部13、判別部14、判別基準DB15が設置される位置はこの限りではなく、HMD形状の範囲内のいずれかの位置に設置することが可能である。なお、判別基準DB15は、HDM内に設けなくてもよく、脳波インタフェースシステム1の使用環境(たとえば自宅内)に配置されていてもよい。そのときは、判別部14と無線で接続すればよい。または判別基準DB15を判別部14内に組み込まれ、判別部14の機能の一部とされてもよい。
また、ディスプレイ16は、選択された項目に関係する映像の出力を想定して、眼鏡におけるレンズの位置に設置する例を示した。しかし、音声を出力するスピーカーや音声出力端子等の、映像表示以外の機器制御を行ってもよい。
図9は、本実施形態による脳波インタフェース装置のハードウェア構成図である。
耳電極部11と顔面部に複数装着された顔電極部12(電極12a、12b)はバス131に接続されており、脳波特徴抽出部13との信号の授受が行われる。脳波特徴抽出部13は、CPU111aとRAM111bとROM111cとを有している。CPU111aは、ROM111cに格納されているコンピュータプログラム111dをRAM111bに読み出し、RAM111b上に展開して実行する。脳波特徴抽出部13は、このコンピュータプログラム111dにしたがって、後述の脳波特徴データ抽出の処理を行う。脳波特徴抽出部13はさらに、バス132と接続されており、各構成要素信号の授受が行われる。なお、バス131とバス132は共通のバスを利用してもよい。
判別部14は、CPU112aと、RAM112bと、ROM112cとを有している。CPU112aと、RAM112bと、ROM112cのそれぞれの機能は、脳波特徴抽出部13の同名の構成要素と同様である。ROM112cに格納されたコンピュータプログラム112dは、ROM112cに格納された判別基準DBの判断基準に基づいた処理を行う。なお、脳波特徴抽出部13および判別部14のCPU、RAMおよびROMを共通化し、コンピュータプログラムのみを別個設け、構成を簡略化してもよい。また、ROM111c、ROM112cは書き換え可能なROM(たとえばEEPROM)であってもよい。
ディスプレイ16は、画像処理回路121を有している。画像処理回路121は、CPU112aの結果に従い、選択されたコンテンツ映像表示などの映像信号を画面122へ出力する。また、ディスプレイ16は、HMDに必要な情報を提示する機能をあわせて有していてもよい。
なお、上述のディスプレイ16は、映像機器の制御を想定して、ディスプレイ16が画像処理回路121や画面122を有すると説明した。しかしながら、制御する機器のモーダルの種類に応じて、画像処理回路121や画面122を音声処理回路やスピーカーなどとしてもよい。
上述のコンピュータプログラムは、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、脳波特徴抽出部13および判別部14は、半導体回路にコンピュータプログラムを組み込んだDSP等のハードウェアとして実現することも可能である。
次に、本発明のHMDのインタフェースとして利用される脳波インタフェースシステム1の概要について説明し、その処理を概観した後に、脳波特徴データの抽出方法を説明する。
脳波インタフェースでできることは、脳波特徴データを用いて、ディスプレイ等に表示された複数の選択項目からユーザがどの項目を選択したいかを識別することである。
図10は、脳波インタフェースシステム1で行われる処理のフローチャートを示す。また図11は、脳波インタフェースシステム1で行われる処理の例を示す。以下、適宜図11を参照しながら、図10の脳波インタフェースシステム1の動作を説明する。
ステップS51では、ディスプレイ16がメニュー画面を表示する。「メニュー画面」とは、機器操作するための選択項目をリスト状に表示した画面をいう。
ユーザ10は、表示されたメニュー画面の選択肢の中から所望の項目を選択することで機器操作を行うことが可能になる。所望の項目の選択は、ユーザが頭の中で考えることにより実現される。
コンテンツ視聴時には、図11(a)のような選択前の画面151がディスプレイ16に表示されている。脳波インタフェースシステム1が起動されることによって、図11(b)のようなメニュー画面152が表示される。画面には「どの番組をご覧になりたいですか?」という質問153と、見たい番組の候補である選択肢154が提示される。ここでは「野球」154a「天気予報」154b「アニメ」154c「ニュース」154dの4種類が表示されている。この4種類のうち一つは明るい色でハイライト表示されている。
ステップS52で、脳波特徴抽出部13は、ハイライトを行う項目を決定する。図11(b)の例ではまず一番上の野球154aが決定される。以下、このステップS52が実行されるたびに、順次次の選択肢のハイライトを決定し、4つ目のニュースの次はまた一番目の野球に戻る。
ステップS53では、ディスプレイ16がステップS52で決定された項目をハイライト表示する。「ハイライト表示」とは、他の項目より明るい背景によって表示されたり、明るい文字色によって表示されたり、それ以外にも、カーソル等で指し示すことによって指示される。ここではユーザ10が見たときに、システム側が現在どの項目について注意して欲しいかが伝わるようになっていればよい。
ステップS54では、脳波特徴抽出部13が事象関連電位の取得を行う。事象関連電位は耳電極部11と顔面部に複数装着された顔電極部12の電位差から複数計測される。換言すれば、耳電極部11と顔面部に複数装着された顔電極部12の電位差に基づいて計測される物理量が、事象関連電位である。ステップS53にてハイライト表示された瞬間が、事象関連電位取得の起点とされる。この起点から、例えば100ミリ秒前から600ms後までの脳波を取得する。これによって、ハイライト表示された項目に対するユーザの反応が得られる。なお、脳波特徴抽出部13がハイライトのタイミングを決定しているため、脳波特徴抽出部13が起点から100ミリ秒前の時点を特定することは可能である。よって、起点が定められる前の時刻であっても、事象関連電位の取得を開始することができる。
ステップS55では、脳波特徴抽出部13は、計測された複数の事象関連電位の波形データに基づいて脳波特徴データを抽出する。脳波特徴データの具体的な抽出方法は後述する。
ステップS56では、判別部14は、抽出した脳波特徴データを判別基準DB15に蓄積された判断基準に従って識別する。
識別される内容は、現在取得した脳波特徴データの波形が、ユーザ10が選択したい項目に対する波形か、それとも選択したくない項目に対する波形かを判別するものである。
ステップS57では、ユーザ10が選択したい項目に対する波形と判別された場合、選択された項目をディスプレイ16により実行するものである。
なお、上述の判別基準、取得した脳波特徴データの波形に基づく識別方法の具体例、および、選択された項目の出力例は後述する。
このような処理によって、ボタン操作等することなく、脳波によってメニュー項目の選択が実現される。
なお、ステップS52では、ハイライトする項目を上から順番に決定するとしたが、ランダムに提示する方法も可能である。これにより、事前にどの項目が選択されるか不明なため、ユーザ10がより注意深く選択を行うため脳波の振幅が大きくなり、判別に利用する特徴信号が明瞭に出現することで、判別が行いやすくなる可能性がある。
次に、ステップS51からステップS55で行われる脳波特徴抽出部13の処理に関して説明を行う。本実施形態では、図6の実験の結果において精度の高かった顔電極部の位置を例に説明する。顔電極部12の電極位置を左目上23(図2)、右目上25(図2)、右耳上27(図2)に示す位置とし、耳電極部11は右マストイドに装着すると仮定する。図12のフローチャートおよび図13の波形の例を用いて、脳波特徴抽出部13の処理の詳細を説明する。
まず、ステップS61では、耳電極部11を基準に、顔面部に複数装着した顔電極部12の電位差を計測することにより、常時脳波の計測が行われている。図13(a)に、ステップS61で計測されている脳波の例を示す。脳波は、3つの波形が同時に計測されており、ハイライトのタイミングも蓄積されている。3つの波形とは以下のとおりである。
波形1−右耳電極部を基準にした左目上電極の脳波波形
波形2−右耳電極部を基準にした右目上電極の脳波波形
波形3−右耳電極部を基準にした右耳上の脳波波形
ステップS62では、脳波特徴抽出部13がハイライトをディスプレイ16に指示する。ディスプレイ16では、図11(b)に示すような項目ハイライトの出力が行われる。脳波特徴抽出部13では指示したハイライトタイミングを保持し、ハイライトを行った場合、ステップS63にて、ハイライトを指示したタイミングを起点とした事象関連電位の取得を行う。
具体的には、上述の波形1〜3の脳波から、ハイライトタイミングの−100ミリ秒〜600ミリ秒の区間を切り取って、3本の事象関連電位をそれぞれ取得する。また、取得した事象関連電位に対して、ベースライン補正を行う。ベースラインは、−100ミリ秒〜0ミリ秒の区間の値とする。取得された1〜3の事象関連電位の例を図13(b)に示す。
ステップS64では、脳波特徴抽出部13にて取得した事象関連電位の時間周波数分解(Wavelet変換)を行う。Wavelet変換により、脳波を時間と周波数の特徴量に詳細化することで、選択時の脳波の特徴信号の発生時間帯や周波数帯を選び出して抽出することが可能になる。具体的な発生時間帯や周波数帯の値は後述する。波形1〜3の事象関連電位をWavelet変換したデータの例を図13(c)に示す。Wavelet変換の範囲は、取得した事象関連電位のうち0msから600msの区間に対して、脳波の成分を含む0から15Hzの範囲内で変換される。図13(c)のグラフはWavelet変換後のデータを示している。グラフの横軸は時間成分で、縦軸は周波数成分を示しており、色の濃い部分が強いパワーが出現していることを表している。
ステップS65では、Wavelet変換されたデータから、眼の動き(サッケード)に起因するノイズ成分を除去することにより、必要な脳波特徴信号に関する領域の切り出しを行う。顔面部で計測される脳波には、頭頂部で計測されていた場合には計測されなかった微細な眼の動き(サッケード)に起因する電位が多く混入する。サッケードのノイズは主に5〜17Hzの領域に混入し、この領域に含まれる脳波特徴信号にもノイズが多く混入していると考えられる。そこで、周波数0Hzより大きく、5Hz以下の領域を切り出すことで、ノイズ混入が少ない脳波特徴成分を抽出することができる。図29は、切り出されるWavelet変換されたデータの領域を示す。領域(a)は、5Hzより高い周波数領域のデータの集合であり、サッケードノイズが混入する領域として除外される。
ハイライト後から200msまでの区間は、瞬きに起因するノイズの混入や視覚刺激の反応等のノイズの影響が現れる。これらもまた、頭頂部で計測する際には問題とならないが、顔面部で脳波計測を行う場合には大きな問題となる。これらのノイズを軽減するため、図29の領域(b)に示す、ハイライト後200msまでと400ms以降の区間をノイズ領域として除外する。
領域(a)および(b)が除外され、その結果残された領域は、脳波特徴成分に対応するデータとして抽出される。
切り出す領域を図13(c)に示す。周波数5Hz以下の200msから400msの領域は、図13(c)の点線内の部分となり、点線内に含まれるサンプル点の抽出を、上述の3種の波形1〜3について行う。
ステップS66では、脳波特徴抽出部13において抽出された波形1〜3についての3つの脳波特徴成分を1つのデータに組み合わせ、脳波特徴データとして出力する。
次に、判別部14の具体的な判別処理の例を、図14のフローおよび図15のデータの流れの図を用いて説明する。
判別部14には、あらかじめ選択したい項目に対する波形と選択したくない項目に対する波形を教師データが保持されている。
「教師データ」は、以下の手順により、予め取得され保持されている。まず、複数人のユーザ(被験者)に、あらかじめどの選択肢を選択するか事前に明らかにしてもらった上で、実際に脳波インタフェースを利用する際と同様の電極位置において脳波インタフェースを実施し、項目を選択してもらう。その際に記録した事象関連電位データを上記の脳波計測と同様にWavelet変換し、周波数5Hz以下の200msから400msの脳波特徴領域のサンプル点を抽出する。複数の電極組み合わせから抽出した脳波特徴領域のサンプル点を1つのデータに組み合わせ、脳波特徴データを作成する。この脳波特徴データを選択したい項目に対するものと選択したくない(選択していない)項目に分類し、脳波特徴データと対応づけて教師データとして保持する。
この教師データは、上記のように不特定の複数人の脳波をもとに作成してもよいし、脳波インタフェースを利用するユーザ10に対し、上記と同様あらかじめ学習作業を実施し、ユーザ10の脳波を利用した教師データを作成してもよい。
ステップS81で、判別部14は、脳波特徴抽出部13より、各項目に対する脳波特徴データを取得する。図11の例に即して説明すると、判別部14は、図15に示すように脳波インタフェースの4つの項目「野球」「天気予報」「アニメ」「ニュース」を起点とした脳波特徴データ(41a、41b、41c、41d)を脳波特徴抽出部13より受信する。
ステップS82で、判別部14は、脳波特徴データが、選択したい場合の波形とどれだけ類似しているかを表す類似度の算出を行う。判別部14には、上述したようにあらかじめ教師データが保持されており、類似度の算出は、この教師データに含まれる選択したい場合の波形と選択したくない場合の波形を利用する。教師データに含まれる波形を選択したい場合の波形(正解波形)と選択したくない場合の波形(不正解波形)の2つの群に分類し、計測された脳波特徴データと、正解波形群、不正解波形群との距離を計算することにより、正解波形群との類似度を算出する。類似度の算出は、線形判別手法を利用する。計測された脳波特徴データが正解波形群に属する事後確率(posterior)を利用する。
判別部14は、各項目の脳波特徴データについて、同様に類似度を算出する。例えば、図15(b)に示すように、項目1〜4のそれぞれについて、類似度(事後確率)の算出を行う。
なお、本実施形態では、類似度の算出は線形判別手法を利用したが、サポートベクターマシンやニューラルネットなどの手法を用いることにより、正解波形群、不正解波形群をわける境界線から、計測された脳波特徴データがどれだけ正解波形群に近いか(境界線からの距離)を算出することで正解波形群との類似度を算出してもよい。
ステップS83で、判別部14は、各項目について算出された脳波特徴データの類似度の値を比較し、最も正解波形に類似している波形を選び出し、結果として出力する。例えば、類似度の値が最も大きい項目が、ユーザ10が選択した項目として識別する。図15の例の場合では、類似度はそれぞれ0.76、0.30、0.22、0.28であり、最も類似度の大きい「項目1」が選択された項目として識別され、図15(c)のような結果となる。識別された結果は、判別部14によりディスプレイ16に出力される。
次に、ディスプレイ16の出力例を説明する。図11(b)のように、映像コンテンツのジャンルを選択するインタフェースの例の場合、ユーザ10が選択したい項目に対する波形と判別された場合には、選択された項目にあった映像が映像出力デバイスを通じて出力される。例えば、図11(b)に示す項目選択の例において天気予報が選択された場合には、図11(c)に示すように、天気予報の映像155が出力される。
本実施形態においては、図7の出力部16の具体例としてディスプレイ16を挙げたが、出力を制御する対象に応じて出力部の具体的な構成は適宜変更される。たとえば、選択項目に応じたコンテンツ表示などの映像出力に代えて、またはそれとともに、音楽再生などの音声出力をする場合には、出力部16はスピーカの駆動制御回路を含む。さらに、アンプ、オーディオプレーヤなどの外部機器の操作する場合には、外部機器への制御信号を出力する制御回路、出力端子等もまた、出力部16の出力の範疇である。また、バイブレーションで反応をユーザに通知する振動出力をする場合には、出力部はバイブレータの駆動制御回路を含む。
なお、本実施形態では、選択された項目に基づいて、項目に合わせた映像を出力する脳波インタフェースを例にして説明を行ったが、判別結果を単に画面に出力する場合や、判別結果を出力しない脳波インタフェースについても、本発明の範疇に含まれる。
以上のような処理によって、耳周辺部と顔面部に設置された電極から、頭頂部に電極を設置した場合と同等の精度でユーザが選択した項目を判別することが可能となる。これにより、ユーザはわざわざHMD等のウェアラブル機器以外に電極を装着する必要がなくなり、ウェアラブル機器装着と同時に電極の装着も行えるため、機器装着負担が削減することができる。
次に、本願発明者らが実施した実験の内容とその結果を説明し、本実施形態の詳細と、その効果について説明する。
図16は、HMD型脳波インタフェースシステム1を用いた本実験において、ユーザ10の顔面に接触する位置の例を示す。この位置に接触するよう、電極が配置されている。この位置の電極を利用して、具体的な精度の検証を行った。
本願発明者らは、まず20代の被験者15名に対して計測実験を行い、覚醒度が高く維持されていた8名を対象に解析を行った。被験者は上述の評価実験の被験者と同じである。
脳波計測は、ポリメイトAP−1124(デジテックス製)を使用し、サンプリング周波数は200Hz、時定数は3秒、フィルタは30Hzのローパスフィルタをかけた。
電極は4箇所に配置した。耳電極部11は右マストイド31(図16)であり、これを基準極とした。顔電極部12は、左目中心部より4cm上の左目上部23(図16)、および、右目中心部から4cm上の右目上部25(図16)、右耳の付け根最上部から2cm上の耳上(右耳上)部27(図16)とした。設置電極は国際10−20法の場所表記によるFPz33(図16)に装着した。また、頭頂部での脳波計測との比較を目的として、国際10−20法の場所表記によるPzにも電極を装着した。
各被験者に40回ずつ選択してもらい、顔前面部で計測した場合と、Pzで計測した場合とで、同様の判別アルゴリズムで判別を実施し、判別結果が的中した割合を識別率として算出を行うことで、精度検証を行った。
評価の対象として利用した判別アルゴリズムでは、上述のステップS63からステップS64の処理を実施してWaveletデータを作成し、ステップS65において眼電等のノイズ除去処理を行った脳波特徴成分に対して判別処理を実施した。
具体的には、ハイライトタイミングを起点にした0ms〜600msの事象関連電位(サンプリング間隔5ms、Double型)のデータに対してWavelet変換を行った。Wavelet変換の周波数成分のサンプリング数は15Hz以下を40サンプルとし、時間成分のサンプリング数は0ms〜600msの140サンプルとし、40×140のWaveletデータに変換した。さらにWaveletデータのノイズの平滑化を目的に、Waveletデータに対し、4×20(周波数0〜15Hzを4分割、時間0〜600msを20分割のDouble型)のリサンプリングを行うことにより、事象関連電位のWavelet変換データを算出した。
ステップS65の脳波特徴成分(5Hz以下で200ms〜400msの領域)は、上記事象関連電位のWavelet変換データのうち、図13の(e)に示す時間周波数領域を抽出した。すなわち、周波数成分は、4分割された成分のうち低周波2成分の領域で、かつ、時間成分は210ms〜390msの領域(8〜13サンプル目の領域)の計12サンプルを脳波特徴領域として抽出した。各電極の組み合わせごとに抽出された脳波特徴領域のデータは1つのデータに結合され、脳波特徴データとなる。本実験では、耳基準の左目上の組み合わせ、耳基準の右目上の組み合わせ、耳基準の右耳上の組み合わせの3つの脳波からの脳波特徴成分抽出が行われるため、12サンプル点が3個結合した36サンプル点を持つ脳波特徴データが作成される。
判別部14では、上述の処理で作成された36サンプル点の脳波特徴データを線形判別することにより、選択したい項目に対する波形かの判別を行う。
ここで、判別部14による判別処理に利用される教師データのデータ構造および作成方法を説明する。
図17は、教師データの例を示す。この教師データは予め作成され、判別基準DB15に保持されている。教師データの作成方法は以下のとおりである。
まず、あらかじめ同一のユーザ10に、どの選択肢を選択するか事前に明らかにした上で、同様の電極位置における脳波インタフェースを実施し、項目を選択してもらう。その際に記録した事象関連電位データを上記の脳波計測と同様にWavelet変換し、図16に示す位置のそれぞれの電極の組み合わせから周波数5Hz以下の200msから400msの脳波特徴領域から12サンプル点ずつ抽出する。3つの電極組み合わせから抽出した脳波特徴領域のサンプル点を1つのデータに組み合わせ、36サンプル点の脳波特徴データを作成する。さらに、各脳波特徴データと、選択したい項目に対するデータか選択したくない(選択していない)項目に対するデータかを分類するため、脳波特徴データと対応づけて、選択したい項目に対する脳波特徴データには「+1」を、選択したくない項目に対する脳波特徴データには「−1」を正解不正解インデックスとして付与し、教師データとして保持する。
判別部14は、この教師データの複数の脳波特徴データと、今回ユーザ10から計測した36サンプル点の脳波特徴データとで類似度の計算を実施する。今回ユーザ10から計測した脳波特徴データが、図17に示した教師データの「+1」の群に含まれる確率(事後確率)を線形判別方式にて算出することで類似度を算出した。それぞれの項目において計測された脳波特徴データに対し、同様に類似度を算出する。判別部14は、各項目について算出した類似度を比較し、最大の値をとった項目が、今回ユーザ10から計測した脳波が選択したい項目に対する脳波の波形として判別を行った。
精度検証の結果を図18に示す。
実験の結果より、マストイドを基準とした顔面部に装着した電極との電位差による脳波計測を利用した脳波インタフェースの精度は図6に示すとおり、1−右マストイドを基準極にした左目上電極の脳波を利用した場合は75.0%、2−右マストイドを基準極にした右目上電極の脳波を利用した場合は、75.3%、3−右マストイドを基準極にした右耳上電極の脳波を利用した場合は、68.1%であった。
本発明を利用して、波形1〜3の脳波から脳波特徴領域を抽出し、組み合わせて作成した脳波特徴データにより判別を実施した結果、80.6%と、電極を組み合わせる前の波形1〜3の個別の識別率と比較して、最大10%以上の精度の向上が可能となった。また、識別率も約8割とPzで計測した場合とほぼ同等の精度となっていることがわかった。
ここで、例えば波形1の脳波特徴成分を15Hz以下で200ms〜400msの領域とし、データ数を倍の24サンプルにして、波形1の脳波特徴成分を利用した識別を行った場合の識別率の算出を行った。その結果、識別率は72.5%であり、12サンプルの場合の精度75.0%と比べても精度の向上が見られなかった。
これは、識別のためのサンプル数を増やしただけでは精度が向上しないことを示している。識別のためのサンプル点にノイズを含んだサンプル点が存在すると、ユーザ10が選択したい項目かどうかにかかわらずノイズが混入する可能性が高くなり、ノイズが脳波の特徴信号と識別されてしまう割合が高くなることで識別率が低下する。つまり、識別精度には、識別に利用するサンプル点の数よりもノイズの混入が少ないサンプル点かどうかが効いていると考えられる。
このように、単に組み合わせ等で脳波特徴成分のサンプル数を増やしても精度は向上せず、眼球運動に起因するノイズ成分を除去した上で特徴成分を組み合わせた脳波特徴データを利用して、はじめて精度が向上すると考えられる。
以上の実験結果から、耳周辺部(マストイド)を基準にして顔面部の複数の電極の電位から特徴データの抽出を行い、組み合わせたデータを判別することにより、耳電極部と顔面部の電極で計測される脳波単体で判別を行った場合よりも、高い精度で脳波インタフェースを構築できることがわかる。
また、本発明により精度を向上したことで、頭頂部で脳波を計測した場合と同等の精度で脳波インタフェースを構築できることがわかる。
このように、耳周辺部の電極を基準に顔面部で計測した事象関連電位から、Wavelet変換により、眼の動きに起因するノイズを除去した特徴信号成分を抽出した上で、複数の電極分の特徴信号成分を組み合わせて脳波特徴データを作成し利用する。これにより、はじめて頭頂部に電極を装着した場合と同等の高い精度での判別が可能となり、HMD等のウェアラブル機器以外に電極を装着する必要がなくなるため、ユーザの機器装着負担を削減できる。
これまでは、ディスプレイ16の表示内容を制御する例(図11)を説明した。しかしながら、表示内容の制御は例である。以下、図19および図20を参照しながら、外部機器を制御する例を説明する。
図19は、本実施形態による第1の変形例にかかる脳波インタフェースシステム1aを示す。脳波インタフェースシステム1a中の眼鏡型ヘッドマウントディスプレイ(HMD)100aには、送信装置4が設けられている。その他の構成は図8に示す構成と同じである。
HMD100aのディスプレイ16の表示内容が測定されたユーザの事象関連電位に基づいて制御されるとともに、エアコン3の動作が制御される。たとえば、ディスプレイ16にエアコン3の動作メニュー(たとえば「冷房」、「暖房」、「ドライ」)が表示され、順次ハイライトされる。所望の項目がハイライトされたとき、ユーザがその項目の選択をしたいと考える。すると、上述の処理により、事象関連電位に基づいて選択を希望した項目が特定される。判別部14は、その項目に対応する制御信号を生成して、送信装置4を介して出力する。
エアコン3の受信装置5は、送信装置4から送信された制御信号を受け取る。その結果、エアコン3は、その制御信号に対応する運転を開始する。
なお、送信装置4および受信装置5は、たとえば赤外線による送信機および受信機である。
図20は、本実施形態による第2の変形例にかかる脳波インタフェースシステム1bを示す。脳波インタフェースシステム1b中の眼鏡型コントローラ100bには、送信装置4が設けられているが、ディスプレイは設けられていない。先の変形例にかかるディスプレイに代えて、脳波インタフェースシステム1bでは、制御対象の機器としてTV7が設けられている。眼鏡型コントローラ100bには、通信装置6aが設けられており、TV7に設けられた通信装置6bと双方向通信が可能である。TV7のディスプレイ16に表示される内容は、上述のとおりである。眼鏡型コントローラ100bは、TV7の表示内容を制御する制御装置として機能する。
この変形例から明らかなように、図7の出力部16は、判別部14等と同じ筐体に設けられたディスプレイであってもよいし、異なる筐体に設けられたディスプレイであってもよい。
なお、本実施形態では、マストイドを基準極とする例で説明を行ったが、必ずしも耳電極部はマストイドに装着されることを限定するものではない。従来の脳波計測でも、マストイド部や耳朶部は脳電位、心電位、筋電位の影響を受けにくい部位として脳波計測でも同じように利用されることが多いことから、図4(b)に示した耳朶部、耳珠部、耳付根後部を含む耳周辺部に耳電極部を装着した場合も本発明の範疇と考えられる。
また、上述の例では、HMDを例にして処理の説明を行ったが、耳周辺部に装着した耳電極と顔面部に複数装着した顔電極部による脳波インタフェースが本実施形態の範疇であり、実現される装置はHMDに限定されない。HMD以外の例として、マッサージの施術ベッドの例を図21に示す。
ユーザはマッサージの施術ベッドにうつぶせに寝転び、ベッドに開けられた穴に顔を固定した状態でマッサージの施術をうける。この顔を固定する部分に、ユーザの耳周辺部と顔面部に接するように電極を配置し、穴の底に、たとえばテレビ(図示せず)を設けてメニューを表示する。このテレビは、マッサージ施術中にユーザが放送番組を視聴するために設けられている。メニューの一部であるメニュー項目として、操作対象の機器の機能が表示される。希望するメニュー項目がハイライトされたときに、ユーザがその機能、たとえばチャンネル切り替え、を使用したいと頭の中で考えることで、施術中にチャンネルが切り替えられる。これにより、脳波インタフェースシステムによる機器の制御に適用することができる。
このように、HMD以外のゴーグル型機器のインタフェースや、施術ベッドのように特定の場所に顔を固定する機器のインタフェースにおいても、本発明を適用することが可能である。
なお、本実施形態では、判別基準DB15に蓄積された判断基準を、不特定多数のユーザの脳波特徴データにより教師データを作成し線形判別を行うと説明したが、判断基準は閾値であり、抽出したユーザ10の脳波特徴データに、その閾値より大きい値を含むかどうかで選択したい項目に対する脳波波形かどうかの判別を行ってもよい。上記の場合、判別基準DBには、閾値の値が保持される。
(実施形態2)
実施形態1では、耳周辺部に基準極1つと顔面部位置に複数の電極を利用した脳波から脳波特徴データを抽出することで判別を行っていた。
HMDのような装着が不安定な機器の場合、顔に装着した電極の位置がずれたり外れたり、同様に耳周辺部に装着した基準極がずれたり外れたりするケースが頻発すると考えられる。また、発汗や、外気温や乾燥肌などの個人の特性の影響による皮膚の状態などによって電極と皮膚との接触が弱くなり、電極が皮膚から浮いてしまうケースや、電極と皮膚との間に汗などの不純物が混入してノイズが増加し、脳波信号が正しく計測できなくなるケースも多く発生すると考えられる。
そこで、本実施形態では、電極の1つに装着状態の不具合が発生した場合でも、実施形態1の発明が適用可能で、安定した精度で脳波判別が行える脳波インタフェースシステムについて説明する。
図22は、本実施形態における脳波インタフェースシステム2の構成図である。実施形態1と同じ構成要素には同じ番号を付与し、説明を省略する。
本実施形態による脳波インタフェースシステム2が実施形態1による脳波インタフェースシステム1と異なるのは、耳電極部11が複数になった点、および、新たに電極装着判別部17が設けられた点である。電極装着判別部17は、装着している各電極が適正に装着されている状態かを判別する。なお、主要な構成要素としては、電極装着判別部17が異なるだけであるが、電極装着判別部17の信号を受ける脳波特徴抽出部13内部の処理も異なる。
本実施形態における全体の処理のフローチャートは、実施形態1のフローチャート図10と同一である。よって脳波特徴抽出部13における脳波特徴データ抽出処理に関するフローチャートを説明し、電極装着判別部17や具体的な処理について説明する。
図23は、脳波特徴抽出部13における脳波特徴データ抽出処理のフローチャートを示す。実施形態1と同じ処理を行うステップに関しては、説明を簡易にとどめる。なお、各ステップの説明の詳細は、後に詳述する。
ステップS101において、電極装着判別部17は、ユーザ10が装着している各電極(耳電極部11、顔電極部12)の装着状態を判別し、電極装着情報を出力する。「装着状態」とは、電極が皮膚から外れていないか、外れかけていないか等を意味する。判別は、各電極間の電気的特性を調べることによって行われる。具体的には、判別は、電極間のインピーダンスをチェックすることにより行われる。
ステップS102において、電極装着判別部17において判別された電極状態情報に基づいて、脳波特徴抽出部13は計測すべき電極の組合せを選択する。
ステップS61では、脳波特徴抽出部13が、選択された電極の組み合わせの電位差を計測することにより、脳波を計測する。
ステップS62では、脳波特徴抽出部13の指示により、出力部16でハイライト表示が行われる。
ステップS63では、電極組合せ選択をして計測された脳波に対し、脳波特徴抽出部13は、ハイライトを指示したタイミングを起点とした事象関連電位の取得を行う。
ステップS64では、取得した事象関連電位を時間と周波数の特徴量に詳細化するため、Wavelet変換を行う。
ステップS65では、Wavelet変換されたデータから、脳波特徴信号に関する領域のみの切り出しを行う。
ステップS66では、脳波特徴抽出部において切り出しが行われた複数の脳波特徴成分を1つのデータに組み合わせ、脳波特徴データとして出力する。
その後の判別部14における判定処理や出力部16における出力例については、実施形態1で説明したものと同一である。
次に、図24を参照しながら、電極装着判別部17における電極装着状態の判別方法を説明する。電極は、図24に示す位置11a、11b、12aおよび12bに装着されているとする。すなわち、ユーザ10は右耳周辺部に耳電極部11aを、左耳周辺部に耳電極部11bを装着し、右耳上に顔電極部12aを、左目上に顔電極部12bを装着している。
図25は、電極装着判別部17の処理のフローチャートを示す。
ステップS71では、電極装着判別部17は、インピーダンスチェックにより、電極間の装着不具合判別を行う。これにより、電極とユーザの皮膚が接触しているかどうかを特定することができる。
インピーダンスチェックとは、2つの電極に間にごく微量の電流を流すことにより、2つの電極と皮膚とが接地している箇所にどれだけの抵抗値が発生しているかを計測する方式である。電極が外れた場合やユーザの発汗等により脳波が適正に検出できなくなった場合、電極の抵抗値が高くなる。よって、インピーダンスチェックし、電極の抵抗値を計測することにより、どの組み合わせの電極が正しく接地されていないかを判別することができる。
図24に示す両方の耳電極部11a、11bを基準とした顔面部に装着された電極12a、12bの電極の組み合わせは、耳電極部11aと顔電極部12aの組み合わせ201と、耳電極部11bと顔電極部12aの組み合わせ202と、耳電極部11aと顔電極部12bの組み合わせ203と、耳電極部11bと顔電極部12bの組み合わせ204とがあげられる。電極装着判別部17は、上記4つの電極の組み合わせ201、202、203、204におけるインピーダンスチェックを行い、各組合せ抵抗値の計測を行う。
ステップS72において、電極装着判別部17は、電極の組み合わせ201、202、203、204の抵抗値のうち、抵抗値が高いものが複数存在するかを判定する。具体的には、ステップS72で計測したある電極の組合せの抵抗値が100kオーム(キロオーム)を超えていた場合、電極の組み合わせのいずれかの電極に接地の不具合があると判別する。
抵抗値が高い電極の組合せが存在しなかった場合は、ステップS74で「不具合電極なし」の電極状態情報を脳波特徴抽出部13に出力する。たとえば抵抗値が5キロオーム程度であれば、その電極の組はいずれも問題なく装着されているといえる。
なお、ステップS71の電極間の装着不具合チェックやステップS72の装着不具合な組み合わせのチェックをインピーダンスチェックの利用により電極装着状態の判別を行うと説明したが、電極の組み合わせごとに脳波を測定し、脳波の周波数などの特性を判別することで電極間の装着不具合の検出行ってもよい。例えば、計測した脳波が±100μVを超えた回数や計測した脳波の周波数成分を調べることで、電極装着状態の判別を行うことができる。上述のように、抵抗値ではなく波形の特性を利用して電極状態の判別を行う場合、ステップS72では、電極装着不具合の特性を持つ脳波が計測された電極の組み合わせが、複数存在するかどうかのチェックが行われる。
ステップS72にて装着の不具合がある電極の組合せが複数存在した場合、ステップS73で電極装着判別部17は、装着の不具合がある電極の組み合わせに共通して含まれる電極を探索することにより、不具合電極を特定する。一般的に、インピーダンスチェックや波形の特性による装着不具合検出では、電極の組み合わせのいずれか一方に不具合があるということしか判別が行えない。よって、装着の不具合がある電極の組み合わせを複数検出し、複数の組み合わせに共通して含まれているか電極を特定することで、どの電極が外れているか等の不具合の発生を特定することが可能となる。例えば、図24の電極の組201間の抵抗値、および、電極の組202間の抵抗値が大きかった場合、2つの組み合わせに共通する顔電極部12aが、装着に不具合がある電極として特定される。
不具合が発生している電極を特定した後、電極装着判別部17はステップS74で、特定した電極の位置情報を電極状態情報として脳波特徴抽出部13に出力する。例えば、顔電極部12aが装着に不具合があった場合には、「右耳上電極不具合」の情報が電極状態情報として出力される。
上記の例では、インピーダンスチェックや脳波計測によって電極装着状態の判別を行う例を説明したが、圧力センサのような新たなセンサを電極に追加することにより、接地圧の強さによって電極の装着状態の判別を行ってもよい。
上記では、電極状態情報を「不具合電極なし」「右耳上電極不具合」として説明を行ったが、電極装着判別部17は何も出力しないことで不具合の状態の電極がないことを通知してもよい。また、電極に個別のIDが存在する場合は、電極のIDを出力することで、不具合のある電極を通知してもよい。
さらに、電極の組合せの抵抗値が100キロオームを超えないが、100キロオームに近いとき(たとえば80〜100キロオームの範囲内)には電極が外れかかっていると考えられる。そのような電極を利用して得られる脳波信号の信頼性は低く、その後の処理に利用すると、脳波インタフェースシステム2の判別精度を下げる可能性がある。よって、上述の電極外れと同じ方法によって外れかかっている電極を特定することにより、その電極から得られる事象関連電位を破棄してもよいし、不具合のある電極を通知してもよい。また、その電極から得られる事象関連電位に対してノイズ除去等処理を行ってもよい。
次に、脳波特徴抽出部13の処理について、図26(a)〜(c)の電極装着状態ごとの計測例を利用して説明を行う。
脳波特徴抽出部13は、電極装着判別部17の電極状態情報を受信し、脳波計測を行うべき電極の組合せを決定する。
電極装着判別部17より「不具合電極なし」の電極状態情報を受信した場合、脳波特徴抽出部13は、図26(a)に示すように、両方の耳電極部11a、11bを基準とした複数の顔電極の組み合わせ(図24の電極の組201、202、203、204)の電位差により、脳波を計測する。
また、電極装着判別部17より「右耳上電極不具合」の電極状態情報を受信した場合、脳波特徴抽出部13は、図26(b)に示すように、右耳上電極12aを含まない、耳電極部11a、11bを基準とした電極の組み合わせ203と204の電位差により、脳波を計測する。
さらに、電極装着判別部17より「右耳電極部不具合」の電極状態情報を受信した場合、脳波特徴抽出部13は、図26(c)に示すように、耳電極部11aを含まない、左耳電極部11bを基準とした顔電極の組み合わせ202と204の電位差により、脳波が計測される。
このように、電極装着状態を常に監視し、装着不具合のある電極を除外した電極を組み合わせて判別を行うことで、顔面部や耳周辺部の電極が外れた場合でも、耳電極部11を基準とした顔面部の電極を複数計測することが可能で、精度の高い判別を継続することができる。また、耳電極部11が外れた場合でも、脳波インタフェースの動作が継続できる。
また、装着不具合がある電極が特定できているため、「右耳後ろの電極の装着状態を確認してください」のような特定の電極の再装着を促すメッセージの提示や警告音により電極装着の不具合が発生していることをユーザ10に対し通知することが可能である。このメッセージにより、ユーザ10は装着不具合が発生している電極の部位を強く押し当てるなどの簡易な対応が可能になり、HMDをもう一度装着しなおすといった正常に装着されている電極まで再度装着しなおす手間を省くことができ、ユーザの電極装着負荷が軽減される。さらに、簡易に電極の装着不具合に対応できることにより、常に正常に電極が装着されている状態を保つことができ、高い精度の判別が行なえる状態を維持することが可能となる。
また、電極装着不具合が発生し、ユーザ10に装着不具合の通知を行わない場合でも、HMDが電極の設置状態を改善する機構(例えばHMDの先セル部形状を変化させ、HMDをよりユーザ10に密着させるような調整や、バネや空気圧を利用してHMDが特定の電極をユーザ10に強く接するように調整など)を有することにより、自動的に正常な電極装着状態を保ち、ユーザ10の手を煩わすことなく高い精度の判別が行なえる状態を維持することが可能となる。
よって、装着が不安定なHMDにおいて、ロバストに脳波インタフェースを動作させることが可能になる。
次に、本願発明者らが実施した実験の内容とその結果を説明し、本実施形態の効果について説明する。
実験は、両マストイドを基準とした本実施形態による、電極外れを想定した脳波インタフェースシステムの動作精度の検証と、片マストイドを基準とした方式において同様の位置の電極外れが発生したでの精度の比較を行った。
実験パラメータは、実施形態1で実施した実験と同様の脳波計、フィルタ処理を行い、精度算出方法も同様の方法で行った。
測定電極位置は、耳電極部として右マストイド11a(図24)、左マストイド11b(図24)を基準極とし、顔電極部として、左目中心部より4cm上の左目上部12b(図24)と、右耳の付け根最上部から2cm上の耳上(右耳上)部12b(図24)の計4箇所に電極を装着し、設置電極は国際10−20法の場所表記によるFPzに装着した。片耳マストイドのみを基準とした方式は、実施形態1で説明した電極位置と同様、図16で示す位置で行った。
精度検証の結果を図27に示す。
実験結果をみると、本実施形態の方式では、図26に示す(a)通常時、(b)顔電極部12aが外れた場合、(c)耳電極部11aが外れた場合の3つのケースの識別率をみると、それぞれ(a)80.6%、(b)75.6%、(c)69.1%であった。このように、本実施の形態により、電極が1つ外れた場合でも7割近い識別率を維持して、脳波インタフェースを動作させることが可能であることを確認できた。
また、本実施形態の方式と片マストイドを基準とした場合との比較を行う。片マストイドを基準とした場合では、(b)の場合で識別率75.0%と両マストイドを利用する本実施形態に比べて低く、(c)の場合では脳波の計測が不可能になり、脳波インタフェースを動作させることができなくなる。
以上の実験結果から、両マストイドを基準にして顔面部の複数の電極の電位から特徴データの抽出を行い、組み合わせたデータを判別することにより、片マストイドと顔面部の電位差単体で判別を行った場合よりも精度が高く、電極が1つ取れた状態になっても計測不能な状態にならず、比較的高い精度で脳波インタフェースをどうさせることが可能なことがわかった。
このように本実施形態による脳波インタフェースにより、両耳周辺部に電極1つずつと顔面部位置に複数の電極を装着し、電極が1つ外れてしまった場合でも、耳周辺部を基準極にした顔面部の電極の電位を複数確保できるようにすることで、電極装着不具合によって判別精度が低下するケースや判別が行えなくなってしまうケースを回避することができ、HMDのような装着が不安定な機器においても、ロバストな脳波インタフェースを実現することができる。
本発明にかかる脳波インタフェース装置では、顔面部において脳波計測をする場合に広く利用可能であり、HMDにとどまらず、映像出力を持たない眼鏡(ゴーグル)型のウェアラブル機器や、穴の開いた位置に顔を入れるエステやマッサージ等で用いられる施術ベッドのように、顔を特定の位置に固定する機器等において、脳波を利用したインタフェースを構築する場合に利用可能である。
1 脳波インタフェースシステム
10 ユーザ
11 耳電極部
12 顔電極部
13 脳波特徴抽出部
14 判別部
15 判別基準DB
16 出力部
17 電極装着判別部