JP4465414B2 - 脳波を用いた機器の制御方法および脳波インタフェースシステム - Google Patents

Description

本発明は、ユーザの脳波を計測し、計測した脳波に基づいて、ユーザが所望する機器の制御を可能にする機器操作インタフェース技術に関する。より具体的には、本発明は、ヘッドマウントディスプレイ（ＨＭＤ）などのウェアラブル機器に組み込まれて、ユーザの脳波によって当該ウェアラブル機器または他の機器の機能を選択および起動させることを可能とする機器操作インタフェース技術に関する。

近年、機器の小型軽量化により、ヘッドマウントディスプレイ（ＨＭＤ）等のウェアラブル機器が普及してきている。多くの機器のインタフェースとして、ボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作するなどの、ハードウェアを利用した方法が用いられている。しかしながら、ＨＭＤのように本体が小型でハンズフリーを特徴とする機器の制御では、上記のような物理的な操作を必須とするとハンズフリーの特徴を損ない、有効ではない。そこで、物理的な操作を行わずに機器を制御するインタフェース、具体的には、考えただけで機器を制御できる、脳波を利用した手軽なインタフェースが注目を浴びてきている。

脳波とは、基準極と計測対象極の電位の差により電気信号として計測される脳活動（脳神経細胞の電気的活動）である。この脳波を利用したインタフェースとして、たとえば特許文献１に記載された、事象関連電位を利用した人の心理状態等の判定方法及び装置があげられる。

特許文献１では、脳波の事象関連電位の特徴的な信号を用いてユーザが選択したいと思っている選択肢を判別する技術が開示されている。

具体的には、頭頂部に電極を装着し、画面上にランダムに単語を表示し、ユーザが選択したいと思っている単語が表示されたタイミングを起点に３００ｍｓから５００ｍｓの時間帯に出現する陽性成分（Ｐ３００成分）などを利用して、ユーザが選択した単語の判別を行う脳波インタフェースが実現されている。

従来の脳波計測では、電極を国際１０−２０法の場所表記にしたがって装着され、頭頂部に計測対象極を装着することで計測が行われてきた。特許文献１では、国際１０−２０法における位置Ｐｚ（正中頭頂）およびＣｚ（正中中心）の位置の特徴信号を用いて脳波計測が行われている。特許文献１で利用される特徴信号は位置Ｐｚの位置で強く計測できることが知られている。そのため、従来の脳波インタフェースの電極の位置は、Ｐｚが主に利用されている。

本願発明者らは、実際に、位置Ｐｚで計測した脳波を利用して、ＴＶ画面に表示された４つの選択肢の中からユーザが選択した項目を判別するインタフェースを構築した。なお、以下において、「脳波インタフェースを構築」と記した場合には、同様のインタフェースを構築したことを意味するものとする。

被験者８名に対して評価を実施したところ、８１．３％の識別率（全試行回数のうち判別結果が的中した割合）で判別が可能であった。

特開２００５−３４６２０号公報 特開平７−６４７０９号公報 特開平９−３８０３７号公報

しかしながら脳波計測は、上述のように頭頂部に装着した電極を利用して行われなければならない。そのため、頭頂部と接触する構造を持たない機器、たとえば上述のＨＭＤを用いる場合には、別途、頭頂部に脳波を計測するための電極を別途装着する必要がある。ＨＭＤは、常時装着されず必要な時のみ装着され、かつ、頻繁に脱着が行われる機器である。よって、ＨＭＤ以外に別途電極を装着することは、ユーザにとって負担となる。この事情は、頭頂部と接触する構造を持たない、ＨＭＤ以外の機器についても当てはまる。

なお、ＨＭＤを利用してユーザの生体信号を取得する研究が行われている。たとえば、特許文献２では、ＨＭＤ内側のユーザの顔面と接触する位置に電極を設け、眼電、筋電を計測し視線方向を検出する方法が開示されている。また、特許文献３では、眼の上下、左右の位置に電極を取り付け、各々の電位差を計測することにより眼電を計測する方法が開示されている。これらはいずれも顔の筋肉の反応（筋電）や眼球の動き（眼電）を計測する研究である。

本発明の目的は、国際１０−２０法の位置Ｐｚ（正中頭頂）で脳波を計測しなくても、従来眼電や筋電などの計測で利用されていた顔面部の電極に加え、ＨＭＤ等ウェアラブル機器形状の範囲内の新しい電極位置を組み合わせて利用することで、位置Ｐｚで計測した脳波に基づいて動作する脳波インタフェースシステムと同程度の精度で動作する脳波インタフェースを提供することである。

本発明による、脳波を用いた機器の制御方法は、機器の操作メニューに関する視覚刺激を提示するステップ（ａ）と、前記視覚刺激の提示後に、複数の事象関連電位を計測するステップ（ｂ）であって、ユーザの顔面部に装着された複数の電極の各々と、ユーザの耳周辺部に装着された少なくとも１つの基準電極との間の電位差から、前記視覚刺激が提示されたタイミングを起点とした複数の事象関連電位を計測するステップ（ｂ）と、計測された前記複数の事象関連電位から、５Ｈｚ以下でかつ所定の時区間を含む脳波データをそれぞれ抽出し、前記抽出された脳波データを組み合わせて脳波特徴データとするステップ（ｃ）と、予め用意された操作メニューの選択の要否を判別するための基準データと前記脳波特徴データとを比較するステップ（ｄ）と、前記ステップ（ｄ）の比較結果に基づいて、前記機器の操作メニューに対応する操作を実行するステップ（e）とを包含する。

前記所定の時区間は、前記視覚刺激の提示を起点とした２００ｍｓから４００ｍｓの区間であってもよい。

前記ステップ（ｂ）は、前記ユーザの両側の耳周辺部にそれぞれ少なくとも１つ装着された基準電極を用いて、前記複数の事象関連電位を計測してもよい。

前記ステップ（ｂ）は、前記ユーザの右目上部および左目上部の少なくとも一方の位置に装着された電極を用いて、前記複数の事象関連電位を計測してもよい。

前記ステップ（ｃ）は、計測された前記複数の事象関連電位の波形から、前記波形の周波数的および時間的な特徴を示す脳波特徴データを抽出してもよい。

前記ステップ（ｃ）は、計測された前記複数の事象関連電位の波形から、前記波形の周波数的および時間的な特徴を示す脳波特徴データを抽出してもよい。

前記ステップ（ｃ）は、前記出力部において前記機器の操作メニューが提示された後２００ｍｓ〜４００ｍｓの区間で、かつ、周波数が５Ｈｚ以下の特徴を示す脳波特徴データを抽出してもよい。

前記ステップ（ｃ）は、前記耳周辺部の少なくとも１つの基準電極および前記顔面部の複数の電極で計測される前記複数の事象関連電位の各波形から前記各波形の特徴を示すデータを抽出し、各データに基づいて１つの脳波特徴データを生成してもよい。

前記ユーザの顔面部に装着された複数の電極の各々と、前記ユーザの両側の耳周辺部にそれぞれ少なくとも１つ装着された基準電極との間の電気的特性に基づいて、前記複数の電極および前記基準電極の各々の装着状態を判別するステップ（ｆ）と、前記ステップ（ｆ）の判別結果に基づいて、前記ステップ（ｂ）において前記複数の事象関連電位を計測する電極の組み合わせを決定するステップ（ｇ）とをさらに包含してもよい。

前記ステップ（ｇ）は、前記ユーザの顔面部に装着された複数の電極の各々と、前記ユーザの両側の耳周辺部にそれぞれ少なくとも１つ装着された基準電極とを組み合わせて得られた前記複数の事象関連電位の計測値が閾値を越える電極の組み合せを複数検出し、前記電極の組み合わせに共通して含まれる電極を探索することにより、装着状態に不具合がある電極を特定してもよい。

前記ステップ（ｇ）によって特定された電極を識別可能に通知してもよい。

本発明による脳波インタフェースシステムは、操作メニューを視覚的に提示する出力部と、ユーザの耳周辺部および顔面部にそれぞれ装着されて、前記ユーザの脳波を計測する複数の電極と、前記操作メニューの提示タイミングに基づいて特定される、前記脳波の波形の少なくとも一部から、前記波形の特徴を示す脳波特徴データを抽出する脳波特徴抽出部と、予め用意されたデータと前記脳波特徴データとを比較してその類似度を判別し、判別結果に基づいて機器を制御する判別部とを備えている。

前記出力部はディスプレイであり、前記判別部は、前記判別結果に基づいて前記ディスプレイの表示内容を制御してもよい。

前記脳波インタフェースシステムは、外部機器に対して制御信号を出力する送信部を備え、前記判別部は、前記判別結果に基づいて前記制御信号を出力し、前記制御信号に基づいて前記外部機器の動作を制御してもよい。

本発明による制御装置は、表示装置とともに脳波インタフェースシステムを形成する、前記表示装置の制御装置であって、前記表示装置と通信して、前記表示装置に操作メニューを視覚的に提示させる通信部と、ユーザの耳周辺部および顔面部にそれぞれ装着されて、前記ユーザの脳波を計測する複数の電極と、前記操作メニューの提示タイミングに基づいて特定される、前記脳波の波形の少なくとも一部から、前記波形の特徴を示す脳波特徴データを抽出する脳波特徴抽出部と、予め用意されたデータと前記脳波特徴データとを比較してその類似度を判別し、判別結果に基づいて前記機器を制御する判別部とを備えている。

本発明によれば、顔面部を含む、ユーザと接触する位置に複数の電極を設けた機器を用いることにより、従来の頭頂部での脳波計測による脳波インタフェースシステムと同等の精度で動作する脳波インタフェースシステムを構築できる。このような機器は、たとえば眼鏡（ゴーグル）型のＨＭＤのような、ユーザ頭部の比較的狭い範囲に装着される機器であり、ユーザの顔面部および耳部に電極を設ければよい。ユーザはわざわざ機器がユーザに接触する位置以外に電極を装着する必要がなくなり、ＨＭＤ装着と同時に電極の装着も完了できるため、機器装着負担が削減できる。

従来の眼電計測で利用していた電極の位置１０１〜１０４を示す図である。 従来眼電計測や筋電計測で利用されていた電極位置のうち、ＨＭＤ形状の範囲内に含まれる電極位置を示す図である。 本願発明者らが行った実験結果として、すべての電極位置の組合せと識別率との関係を示す図である。 （ａ）は顔面部の電極位置を示す図であり、（ｂ）は耳周辺部の電極位置を示す図である。 本願発明者らが行った実験における電極位置の例を示す図である。 電極の組合せと識別率の関係を示す図である。 実施形態１による脳波インタフェースシステム１の構成図である。 脳波インタフェースシステム１を眼鏡（ゴーグル）型ヘッドマウントディスプレイ（ＨＭＤ）として構成した実施例を示す図である。 実施形態１による脳波インタフェース装置のハードウェア構成図である。 脳波インタフェースシステム１で行われる処理のフローチャートである。 （ａ）〜（ｃ）は、脳波インタフェースシステム１で行われる処理の例を示す図である。 脳波特徴抽出部の処理のフローチャートである （ａ）〜（ｅ）は、各電極で計測された脳波波形から、特徴データを抽出する処理の遷移を示す図である。 判別部１４の処理のフローチャートである。 判別部１４の処理順序を示す図である。 ＨＭＤ型脳波インタフェースシステム１を用いた本実験において、ユーザ１０の顔面に接触する位置の例を示す図である。 教師データの例を示す図である。 精度検証の結果を示す図である。 実施形態１による第１の変形例にかかる脳波インタフェースシステム１ａを示す図である。 実施形態１による第２の変形例にかかる脳波インタフェースシステム１ｂを示す図である。 ＨＭＤ以外の例として、マッサージの施術ベッドの例を示す図である。 実施形態における脳波インタフェースシステム２の構成図である。 脳波特徴抽出部１３における脳波特徴データ抽出処理のフローチャートである。 電極の装着位置を示す図である。 電極装着判別部１７の処理のフローチャートである。 （ａ）〜（ｃ）は、電極装着状態ごとの計測に使用する電極例を示す図である。 精度検証の結果を示す図である。 頭頂部で発生する特徴信号の発生時間帯や周波数帯の例を示す図である。 切り出されるＷａｖｅｌｅｔ変換されたデータの領域を示す図である。

以下ではまず、本願発明者らが行った実験を説明する。そして、当該実験から得られた知見、具体的には、国際１０−２０法の位置Ｐｚ（正中頭頂）で脳波を計測しなくても、従来眼電や筋電などの計測で利用されていた顔面部の電極、および、ユーザと接触する位置に設けた他の電極を利用することにより、位置Ｐｚで計測した脳波に基づいて動作する脳波インタフェースシステムと同程度の精度で動作する脳波インタフェースを構築できることを説明する。その後、当該脳波インタフェースの各実施形態を説明する。

上述のとおり、ヘッドマウントディスプレイ（ＨＭＤ）の、ユーザの顔面と接触する位置に電極を設け、顔の筋肉の反応（筋電）や眼球の動き（眼電）を計測する研究は従来から行われていた。

本願発明者らは、ユーザの顔面と接触するＨＭＤの位置に電極を設け、その電極を用いて脳波を計測することができるか否かを実験した。

実験では、本願発明者らは脳波インタフェースを構築し、Ｐｚ（正中頭頂）に設けた電極で被験者８名の脳波を計測し、脳波に基づく脳波インタフェースの評価を行った。本願発明者らはあわせて、従来の眼電計測で利用されている電極位置を利用して脳波を計測する脳波インタフェースを構築し、同じ被験者８名に対してその脳波インタフェースの評価を実施した。

図１は、従来の眼電計測で利用していた電極の位置１０１〜１０４を示している。電極は、ユーザの両眼の左右の位置１０１および１０２、両眼間の位置１０４、および、右目上の位置１０３に貼り付けられる。

脳波の計測方法としては、電極の組み合わせにおいて、一方の電極を基準極、他方の電極を計測対象極とし、基準極を基準とした計測対象極の電位を計測する。脳波インタフェースはこの計測された脳波を利用して、判別を行う。

本実験では、従来眼電で利用されていた電極の組み合わせのうち、一方を基準極、他方を計測対象極と仮定し、識別率の評価を実施した。

評価結果は以下のとおりである。
眼の左右運動を計測する位置（基準極：右目横１０１と、計測対象極：左目横１０２の電位差）で計測した場合の識別率＝３７．８％
眼の上下運動を計測する位置（基準極：右目上１０３と、計測対象極：鼻１０４）で計測した場合の識別率＝６３．８％

従来利用されていた電極位置では、Ｐｚで脳波を計測した場合の識別率と比較して、精度が悪いことが理解される。

眼電計測では、電極を装着した部分で発生する電位を計測するのが目的であるため、電極の位置関係が重要になるが、脳波の計測では、頭頂部で発生した電位を顔面部で計測するため、電極の位置関係は従来の眼電計測の位置関係にとらわれる必要はない。

そこで、ＨＭＤがユーザの頭部と接触する範囲内（以下、「ＨＭＤ形状の範囲内」と記述する。）で眼電、筋電計測で利用されていた電極位置を総あたりで組み合わせ、脳波インタフェースを構築し、識別率の評価を行った。図２は、従来眼電計測や筋電計測で利用されていた電極位置のうち、ＨＭＤ形状の範囲内に含まれる電極位置を示す。電極の位置としては、右耳上２１、右目横２２、右目上２３、鼻２４、左目上２５、左目横２６、左耳上２７が想定される。

本願発明者らは、図２に示す顔面部の位置２１〜２７に設け得る電極のうちの２つの電極を１組として、すべての組を列挙した。そして、一方の電極を基準極とし、他方の電極を計測対象極として、脳波インタフェースの識別率の評価を行った。図３は、すべての電極位置の組合せと識別率との関係を示す。

実験の結果によると、顔面部の電極を組み合わせた場合においても、識別率は右目上２５を基準極とした右目横２６の電極の電位差を利用した場合の６５．９％が最大であった。

このように、顔前面部の電極のみで脳波を計測してユーザが選択した項目の判別をおこなっても、位置Ｐｚで計測した場合の識別率８１．３％と比較して精度が悪く、脳波インタフェースの性能が十分ではないという結論が得られた。

次に、本願発明者らが実施したＨＭＤ形状の範囲内における最適基準極位置探索実験を説明する。

図４（ａ）は、従来の眼電計測で利用されていた顔面部の電極位置を示す。図４（ａ）に示すように、目の上２８ａの電極は眼窩２９の上縁に装着され、目の横２８ｂの電極は眼窩２９の外縁（外眼瞼角）に、鼻の電極は鼻根２８ｃに装着される。

図４（ｂ）は、耳周辺部の電極位置３０ａ〜３０ｅを示している。従来の眼電計測では、耳の上の耳付根上部３０ｅにも電極が装着されていた。

ＨＭＤ形状の範囲に鑑みれば、眼電計測で利用されている顔面部の電極に加えて、ＨＭＤが耳と接触する位置にさらに他の電極を設けることが可能である。その位置は具体的には、耳下部（耳の付け根の下部）のマストイド３０ａ、耳朶部３０ｂ、耳前部の耳珠３０ｃ、耳後部（耳の付け根の後部）３０ｄなどの耳周辺部である。そこで、本願発明者らは、上記耳周辺部を代表して、耳の裏の付け根の頭蓋骨の突起部であるマストイド（乳様突起）３０ａを選択し、従来顔面部で利用されていた電極の位置に対し、マストイドを基準極とした脳波インタフェースの識別率評価実験を実施した。

実験は、ＨＭＤ形状においてユーザの顔面に接触する位置の例として、図２に示す位置をあげ、それらの部分を利用した具体的な精度の検証を行った。

実験には、２０代の被験者１５名に対して計測実験を行い、覚醒度が高く維持されていた８名を対象に解析を行った。

脳波計測は、ポリメイトＡＰ−１１２４（デジテックス製）を使用し、サンプリング周波数は２００Ｈｚ、時定数は３秒、フィルタは３０Ｈｚのローパスフィルタをかけた。

図５は、本実験における電極位置の例を示す。本実験では、基準極を右マストイド３１または左マストイド３２とする。また、顔電極部として、従来眼電や筋電計測で利用されていた右耳上２１、右目横２２、右目上２３、鼻２４、左目上２５、左目横２６、左耳上２７の７箇所に電極を装着し、設置電極は国際１０−２０法の場所表記によるＦＰｚ３３に装着した。各被験者に４０回ずつ選択してもらい、判別結果が的中した割合を識別率として算出を行うことで、精度検証を行った。

図６は、電極の組合せと識別率の関係を示す。実験結果より、マストイドを基準極とした組合せでは、右マストイド３１を基準極にした右目上の電位差を利用した識別率が７５．３％と最も高いことがわかった。また、平均の識別率でも左マストイド基準で５７．８％、右マストイド基準で６６．６％となった。左右のマストイドを基準に顔面部の電位を計測した脳波は、顔面部の電極を基準して計測された脳波よりも識別率が高くなり、脳波インタフェース構築に必要な脳波信号を含んでいることがわかる。

このように耳周辺部（マストイド）を基準とした顔面部の電極の電位差により脳波を計測することで、顔面部の電極だけを利用して脳波を計測した場合に比べて１０％近く識別率を向上させることが可能となる。

しかし、マストイドを基準とした顔面部の電極の電位差により脳波を計測した場合でも、最大識別率７５．３％と、Ｐｚを利用した識別率８１．３％にはまだ及ばない。

次に本願発明者らは、耳周辺部を基準とした顔面部の電位を利用して事象関連電位を計測し、頭頂部（Ｐｚ）近辺で発生した脳波信号が含まれる周波数帯のデータを利用した判別を行った。

具体的な判別方法を以下に説明する。まず、計測された事象関連電位を時間周波数分解（本実施形態ではＷａｖｅｌｅｔ変換）し、選択時の脳波の特徴信号の発生時間帯や周波数帯を選びだす。頭頂部で発生する特徴信号の発生時間帯や周波数帯の例を図２８に示す。図２８は横軸に時間（単位：ｍｓ）、縦軸に周波数（単位：Ｈｚ）を表している。図２８のハッチングを付した時間周波数領域が、頭頂部で計測した事象関連電位の判別に利用される特徴信号である。顔面部でも同様に、特徴信号以外の領域を除外し、図２８の特徴信号領域のみを抽出し、判別を行った。結果、６９．７％と７５．３％よりも精度が低下した。これは、微弱な信号の領域にノイズが多く混入してしまった結果であると考えられる。

そこで本願発明者らは、さらに精度を向上させるため、瞬きなどのノイズが混入する領域を除外したうえで、頭頂部近辺で発生した脳波信号が前面部に伝わってきている弱い特徴信号の時間周波数領域を抽出し、その成分を複数組み合わせた。その結果、脳波インタフェースに必要な強い特徴信号を抽出し、Ｐｚと同程度の精度での脳波インタフェースを実現することができた。以下、本発明として、その脳波インタフェースシステムを説明する。

本発明により、耳周辺部を基準にした顔面部の電極の脳波信号の組み合わせで、脳波インタフェースの識別率を８０．６％にまで向上させることが可能になり、位置Ｐｚに電極を装着しなくても、十分高い性能を有する脳波インタフェースシステムが得られることを確認できた。

以下、添付の図面を参照しながら、本発明の実施形態を説明する。

（実施形態１）
図７は、本実施形態による脳波インタフェースシステム１の構成図である。脳波インタフェースシステム１は、耳電極部１１と、顔電極部１２と、脳波特徴抽出部１３と、判別部１４と、判別基準データベース（ＤＢ）１５とを備えている。なお、図７では、ユーザ１０は理解の便宜のために記載されている。

図８は、脳波インタフェースシステム１を眼鏡（ゴーグル）型ヘッドマウントディスプレイ（ＨＭＤ）として構成した実施例である。以下では、図８に示すＨＤＭ型の脳波インタフェースシステム１を詳細に説明する。

図８に示すＨＭＤ型脳波インタフェースシステム１の各部位の名称は眼鏡と同様である。以下では、ユーザ１０の耳に引っ掛かりＨＭＤ本体を固定する部分を「先セル部」と呼ぶ。また、ユーザ１０の鼻に接触しＨＭＤ本体を支える部分を「ノーズパッド部」と呼ぶ。そしてユーザ１０の各眼球の前に設置される出力部１６を保持し固定する部分を「リム部」、両目の前のリム部をつなぎ支える部分を「ブリッジ部」、リム部と先セル部をつなぎ支える部分を「テンプル部」と呼ぶ。

耳電極部１１はユーザの耳周辺部に設けられ、顔電極部１２ａ、１２ｂはユーザの顔面周辺に設けられる。具体的には、耳電極部１１は、先セル部の内側に設置される。よって、耳電極部１１は、ユーザ１０の片側の耳の周辺と接触する。顔電極部１２ａ、１２ｂは、ＨＭＤのテンプル部、リム部、ノーズパッド部のいずれかに設置される。よって顔電極部１２ａ、１２ｂは、ユーザ１０の顔面部の複数の箇所でユーザと接触する。

脳波特徴抽出部１３は、耳電極部１１と顔電極部１２ａ、１２ｂとの電位の差から脳波を計測し、脳波特徴データを抽出する。「脳波特徴データ」とは、脳波の時間的および周波数的な特徴を示すデータである。たとえば計測された脳波波形を後述のＷａｖｅｌｅｔ変換によって得ることができる。

判別部１４は、ユーザの脳波特徴データに対して所定の判別基準に基づいて、ユーザが選択した項目を判別する。「所定の判別基準」とは、予め定められたデータであり、判別基準ＤＢ１５に蓄積されている。ディスプレイ１６は、判別部１４の判別結果に基づいて機器の制御を行う。

図８の例では、耳電極部１１は、ＨＭＤの右先セルの内側に設置され、顔電極部１２ａはＨＭＤの右テンプル部、顔電極部１２ｂはＨＭＤの左上のリム部に設置されている。脳波特徴抽出部１３、判別部１４および判別基準ＤＢ１５は、ＨＭＤのブリッジ部に設置されている。ディスプレイ１６は、ユーザ１０の目の前のレンズの部分に設置されている。なお、ディスプレイ１６は図７に示す出力部の具体例である。

図８の構成は一例であり、耳電極部１１の位置は右側左側のどちらでもよい。また、顔電極部１２の位置は、ＨＭＤのテンプル部、リム部、ノーズパッド部、ブリッジ部のいずれかの位置に複数設置されていればよい。また、顔電極部の数は１２ａ、１２ｂの２つだけに限定せず、３つ以上の電極を左記の範囲に配置することは本特許の範疇である。また、脳波特徴抽出部１３、判別部１４、判別基準ＤＢ１５が設置される位置はこの限りではなく、ＨＭＤ形状の範囲内のいずれかの位置に設置することが可能である。なお、判別基準ＤＢ１５は、ＨＤＭ内に設けなくてもよく、脳波インタフェースシステム１の使用環境（たとえば自宅内）に配置されていてもよい。そのときは、判別部１４と無線で接続すればよい。または判別基準ＤＢ１５を判別部１４内に組み込まれ、判別部１４の機能の一部とされてもよい。

また、ディスプレイ１６は、選択された項目に関係する映像の出力を想定して、眼鏡におけるレンズの位置に設置する例を示した。しかし、音声を出力するスピーカーや音声出力端子等の、映像表示以外の機器制御を行ってもよい。

図９は、本実施形態による脳波インタフェース装置のハードウェア構成図である。

耳電極部１１と顔面部に複数装着された顔電極部１２（電極１２ａ、１２ｂ）はバス１３１に接続されており、脳波特徴抽出部１３との信号の授受が行われる。脳波特徴抽出部１３は、ＣＰＵ１１１ａとＲＡＭ１１１ｂとＲＯＭ１１１ｃとを有している。ＣＰＵ１１１ａは、ＲＯＭ１１１ｃに格納されているコンピュータプログラム１１１ｄをＲＡＭ１１１ｂに読み出し、ＲＡＭ１１１ｂ上に展開して実行する。脳波特徴抽出部１３は、このコンピュータプログラム１１１ｄにしたがって、後述の脳波特徴データ抽出の処理を行う。脳波特徴抽出部１３はさらに、バス１３２と接続されており、各構成要素信号の授受が行われる。なお、バス１３１とバス１３２は共通のバスを利用してもよい。

判別部１４は、ＣＰＵ１１２ａと、ＲＡＭ１１２ｂと、ＲＯＭ１１２ｃとを有している。ＣＰＵ１１２ａと、ＲＡＭ１１２ｂと、ＲＯＭ１１２ｃのそれぞれの機能は、脳波特徴抽出部１３の同名の構成要素と同様である。ＲＯＭ１１２ｃに格納されたコンピュータプログラム１１２ｄは、ＲＯＭ１１２ｃに格納された判別基準ＤＢの判断基準に基づいた処理を行う。なお、脳波特徴抽出部１３および判別部１４のＣＰＵ、ＲＡＭおよびＲＯＭを共通化し、コンピュータプログラムのみを別個設け、構成を簡略化してもよい。また、ＲＯＭ１１１ｃ、ＲＯＭ１１２ｃは書き換え可能なＲＯＭ（たとえばＥＥＰＲＯＭ）であってもよい。

ディスプレイ１６は、画像処理回路１２１を有している。画像処理回路１２１は、ＣＰＵ１１２ａの結果に従い、選択されたコンテンツ映像表示などの映像信号を画面１２２へ出力する。また、ディスプレイ１６は、ＨＭＤに必要な情報を提示する機能をあわせて有していてもよい。

なお、上述のディスプレイ１６は、映像機器の制御を想定して、ディスプレイ１６が画像処理回路１２１や画面１２２を有すると説明した。しかしながら、制御する機器のモーダルの種類に応じて、画像処理回路１２１や画面１２２を音声処理回路やスピーカーなどとしてもよい。

上述のコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、脳波特徴抽出部１３および判別部１４は、半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現することも可能である。

次に、本発明のＨＭＤのインタフェースとして利用される脳波インタフェースシステム１の概要について説明し、その処理を概観した後に、脳波特徴データの抽出方法を説明する。

脳波インタフェースでできることは、脳波特徴データを用いて、ディスプレイ等に表示された複数の選択項目からユーザがどの項目を選択したいかを識別することである。

図１０は、脳波インタフェースシステム１で行われる処理のフローチャートを示す。また図１１は、脳波インタフェースシステム１で行われる処理の例を示す。以下、適宜図１１を参照しながら、図１０の脳波インタフェースシステム１の動作を説明する。

ステップＳ５１では、ディスプレイ１６がメニュー画面を表示する。「メニュー画面」とは、機器操作するための選択項目をリスト状に表示した画面をいう。

ユーザ１０は、表示されたメニュー画面の選択肢の中から所望の項目を選択することで機器操作を行うことが可能になる。所望の項目の選択は、ユーザが頭の中で考えることにより実現される。

コンテンツ視聴時には、図１１（ａ）のような選択前の画面１５１がディスプレイ１６に表示されている。脳波インタフェースシステム１が起動されることによって、図１１（ｂ）のようなメニュー画面１５２が表示される。画面には「どの番組をご覧になりたいですか？」という質問１５３と、見たい番組の候補である選択肢１５４が提示される。ここでは「野球」１５４ａ「天気予報」１５４ｂ「アニメ」１５４ｃ「ニュース」１５４ｄの４種類が表示されている。この４種類のうち一つは明るい色でハイライト表示されている。

ステップＳ５２で、脳波特徴抽出部１３は、ハイライトを行う項目を決定する。図１１（ｂ）の例ではまず一番上の野球１５４ａが決定される。以下、このステップＳ５２が実行されるたびに、順次次の選択肢のハイライトを決定し、４つ目のニュースの次はまた一番目の野球に戻る。

ステップＳ５３では、ディスプレイ１６がステップＳ５２で決定された項目をハイライト表示する。「ハイライト表示」とは、他の項目より明るい背景によって表示されたり、明るい文字色によって表示されたり、それ以外にも、カーソル等で指し示すことによって指示される。ここではユーザ１０が見たときに、システム側が現在どの項目について注意して欲しいかが伝わるようになっていればよい。

ステップＳ５４では、脳波特徴抽出部１３が事象関連電位の取得を行う。事象関連電位は耳電極部１１と顔面部に複数装着された顔電極部１２の電位差から複数計測される。換言すれば、耳電極部１１と顔面部に複数装着された顔電極部１２の電位差に基づいて計測される物理量が、事象関連電位である。ステップＳ５３にてハイライト表示された瞬間が、事象関連電位取得の起点とされる。この起点から、例えば１００ミリ秒前から６００ｍｓ後までの脳波を取得する。これによって、ハイライト表示された項目に対するユーザの反応が得られる。なお、脳波特徴抽出部１３がハイライトのタイミングを決定しているため、脳波特徴抽出部１３が起点から１００ミリ秒前の時点を特定することは可能である。よって、起点が定められる前の時刻であっても、事象関連電位の取得を開始することができる。

ステップＳ５５では、脳波特徴抽出部１３は、計測された複数の事象関連電位の波形データに基づいて脳波特徴データを抽出する。脳波特徴データの具体的な抽出方法は後述する。

ステップＳ５６では、判別部１４は、抽出した脳波特徴データを判別基準ＤＢ１５に蓄積された判断基準に従って識別する。

識別される内容は、現在取得した脳波特徴データの波形が、ユーザ１０が選択したい項目に対する波形か、それとも選択したくない項目に対する波形かを判別するものである。

ステップＳ５７では、ユーザ１０が選択したい項目に対する波形と判別された場合、選択された項目をディスプレイ１６により実行するものである。

なお、上述の判別基準、取得した脳波特徴データの波形に基づく識別方法の具体例、および、選択された項目の出力例は後述する。

このような処理によって、ボタン操作等することなく、脳波によってメニュー項目の選択が実現される。

なお、ステップＳ５２では、ハイライトする項目を上から順番に決定するとしたが、ランダムに提示する方法も可能である。これにより、事前にどの項目が選択されるか不明なため、ユーザ１０がより注意深く選択を行うため脳波の振幅が大きくなり、判別に利用する特徴信号が明瞭に出現することで、判別が行いやすくなる可能性がある。

次に、ステップＳ５１からステップＳ５５で行われる脳波特徴抽出部１３の処理に関して説明を行う。本実施形態では、図６の実験の結果において精度の高かった顔電極部の位置を例に説明する。顔電極部１２の電極位置を左目上２３（図２）、右目上２５（図２）、右耳上２７（図２）に示す位置とし、耳電極部１１は右マストイドに装着すると仮定する。図１２のフローチャートおよび図１３の波形の例を用いて、脳波特徴抽出部１３の処理の詳細を説明する。

まず、ステップＳ６１では、耳電極部１１を基準に、顔面部に複数装着した顔電極部１２の電位差を計測することにより、常時脳波の計測が行われている。図１３（ａ）に、ステップＳ６１で計測されている脳波の例を示す。脳波は、３つの波形が同時に計測されており、ハイライトのタイミングも蓄積されている。３つの波形とは以下のとおりである。
波形１−右耳電極部を基準にした左目上電極の脳波波形
波形２−右耳電極部を基準にした右目上電極の脳波波形
波形３−右耳電極部を基準にした右耳上の脳波波形

ステップＳ６２では、脳波特徴抽出部１３がハイライトをディスプレイ１６に指示する。ディスプレイ１６では、図１１（ｂ）に示すような項目ハイライトの出力が行われる。脳波特徴抽出部１３では指示したハイライトタイミングを保持し、ハイライトを行った場合、ステップＳ６３にて、ハイライトを指示したタイミングを起点とした事象関連電位の取得を行う。

具体的には、上述の波形１〜３の脳波から、ハイライトタイミングの−１００ミリ秒〜６００ミリ秒の区間を切り取って、３本の事象関連電位をそれぞれ取得する。また、取得した事象関連電位に対して、ベースライン補正を行う。ベースラインは、−１００ミリ秒〜０ミリ秒の区間の値とする。取得された１〜３の事象関連電位の例を図１３（ｂ）に示す。

ステップＳ６４では、脳波特徴抽出部１３にて取得した事象関連電位の時間周波数分解（Ｗａｖｅｌｅｔ変換）を行う。Ｗａｖｅｌｅｔ変換により、脳波を時間と周波数の特徴量に詳細化することで、選択時の脳波の特徴信号の発生時間帯や周波数帯を選び出して抽出することが可能になる。具体的な発生時間帯や周波数帯の値は後述する。波形１〜３の事象関連電位をＷａｖｅｌｅｔ変換したデータの例を図１３（ｃ）に示す。Ｗａｖｅｌｅｔ変換の範囲は、取得した事象関連電位のうち０ｍｓから６００ｍｓの区間に対して、脳波の成分を含む０から１５Ｈｚの範囲内で変換される。図１３（ｃ）のグラフはＷａｖｅｌｅｔ変換後のデータを示している。グラフの横軸は時間成分で、縦軸は周波数成分を示しており、色の濃い部分が強いパワーが出現していることを表している。

ステップＳ６５では、Ｗａｖｅｌｅｔ変換されたデータから、眼の動き（サッケード）に起因するノイズ成分を除去することにより、必要な脳波特徴信号に関する領域の切り出しを行う。顔面部で計測される脳波には、頭頂部で計測されていた場合には計測されなかった微細な眼の動き（サッケード）に起因する電位が多く混入する。サッケードのノイズは主に５〜１７Ｈｚの領域に混入し、この領域に含まれる脳波特徴信号にもノイズが多く混入していると考えられる。そこで、周波数０Ｈｚより大きく、５Ｈｚ以下の領域を切り出すことで、ノイズ混入が少ない脳波特徴成分を抽出することができる。図２９は、切り出されるＷａｖｅｌｅｔ変換されたデータの領域を示す。領域（ａ）は、５Ｈｚより高い周波数領域のデータの集合であり、サッケードノイズが混入する領域として除外される。

ハイライト後から２００ｍｓまでの区間は、瞬きに起因するノイズの混入や視覚刺激の反応等のノイズの影響が現れる。これらもまた、頭頂部で計測する際には問題とならないが、顔面部で脳波計測を行う場合には大きな問題となる。これらのノイズを軽減するため、図２９の領域（ｂ）に示す、ハイライト後２００ｍｓまでと４００ｍｓ以降の区間をノイズ領域として除外する。

領域（ａ）および（ｂ）が除外され、その結果残された領域は、脳波特徴成分に対応するデータとして抽出される。

切り出す領域を図１３（ｃ）に示す。周波数５Ｈｚ以下の２００ｍｓから４００ｍｓの領域は、図１３（ｃ）の点線内の部分となり、点線内に含まれるサンプル点の抽出を、上述の３種の波形１〜３について行う。

ステップＳ６６では、脳波特徴抽出部１３において抽出された波形１〜３についての３つの脳波特徴成分を１つのデータに組み合わせ、脳波特徴データとして出力する。

次に、判別部１４の具体的な判別処理の例を、図１４のフローおよび図１５のデータの流れの図を用いて説明する。

判別部１４には、あらかじめ選択したい項目に対する波形と選択したくない項目に対する波形を教師データが保持されている。

「教師データ」は、以下の手順により、予め取得され保持されている。まず、複数人のユーザ（被験者）に、あらかじめどの選択肢を選択するか事前に明らかにしてもらった上で、実際に脳波インタフェースを利用する際と同様の電極位置において脳波インタフェースを実施し、項目を選択してもらう。その際に記録した事象関連電位データを上記の脳波計測と同様にＷａｖｅｌｅｔ変換し、周波数５Ｈｚ以下の２００ｍｓから４００ｍｓの脳波特徴領域のサンプル点を抽出する。複数の電極組み合わせから抽出した脳波特徴領域のサンプル点を１つのデータに組み合わせ、脳波特徴データを作成する。この脳波特徴データを選択したい項目に対するものと選択したくない（選択していない）項目に分類し、脳波特徴データと対応づけて教師データとして保持する。

この教師データは、上記のように不特定の複数人の脳波をもとに作成してもよいし、脳波インタフェースを利用するユーザ１０に対し、上記と同様あらかじめ学習作業を実施し、ユーザ１０の脳波を利用した教師データを作成してもよい。

ステップＳ８１で、判別部１４は、脳波特徴抽出部１３より、各項目に対する脳波特徴データを取得する。図１１の例に即して説明すると、判別部１４は、図１５に示すように脳波インタフェースの４つの項目「野球」「天気予報」「アニメ」「ニュース」を起点とした脳波特徴データ（４１ａ、４１ｂ、４１ｃ、４１ｄ）を脳波特徴抽出部１３より受信する。

ステップＳ８２で、判別部１４は、脳波特徴データが、選択したい場合の波形とどれだけ類似しているかを表す類似度の算出を行う。判別部１４には、上述したようにあらかじめ教師データが保持されており、類似度の算出は、この教師データに含まれる選択したい場合の波形と選択したくない場合の波形を利用する。教師データに含まれる波形を選択したい場合の波形（正解波形）と選択したくない場合の波形（不正解波形）の２つの群に分類し、計測された脳波特徴データと、正解波形群、不正解波形群との距離を計算することにより、正解波形群との類似度を算出する。類似度の算出は、線形判別手法を利用する。計測された脳波特徴データが正解波形群に属する事後確率(posterior)を利用する。

判別部１４は、各項目の脳波特徴データについて、同様に類似度を算出する。例えば、図１５（ｂ）に示すように、項目１〜４のそれぞれについて、類似度（事後確率）の算出を行う。

なお、本実施形態では、類似度の算出は線形判別手法を利用したが、サポートベクターマシンやニューラルネットなどの手法を用いることにより、正解波形群、不正解波形群をわける境界線から、計測された脳波特徴データがどれだけ正解波形群に近いか（境界線からの距離）を算出することで正解波形群との類似度を算出してもよい。

ステップＳ８３で、判別部１４は、各項目について算出された脳波特徴データの類似度の値を比較し、最も正解波形に類似している波形を選び出し、結果として出力する。例えば、類似度の値が最も大きい項目が、ユーザ１０が選択した項目として識別する。図１５の例の場合では、類似度はそれぞれ０．７６、０．３０、０．２２、０．２８であり、最も類似度の大きい「項目１」が選択された項目として識別され、図１５（ｃ）のような結果となる。識別された結果は、判別部１４によりディスプレイ１６に出力される。

次に、ディスプレイ１６の出力例を説明する。図１１（ｂ）のように、映像コンテンツのジャンルを選択するインタフェースの例の場合、ユーザ１０が選択したい項目に対する波形と判別された場合には、選択された項目にあった映像が映像出力デバイスを通じて出力される。例えば、図１１（ｂ）に示す項目選択の例において天気予報が選択された場合には、図１１（ｃ）に示すように、天気予報の映像１５５が出力される。

本実施形態においては、図７の出力部１６の具体例としてディスプレイ１６を挙げたが、出力を制御する対象に応じて出力部の具体的な構成は適宜変更される。たとえば、選択項目に応じたコンテンツ表示などの映像出力に代えて、またはそれとともに、音楽再生などの音声出力をする場合には、出力部１６はスピーカの駆動制御回路を含む。さらに、アンプ、オーディオプレーヤなどの外部機器の操作する場合には、外部機器への制御信号を出力する制御回路、出力端子等もまた、出力部１６の出力の範疇である。また、バイブレーションで反応をユーザに通知する振動出力をする場合には、出力部はバイブレータの駆動制御回路を含む。

なお、本実施形態では、選択された項目に基づいて、項目に合わせた映像を出力する脳波インタフェースを例にして説明を行ったが、判別結果を単に画面に出力する場合や、判別結果を出力しない脳波インタフェースについても、本発明の範疇に含まれる。

以上のような処理によって、耳周辺部と顔面部に設置された電極から、頭頂部に電極を設置した場合と同等の精度でユーザが選択した項目を判別することが可能となる。これにより、ユーザはわざわざＨＭＤ等のウェアラブル機器以外に電極を装着する必要がなくなり、ウェアラブル機器装着と同時に電極の装着も行えるため、機器装着負担が削減することができる。

次に、本願発明者らが実施した実験の内容とその結果を説明し、本実施形態の詳細と、その効果について説明する。

図１６は、ＨＭＤ型脳波インタフェースシステム１を用いた本実験において、ユーザ１０の顔面に接触する位置の例を示す。この位置に接触するよう、電極が配置されている。この位置の電極を利用して、具体的な精度の検証を行った。

本願発明者らは、まず２０代の被験者１５名に対して計測実験を行い、覚醒度が高く維持されていた８名を対象に解析を行った。被験者は上述の評価実験の被験者と同じである。

脳波計測は、ポリメイトＡＰ−１１２４（デジテックス製）を使用し、サンプリング周波数は２００Ｈｚ、時定数は３秒、フィルタは３０Ｈｚのローパスフィルタをかけた。

電極は４箇所に配置した。耳電極部１１は右マストイド３１（図１６）であり、これを基準極とした。顔電極部１２は、左目中心部より４ｃｍ上の左目上部２３（図１６）、および、右目中心部から４ｃｍ上の右目上部２５（図１６）、右耳の付け根最上部から２ｃｍ上の耳上（右耳上）部２７（図１６）とした。設置電極は国際１０−２０法の場所表記によるＦＰｚ３３（図１６）に装着した。また、頭頂部での脳波計測との比較を目的として、国際１０−２０法の場所表記によるＰｚにも電極を装着した。

各被験者に４０回ずつ選択してもらい、顔前面部で計測した場合と、Ｐｚで計測した場合とで、同様の判別アルゴリズムで判別を実施し、判別結果が的中した割合を識別率として算出を行うことで、精度検証を行った。

評価の対象として利用した判別アルゴリズムでは、上述のステップＳ６３からステップＳ６４の処理を実施してＷａｖｅｌｅｔデータを作成し、ステップＳ６５において眼電等のノイズ除去処理を行った脳波特徴成分に対して判別処理を実施した。

具体的には、ハイライトタイミングを起点にした０ｍｓ〜６００ｍｓの事象関連電位（サンプリング間隔５ｍｓ、Ｄｏｕｂｌｅ型）のデータに対してＷａｖｅｌｅｔ変換を行った。Ｗａｖｅｌｅｔ変換の周波数成分のサンプリング数は１５Ｈｚ以下を４０サンプルとし、時間成分のサンプリング数は０ｍｓ〜６００ｍｓの１４０サンプルとし、４０×１４０のＷａｖｅｌｅｔデータに変換した。さらにＷａｖｅｌｅｔデータのノイズの平滑化を目的に、Ｗａｖｅｌｅｔデータに対し、４×２０（周波数０〜１５Ｈｚを４分割、時間０〜６００ｍｓを２０分割のＤｏｕｂｌｅ型）のリサンプリングを行うことにより、事象関連電位のＷａｖｅｌｅｔ変換データを算出した。

ステップＳ６５の脳波特徴成分（５Ｈｚ以下で２００ｍｓ〜４００ｍｓの領域）は、上記事象関連電位のＷａｖｅｌｅｔ変換データのうち、図１３の（e）に示す時間周波数領域を抽出した。すなわち、周波数成分は、４分割された成分のうち低周波２成分の領域で、かつ、時間成分は２１０ｍｓ〜３９０ｍｓの領域（８〜１３サンプル目の領域）の計１２サンプルを脳波特徴領域として抽出した。各電極の組み合わせごとに抽出された脳波特徴領域のデータは１つのデータに結合され、脳波特徴データとなる。本実験では、耳基準の左目上の組み合わせ、耳基準の右目上の組み合わせ、耳基準の右耳上の組み合わせの３つの脳波からの脳波特徴成分抽出が行われるため、１２サンプル点が３個結合した３６サンプル点を持つ脳波特徴データが作成される。

判別部１４では、上述の処理で作成された３６サンプル点の脳波特徴データを線形判別することにより、選択したい項目に対する波形かの判別を行う。

ここで、判別部１４による判別処理に利用される教師データのデータ構造および作成方法を説明する。

図１７は、教師データの例を示す。この教師データは予め作成され、判別基準ＤＢ１５に保持されている。教師データの作成方法は以下のとおりである。

まず、あらかじめ同一のユーザ１０に、どの選択肢を選択するか事前に明らかにした上で、同様の電極位置における脳波インタフェースを実施し、項目を選択してもらう。その際に記録した事象関連電位データを上記の脳波計測と同様にＷａｖｅｌｅｔ変換し、図１６に示す位置のそれぞれの電極の組み合わせから周波数５Ｈｚ以下の２００ｍｓから４００ｍｓの脳波特徴領域から１２サンプル点ずつ抽出する。３つの電極組み合わせから抽出した脳波特徴領域のサンプル点を１つのデータに組み合わせ、３６サンプル点の脳波特徴データを作成する。さらに、各脳波特徴データと、選択したい項目に対するデータか選択したくない（選択していない）項目に対するデータかを分類するため、脳波特徴データと対応づけて、選択したい項目に対する脳波特徴データには「＋１」を、選択したくない項目に対する脳波特徴データには「−１」を正解不正解インデックスとして付与し、教師データとして保持する。

判別部１４は、この教師データの複数の脳波特徴データと、今回ユーザ１０から計測した３６サンプル点の脳波特徴データとで類似度の計算を実施する。今回ユーザ１０から計測した脳波特徴データが、図１７に示した教師データの「＋１」の群に含まれる確率（事後確率）を線形判別方式にて算出することで類似度を算出した。それぞれの項目において計測された脳波特徴データに対し、同様に類似度を算出する。判別部１４は、各項目について算出した類似度を比較し、最大の値をとった項目が、今回ユーザ１０から計測した脳波が選択したい項目に対する脳波の波形として判別を行った。

精度検証の結果を図１８に示す。

実験の結果より、マストイドを基準とした顔面部に装着した電極との電位差による脳波計測を利用した脳波インタフェースの精度は図６に示すとおり、１−右マストイドを基準極にした左目上電極の脳波を利用した場合は７５．０％、２−右マストイドを基準極にした右目上電極の脳波を利用した場合は、７５．３％、３−右マストイドを基準極にした右耳上電極の脳波を利用した場合は、６８．１％であった。

本発明を利用して、波形１〜３の脳波から脳波特徴領域を抽出し、組み合わせて作成した脳波特徴データにより判別を実施した結果、８０．６％と、電極を組み合わせる前の波形１〜３の個別の識別率と比較して、最大１０％以上の精度の向上が可能となった。また、識別率も約８割とＰｚで計測した場合とほぼ同等の精度となっていることがわかった。

ここで、例えば波形１の脳波特徴成分を１５Ｈｚ以下で２００ｍｓ〜４００ｍｓの領域とし、データ数を倍の２４サンプルにして、波形１の脳波特徴成分を利用した識別を行った場合の識別率の算出を行った。その結果、識別率は７２．５％であり、１２サンプルの場合の精度７５．０％と比べても精度の向上が見られなかった。

これは、識別のためのサンプル数を増やしただけでは精度が向上しないことを示している。識別のためのサンプル点にノイズを含んだサンプル点が存在すると、ユーザ１０が選択したい項目かどうかにかかわらずノイズが混入する可能性が高くなり、ノイズが脳波の特徴信号と識別されてしまう割合が高くなることで識別率が低下する。つまり、識別精度には、識別に利用するサンプル点の数よりもノイズの混入が少ないサンプル点かどうかが効いていると考えられる。

このように、単に組み合わせ等で脳波特徴成分のサンプル数を増やしても精度は向上せず、眼球運動に起因するノイズ成分を除去した上で特徴成分を組み合わせた脳波特徴データを利用して、はじめて精度が向上すると考えられる。

以上の実験結果から、耳周辺部（マストイド）を基準にして顔面部の複数の電極の電位から特徴データの抽出を行い、組み合わせたデータを判別することにより、耳電極部と顔面部の電極で計測される脳波単体で判別を行った場合よりも、高い精度で脳波インタフェースを構築できることがわかる。

また、本発明により精度を向上したことで、頭頂部で脳波を計測した場合と同等の精度で脳波インタフェースを構築できることがわかる。

このように、耳周辺部の電極を基準に顔面部で計測した事象関連電位から、Ｗａｖｅｌｅｔ変換により、眼の動きに起因するノイズを除去した特徴信号成分を抽出した上で、複数の電極分の特徴信号成分を組み合わせて脳波特徴データを作成し利用する。これにより、はじめて頭頂部に電極を装着した場合と同等の高い精度での判別が可能となり、ＨＭＤ等のウェアラブル機器以外に電極を装着する必要がなくなるため、ユーザの機器装着負担を削減できる。

これまでは、ディスプレイ１６の表示内容を制御する例（図１１）を説明した。しかしながら、表示内容の制御は例である。以下、図１９および図２０を参照しながら、外部機器を制御する例を説明する。

図１９は、本実施形態による第１の変形例にかかる脳波インタフェースシステム１ａを示す。脳波インタフェースシステム１ａ中の眼鏡型ヘッドマウントディスプレイ（ＨＭＤ）１００ａには、送信装置４が設けられている。その他の構成は図８に示す構成と同じである。

ＨＭＤ１００ａのディスプレイ１６の表示内容が測定されたユーザの事象関連電位に基づいて制御されるとともに、エアコン３の動作が制御される。たとえば、ディスプレイ１６にエアコン３の動作メニュー（たとえば「冷房」、「暖房」、「ドライ」）が表示され、順次ハイライトされる。所望の項目がハイライトされたとき、ユーザがその項目の選択をしたいと考える。すると、上述の処理により、事象関連電位に基づいて選択を希望した項目が特定される。判別部１４は、その項目に対応する制御信号を生成して、送信装置４を介して出力する。

エアコン３の受信装置５は、送信装置４から送信された制御信号を受け取る。その結果、エアコン３は、その制御信号に対応する運転を開始する。

なお、送信装置４および受信装置５は、たとえば赤外線による送信機および受信機である。

図２０は、本実施形態による第２の変形例にかかる脳波インタフェースシステム１ｂを示す。脳波インタフェースシステム１ｂ中の眼鏡型コントローラ１００ｂには、送信装置４が設けられているが、ディスプレイは設けられていない。先の変形例にかかるディスプレイに代えて、脳波インタフェースシステム１ｂでは、制御対象の機器としてＴＶ７が設けられている。眼鏡型コントローラ１００ｂには、通信装置６ａが設けられており、ＴＶ７に設けられた通信装置６ｂと双方向通信が可能である。ＴＶ７のディスプレイ１６に表示される内容は、上述のとおりである。眼鏡型コントローラ１００ｂは、ＴＶ７の表示内容を制御する制御装置として機能する。

この変形例から明らかなように、図７の出力部１６は、判別部１４等と同じ筐体に設けられたディスプレイであってもよいし、異なる筐体に設けられたディスプレイであってもよい。

なお、本実施形態では、マストイドを基準極とする例で説明を行ったが、必ずしも耳電極部はマストイドに装着されることを限定するものではない。従来の脳波計測でも、マストイド部や耳朶部は脳電位、心電位、筋電位の影響を受けにくい部位として脳波計測でも同じように利用されることが多いことから、図４（ｂ）に示した耳朶部、耳珠部、耳付根後部を含む耳周辺部に耳電極部を装着した場合も本発明の範疇と考えられる。

また、上述の例では、ＨＭＤを例にして処理の説明を行ったが、耳周辺部に装着した耳電極と顔面部に複数装着した顔電極部による脳波インタフェースが本実施形態の範疇であり、実現される装置はＨＭＤに限定されない。ＨＭＤ以外の例として、マッサージの施術ベッドの例を図２１に示す。

ユーザはマッサージの施術ベッドにうつぶせに寝転び、ベッドに開けられた穴に顔を固定した状態でマッサージの施術をうける。この顔を固定する部分に、ユーザの耳周辺部と顔面部に接するように電極を配置し、穴の底に、たとえばテレビ（図示せず）を設けてメニューを表示する。このテレビは、マッサージ施術中にユーザが放送番組を視聴するために設けられている。メニューの一部であるメニュー項目として、操作対象の機器の機能が表示される。希望するメニュー項目がハイライトされたときに、ユーザがその機能、たとえばチャンネル切り替え、を使用したいと頭の中で考えることで、施術中にチャンネルが切り替えられる。これにより、脳波インタフェースシステムによる機器の制御に適用することができる。

このように、ＨＭＤ以外のゴーグル型機器のインタフェースや、施術ベッドのように特定の場所に顔を固定する機器のインタフェースにおいても、本発明を適用することが可能である。

なお、本実施形態では、判別基準ＤＢ１５に蓄積された判断基準を、不特定多数のユーザの脳波特徴データにより教師データを作成し線形判別を行うと説明したが、判断基準は閾値であり、抽出したユーザ１０の脳波特徴データに、その閾値より大きい値を含むかどうかで選択したい項目に対する脳波波形かどうかの判別を行ってもよい。上記の場合、判別基準ＤＢには、閾値の値が保持される。

（実施形態２）
実施形態１では、耳周辺部に基準極１つと顔面部位置に複数の電極を利用した脳波から脳波特徴データを抽出することで判別を行っていた。

ＨＭＤのような装着が不安定な機器の場合、顔に装着した電極の位置がずれたり外れたり、同様に耳周辺部に装着した基準極がずれたり外れたりするケースが頻発すると考えられる。また、発汗や、外気温や乾燥肌などの個人の特性の影響による皮膚の状態などによって電極と皮膚との接触が弱くなり、電極が皮膚から浮いてしまうケースや、電極と皮膚との間に汗などの不純物が混入してノイズが増加し、脳波信号が正しく計測できなくなるケースも多く発生すると考えられる。

そこで、本実施形態では、電極の１つに装着状態の不具合が発生した場合でも、実施形態１の発明が適用可能で、安定した精度で脳波判別が行える脳波インタフェースシステムについて説明する。

図２２は、本実施形態における脳波インタフェースシステム２の構成図である。実施形態１と同じ構成要素には同じ番号を付与し、説明を省略する。

本実施形態による脳波インタフェースシステム２が実施形態１による脳波インタフェースシステム１と異なるのは、耳電極部１１が複数になった点、および、新たに電極装着判別部１７が設けられた点である。電極装着判別部１７は、装着している各電極が適正に装着されている状態かを判別する。なお、主要な構成要素としては、電極装着判別部１７が異なるだけであるが、電極装着判別部１７の信号を受ける脳波特徴抽出部１３内部の処理も異なる。

本実施形態における全体の処理のフローチャートは、実施形態１のフローチャート図１０と同一である。よって脳波特徴抽出部１３における脳波特徴データ抽出処理に関するフローチャートを説明し、電極装着判別部１７や具体的な処理について説明する。

図２３は、脳波特徴抽出部１３における脳波特徴データ抽出処理のフローチャートを示す。実施形態１と同じ処理を行うステップに関しては、説明を簡易にとどめる。なお、各ステップの説明の詳細は、後に詳述する。

ステップＳ１０１において、電極装着判別部１７は、ユーザ１０が装着している各電極（耳電極部１１、顔電極部１２）の装着状態を判別し、電極装着情報を出力する。「装着状態」とは、電極が皮膚から外れていないか、外れかけていないか等を意味する。判別は、各電極間の電気的特性を調べることによって行われる。具体的には、判別は、電極間のインピーダンスをチェックすることにより行われる。

ステップＳ１０２において、電極装着判別部１７において判別された電極状態情報に基づいて、脳波特徴抽出部１３は計測すべき電極の組合せを選択する。

ステップＳ６１では、脳波特徴抽出部１３が、選択された電極の組み合わせの電位差を計測することにより、脳波を計測する。

ステップＳ６２では、脳波特徴抽出部１３の指示により、出力部１６でハイライト表示が行われる。

ステップＳ６３では、電極組合せ選択をして計測された脳波に対し、脳波特徴抽出部１３は、ハイライトを指示したタイミングを起点とした事象関連電位の取得を行う。

ステップＳ６４では、取得した事象関連電位を時間と周波数の特徴量に詳細化するため、Ｗａｖｅｌｅｔ変換を行う。

ステップＳ６５では、Ｗａｖｅｌｅｔ変換されたデータから、脳波特徴信号に関する領域のみの切り出しを行う。

ステップＳ６６では、脳波特徴抽出部において切り出しが行われた複数の脳波特徴成分を１つのデータに組み合わせ、脳波特徴データとして出力する。

その後の判別部１４における判定処理や出力部１６における出力例については、実施形態１で説明したものと同一である。

次に、図２４を参照しながら、電極装着判別部１７における電極装着状態の判別方法を説明する。電極は、図２４に示す位置１１ａ、１１ｂ、１２ａおよび１２ｂに装着されているとする。すなわち、ユーザ１０は右耳周辺部に耳電極部１１ａを、左耳周辺部に耳電極部１１ｂを装着し、右耳上に顔電極部１２ａを、左目上に顔電極部１２ｂを装着している。

図２５は、電極装着判別部１７の処理のフローチャートを示す。

ステップＳ７１では、電極装着判別部１７は、インピーダンスチェックにより、電極間の装着不具合判別を行う。これにより、電極とユーザの皮膚が接触しているかどうかを特定することができる。

インピーダンスチェックとは、２つの電極に間にごく微量の電流を流すことにより、２つの電極と皮膚とが接地している箇所にどれだけの抵抗値が発生しているかを計測する方式である。電極が外れた場合やユーザの発汗等により脳波が適正に検出できなくなった場合、電極の抵抗値が高くなる。よって、インピーダンスチェックし、電極の抵抗値を計測することにより、どの組み合わせの電極が正しく接地されていないかを判別することができる。

図２４に示す両方の耳電極部１１ａ、１１ｂを基準とした顔面部に装着された電極１２ａ、１２ｂの電極の組み合わせは、耳電極部１１ａと顔電極部１２ａの組み合わせ２０１と、耳電極部１１ｂと顔電極部１２ａの組み合わせ２０２と、耳電極部１１ａと顔電極部１２ｂの組み合わせ２０３と、耳電極部１１ｂと顔電極部１２ｂの組み合わせ２０４とがあげられる。電極装着判別部１７は、上記４つの電極の組み合わせ２０１、２０２、２０３、２０４におけるインピーダンスチェックを行い、各組合せ抵抗値の計測を行う。

ステップＳ７２において、電極装着判別部１７は、電極の組み合わせ２０１、２０２、２０３、２０４の抵抗値のうち、抵抗値が高いものが複数存在するかを判定する。具体的には、ステップＳ７２で計測したある電極の組合せの抵抗値が１００ｋオーム（キロオーム）を超えていた場合、電極の組み合わせのいずれかの電極に接地の不具合があると判別する。

抵抗値が高い電極の組合せが存在しなかった場合は、ステップＳ７４で「不具合電極なし」の電極状態情報を脳波特徴抽出部１３に出力する。たとえば抵抗値が５キロオーム程度であれば、その電極の組はいずれも問題なく装着されているといえる。

なお、ステップＳ７１の電極間の装着不具合チェックやステップＳ７２の装着不具合な組み合わせのチェックをインピーダンスチェックの利用により電極装着状態の判別を行うと説明したが、電極の組み合わせごとに脳波を測定し、脳波の周波数などの特性を判別することで電極間の装着不具合の検出行ってもよい。例えば、計測した脳波が±１００μＶを超えた回数や計測した脳波の周波数成分を調べることで、電極装着状態の判別を行うことができる。上述のように、抵抗値ではなく波形の特性を利用して電極状態の判別を行う場合、ステップＳ７２では、電極装着不具合の特性を持つ脳波が計測された電極の組み合わせが、複数存在するかどうかのチェックが行われる。

ステップＳ７２にて装着の不具合がある電極の組合せが複数存在した場合、ステップＳ７３で電極装着判別部１７は、装着の不具合がある電極の組み合わせに共通して含まれる電極を探索することにより、不具合電極を特定する。一般的に、インピーダンスチェックや波形の特性による装着不具合検出では、電極の組み合わせのいずれか一方に不具合があるということしか判別が行えない。よって、装着の不具合がある電極の組み合わせを複数検出し、複数の組み合わせに共通して含まれているか電極を特定することで、どの電極が外れているか等の不具合の発生を特定することが可能となる。例えば、図２４の電極の組２０１間の抵抗値、および、電極の組２０２間の抵抗値が大きかった場合、２つの組み合わせに共通する顔電極部１２ａが、装着に不具合がある電極として特定される。

不具合が発生している電極を特定した後、電極装着判別部１７はステップＳ７４で、特定した電極の位置情報を電極状態情報として脳波特徴抽出部１３に出力する。例えば、顔電極部１２ａが装着に不具合があった場合には、「右耳上電極不具合」の情報が電極状態情報として出力される。

上記の例では、インピーダンスチェックや脳波計測によって電極装着状態の判別を行う例を説明したが、圧力センサのような新たなセンサを電極に追加することにより、接地圧の強さによって電極の装着状態の判別を行ってもよい。

上記では、電極状態情報を「不具合電極なし」「右耳上電極不具合」として説明を行ったが、電極装着判別部１７は何も出力しないことで不具合の状態の電極がないことを通知してもよい。また、電極に個別のＩＤが存在する場合は、電極のＩＤを出力することで、不具合のある電極を通知してもよい。

さらに、電極の組合せの抵抗値が１００キロオームを超えないが、１００キロオームに近いとき（たとえば８０〜１００キロオームの範囲内）には電極が外れかかっていると考えられる。そのような電極を利用して得られる脳波信号の信頼性は低く、その後の処理に利用すると、脳波インタフェースシステム２の判別精度を下げる可能性がある。よって、上述の電極外れと同じ方法によって外れかかっている電極を特定することにより、その電極から得られる事象関連電位を破棄してもよいし、不具合のある電極を通知してもよい。また、その電極から得られる事象関連電位に対してノイズ除去等処理を行ってもよい。

次に、脳波特徴抽出部１３の処理について、図２６（ａ）〜（ｃ）の電極装着状態ごとの計測例を利用して説明を行う。

脳波特徴抽出部１３は、電極装着判別部１７の電極状態情報を受信し、脳波計測を行うべき電極の組合せを決定する。

電極装着判別部１７より「不具合電極なし」の電極状態情報を受信した場合、脳波特徴抽出部１３は、図２６（ａ）に示すように、両方の耳電極部１１ａ、１１ｂを基準とした複数の顔電極の組み合わせ（図２４の電極の組２０１、２０２、２０３、２０４）の電位差により、脳波を計測する。

また、電極装着判別部１７より「右耳上電極不具合」の電極状態情報を受信した場合、脳波特徴抽出部１３は、図２６（ｂ）に示すように、右耳上電極１２ａを含まない、耳電極部１１ａ、１１ｂを基準とした電極の組み合わせ２０３と２０４の電位差により、脳波を計測する。

さらに、電極装着判別部１７より「右耳電極部不具合」の電極状態情報を受信した場合、脳波特徴抽出部１３は、図２６（ｃ）に示すように、耳電極部１１ａを含まない、左耳電極部１１ｂを基準とした顔電極の組み合わせ２０２と２０４の電位差により、脳波が計測される。

このように、電極装着状態を常に監視し、装着不具合のある電極を除外した電極を組み合わせて判別を行うことで、顔面部や耳周辺部の電極が外れた場合でも、耳電極部１１を基準とした顔面部の電極を複数計測することが可能で、精度の高い判別を継続することができる。また、耳電極部１１が外れた場合でも、脳波インタフェースの動作が継続できる。

また、装着不具合がある電極が特定できているため、「右耳後ろの電極の装着状態を確認してください」のような特定の電極の再装着を促すメッセージの提示や警告音により電極装着の不具合が発生していることをユーザ１０に対し通知することが可能である。このメッセージにより、ユーザ１０は装着不具合が発生している電極の部位を強く押し当てるなどの簡易な対応が可能になり、ＨＭＤをもう一度装着しなおすといった正常に装着されている電極まで再度装着しなおす手間を省くことができ、ユーザの電極装着負荷が軽減される。さらに、簡易に電極の装着不具合に対応できることにより、常に正常に電極が装着されている状態を保つことができ、高い精度の判別が行なえる状態を維持することが可能となる。

また、電極装着不具合が発生し、ユーザ１０に装着不具合の通知を行わない場合でも、ＨＭＤが電極の設置状態を改善する機構（例えばＨＭＤの先セル部形状を変化させ、ＨＭＤをよりユーザ１０に密着させるような調整や、バネや空気圧を利用してＨＭＤが特定の電極をユーザ１０に強く接するように調整など）を有することにより、自動的に正常な電極装着状態を保ち、ユーザ１０の手を煩わすことなく高い精度の判別が行なえる状態を維持することが可能となる。

よって、装着が不安定なＨＭＤにおいて、ロバストに脳波インタフェースを動作させることが可能になる。

次に、本願発明者らが実施した実験の内容とその結果を説明し、本実施形態の効果について説明する。

実験は、両マストイドを基準とした本実施形態による、電極外れを想定した脳波インタフェースシステムの動作精度の検証と、片マストイドを基準とした方式において同様の位置の電極外れが発生したでの精度の比較を行った。

実験パラメータは、実施形態１で実施した実験と同様の脳波計、フィルタ処理を行い、精度算出方法も同様の方法で行った。

測定電極位置は、耳電極部として右マストイド１１ａ（図２４）、左マストイド１１ｂ（図２４）を基準極とし、顔電極部として、左目中心部より４ｃｍ上の左目上部１２ｂ（図２４）と、右耳の付け根最上部から２ｃｍ上の耳上（右耳上）部１２ｂ（図２４）の計４箇所に電極を装着し、設置電極は国際１０−２０法の場所表記によるＦＰｚに装着した。片耳マストイドのみを基準とした方式は、実施形態１で説明した電極位置と同様、図１６で示す位置で行った。

精度検証の結果を図２７に示す。

実験結果をみると、本実施形態の方式では、図２６に示す（ａ）通常時、（ｂ）顔電極部１２ａが外れた場合、（ｃ）耳電極部１１ａが外れた場合の３つのケースの識別率をみると、それぞれ（ａ）８０．６％、（ｂ）７５．６％、（ｃ）６９．１％であった。このように、本実施の形態により、電極が１つ外れた場合でも７割近い識別率を維持して、脳波インタフェースを動作させることが可能であることを確認できた。

また、本実施形態の方式と片マストイドを基準とした場合との比較を行う。片マストイドを基準とした場合では、（ｂ）の場合で識別率７５．０％と両マストイドを利用する本実施形態に比べて低く、（ｃ）の場合では脳波の計測が不可能になり、脳波インタフェースを動作させることができなくなる。

以上の実験結果から、両マストイドを基準にして顔面部の複数の電極の電位から特徴データの抽出を行い、組み合わせたデータを判別することにより、片マストイドと顔面部の電位差単体で判別を行った場合よりも精度が高く、電極が１つ取れた状態になっても計測不能な状態にならず、比較的高い精度で脳波インタフェースをどうさせることが可能なことがわかった。

このように本実施形態による脳波インタフェースにより、両耳周辺部に電極１つずつと顔面部位置に複数の電極を装着し、電極が１つ外れてしまった場合でも、耳周辺部を基準極にした顔面部の電極の電位を複数確保できるようにすることで、電極装着不具合によって判別精度が低下するケースや判別が行えなくなってしまうケースを回避することができ、ＨＭＤのような装着が不安定な機器においても、ロバストな脳波インタフェースを実現することができる。

本発明にかかる脳波インタフェース装置では、顔面部において脳波計測をする場合に広く利用可能であり、ＨＭＤにとどまらず、映像出力を持たない眼鏡（ゴーグル）型のウェアラブル機器や、穴の開いた位置に顔を入れるエステやマッサージ等で用いられる施術ベッドのように、顔を特定の位置に固定する機器等において、脳波を利用したインタフェースを構築する場合に利用可能である。

１ 脳波インタフェースシステム
１０ ユーザ
１１ 耳電極部
１２ 顔電極部
１３ 脳波特徴抽出部
１４ 判別部
１５ 判別基準ＤＢ
１６ 出力部
１７ 電極装着判別部

Claims (15)

1. 機器の操作メニューに関する視覚刺激を提示するステップ（ａ）と、
   前記視覚刺激の提示後に、複数の事象関連電位を計測するステップ（ｂ）であって、ユーザの顔面部に装着された複数の電極の各々と、ユーザの耳周辺部に装着された少なくとも１つの基準電極との間の電位差から、前記視覚刺激が提示されたタイミングを起点とした複数の事象関連電位を計測するステップ（ｂ）と、
   計測された前記複数の事象関連電位から、５Ｈｚ以下でかつ所定の時区間を含む脳波データをそれぞれ抽出し、前記抽出された脳波データを組み合わせて脳波特徴データとするステップ（ｃ）と、
   予め用意された操作メニューの選択の要否を判別するための基準データと前記脳波特徴データとを比較するステップ（ｄ）と、
   前記ステップ（ｄ）の比較結果に基づいて、前記機器の操作メニューに対応する操作を実行するステップ（e）と
   を包含する、脳波を用いた機器の制御方法。
2. 前記所定の時区間は、前記視覚刺激の提示を起点とした２００ｍｓから４００ｍｓの区間である、請求項１に記載の制御方法。
3. 前記ステップ（ｂ）は、前記ユーザの両側の耳周辺部にそれぞれ少なくとも１つ装着された基準電極を用いて、前記複数の事象関連電位を計測する、請求項１に記載の制御方法。
4. 前記ステップ（ｂ）は、前記ユーザの右目上部および左目上部の少なくとも一方の位置に装着された電極を用いて、前記複数の事象関連電位を計測する、請求項１から３のいずれかに記載の制御方法。
5. 前記ステップ（ｃ）は、計測された前記複数の事象関連電位の波形から、前記波形の周波数的および時間的な特徴を示す脳波特徴データを抽出する、請求項２に記載の制御方法。
6. 前記ステップ（ｃ）は、計測された前記脳波の波形をＷａｖｅｌｅｔ変換することにより、前記波形の時間的および周波数的な特徴を示す脳波特徴データを抽出する、請求項５に記載の制御方法。
7. 前記ステップ（ｃ）は、前記出力部において前記機器の操作メニューが提示された後２００ｍｓ〜４００ｍｓの区間で、かつ、周波数が５Ｈｚ以下の特徴を示す脳波特徴データを抽出する、請求項６に記載の制御方法。
8. 前記ステップ（ｃ）は、前記耳周辺部の少なくとも１つの基準電極および前記顔面部の複数の電極で計測される前記複数の事象関連電位の各波形から前記各波形の特徴を示すデータを抽出し、各データに基づいて１つの脳波特徴データを生成する、請求項２に記載の制御方法。
9. 前記ユーザの顔面部に装着された複数の電極の各々と、前記ユーザの両側の耳周辺部にそれぞれ少なくとも１つ装着された基準電極との間の電気的特性に基づいて、前記複数の電極および前記基準電極の各々の装着状態を判別するステップ（ｆ）と、
   前記ステップ（ｆ）の判別結果に基づいて、前記ステップ（ｂ）において前記複数の事象関連電位を計測する電極の組み合わせを決定するステップ（ｇ）と
   をさらに包含する、請求項３に記載の制御方法。
10. 前記ステップ（ｇ）は、前記ユーザの顔面部に装着された複数の電極の各々と、前記ユーザの両側の耳周辺部にそれぞれ少なくとも１つ装着された基準電極とを組み合わせて得られた前記複数の事象関連電位の計測値が閾値を越える電極の組み合せを複数検出し、前記電極の組み合わせに共通して含まれる電極を探索することにより、装着状態に不具合がある電極を特定する、請求項９に記載の制御方法。
11. 前記ステップ（ｇ）によって特定された電極を識別可能に通知する、請求項１０に記載の制御方法。
12. 操作メニューを視覚的に提示する出力部と、
    ユーザの耳周辺部および顔面部にそれぞれ装着されて、前記ユーザの脳波を計測する複数の電極と、
    前記操作メニューが提示されたタイミングを起点として、前記顔面部にそれぞれ装着された複数の電極の各々と、前記耳周辺部に装着された少なくとも１つの基準電極との間の電位差から計測された複数の事象関連電位から、５Ｈｚ以下でかつ所定の時区間を含む脳波データをそれぞれ抽出し、前記抽出された脳波データを組み合わせて、前記波形の特徴を示す脳波特徴データを抽出する脳波特徴抽出部と、
    予め用意された操作メニューの選択の要否を判別するための基準データと前記脳波特徴データとを比較してその類似度を判別し、判別結果に基づいて機器を制御する判別部と
    を備えた、脳波インタフェースシステム。
13. 前記出力部はディスプレイであり、
    前記判別部は、前記判別結果に基づいて前記ディスプレイの表示内容を制御する、請求項１２に記載の脳波インタフェースシステム。
14. 外部機器に対して制御信号を出力する送信部を備え、
    前記判別部は、前記判別結果に基づいて前記制御信号を出力し、前記制御信号に基づいて前記外部機器の動作を制御する、請求項１３に記載の脳波インタフェースシステム。
15. 表示装置とともに脳波インタフェースシステムを形成する、前記表示装置の制御装置であって、
    前記表示装置と通信して、前記表示装置に操作メニューを視覚的に提示させる通信部と、
    ユーザの耳周辺部および顔面部にそれぞれ装着されて、前記ユーザの脳波を計測する複数の電極と、
    前記操作メニューが提示されたタイミングを起点として、前記顔面部にそれぞれ装着された複数の電極の各々と、前記耳周辺部に装着された少なくとも１つの基準電極との間の電位差から計測された複数の事象関連電位から、５Ｈｚ以下でかつ所定の時区間を含む脳波データをそれぞれ抽出し、前記抽出された脳波データを組み合わせて、前記波形の特徴を示す脳波特徴データを抽出する脳波特徴抽出部と、
    予め用意された操作メニューの選択の要否を判別するための基準データと前記脳波特徴データとを比較してその類似度を判別し、判別結果に基づいて前記機器を制御する判別部と
    を備えた、制御装置。

Images