JP4287903B2 - 脳波インタフェースシステムおよび起動装置 - Google Patents

Description

本発明は、脳波を用いて機器操作を行う脳波インタフェースシステムに関する。より具体的には、脳波インタフェースシステムに組み込まれ、ユーザの脳波を利用して脳波インタフェースを起動させる起動装置、起動方法、およびそのような起動装置において実行されるコンピュータプログラムに関する。

これまで、生活において様々な機器が提案され、それらの機器に囲まれて暮らす中で、ユーザは機器を操作することで所望の情報やサービスを受けている。そのインタフェースの操作性向上の重要性は、機器の数自体の増加、機器を使わないと得られない情報の増加、などから年々高まっている。例えば、情報機器（テレビ、携帯電話、ＰＤＡ等）においては、画面を見ながら操作の選択肢を選択することで、機器操作が実現されてきた。その操作入力手段としては、ボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作する、などの方法が用いられていたが、例えば、家事、育児や、自動車の運転中など、両手が機器操作以外の作業のために使えない場合は、操作が実行できないこともあった。

これに対して、ユーザの生体信号を利用した入力手段がある。非特許文献１には、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する技術が開示されている。具体的には、選択肢をランダムにハイライトし、ユーザが選択したいと思っている選択肢がハイライトされたタイミングを起点に約３００ミリ秒後に出現する事象関連電位の波形を利用して、選択したいかどうかの識別を実現している。この技術により、ユーザは両手がふさがっている場合でも、また病気等により手足が動かせない状況においても選択したいと思った選択肢が選択でき、機器操作等のインタフェースが実現できる。また特許文献１においても、同様に事象関連電位を用いた脳波インタフェースの例が説明されている。

非特許文献２では、視覚誘発電位（Ｖｉｓｕａｌ Ｅｖｏｋｅｄ Ｐｏｔｅｎｔｉａｌ；ＶＥＰ）の中でも、定常視覚誘発電位（Ｓｔｅａｄｙ−Ｓｔａｔｅ Ｖｉｓｕａｌ Ｅｖｏｋｅｄ Ｐｏｔｅｎｔｉａｌ；ＳＳＶＥＰ）を応用したものである。定常視覚誘発電位とは、一定の周波数で点滅する光源を注視するときに、脳波信号に重畳される電位成分をいう。脳波信号の周波数解析を行うことによって、光源の点滅周波数と同じ周波数が脳波に現れることが知られている。非特許文献２では、この仕組みを脳波インタフェースに応用するために、異なる周波数で点滅する複数のＬＥＤに対して、ユーザが特定のＬＥＤを注視したときに発生する誘発電位を捉える。この誘発電位により、特定のＬＥＤが選択されたことが特定され、ＬＥＤの個数分の選択肢の中からひとつの選択肢を選ぶことができる。

従来は、脳波信号に様々な処理を加えることで、脳波によるメニュー選択が実現されてきた。
特開２００４−２７５６１９号公報 Ｄｏｎｃｈｉｎ他，"Ｔｈｅ Ｍｅｎｔａｌ Ｐｒｏｓｔｈｅｓｉｓ：Ａｓｓｅｓｉｎｇ ｔｈｅ Ｓｐｅｅｄ ｏｆ ａ Ｐ３００−Ｂａｓｅｄ Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ"，ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ ＥＮＧＩＮＥＥＲＩＮＧ ２０００，Ｖｏｌ．８，Ｎｏ．２，Ｊｕｎｅ ２０００ Ｘｉａｏｒｏｎｇ Ｇａｏ他，"Ａ ＢＣＩ−Ｂａｓｅｄ Ｅｎｖｉｒｏｎｍｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ ｆｏｒ ｔｈｅ Ｍｏｔｉｏｎ−Ｄｉｓａｂｌｅｄ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｓｙｓｔｅｍｓ ａｎｄ Ｒｅｈａｂｉｌｉｔａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｖｏｌ．１１， Ｎｏ．２， Ｊｕｎｅ ２００３

しかしながら、上述の脳波インタフェースの事例では、脳波インタフェース起動後の操作に関する検討がされているのみで、脳波インタフェースがどのように起動されるかについては検討されていなかった。その理由は、これらの事例では常に脳波インタフェースの画面（例えば選択肢の提示画面）が表示されている状況での使用が想定されていたためである。

たとえば病院内において、肢体が不自由な人に対して脳波インタフェースを使用する場合には、ベッドのそばに脳波インタフェースの画面（例えば選択肢の提示画面）が常に表示されている。よって、従来用いられていた範囲内では、脳波インタフェースを起動するか否かは問題とされていなかった。

一方、脳波インタフェースを日常生活で利用されるテレビや携帯電話等の情報提示機器に搭載する際には、脳波インタフェースの使用状況は上述の事例と全く異なる。日常生活での情報機器に搭載された場合には、情報端末の画面はスケジュールやメール本文、テレビ番組などの、情報端末本来の役割としての提示されるべき情報に占有されており、脳波インタフェースの画面を常に表示しておくことはできないためである。

脳波インタフェースの画面を表示させるための起動ボタンを設けてもよいが、これでは、家事、育児や運転をしているときなど、両手が機器操作以外のタスクで塞がっている状況において脳波インタフェースの利用が困難になる。あらゆる状況で脳波インタフェースを利用して情報機器を操作したいというユーザのニーズを考慮すると、その起動もまた脳波インタフェースを利用して行うことが必要とされている。

本発明の目的は、ユーザの生体信号、特に定常視覚誘発電位を利用して、脳波インタフェースを起動させることにある。

本発明による脳波インタフェースシステムは、ユーザの脳波信号を検出する生体信号検出部、および、前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて機器を動作させる制御部を有しており、前記脳波インタフェースシステムは、前記制御部を起動させる起動装置と、前記起動装置からの信号に基づいて所定の周波数で点滅する視覚刺激を提示する出力部とをさらに有しており、前記起動装置は、前記生体信号検出部によって検出された前記脳波信号の周波数成分を解析し、前記所定の周波数に対応する強度を検出する周波数解析部と、検出された前記所定の周波数の強度と予め定められた閾値とを比較し、前記所定の周波数の強度が予め定められた閾値以上であるときは、前記ユーザが前記視覚刺激に注目していたと判定して前記制御部を起動させる判定部とを備えている。

本発明による起動装置は、ユーザの脳波信号を検出する生体信号検出部、および、前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて機器を動作させる制御部を有する脳波インタフェースシステムにおいて、前記制御部を起動させるために使用され、前記脳波インタフェースシステムは、前記起動装置からの信号に基づいて所定の周波数で点滅する視覚刺激を提示する出力部をさらに有しており、前記起動装置は、前記生体信号検出部によって検出された前記脳波信号の周波数成分を解析し、前記所定の周波数に対応する強度を検出する周波数解析部と、検出された前記所定の周波数の強度に基づいて、前記ユーザが前記視覚刺激に注目していたか否かを判定し、判定結果に基づいて前記制御部を起動させる判定部とを備えている。

前記判定部は、前記所定の周波数の強度と予め定められた閾値との比較結果に基づいて、前記ユーザが前記視覚刺激に注目していたか否かを判定してもよい。

前記判定部は、前記所定の周波数の強度が予め定められた閾値以上であるときは、前記ユーザが前記視覚刺激に注目していたと判定し、前記制御部を起動させてもよい。

前記起動装置は、前記生体信号検出部によって検出された前記脳波信号に含まれる複数の周波数の信号強度を解析する生体信号解析部と、前記生体信号解析部の解析結果に基づいて前記所定の周波数を設定する設定部と、前記設定された周波数で前記視覚刺激を提示する信号を生成する調整部とをさらに備えていてもよい。

前記生体信号解析部は、前記複数の周波数の信号強度を継続的に解析し、信号強度が増加している周波数とは異なる周波数を、前記所定の周波数として設定してもよい。

前記出力部は、前記機器の動作結果として映像コンテンツを出力し、前記起動装置は、さらに、前記映像コンテンツに含まれる複数の周波数の信号強度を解析するコンテンツ解析部と、前記コンテンツ解析部の解析結果に基づいて前記所定の周波数を設定する設定部と、前記設定された周波数で前記視覚刺激を提示する信号を生成する調整部とを備えていてもよい。

前記出力部は、前記機器の動作結果として出力された映像コンテンツを提示する画面を有しており、前記起動装置は、さらに、前記映像コンテンツに含まれる複数の周波数の信号強度を解析するコンテンツ解析部と、前記生体信号検出部によって検出された前記脳波信号に含まれる複数の周波数の信号強度を解析する生体信号解析部と、解析された各周波数の信号強度のうち、予め定められた閾値よりも高い信号強度の周波数を通知する設定部Ａと、前記コンテンツ解析部の解析結果に基づいて、前記映像コンテンツが変化する周波数を通知する設定部Ｂと、前記設定部Ａによって通知された周波数、および、前記設定部Ｂによって通知された周波数のいずれとも異なる周波数を、前記所定の周波数として設定する調整部とを備えていてもよい。

前記出力部は、前記機器の動作結果として出力された映像コンテンツを提示する画面を有しており、前記調整部は、前記画面の一部を前記所定の周波数で点滅させることにより、前記視覚刺激を提示してもよい。

前記出力部は、前記視覚刺激を提示する光源、および、前記機器の動作結果として出力された映像コンテンツを提示する画面を有しており、前記調整部は、前記光源を前記所定の周波数で点滅させることにより、前記視覚刺激を提示してもよい。

前記判定部は前記制御部を起動させて、前記制御部に対し、識別された前記事象関連電位に基づいて前記機器を動作させるとともに、前記調整部に対して前記視覚刺激の提示を停止させてもよい。

本発明による脳波インタフェースシステムは、ユーザの脳波信号を検出して、前記脳波信号に基づいて少なくとも１つの機器の動作を制御し、ユーザの脳波信号を検出する生体信号検出部と、前記少なくとも１つの機器に対応して設けられ、視覚刺激を提示するための光源を有する出力部と、前記少なくとも１つの機器の起動および動作の停止を制御する起動装置とを備え、前記起動装置は、前記生体信号検出部によって検出された前記脳波信号の周波数成分を解析し、前記所定の周波数に対応する強度を検出する周波数解析部と、検出された前記所定の周波数の強度に基づいて、前記ユーザが前記視覚刺激に注目していたか否かを判定し、判定結果に基づいて前記少なくとも１つの機器を起動させ、または動作を停止させる判定部とを備えている。

本発明による方法は、ユーザの脳波信号に基づいて機器を制御する脳波インタフェースシステムにおいて用いられる方法であって、所定の周波数で点滅する視覚刺激を提示するステップと、ユーザの脳波信号を検出するステップと、検出された前記脳波信号の周波数成分を解析し、前記所定の周波数に対応する強度を検出するステップと、検出された前記所定の周波数の強度と予め定められた閾値とを比較するステップと、前記所定の周波数の強度が予め定められた閾値以上であるときは、前記機器を起動させるステップとを包含する。

本発明によるコンピュータプログラムは、ユーザの脳波信号を検出する生体信号検出部、および、前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて機器を動作させる制御部を有する脳波インタフェースシステムにおいて、前記制御部を起動させるために使用される起動装置で実行され、前記脳波インタフェースシステムは、前記起動装置からの信号に基づいて所定の周波数で点滅する視覚刺激を提示する出力部をさらに有しており、前記コンピュータプログラムは、前記生体信号検出部によって検出された前記脳波信号の周波数成分を解析し、前記所定の周波数に対応する強度を検出するステップと、検出された前記所定の周波数の強度に基づいて、前記ユーザが前記視覚刺激に注目していたか否かを判定し、判定結果に基づいて前記制御部を起動させるステップとを包含する。

本発明の脳波インタフェースシステムによれば、脳波インタフェースを使用していないときの脳波も観測し、脳波インタフェースの起動用視覚刺激（画面上のアイコン、ＬＥＤなど）の点滅周波数に対応する定常視覚誘発電位が脳波に現れているか否かを判定する。そして、定常視覚誘発電位が脳波に現れている場合には、脳波インタフェースを起動する。これにより、脳波インタフェースの起動、脳波インタフェース起動後におけるメニューの選択と決定などのすべての段階で、ユーザの脳波を利用して脳波インタフェースによる操作が可能になる。よって、普段は画面が占有されてしまう情報機器等においても脳波のみによる機能の実行が可能になる。

以下、添付の図面を参照して、本発明による脳波インタフェースシステムの実施形態を説明する。

（実施形態１）
以下では、まず本実施形態による脳波インタフェースシステムを説明し、その後、脳波インタフェースを起動させるための起動装置の構成および動作を説明する。

図１は、本実施形態による脳波インタフェースシステム１の構成および利用環境を示す。この脳波インタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。

脳波インタフェースシステム１は、ユーザ３の脳波信号を利用してＴＶ１０を操作するインタフェースを提供するために用いられる。ユーザ３の脳波信号はユーザ３が頭部に装着した脳波計１８によって取得され、無線または有線で機器制御部５に送信される。ＴＶ１０に内蔵された機器制御部５は、脳波の一部を構成する事象関連電位と呼ばれる成分を利用してユーザ３の意図を認識し、ＴＶ１０の画面２１に表示された複数の選択項目から、ユーザ３が希望するメニューを選択し、選択結果に基づいて受信チャンネルの切り替えなどの処理を行う。このようなユーザインタフェースを、「脳波インタフェース」と呼ぶ。

ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースでは、外的な事象として視覚に対する刺激によって得られる事象関連電位が利用される。たとえば、視覚刺激に対する事象関連電位のうちの、いわゆるＰ３成分と呼ばれる成分を利用すると、チャンネルの切り替え、視聴を希望する番組のジャンルの選択、音量の調整などの処理を行うことができる。「Ｐ３成分」とは、事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく標的刺激提示後２５０ｍｓから５００ｍｓの時間帯に出現する陽性成分をいう。

本実施形態においては、ユーザ３が脳波インタフェースを利用するか否か、すなわちユーザ３が機器制御部５のユーザインタフェース機能を動作させるか否かは、ユーザ３の脳波を利用して起動装置２によって判断される。起動装置２もまた、脳波インタフェースシステム１の一部をなしている。起動装置２の具体的な動作は後述する。なお、本明細書においては、機器制御部５がユーザインタフェース機能を実行することを、機器制御部５を起動する、という。

図２は、本実施形態による脳波インタフェースシステム１のハードウェア構成図である。脳波インタフェースシステム１は、起動装置２と、機器制御部５と、ＴＶ１０と脳波計１８とを含んでいる。起動装置２と、機器制御部５と、脳波計１８とはバス１９に接続されており、バス１９を介して各構成要素間の信号の授受が行われる。ユーザ３の脳波信号に基づいて機器制御部５が脳波インタフェース機能を実行する（すなわち機器制御部５が起動される）と、その結果生成される指示がＴＶ１０に送られて、ＴＶ１０が動作する。

なお、機器制御部５はＴＶ１０に内蔵されているとして説明したが、脳波インタフェース機能との関係では、機器制御部５がＴＶ１０に内蔵されていなくてもよい。よって、図２では起動装置２とＴＶ１０とは独立した構成として記載している。また、脳波計１８が無線でユーザ３の脳波信号を送信する場合には、脳波計１８には無線の送信部が含まれ、バス１９には無線の受信部が接続されることになる。

起動装置２は、ＣＰＵ２ａと、ＲＡＭ２ｂと、ＲＯＭ２ｃとを有している。ＣＰＵ２ａは、ＲＯＭ２ｃに格納されているコンピュータプログラム２ｄをＲＡＭ２ｂに読み出し、ＲＡＭ２ｂ上に展開して実行する。起動装置２は、このコンピュータプログラム２ｄにしたがって、後述の脳波インタフェースの起動の要否を判断する処理を行う。なお、ＲＯＭ２ｃは書き換え可能なＲＯＭ（たとえばＥＥＰＲＯＭ）であってもよい。

機器制御部５は、ＣＰＵ５ａと、ＲＡＭ５ｂと、ＲＯＭ５ｃとを有している。ＣＰＵ５ａと、ＲＡＭ５ｂと、ＲＯＭ５ｃのそれぞれの機能は、起動装置２の同名の構成要素と同様である。ＲＯＭ５ｃに格納されたコンピュータプログラム５ｄは、脳波インタフェース機能を実現するための処理を規定しており、その結果として、起動装置２および機器制御部５の機能は異なる。なお、起動装置２および機器制御部５のＣＰＵ、ＲＡＭおよびＲＯＭを共通化し、コンピュータプログラムのみを別個設け、構成を簡略化してもよい。

機器制御部５はさらに、画像処理回路５ｅを有している。画像処理回路５ｅは、ＣＰＵ５ａの指示にしたがい、脳波インタフェース起動用アイコンをＴＶ１０の画面上で点滅させるための映像信号を出力する。

上述のコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、起動装置２および機器制御部５は、半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現することも可能である。

図３（ａ）〜（ｄ）は、脳波インタフェースシステム１においてＴＶ１０を操作し、ユーザ３が視聴したいジャンルの番組を見るときの例を示す。

図３（ａ）は、画面２１上に、所定の周波数で点滅するメニューアイコン２２が示されている。ユーザ３がこのメニューアイコン２２を見ていると起動装置２が判定すると、機器制御部５が起動されて、脳波インタフェースが利用可能となる。同時に図３（ｂ）のメニュー項目画面が表示される。

図３（ｂ）は、機器制御部５がＴＶの画面２１を介してユーザ３に提示するメニューの例である。画面には「どの番組をご覧になりたいですか？」という質問２４と、見たい番組の候補である選択肢が提示される。ここでは「野球」２５ａ、「天気予報」２５ｂ、「アニメ」２５ｃおよび「ニュース」２５ｄの４種類の選択肢が表示されている。

図３（ｂ）の例ではまず一番上の野球２５ａが選択され、ハイライト表示される。「ハイライト表示」とは、他の項目より明るい背景による表示、明るい文字色による表示、または、カーソル等で指し示された表示をいう。ここではユーザ３が見たときに、システム側が現在どの項目について注意して欲しいかが伝わるようになっていればよい。４つ目の「ニュース」２５ｄの次はまた一番目の野球に戻る。

図３（ｃ）は、脳波計１８によって取得された、ユーザ３の脳波信号の事象関連電位である。事象関連電位の取得の起点は、各選択肢がハイライト表示された瞬間に設定される。そして、この瞬間より、例えば２００ミリ秒前から１秒後までの事象関連電位が脳波信号から抽出される。これによって、ハイライト表示された項目に対するユーザ３の反応が得られる。

今、ユーザ３が「天気予報」２５ｂを見たいと考えていたとする。選択肢２５ａ〜２５ｄまでのそれぞれに対応する脳波信号２６ａ〜２６ｄのうち、「天気予報」がハイライトされたときのユーザ３の脳波信号２６ｂを見ると、「天気予報」がハイライトされた時刻を起点に潜時約３００ミリ秒後に特徴的な陽性の成分（視覚Ｐ３成分）が出現する。そこで機器制御部５は、この視覚Ｐ３成分が検出された選択肢をユーザ３が視聴したい番組であるとして、チャンネルを天気予報のチャンネルに切り替える。図３（ｄ）は、天気予報のチャンネルが選択された後の画面２７を示す。

図４は、機器制御部５の脳波インタフェースの起動後の処理手順を示す。

脳波インタフェース起動後のステップＳ１において、機器制御部５は図３（ｂ）に示すメニュー２３を表示する。機器制御部５は、ステップＳ２において、たとえば「野球」２５ａの項目を選択し、次のステップＳ３において、選択した「野球」２５ａの項目をハイライト表示する。

ステップＳ４において、項目のハイライト表示を起点として、機器制御部５は脳波計１８から出力された脳波信号から事象関連電位を取得する。

ステップＳ５において、機器制御部５は、取得した事象関連電位に、選択したい項目のハイライトに起因する波形変化が存在するか否かを判定する。波形変化が存在する場合にはステップＳ６に進み、波形変化が存在しない場合にはステップＳ２に戻って次の項目（たとえば「天気予報」２５ｂ）のハイライト表示を行う。視覚Ｐ３成分の有無を識別することにより、現在取得した脳波の波形が、ユーザ３が選択したい項目に対する波形か、それとも選択したくない項目に対する波形かを判別することができる。

ステップＳ６において、機器制御部５は、視覚Ｐ３成分が現れた項目に対応する機能（チャンネル切り替え）を実行する。

上述の処理により、ユーザ３はボタンを操作しなくても脳波によってメニュ項目を選択することができる。なお、ステップＳ２では、項目は順次選択されるとしたが、ランダムに提示する方法も可能である。これにより、事前にどの項目が選択されるか不明なため、より注意深くメニューが選択される可能性がある。

次に、起動装置２を詳細に説明する。はじめに起動装置２の動作原理を説明し、その後、起動装置２の構成および動作を説明する。

図５（ａ）は、画面上に表示されているメニューアイコン２２を示す。本実施形態においては、メニューアイコン２２は、周期１００ミリ秒（周波数約１０．０Ｈｚ）で点滅している。点滅とは、表示と非表示の反復であってもよいし、反転と非反転の反復であってもよい。図５（ｂ）は、反転と非反転の反復により点滅するメニューアイコン２２の例を示す。ユーザ３への視覚刺激を提示し得る信号であればよいため、たとえば輝度が変化するのみのアイコンの明滅であっても定常視覚誘発電位が観測されるため、点滅の範疇である。

本願発明者らは、点滅するメニューアイコン２２を見ているユーザ３の脳波信号と、見ていないユーザ３の脳波信号との間には顕著な相違があることに着目し、得られた脳波信号を解析すれば、ユーザ３が点滅するメニューアイコン２２を見ていたか否かを判別することが可能であると考えた。

図６（ａ）はユーザ３が点滅するアイコンを見ていないときの脳波の周波数解析結果の例を示し、図６（ｂ）はユーザ３が点滅するアイコンを見ていたときの脳波の周波数解析結果の例を示す。いずれも横軸が周波数（単位：Ｈｚ）、縦軸が信号強度である。信号強度は、周波数パワー（単位：μＶ・μＶ／Ｈｚ）とも呼ばれ、たとえば高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；ＦＦＴ）によって算出された係数値として得られる。アイコンの点滅周期は１００ミリ秒、すなわち点滅周波数は約１０．０Ｈｚである。

図６（ａ）および（ｂ）を分析すると、（ａ）では、１０．０Ｈｚ周辺には特に信号強度の変化が見られないが、（ｂ）では、破線３２で囲まれるように、１０．０Ｈｚ周辺に局所的なピークが見られる。よって、信号強度に閾値を設け、１０．０Ｈｚ周辺の信号強度がその閾値以上であるピークを検出することにより、ユーザ３が点滅するメニューアイコン２２を見ていたか否かを判別することが可能である。そして、メニューアイコン２２を見ていたと判断されたときは、脳波インタフェースの起動が要求されているとして起動装置２を動作させればよい。たとえば、起動装置２が機器制御部５に対して図３（ｂ）に示すメニュー項目の表示を指示すればよい。

なお、点滅周波数の周辺または近傍とは、点滅周波数±０．２Ｈｚの範囲内の周波数を含む。非特許文献２によれば、人間は、視覚刺激の点滅周波数を０．２Ｈｚ程度の解像度で識別できるためである。

次に、図７を参照しながら、上述の原理に基づいて動作する起動装置２の構成および詳細な動作を説明する。

図７は、本実施形態による起動装置２を含む脳波インタフェースシステム１の機能ブロックの構成を示す。

脳波インタフェースシステム１は、起動装置２と、生体信号検出部４と、機器制御部５と、出力部６とを有している。図７はまた、起動装置２の機能ブロックの構成も示している。ユーザ３のブロックは説明の便宜のために示されている。なお、出力部６は、ユーザ３にメニューや映像コンテンツ等を提示するＴＶ等の画面を示す。

ユーザ３は、脳波インタフェース起動前であれば、起動装置２によって出力部６に提示されるメニューアイコン２２の点滅を見ているだけで、脳波インタフェースを起動させることができる。また、脳波インタフェース起動後であれば、機器制御部５によって出力部６に提示される機器操作に関するメニュー項目のハイライト表示を見ているだけで、そのメニュー項目に対応する機能を選択し、機器制御部５に実行させることができる。いずれにしても、ユーザ３はボタン等の操作入力をする必要はない。

起動装置２は、有線または無線で生体信号検出部４および機器制御部５と接続され、信号の送信および受信を行う。

生体信号検出部４は、上述の脳波計１８（図１、２）に対応し、生体信号として脳波を計測する。脳波計は図１に示すようなヘッドマウント式脳波計であってもよい。ユーザ３はあらかじめ脳波計を装着しているものとする。生体信号検出部４は、脳波信号を内部処理によってデジタルデータとして出力してもよいし、内部処理をすることなくアナログデータとして出力してもよい。

生体信号検出部４には、ユーザ３の頭部に装着されたとき、その頭部の所定の位置に接触するよう、電極が配置されている。電極の配置は、たとえばＰｚ（正中頭頂）、Ａ１（耳朶）およびユーザ３の鼻根部になる。ただし、電極は最低２個あればよく、たとえばＰｚとＡ１のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。

この結果、生体信号検出部４はユーザ３の脳波信号（事象関連電位を含む）を測定することができる。測定されたユーザ３の脳波は、コンピュータで処理できるようにサンプリングされ、起動装置２および機器制御部５に送られる。なお、脳波に混入するノイズの影響を低減するため、生体信号検出部４においては計測される脳波は、あらかじめたとえば０．０５から２０Ｈｚのバンドパスフィルタ処理がされ、メニュー項目ハイライト前のたとえば１００ｍｓの平均電位でベースライン補正されているものとする。

機器制御部５は、機器操作に関するメニュー項目をユーザ３に提示し、生体信号検出部４で計測された脳波を切り出して識別する。そして識別結果に応じて機器動作を制御する。機器制御部５の基本的な動作は前述の通りである。

起動装置２は、周波数解析部７と、起動判定部８と、周波数調整部９とを含む。

周波数解析部７は、生体信号検出部４で検出された脳波信号の周波数を解析し、各周波数の信号強度（周波数パワー）を算出する。上述のように、脳波の周波数パワーは高速フーリエ変換によって算出された係数値である。解析する対象はすべての周波数帯域であってもよいが、本実施形態においては処理の高速化のため、周波数解析部７は周波数調整部９から解析対象の周波数（点滅周波数）を特定する情報を受け取り、その点滅周波数の周辺または近傍の周波数帯域の信号強度を解析する。

起動判定部８は、周波数解析部７において解析された結果に基づいて、点滅周波数近傍の周波数パワーが閾値以上か否かを判定し、局所的なピーク（図６（ｂ）の点線３２内のピーク）の有無を判定する。そして局所的なピークが存在していると判定した場合には、起動判定部８は機器制御部５に対して脳波インタフェース機能の実行を指示する。その結果、機器制御部５は脳波インタフェース機能を実行し、ユーザ３の脳波の事象関連電位に基づいて機器の制御方法を決定する。脳波インタフェース機能の実行時にはもはやメニューを点滅させる必要はないため、起動判定部８は周波数調整部９にメニューの表示および点滅の終了を指示する。

周波数調整部９は、起動判定部８からの指示に基づいて、指示された周波数で点滅するメニューアイコン２２の映像信号（視覚刺激用信号）の生成を開始し、または停止する。周波数調整部９は、生成した視覚刺激用信号を出力部６に出力する。また、視覚刺激用信号の周波数を特定する情報を、周波数解析部７に出力する。

図８は、本実施形態による脳波インタフェース１の起動に関連する処理手順を示す。ステップＳ１０〜Ｓ５０までの処理のうち、ステップＳ４０の脳波インタフェース提供以外の処理が、脳波インタフェース起動処理に該当する。

図８に示す処理は、たとえばユーザ３が脳波計１８を装着している状態で、単にＴＶ１０の番組を視聴しているときに実行される。

ステップＳ１０において、ユーザ３の頭部に装着された生体信号検出部４は脳波信号を検出する。ステップＳ２０において、周波数解析部７は、検出された脳波信号の周波数解析を行う。解析処理を行う時間的な範囲は、例えば所定時間前から現在までの区間をすればよい。所定時間とは、たとえば１０００ｍｓ、２０００ｍｓ、または、機器に必要とされる反応時間や必要とされる周波数解析の精度によって決定される。周波数解析部７は、脳波信号に含まれる周波数のうち、点滅周波数周辺の周波数帯域に対する信号強度（周波数パワー）を算出する。

ステップＳ３０では、起動判定部８は、予め設定された閾値に基づいて、点滅周波数に対応する周波数付近に局所的なピークが存在するか否かを判定する。この判定は、ユーザ３が脳波インタフェースのためのメニューの起動を希望しているか否かの判定である。

局所的なピークが存在する場合には処理はステップＳ４０に進む。一方、局所的なピークが存在しない場合には処理はステップＳ５０に進み、引き続きコンテンツの出力が継続される。

ステップＳ４０において、機器制御部５は脳波インタフェースのためのメニューを表示し、ユーザ３に対して脳波インタフェースを提供する。この処理は図３（ｂ）および（ｃ）の処理に対応する。

ステップＳ５０では、出力部６はユーザ３に対してコンテンツ等の情報を提示する。脳波インタフェースが起動されている場合（ステップＳ４０の後に実行される場合）には、ステップＳ５０では脳波インタフェースを介して決定された処理に基づくコンテンツが出力される。一方、脳波インタフェースが起動されていない場合（ステップＳ３０からの分岐後に実行される場合）には、これまでユーザ３が視聴していたＴＶ１０の番組が引き続き提示される。

このように、ユーザ３の脳波を解析することによって、脳波インタフェースの起動が必要か否かを判定でき、その判定結果に応じて脳波インタフェースシステム１の処理を切り替えることができる。

上述のように、脳波インタフェースの起動の有無にかかわらずユーザ３の脳波信号を取得することにより、脳波インタフェースの起動と、インタフェース起動後のメニュー項目の選択が可能な脳波インタフェースシステム１を実現できる。脳波インタフェースの起動、実行および切り替え後の処理からなる一連の処理のための操作が脳波のみにより実現されるため、実用的な脳波インタフェースシステムを提供できる。よって、たとえば車の運転中や乳児を抱きかかえている時のような、手が離せない状況においても、脳波インタフェースが起動でき、機器の動作を制御できる。

上述の例では、脳波インタフェースのメニュー起動用アイコンは、ＴＶ１０の画面上に表示されるとして説明した。しかし、画面上のアイコン以外であっても、ユーザ３に対して所定周波数の視覚刺激を提示することができる。たとえば図９は、ＴＶ１０の画面２１の外のフレーム部分に、メニュー起動用の視覚刺激を提示する光源（本実施形態では発光ダイオード（ＬＥＤ））４０を設けた例を示す。このＬＥＤもまた出力部６の範疇である。このＬＥＤがＴＶ１０の画面およびそのフレームから離れた位置に、ＴＶ１０とは別個独立のハードウェアとして実現された場合であっても、ＴＶもそのＬＥＤも出力部の範疇である。

周波数調整部９はＬＥＤ４０の点滅周波数を制御することで、視覚誘発電位を得ることができる。この方式の特徴は、画面そのものにはメニュー起動用のアイコンがないため、コンテンツにメニュー起動用のアイコンを重畳して表示する必要がないことにある。これにより、画像処理回路５ｅ（図２）を簡単化できる。また、アイコンが画面内で点滅することがなくなるため、コンテンツ視聴の妨げにもならない。

さらに、ＬＥＤの点滅周波数の制御は、テレビ画面上のメニュー起動用アイコンと比較して自由度が高い、という利点もある。その理由は、テレビ画面上のメニュー起動用アイコンでは、テレビ画面のリフレッシュレートによる制限を受けてしまうためである。例えば、３０フレーム／秒のコンテンツが放送されている場合、コンテンツそのものにメニュー起動用アイコンを書き込むと、３０Ｈｚ以上の点滅周波数は実現できない。

本実施形態においては、視覚刺激の点滅周波数は約１０．０Ｈｚであるとしたが、この値は例である。点滅周波数は、たとえば０．５Ｈｚから２４Ｈｚの範囲内で設定することができる。ただし、周波数があまりに低い場合には、脳波インタフェースを起動させるか否かの判断に時間を要することになる。したがって、実用的な範囲として５Ｈｚから２４Ｈｚの周波数がより好適である。

（実施形態２）
実施形態１においては、１つのメニュー起動用アイコン（またはＬＥＤ）の点滅周波数を固定して、脳波インタフェース機能を実行するか否かを判定する際に利用するとした。

本実施形態および次の実施形態においては、メニュー起動用アイコンの点滅周波数を可変とし、種々の状況に適応して点滅周波数を制御する脳波インタフェースシステムを説明する。メニュー起動用アイコンが１つであるため、非特許文献２のような他のアイコン等の点滅との関係を考慮する必要はない。また、アイコンは映像信号の処理によってＴＶの画面上で点滅されるため、処理を変更すればその点滅周波数を変更することが可能である。

なお、上述の非特許文献２は、異なる点滅周波数を持つＬＥＤを多数並べ、ユーザの脳波信号に現れた周波数を検出することによって、どのＬＥＤが注視されたかを特定しメニュー選択と同様の効果を得ていた。点滅周波数に応じて複数のＬＥＤが設けられているため、各ＬＥＤの点滅周波数は固定値であり、変動させることは想定されていない。

以下、本実施形態による点滅周波数の調整を実現するための構成および処理を説明する。本実施形態においても、メニュー起動用アイコンを点滅させる例を挙げて説明する。

まず、点滅周波数の調整が必要とされる理由を説明する。

メニュー起動用アイコンの点滅周波数が人の視覚誘発電位として着実に伝達されることに対する障害要因は複数考えられる。

第１の障害要因として、たとえば電灯が明滅している映画の１シーンのような、画面に表示されるコンテンツが点滅したり、画面全体が一定の周期で変動しているものに対しては、その影響は視覚誘発電位に影響を及ぼすと考えられる。人がコンテンツを視聴している時に、コンテンツそのものがメニュー起動用のアイコンの点滅周期と同様の周波数成分を含む場合には、脳波インタフェースシステムはメニュー起動用のアイコンを注視したとして誤認識する可能性がある。

第２の障害要因として、視覚誘発電位以外の要因で発生している人の脳波の変動も考慮する必要がある。人が安静にしている時や日常生活を送っている通常時にも常に脳波は検出される。一般に、実験者が注目していない部分の脳波は背景脳波と呼ばれている。この背景脳波は、図６（ａ）の例のような周波数分布を示すことがあるが、分布は様々に変化する。分布の変化に影響を与える要因としては、人の覚醒状態（眠たいか、はっきり目覚めているか）、注意状態（画面に対してどれぐらい意識が向けられているか）、疲労状態、さらに目の動かし方等も考えられる。このような要因により、検出される脳波信号の周波数がメニュー起動用アイコンの点滅周波数と近くなった場合は、脳波インタフェースシステムはメニュー起動用のアイコンを注視したとして誤認識する可能性がある。

上述のとおり、脳波信号は、提示されているコンテンツの変化、人の状態などの外部要因の影響を受ける。このため、脳波信号に基づいてユーザ３のメニュー起動の意思を高い精度で検出するためには、現在提示されているコンテンツ内の変化や人の状態を検出して、メニュー起動用アイコンの点滅周波数を変更する必要がある。

本実施形態においては、上述の第１および第２の障害要因の発生を、脳波の変化によって検出し、メニュー起動用アイコンの点滅周波数を変更する起動装置を説明する。以下、図１０から図１２を参照しながら、本実施形態による脳波インタフェースシステムを説明する。

なお、本実施形態による脳波インタフェースシステムの構成および利用環境は図１に示す例と同じであり、また、そのハードウェア構成は図２に示す例と同じである。実行されるコンピュータプログラムの相違により、実施形態１および２のシステムの機能が相違する。

図１０は、本実施形態による起動装置１０２を含む脳波インタフェースシステム１０１の機能ブロックの構成を示す。図１０においては、図１の脳波インタフェースシステム１と同じ機能を有する構成要素には同じ参照符号を付し、その説明は省略する。

実施形態１の脳波インタフェースシステム１との相違点は以下のとおりである。起動装置１０２には、起動装置２に対して、生体信号解析部１３と、周波数設定部（Ａ）１４とが付加されている。さらに、起動装置１０２に含まれる周波数調整部１７は、起動装置２の周波数調整部９の機能に対して、さらに新たな機能を備えている。

追加された構成要素のうち、生体信号解析部１３および周波数設定部（Ａ）１４は、ユーザの脳波の変化を検出する構成要素である。以下、これら追加された構成を中心に説明する。

生体信号解析部１３は、ユーザ３の脳波信号の周波数を解析して出力する。出力は、各周波数の信号強度（周波数パワー）であってもよいし、図６（ａ）や（ｂ）に示される周波数分布であってもよい。

周波数設定部（Ａ）１４は、ユーザ３の脳波信号の周波数解析結果に基づいて、メニュー起動用アイコンの点滅周波数としての利用に適さない周波数を特定する。たとえば、ユーザ３の脳波信号においてα波帯域（８〜１３Ｈｚ）の強度が徐々に増加している場合においては、そのα波帯域の周波数を、メニュー起動用アイコンの点滅周波数としての利用に適さない周波数として特定する。アイコンの点滅周波数がこの帯域に含まれていると、視覚誘発電位の検出が困難になると想定されるためである。周波数設定部（Ａ）１４は、特定した周波数を示す情報を出力する。

周波数調整部１７は、周波数設定部（Ａ）１４からメニュー起動用アイコンの点滅周波数としての利用に適さない周波数の情報を受け取り、その周波数に該当しない周波数をメニュー起動用アイコンの点滅周波数として設定する。そして、周波数調整部１７は、起動判定部８からの指示に基づいて、設定した周波数で点滅するメニューアイコン２２の映像信号（視覚刺激用信号）の生成を開始し、または停止する。周波数調整部１７は、生成した視覚刺激用信号を出力部６に出力する。また、視覚刺激用信号の周波数を特定する情報を、周波数解析部７に出力する。

図１１は、本実施形態による脳波インタフェースの起動に関連する処理手順を示す。図１１に含まれるステップＳ１０〜Ｓ６０のうち、図８のステップと同じステップには同じステップ番号を付し、その説明は省略する。本実施形態においては、ステップＳ２０とＳ３０との間に、ステップＳ６０が追加されている。

ステップＳ６０では、生体信号解析部１３および周波数設定部（Ａ）１４が人の脳波の変化に基づいて点滅周波数を設定する。より具体的には、生体信号解析部１３によるユーザ３の脳波信号の周波数解析結果に基づいて、周波数設定部（Ａ）１４はメニュー起動用アイコンの点滅周波数としての利用に適さない周波数を特定する。このステップにより、コンテンツそのものがメニュー起動用のアイコンの点滅周期と同様の周波数成分を含む場合のその周波数特性や、人の内部状態に起因するその時々の周波数特性が、すでに設定されているメニュー起動用アイコンの点滅周波数と近いか否かが常に監視され、近い場合にはメニュー起動用アイコンの点滅周波数が変更される。

図１２は、人の脳波変化に基づく点滅周波数の設定処理（図１１のステップＳ６０）の手順を示す。

まずステップＳ６１において、生体信号解析部１３は、生体信号検出部４から現在のユーザ３の脳波信号を取得する。次のステップＳ６２において、生体信号解析部１３は脳波信号の周波数を継続的に解析して、ユーザ３がどのような脳波を出しているかを把握する。これにより、ユーザ３の脳波信号の変化の傾向が特定される。ユーザ３の脳波信号の変化の傾向は、ユーザ３の状態に依存し、または、コンテンツそのものが点滅している場合などにおいて、その点滅周波数に依存する。

ユーザ３の状態とは、例えばユーザ３がどの程度眠さを感じているか、どの程度集中しているかを示す内部状態である。たとえば、ユーザ３が眠気を感じ始めている場合にはα波帯域（８〜１３Ｈｚ）の強度が徐々に増加する。生体信号解析部１３は、α波帯域の強度が増加傾向にあることを特定する。

ステップＳ６３では、周波数設定部（Ａ）１４は、解析された周波数と点滅周波数との差が閾値以下か否かを判定する。閾値として、たとえば０．２Ｈｚが設定される。この処理は、現在の脳波インタフェース起動用アイコンの点滅周波数が検出されにくくなっているか否かを判定することを意味する。なお、識別が不可能な周波数の閾値の例として０．２Ｈｚを挙げたが、閾値をさらに大きく設定することにより、識別が困難な周波数を排除することも可能である。ユーザの状態に由来する周波数変化は特定の周波数のみではなく、ある程度の幅を持った周波数帯として変動することもあり、この場合は前記閾値はさらに大きくする必要がある。

判定結果が閾値以下を示す場合には処理はステップＳ６４に進み、閾値以下を示さない場合には処理を終了する。

ステップＳ６４において、周波数設定部（Ａ）１４は、メニュー起動用アイコンの点滅周波数としての利用に適さない周波数として、解析された周波数の情報を周波数調整部１７に通知する。周波数調整部１７は、通知された周波数とは異なる周波数を点滅周波数として設定し、メニュー起動用アイコンを点滅させる。

たとえば、ステップＳ６３において、α波帯域の周波数と点滅周波数との差が閾値以下であると判定された場合には、周波数設定部（Ａ）１４はα波帯域の周波数（８〜１３Ｈｚ）を示す情報を出力する。すると周波数調整部１７は、点滅周波数の設定範囲内（例えば、０．５Ｈｚから２４Ｈｚ）において、α波帯域の周波数とは異なる点滅周波数（たとえば５Ｈｚや１５Ｈｚ）でメニュー起動用アイコンを点滅させる。

ここで、「異なる点滅周波数」とは、周波数設定部（Ａ）１４から通知された周波数、すなわち、ユーザ３から検出されたα波帯域の周波数を基準としたときの、上述した閾値（例えば０．２Ｈｚ）以上異なっている周波数を意味する。

周波数調整部１７で設定される周波数は、例えば点滅を見ていないときのパワースペクトルのうち、最も信号強度の少ない周波数に設定すればよい。これにより、メニュー起動用アイコンの点滅による影響の増加分との差を明確化できる。

また、ディスプレイのリフレッシュレートを考慮してアイコンの点滅周波数を設定することで、ソフトウェアのみによる点滅の制御が可能になる。ディスプレイにアイコンを表示する際には、ディスプレイのリフレッシュレート（垂直周波数）に同期して表示画像が書き換えられる。そこで、たとえばリフレッシュレートが６０Ｈｚであるとすると、３回の書き換えごと（すなわち３周期ごと）にアイコンが表示され、その他の書き換えタイミングではアイコンが表示されないようにアイコンの表示を切り替えることで、アイコンを２０Ｈｚで点滅させることが可能になる。なお、アイコンの表示を書き換えるタイミングはソフトウェア的に制御可能である。よって、同様に４周期／５周期／６周期ごとにアイコンを表示し、その他のタイミングではアイコンを非表示とすることにより、１５Ｈｚ／１２Ｈｚ／１０Ｈｚが実現できる。これらの周波数の中から条件を満たす設定すべき周波数を選択すればよい。

このように、設定方法は様々に考えられるが、基本的には、点滅周波数の設定範囲内（例えば、０．５Ｈｚから２４Ｈｚ）において通知された周波数とは異なる周波数であれば任意の点滅周波数を設定できる。

このような処理により、人の脳波の内部状態の変化等にともなう周波数強度の変化に影響されることなく、脳波インタフェース起動用のアイコンの点滅周波数が脳波に定常視覚誘発電位として現れているか否かを判定できる。

（実施形態３）
実施形態２では、現在提示されているコンテンツ内の変化や人の状態が視覚誘発電位に影響を及ぼすことを利用して脳波の変化を検出し、脳波の変化に基づいて、メニュー起動用アイコンの点滅周波数を変更するとした。

本実施形態においては、現在提示されているコンテンツ内の変化を、そのコンテンツを解析することによって検出し、その結果を利用してメニュー起動用アイコンの点滅周波数を変更する。

図１３は、本実施形態による起動装置１２を含む脳波インタフェースシステム１１の機能ブロックの構成を示す。図１３においては、図１０の脳波インタフェースシステム１０１と同じ機能を有する構成要素には同じ参照符号を付し、その説明は省略する。

脳波インタフェースシステム１１では、出力部６において提示されるコンテンツの出力信号が起動装置１２に入力されている。そして、起動装置１２には、起動装置１０２（図１０）に対して、コンテンツ解析部１５と、周波数設定部（Ｂ）１６とが付加されている。

追加されたコンテンツ解析部１５および周波数設定部（Ｂ）１６は、提示されるコンテンツの変化に対応する構成要素である。以下、これら追加された構成を中心に説明する。

コンテンツ解析部１５は、現在提示されている映像コンテンツの変化に関する周波数を解析して出力する。映像コンテンツの変化とは画面内の出力映像の変化であり、たとえば映像コンテンツが明滅しているときの明滅に相当する。

周波数設定部（Ｂ）１６は、映像コンテンツの変化に関する周波数解析結果に基づいて、メニュー起動用アイコンの点滅周波数としての利用に適さない周波数を特定する。たとえば、映像が０．５秒ごとに明滅している映画の１シーンでは、周波数設定部（Ｂ）１６は２Ｈｚの周波数を、メニュー起動用アイコンの点滅周波数としての利用に適さない周波数として特定する。アイコンの点滅周波数がこの帯域に含まれていると、視覚誘発電位の検出が困難になると想定されるためである。周波数設定部（Ｂ）１６は、特定した周波数を示す情報を出力する。

周波数調整部１７は、周波数設定部（Ａ）１４および周波数設定部（Ｂ）１６の各々から周波数の情報を受け取り、いずれにも該当しない周波数をメニュー起動用アイコンの点滅周波数として設定する。そして、周波数調整部１７は、起動判定部８からの指示に基づいて、設定した周波数で点滅するメニューアイコン２２の映像信号（視覚刺激用信号）の生成を開始し、または停止する。周波数調整部１７は、生成した視覚刺激用信号を出力部６に出力する。また、視覚刺激用信号の周波数を特定する情報を、周波数解析部７に出力する。

図１４は、本実施形態による脳波インタフェースの起動に関連する処理手順を示す。図１４に含まれるステップＳ１０〜Ｓ７０のうち、図１１のステップと同じステップには同じステップ番号を付し、その説明は省略する。本実施形態においては、ステップＳ６０とＳ３０との間に、ステップＳ７０が追加されている。

ステップＳ７０では、コンテンツ解析部１５および周波数設定部（Ｂ）１６が、コンテンツの変化に基づいて点滅周波数を設定する。このステップにより、その時々に変化するコンテンツの周波数特性が、すでに設定されているメニュー起動用アイコンの点滅周波数と近いか否かが常に監視され、近い場合にはメニュー起動用アイコンの点滅周波数が変更される。なお、ステップＳ７０の処理は、図１５を参照しながら後に詳述する。

図１５は、コンテンツの変化に基づく点滅周波数の設定処理（図１４のステップＳ７０）の手順を示す。

まずステップＳ７１において、コンテンツ解析部１５は現在出力されている画像（映像コンテンツ）の信号を出力部６から取得する。

ステップＳ７２において、コンテンツ解析部１５は、画像輝度値の平均値を算出する。得られた平均値の大きさにより、画面全体の傾向（明るさ）を把握することができる。

ステップＳ７３において、コンテンツ解析部１５は、画像の変化に関する周波数を解析する。これにより、画面全体がどのような周波数で変化しているかを知ることができる。

ステップＳ７４において、周波数設定部（Ｂ）１６は、画面が変化する周波数と点滅周波数との差が閾値以下か否かを判定する。閾値として、たとえば０．２Ｈｚが設定される。判定結果が閾値以下を示す場合には処理はステップＳ７５に進み、閾値以下を示さない場合には処理を終了する。

ステップＳ７５では、周波数設定部（Ｂ）１６は、メニュー起動用アイコンの点滅周波数としての利用に適さない周波数として、画面の変化周波数の情報を周波数調整部１７に通知する。周波数調整部１７は、通知された周波数とは異なる周波数を点滅周波数として設定し、メニュー起動用アイコンを点滅させる。

なお、通知された周波数とは異なる周波数であれば任意の点滅周波数を設定できる。例えば、画面変化を検出するために解析された周波数のうち、信号強度が最も低い周波数を設定すればよい。

このような処理により、コンテンツ（画面）全体の変化の周波数に影響されることなく、脳波インタフェース起動用のアイコンの点滅周波数が脳波に定常視覚誘発電位として現れているかを判定できる。

なお、図１４では、ステップＳ６０の次にステップＳ７０を実行するとして説明しているが、これは例である。ステップＳ７０を先に実行してその後ステップＳ６０を実行してもよい。後のステップにおいて、周波数調整部１７は周波数設定部（Ａ）１４および周波数設定部（Ｂ）１６の両方から受け取った周波数の情報に基づいて、点滅周波数を設定すればよい。

このように、人の脳波の解析とコンテンツの解析を併用することで、両方の影響を受け難い点に脳波インタフェース起動用アイコンの点滅周波数を設定できる。よって、ユーザ３が起動用アイコンを注視したことの検出の精度を向上させることができる。

また、コンテンツと人の脳波の変化には特性の違いがある。それは、コンテンツの周波数変化は急激であるのに対し、人の周波数変化は比較的遅いことである。そのため、コンテンツの変化に対しては、現在の周波数設定値を即時的に変更する必要がある。一方、人の脳波の変化に対しては、それまでの経時的変化（特定の周波数の信号強度が徐々に増加している等）を考慮して将来的な変化を予想し、周波数設定値を変更する必要がある。

なお、メニュー起動用アイコンの点滅周波数と定常視覚誘発電位におけるピーク検出の周波数が一致していればよいという観点からは、点滅周波数を一定にせず定期的に動かすことも可能である。例えば１秒おきに点滅周波数を変化させることで、仮に他の要因により、ある瞬間の点滅周波数のピークが検出されないとしても、１秒後には異なる周波数でピークを検出することが可能である。

本実施形態においては、メニュー起動用アイコンの点滅周波数を変更するとして説明したが、アイコンではなく、図９に示すＬＥＤを利用し、その点滅周波数を変更してもよい。

また、本実施形態による起動装置は、人の脳波変化に基づく点滅周波数の設定処理とコンテンツの変化に基づく点滅周波数の設定処理とを両方実行するとしたが、いずれか一方のみを行ってもよい。

（実施形態４）
実施形態１から３では、テレビや情報機器の操作に関して、脳波の定常視覚誘発電位を用いて脳波インタフェースを起動させるとした。このような脳波インタフェースが必要とされる理由は、テレビや情報機器は多機能であり、ユーザの要求を正しく伝えるためには、脳波インタフェースを利用して複数の機能に対応した複数の選択肢のうちの一つを選択することを要するからである。

しかしながら、ユーザが制御したい機器の中には、メニュー選択の必要のない単純な機器も存在する。ここで「単純な機器」とは、機器が特定されると、その状況に応じてその動作がほぼ一意に決まる機器をいう。

単純な機器の例としては、照明機器や電磁調理器が挙げられる。照明機器に関しては、照明が点灯しているときに制御したいという要求があれば、その制御とは通常は消灯することを意味し、消灯しているときに制御したいという要求があればその制御とは点灯することを意味する。また電磁調理器に関しては、通電時の制御要求は停止を意味し、停止時の制御要求は通電を意味する。このような単純な機器の場合には、機器が特定された後は、ＯＮとＯＦＦの反転等の所定の動作を行えばよいので、上述の脳波インタフェースのようなメニュー表示が必要ないと考えられる。

本実施形態では、視覚Ｐ３成分を検出する脳波インタフェースの起動に利用される起動装置ではなく、単純な機器を起動させ、機器の動作を停止させる起動装置の例を説明する。ただし、脳波を用いて機器を制御することについては実施形態１から３と同様であるため、このような起動装置を含むシステム全体を、本実施形態においても「脳波インタフェースシステム」と呼ぶ。

図１６は、本実施形態による起動装置４２を含む脳波インタフェースシステムの利用環境を示す。起動装置４２は、キッチンで家事をする状況下で利用される。

キッチンでは洗い物や調理などの両手を使った作業が多く、その作業中、ユーザ３は他の作業を行うことができない。その一方、ユーザ３は多くの機器や調理用具を同時に扱わなければならない。

本願発明者らは、取り扱う機器や調理用具の多くには単純な制御が要求されることに着目し、起動装置４２を用いて機器の起動および動作の停止を実現することとした。これにより、ユーザ３が手を放せない作業中であっても、各種機器を起動させ、動作を停止させることが可能になる。

ユーザ３は脳波計１８を装着しており、起動装置４２は脳波計１８で検出されたユーザ３の脳波信号を無線で受け取る。起動装置４２のハードウェア構成は図２に示す起動装置２の例と同じである。また、起動装置４２の機能的な構成は、図７、図１０または図１３の起動装置２の構成と同じである。起動装置４２の機能は、以下に説明する処理手順を規定したコンピュータプログラムが、ＣＰＵ２ａ（図２）によって実行されることによって実現される。

キッチンに設置された各機器には光源を点滅させる点滅装置４０ａ〜４０ｄ（ＬＥＤ等）が取り付けられている。図１６では、点滅装置４０ａ〜４０ｄはそれぞれ、水道の蛇口、電子レンジ、レンジフードおよび電磁調理器に設けられており、それぞれ異なる周波数で点滅している。点滅装置４０ａ〜４０ｄの点滅周波数は、実施形態１の周波数調整部９（図７）または、実施形態２、３の周波数調整部１７（図１０、１３）と同等の周波数調整部（図示せず）によって制御されている。

ユーザ３が、制御を行いたい機器に付随した点滅装置の点滅を見ることにより、ユーザ３の脳波には特定の周波数を持った視覚誘発電位が誘発され、脳波計１８によって検出される。起動装置４２はその脳波信号の周波数強度を算出し、局所的なピークを示す周波数がいずれかの機器の周波数に対応するか否かを判定し、対応する機器を特定する。特定された機器は、ユーザ３が動作を制御したい対象であるといえる。そこで起動装置４２は、予め定められた方法でその機器の動作を制御する。

図１７は、図１６に示す各機器の機器名５１と、各機器に設けられた点滅装置の点滅周波数５２と、対応する機器動作５３との対応を示す。対応に基づいて、脳波信号のピーク探索が行われ、機器の動作が決定される。

たとえば、蛇口に取り付けられた点滅装置４０ａは６Ｈｚの周波数で点滅する。いま、ユーザ３の脳波信号に基づいて起動装置４２が特定した機器が蛇口であるとすると、起動装置４２はその蛇口が閉じているときは開き、開いているときは閉じる。

なお、図１７の機器２の例として挙げた電子レンジは多機能であり、ユーザの要求を正しく伝えるために脳波インタフェースを利用することが必要である。よって、実施形態１から３と同様、起動装置４２は脳波インタフェースを起動させて、電子レンジの表示窓にメニューを表示させている。脳波計１８がヘッドマウントディスプレイと一体で構成されている場合には、装着されたディスプレイにメニューを表示することも可能である。

図１８は、本実施形態による起動装置４２の処理手順を示す。以下の処理は、図７に示す起動装置２の構成要素（周波数解析部７、起動判定部８および周波数調整部９）を利用して説明する。なお、制御対象となる各機器には、起動装置４２の起動判定部８からの指示を受けてその機器を制御する機器制御部が設けられている。この機器制御部は図７の機器制御部５に対応する。ただし、本実施形態においては、各機器の機器制御部は脳波インタフェースを提供するものでなくてもよく、単に当該機器の起動、および、動作の終了を制御できる機能を有していればよい。

ステップＳ１０１において、脳波計１８はユーザ３の生体信号である脳波を検出する。ステップＳ１０２において、起動装置４２の周波数解析部７は、ステップＳ１０１で取得された脳波の周波数を解析し、各周波数の信号強度を算出する。

ステップＳ１０３において、起動判定部８は、各機器に割り当てられた周波数のうち、いずれかの機器の周波数に対応する局所的なピークが含まれるか否かを判定する。なお、局所的なピークは予め定められた閾値（たとえば４５００（μＶ・μＶ／Ｈｚ））を超える周波数強度であるか否かによって判定される。

いずれの機器に割り当てられた周波数も含まれない場合には処理を終了し、いずれかの機器の周波数にピークが含まれる場合には、その周波数に対応する機器を特定し、その機器の制御データの読み出し処理（ステップＳ１０４ａ、Ｓ１０４ｂ、・・・、Ｓ１０４ｎ）を実行する。その後、読み出した制御データに基づいて、その機器の制御処理（ステップＳ１０５ａ、Ｓ１０５ｂ、・・・、Ｓ１０５ｎ）を行う。

たとえばステップＳ１０４ａでは、起動判定部８によって機器１（蛇口）を制御するためのデータが読み出される。このデータは、各機器の制御内容に関するデータであり、たとえば図１７の機器動作５３と同様のデータがＲＡＭ２ｂ（図２）に格納されている。起動判定部８は、機器１の現在の状態を取得して、蛇口が開いていれば閉じる制御を行うよう機器１に指示を送り、閉じていれば開く制御を行うよう機器１に指示を送る。その結果、蛇口の機器制御部は指示された制御を実行し、たとえば蛇口の電気機構を利用して蛇口を開閉させる。

図１７の表における所定の周波数の設定方法については、機器の重要度に応じて各機器の周波数の割り当てを変更してもよい。機器の重要度は、上述のキッチンの例においては、制御に失敗した場合の影響の大きさによって決定することができる。具体的には、火や熱源を扱う機器には高い重要度を設定し、照明や換気等は比較的低い重要度を設定すればよい。後者は、制御がうまくいかなくても再試行が許容されるためである。

実施形態１に関連して説明したように、現在提示されている映像コンテンツの変化や、人の内部状態に応じて、検出されやすい周波数と検出されにくい周波数とが変化し得る。よって、複数の周波数を設定する場合には上述の優先順位付けが必要になる。

図１７の表に示す周波数の設定後においても、ユーザ３の体調等によって検出されにくい周波数は変動する。したがって、周波数解析部７および起動判定部８を用いてその変動を検出し、周波数調整部９を用いて検出しやすい周波数に変更することにより、検出精度を高めることができる。また、周波数と機器の対応のテーブルが更新されても、機器の判定時（ステップ番号）にそのテーブルが正しく参照されるようにしてあれば、煩雑な周波数変更も可能になる。

上述のとおり、ユーザ３が手を離せないような状況においても、脳波の定常視覚誘発電位によって機器の選択が実現され、手を使うことなく機器を制御できる。

本実施形態においては、脳波計１８から起動装置４２にユーザ３の脳波信号を送り、起動装置４２から各機器に対して制御が行われるとした。しかし、脳波計１８に上述の起動装置４２の機能を与え、脳波計１８から出力する信号で直接各機器を制御してもよい。このとき、脳波計１８から出力する信号は上述の起動判定部から出力される各機器への制御信号となる。各機器はそれぞれ制御信号を無線で受信するための受信部を備えていればよい。

本発明の脳波インタフェースシステムによれば、脳波インタフェースの起動、脳波インタフェース起動後におけるメニューの選択と決定などのすべての段階で、ユーザの脳波を利用して脳波インタフェースによる操作が可能になる。このシステムは、機器制御が必要とされる場面において幅広く利用可能である。このシステムをたとえば情報機器に適用することにより、車の運転中や乳児を抱きかかえている時などの手を離せない状況においても、脳波のみによってその情報機器の制御を行うことができる。よって脳波インタフェースシステムの利点を最大限活かすことができる。

実施形態１による脳波インタフェースシステム１の構成および利用環境を示す図である。 実施形態１による脳波インタフェースシステム１のハードウェア構成図である。 （ａ）〜（ｄ）は、脳波インタフェースシステム１においてＴＶ１０を操作し、ユーザ３が視聴したいジャンルの番組を見るときの例を示す図である。 機器制御部５の脳波インタフェースの起動後の処理手順を示すフローチャートである。 （ａ）は画面上に表示されているメニューアイコン２２を示す図であり、（ｂ）は反転と非反転の反復により点滅するメニューアイコン２２の例を示す図である。 （ａ）はアイコンの点滅を見ていないときのユーザ３の脳波周波数分布を示す図であり、（ｂ）はアイコンの点滅を見ているときのユーザ３の脳波周波数分布を示す図である。 実施形態１による起動装置２を含む脳波インタフェースシステム１の機能ブロックの構成を示す図である。 実施形態１による脳波インタフェースの起動に関連する処理手順を示すフローチャートである。 ＴＶ１０の画面２１の外のフレーム部分に、メニュー起動用の発光ダイオード（ＬＥＤ）４０を設けた例を示す図である。 実施形態２による起動装置１０２を含む脳波インタフェースシステム１０１の機能ブロックの構成を示す図である。 実施形態２による脳波インタフェースの起動に関連する処理手順を示すフローチャートである。 人の脳波変化に基づく点滅周波数の設定処理（図１１のステップＳ６０）の手順を示すフローチャートである。 実施形態３による起動装置１２を含む脳波インタフェースシステム１１の機能ブロックの構成を示す図である。 実施形態３による脳波インタフェースの起動に関連する処理手順を示すフローチャートである。 コンテンツの変化に基づく点滅周波数の設定処理（図１４のステップＳ７０）の手順を示すフローチャートである。 実施形態４による起動装置４２の利用環境を示す図である。 図１６に示す各機器の機器名５１と、各機器に設けられた点滅装置の点滅周波数５２と、対応する機器動作５３との対応を示す図である。 実施形態４による起動装置４２の処理手順を示すフローチャートである。

符号の説明

１、１１、１０１ 脳波インタフェースシステム
２、１２、４２、１０２ 起動装置
２ａ、５ａ ＣＰＵ
２ｂ、５ｂ ＲＡＭ
２ｃ、５ｃ ＲＯＭ
２ｄ、５ｄ コンピュータプログラム
３ ユーザ
４ 生体信号検出部
５ 機器制御部
５ｅ 画像処理回路
７ 周波数解析部
８ 起動判定部
９、１７ 周波数調整部
１０ ＴＶ
１３ 生体信号解析部
１４ 周波数設定部（Ａ）
１５ コンテンツ解析部
１６ 周波数設定部（Ｂ）
１８ 脳波計
１９ バス

Claims (12)

1. ユーザの脳波信号を検出する生体信号検出部、および、前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて機器を動作させる制御部を有する脳波インタフェースシステムであって、
   前記脳波インタフェースシステムは、
   前記制御部を起動させる起動装置と、
   前記起動装置からの信号に基づいて所定の周波数で点滅する視覚刺激を提示する出力部とをさらに有しており、
   前記起動装置は、
   前記生体信号検出部によって検出された前記脳波信号の周波数成分を解析し、前記所定の周波数に対応する強度を検出する周波数解析部と、
   検出された前記所定の周波数の強度と予め定められた閾値とを比較し、前記所定の周波数の強度が予め定められた閾値以上であるときは、前記ユーザが前記視覚刺激に注目していたと判定して前記制御部を起動させる判定部と、
   前記生体信号検出部によって検出された前記脳波信号に含まれる複数の周波数の信号強度を解析する生体信号解析部と、
   前記生体信号解析部の解析結果に基づいて、前記信号強度が増加している周波数とは異なる周波数を、前記所定の周波数として設定する設定部と、
   前記設定された周波数で前記視覚刺激を提示する信号を生成する調整部と
   を備える、脳波インタフェースシステム。
2. ユーザの脳波信号を検出する生体信号検出部、および、前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて機器を動作させる制御部を有する脳波インタフェースシステムにおいて、前記制御部を起動させるために使用される起動装置であって、
   前記脳波インタフェースシステムは、前記起動装置からの信号に基づいて所定の周波数で点滅する視覚刺激を提示する出力部をさらに有しており、
   前記生体信号検出部によって検出された前記脳波信号の周波数成分を解析し、前記所定の周波数に対応する強度を検出する周波数解析部と、
   検出された前記所定の周波数の強度に基づいて、前記ユーザが前記視覚刺激に注目していたか否かを判定し、判定結果に基づいて前記制御部を起動させる判定部と、
   前記生体信号検出部によって検出された前記脳波信号に含まれる複数の周波数の信号強度を解析する生体信号解析部と、
   前記生体信号解析部の解析結果に基づいて、信号強度が増加している周波数とは異なる周波数を、前記所定の周波数として設定する設定部と、
   前記設定された周波数で前記視覚刺激を提示する信号を生成する調整部と
   を備える、起動装置。
3. 前記判定部は、前記所定の周波数の強度と予め定められた閾値との比較結果に基づいて、前記ユーザが前記視覚刺激に注目していたか否かを判定する、請求項２に記載の起動装置。
4. 前記判定部は、前記所定の周波数の強度が予め定められた閾値以上であるときは、前記ユーザが前記視覚刺激に注目していたと判定し、前記制御部を起動させる、請求項３に記載の起動装置。
5. 前記出力部は、前記機器の動作結果として映像コンテンツを出力し、
   前記起動装置は、さらに、
   前記映像コンテンツに含まれる複数の周波数の信号強度を解析するコンテンツ解析部と、
   前記コンテンツ解析部の解析結果に基づいて前記所定の周波数を設定する設定部と、
   前記設定された周波数で前記視覚刺激を提示する信号を生成する調整部と
   を備えた、請求項２に記載の起動装置。
6. 前記出力部は、前記機器の動作結果として出力された映像コンテンツを提示する画面を有しており、
   前記起動装置は、さらに、
   前記映像コンテンツに含まれる複数の周波数の信号強度を解析するコンテンツ解析部と、
   前記生体信号検出部によって検出された前記脳波信号に含まれる複数の周波数の信号強度を解析する生体信号解析部と、
   解析された各周波数の信号強度のうち、予め定められた閾値よりも高い信号強度の周波数を通知する設定部Ａと、
   前記コンテンツ解析部の解析結果に基づいて、前記映像コンテンツが変化する周波数を通知する設定部Ｂと、
   前記設定部Ａによって通知された周波数、および、前記設定部Ｂによって通知された周波数のいずれとも異なる周波数を、前記所定の周波数として設定する調整部と
   を備えた、請求項２に記載の起動装置。
7. 前記出力部は、前記機器の動作結果として出力された映像コンテンツを提示する画面を有しており、
   前記調整部は、前記画面の一部を前記所定の周波数で点滅させることにより、前記視覚刺激を提示する、請求項５または６に記載の起動装置。
8. 前記出力部は、前記視覚刺激を提示する光源、および、前記機器の動作結果として出力された映像コンテンツを提示する画面を有しており、
   前記調整部は、前記光源を前記所定の周波数で点滅させることにより、前記視覚刺激を提示する、請求項５または６に記載の起動装置。
9. 前記判定部は前記制御部を起動させて、前記制御部に対し、識別された前記事象関連電位に基づいて前記機器を動作させるとともに、前記調整部に対して前記視覚刺激の提示を停止させる、請求項５または６に記載の起動装置。
10. ユーザの脳波信号を検出して、前記脳波信号に基づいて少なくとも１つの機器の動作を制御する脳波インタフェースシステムであって、
    ユーザの脳波信号を検出する生体信号検出部と、
    前記少なくとも１つの機器に対応して設けられ、視覚刺激を提示するための光源を有する出力部と、
    前記少なくとも１つの機器の起動および動作の停止を制御する起動装置と
    を備え、前記起動装置は、
    前記生体信号検出部によって検出された前記脳波信号の周波数成分を解析し、前記所定の周波数に対応する強度を検出する周波数解析部と、
    検出された前記所定の周波数の強度に基づいて、前記ユーザが前記視覚刺激に注目していたか否かを判定し、判定結果に基づいて前記少なくとも１つの機器を起動させ、または動作を停止させる判定部と、
    前記生体信号検出部によって検出された前記脳波信号に含まれる複数の周波数の信号強度を解析する生体信号解析部と、
    前記生体信号解析部の解析結果に基づいて、信号強度が増加している周波数とは異なる周波数を、前記所定の周波数として設定する設定部と、
    前記設定された周波数で前記視覚刺激を提示する信号を生成する調整部と
    を備える、脳波インタフェースシステム。
11. ユーザの脳波信号に基づいて機器を制御する脳波インタフェースシステムにおいて用いられる方法であって、
    所定の周波数で点滅する視覚刺激を提示するステップと、
    ユーザの脳波信号を検出するステップと、
    検出された前記脳波信号の周波数成分を解析し、前記所定の周波数に対応する強度を検出するステップと、
    検出された前記所定の周波数の強度と予め定められた閾値とを比較するステップと、
    前記所定の周波数の強度が予め定められた閾値以上であるときは、前記機器を起動させるステップと、
    検出された前記脳波信号に含まれる複数の周波数の信号強度を解析するステップと、
    前記信号強度の解析結果に基づいて、信号強度が増加している周波数とは異なる周波数を、前記所定の周波数として設定するステップと、
    前記設定された周波数で前記視覚刺激を提示する信号を生成するステップと
    を包含する、方法。
12. ユーザの脳波信号を検出する生体信号検出部、および、前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて機器を動作させる制御部を有する脳波インタフェースシステムにおいて、前記制御部を起動させるために使用される起動装置で実行されるコンピュータプログラムであって、
    前記脳波インタフェースシステムは、前記起動装置からの信号に基づいて所定の周波数で点滅する視覚刺激を提示する出力部をさらに有しており、
    前記生体信号検出部によって検出された前記脳波信号の周波数成分を解析し、前記所定の周波数に対応する強度を検出するステップと、
    検出された前記所定の周波数の強度に基づいて、前記ユーザが前記視覚刺激に注目していたか否かを判定し、判定結果に基づいて前記制御部を起動させるステップと、
    前記生体信号検出部によって検出された前記脳波信号に含まれる複数の周波数の信号強度を解析するステップと、
    前記信号強度の解析結果に基づいて、信号強度が増加している周波数とは異なる周波数を、前記所定の周波数として設定するステップと、
    前記設定された周波数で前記視覚刺激を提示する信号を生成するステップと
    を包含する、コンピュータプログラム。

Images