JP4264126B2 - 脳波識別方法調整装置および方法 - Google Patents

Description

本発明は、脳波を利用して機器を操作することが可能なインタフェース（脳波インタフェース）システムに関する。より具体的には、ユーザの脳波をリアルタイムで計測し、的確に解析するためのキャリブレーションを行う装置を備えた脳波インタフェースシステムに関する。

近年、テレビ、携帯電話、ＰＤＡ（Personal Digital Assistant）等の様々な種類の情報機器が普及し、人間の生活に入り込んできたため、ユーザは普段の生活の中の多くの場面で情報機器を操作する必要が生じている。通常、ユーザは手を使ってボタン等の入力手段（インタフェース部）を介して入力コマンドを入力し、機器の操作を実現している。しかし、例えば、家事、育児や運転をしているときなど、両手が機器操作以外のタスクで塞がっている状況ではインタフェース部を利用した入力が困難となり、機器操作が実現できなかった。そのため、あらゆる状況で情報機器を操作したいというユーザのニーズが高まっている。

このようなニーズに対して、ユーザの生体信号を利用した入力手段が開発されている。たとえば非特許文献１では、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別するという技術が開示されている。非特許文献１に記載された技術を具体的に説明すると、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ｍｓ後に出現する事象関連電位のＰ３成分を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によって、ユーザは手を使うことなく、選択したいと思った選択肢を特定可能となる。

ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェース部１００は、外的な事象として視覚に対する刺激によって得られる事象関連電位を利用する。たとえば、視覚刺激に対する事象関連電位のうちの、いわゆるＰ３成分と呼ばれる成分を利用すると、チャンネルの切り替え、視聴を希望する番組のジャンルの選択、音量の調整などの処理を行うことができる。「Ｐ３成分」とは、事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく標的刺激提示後２５０ｍｓから５００ｍｓの時間帯に出現する陽性成分をいう。

事象関連電位をインタフェースに応用するためには、対象の事象関連電位（例えば視覚Ｐ３成分）を高い精度で識別することが重要である。そのために、生体信号を精度良く計測すること、および、計測した生体信号を適切な識別手法によって精度良く識別することが必要となる。

生体信号を精度良く計測するためには計測機器のキャリブレーションを行い、計測機器で計測されたデータがユーザの生体情報を正確に表すように調整することが一般的である。たとえば特許文献１では、ユーザの視線を精度良く計測するために、視線計測の前に計測機器のキャリブレーションを行い、計測機器とユーザの視線の間の座標系を整合させる技術が開示されている。

一方、事象関連電位の成分に現れる個人差を考慮した適切な識別方法も考案されている。たとえば特許文献２では、ユーザごとに識別方法を変えて識別率を向上させる技術が開示されている。この技術は単一の基準で全てのユーザの識別を行うのではなく、調べたい状況に対する事象関連電位の加算平均波形から事前に個人ごとのテンプレートを作成しておき、そのテンプレートを用いて事象関連電位の成分を識別している。なお、事象関連電位の個人差については、たとえば非特許文献２が詳しい。
特開２００５−３１２６０５号公報 国際公開第０５／００１６７７号パンフレット エマニュエル・ドンチン（Emanuel Donchin）、他２名、"Ｔｈｅ Ｍｅｎｔａｌ Ｐｒｏｓｔｈｅｓｉｓ：Ａｓｓｅｓｉｎｇ ｔｈｅ Ｓｐｅｅｄ ｏｆ ａ Ｐ３００−Ｂａｓｅｄ Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ"、ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ ＥＮＧＩＮＥＥＲＩＮＧ ２０００、Ｖｏｌ．８、２０００年６月 入戸野宏、「心理学のための事象関連電位ガイドブック」、北大路書房、２００５年、３２頁

脳波を精度良く計測するためのキャリブレーション方法として、脳波計装着時に、例えば識別したい状況を意図的に作り出してユーザにダミーのメニューを選択させるという方法が考えられる。メニュー選択時の脳波が、希望するメニューが提示された時のユーザの生体情報を表すとして脳波計のキャリブレーションを行うため、電極の装着状態、たとえば頭皮の電気抵抗や電極の装着部位等の計測条件のばらつきによって生じる波形の違いを調整できる。

しかしながら、インタフェースに脳波を利用する場合には、長時間にわたって（場合によっては一日中）脳波を計測するため、発汗や運動による電極位置のずれ等の電極の装着状態が変化することが想定される。したがって、脳波計装着時のキャリブレーションのみでは生体信号を精度良く計測することができない。一方、電極の装着状態の変化を測定するためには定期的な前述のようなキャリブレーションが必要であるが、前述のキャリブレーションはユーザにとって面倒であり、定期的なキャリブレーションの実施はユーザの負担を増大させる。

また、覚醒度に応じて事象関連電位の成分が変化することが知られているが、一日中脳波を計測する状況では、例えば朝と夜ではユーザの覚醒度が変化すると考えられる。特に、覚醒度が低い場合には振幅が減少し識別の難易度が上がるため、識別の基準を変更する必要がある。従来のキャリブレーション方法では計測機器の誤差を補正するためには有効であるが、覚醒度等のユーザ状態を測定することはできないため、ユーザの覚醒度によって識別の基準を変更することはできない。

加えて、脳波インタフェースによって機器を操作する場合には、視覚的に提示されるメニュー項目に対する視覚Ｐ３成分を用いるため、従来、キャリブレーション用の刺激として視覚刺激を提示しているが、インタフェース条件では、例えば食事をしながらテレビを操作するときのように、ユーザの注意がキャリブレーション刺激に向いているという保障がなされず、正確なキャリブレーションができないという課題があった。

これらは、いずれも実験室条件の実験からは想定されなかった課題であり、脳波を日常的に計測しインタフェースに利用するとしたときに初めて認識されたものである。

本発明の目的は、脳波を利用したインタフェースを備えたシステムにおいて、ユーザ状態や脳波を計測するための電極の装着状態を考慮してキャリブレーションを行う際に、ユーザがキャリブレーション用刺激を見落とすことがないようにすることである。併せて、キャリブレーション用刺激に対する事象関連電位のＰ３成分に基づき、脳波インタフェースで用いる視覚Ｐ３成分の識別方法を調整して精度の高い識別を実現することである。

本発明による脳波識別方法調整装置は、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、予め保持された視覚事象関連電位のパラメータを利用して前記操作メニュー提示後の脳波信号に含まれる視覚事象関連電位のＰ３成分を識別し、識別された前記Ｐ３成分に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる。前記脳波識別方法調整装置は、視覚以外のモダリティへの刺激によって得られる事象関連電位のＰ３成分と視覚事象関連電位のＰ３成分との相関を規定したデータベースと、前記出力部を介して前記刺激を提示する刺激提示部と、前記刺激提示後の脳波信号に含まれる事象関連電位を分析する分析部と、分析された前記事象関連電位のＰ３成分および前記データベースに基づいて視覚事象関連電位のＰ３成分に関する前記ユーザの特徴量を導出し、前記特徴量に基づいて前記脳波インタフェース部における脳波識別方法を調整する識別方法調整部とを備えている。

前記刺激提示部は、前記刺激として聴覚刺激を提示してもよい。

前記刺激提示部は、前記刺激として体性感覚刺激を提示してもよい。

前記脳波インタフェース部は、前記パラメータとして設定された閾値に基づいて前記ユーザの視覚事象関連電位のＰ３成分の有無を識別しており、前記識別方法調整部は、前記特徴量に基づいて前記閾値を調整してもよい。

前記脳波インタフェース部は、前記パラメータとして設定された視覚事象関連電位の波形のテンプレートに基づいて前記ユーザの視覚事象関連電位のＰ３成分の有無を識別しており、前記識別方法調整部は、前記特徴量に基づいて前記テンプレートを調整してもよい。

前記識別方法調整部は、前記特徴量に基づいて前記ユーザの脳波信号を調整してもよい。

前記脳波インタフェース部は、視覚事象関連電位の振幅に関する閾値に基づいて前記視覚事象関連電位のＰ３成分の有無を識別しており、前記データベースは、前記Ｐ３成分の振幅に関する相関を規定しており、前記識別方法調整部は、振幅に関する前記特徴量に基づいて前記閾値を調整してもよい。

前記データベースは、前記Ｐ３成分の振幅に関する相関を規定しており、前記識別方法調整部は、振幅に関する前記特徴量に基づいて前記テンプレートを調整してもよい。

前記データベースは、前記Ｐ３成分の振幅に関する相関を規定しており、前記識別方法調整部は、振幅に関する前記特徴量に基づいて前記脳波信号を調整してもよい。

前記刺激提示部は、前記脳波インタフェースシステムの利用開始時に前記刺激を提示してもよい。

前記刺激提示部は、前記脳波インタフェースシステムが利用されている期間中のランダムな時刻に前記刺激を提示してもよい。

本発明による脳波の識別方法を調整するための方法は、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、予め保持された視覚事象関連電位のパラメータを利用して前記操作メニュー提示後の脳波信号に含まれる視覚事象関連電位のＰ３成分を識別し、識別された前記Ｐ３成分に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる。前記方法は、視覚以外のモダリティへの刺激によって得られる事象関連電位のＰ３成分と視覚事象関連電位のＰ３成分との相関を規定したデータベースを用意するステップと、前記出力部を介して前記刺激を提示するステップと、前記刺激提示後の脳波信号に含まれる事象関連電位を分析するステップと、分析された前記事象関連電位のＰ３成分および前記データベースに基づいて視覚事象関連電位のＰ３成分に関する前記ユーザの特徴量を導出するステップと、前記特徴量に基づいて前記脳波インタフェース部における脳波識別方法を調整するステップとを包含する。

本発明の識別方法調整装置、方法および識別方法調整装置が組み込まれた脳波インタフェースシステムによれば、視覚以外のモダリティへの刺激によって得られる事象関連電位のＰ３成分を用いて、脳波インタフェースシステムでの識別に用いられる視覚Ｐ３成分の識別方法を調整する。これにより、脳波を常時計測するインタフェースにおいて問題となる、キャリブレーション用刺激の見落としがなくなるとともに、ユーザ個人の体調などの状態や、脳波検出のための電極の装着状態の変化の影響を排除し、脳波を精度良く計測し、識別率を高く維持できる。よって、脳波の識別ミスによるユーザの意図しない機器動作が減少するため脳波インタフェースの操作性向上を実現できる。

以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波インタフェースシステムに組み込まれる識別方法調整装置の実施形態を説明する。

以下では、まず脳波インタフェースシステムを説明し、その後識別方法調整装置の構成および動作を説明する。

図１は、脳波インタフェースシステム１の構成および利用環境を示す。この脳波インタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。

脳波インタフェースシステム１は、ユーザ５の脳波信号を利用してＴＶ２を操作するインタフェースを提供するためのシステムである。ユーザ５の脳波信号はユーザが頭部に装着した生体信号計測部５０によって取得され、無線または有線で脳波インタフェース部１００に送信される。ＴＶ２に内蔵された脳波インタフェース部１００は、脳波の一部を構成する事象関連電位と呼ばれる成分を利用してユーザの意図を認識し、チャンネルの切り替えなどの処理を行う。

図２は、脳波インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したいジャンルの番組を見るときの例を示す。

図２（ａ）は、脳波インタフェース部１００がＴＶ２の画面３ａを介してユーザに提示するメニュー項目の例である。図２（ａ）では、画面３ａ−１から画面３ａ−４において、それぞれ「野球」、「天気予報」、「アニメ」、「ニュース」というメニュー項目が順にまたはランダムにハイライトされる様子を示している。メニュー項目をハイライトすることによって、それぞれのメニュー項目がハイライトされた時刻を起点とした事象関連電位が計測可能となる。なお、ハイライトの代わりに、またはハイライトと共に補助的矢印を用いたポイントでメニュー項目を提示してもよい。

図２（ｂ）は、メニュー項目がハイライトされた時刻を起点に計測したユーザの脳波信号の事象関連電位を模式的に示す。今、ユーザは「天気予報」を見たいと考えていたとする。画面３ａ−１から画面３ａ−４までのそれぞれに対応する脳波信号２０１〜２０４のうち、ユーザ５が「天気予報」がハイライトされた画面３ａ−２を見ると、「天気予報」がハイライトされた時刻を起点に潜時約４００−４５０ｍｓに特徴的な陽性の成分が出現する（非特許文献１）。

脳波インタフェース部１００がこの視覚Ｐ３成分の出現を識別すると、ユーザが選択したいと考えていたメニュー項目「天気予報」の選択が可能となる。図２（ｃ）では、視覚Ｐ３成分を識別した結果、チャンネルが「天気予報」に切り替えられた後の画面３ａ−５を示している。

図３は、脳波インタフェースの処理の手順を示す。ステップＳ１０１において、脳波インタフェース部１００はメニュー項目（図２（ａ））を提示する。ステップＳ１０２において、脳波インタフェース部１００はメニュー項目の一つを選択する。ステップＳ１０３において、ステップＳ１０２によって選択されたメニュー項目をハイライトする。

ステップＳ１０４において、脳波インタフェース部１００は、ステップＳ１０３においてメニュー項目がハイライトされた時刻を起点に、例えば５００ｍｓ分のユーザの事象関連電位を計測する。ここでは、図２（ｂ）に模式的に示す脳波信号の事象関連電位２０１〜２０４が計測される。

ステップＳ１０５において、ステップＳ１０４で計測した事象関連電位に視覚Ｐ３成分が含まれているか否かを識別する。視覚Ｐ３成分の識別は、単純に波形を閾値処理してもよいし、特許文献２に記載のようにあらかじめユーザごとに計測した視覚Ｐ３成分の加算平均波形で作成したテンプレートとの相関係数を算出してもよい。ステップＳ１０５でＹｅｓの場合、ステップＳ１０６に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。

ステップＳ１０６において、脳波インタフェース部１００はステップＳ１０５によって選択されたメニュー項目に対応する処理を実行する。これにより、そのメニュー項目が選択され、実行されて、図２（ｃ）に示す画面３ａ−５が表示される。

このような脳波インタフェースシステム１によれば、例えば家事や育児で両手が塞がっている場合にもユーザは手を使わずにＴＶ２等の機器を操作することが可能となる。よって機器の操作性が格段に向上する。

上述のステップＳ１０５において、脳波信号（事象関連電位）中に視覚Ｐ３成分が出現する時間や振幅はユーザごとに変動しうるため、固定の閾値などを用いて画一的に視覚Ｐ３成分の出現を識別することは不適切である。そこで、事象関連電位に基づく処理を実現するために、脳波インタフェースシステム１においては、動作する基準をユーザ５の信号に合わせて調整する必要がある。この動作が、いわゆるキャリブレーションである。キャリブレーションは図１に示す識別方法調整装置１０によって行われる。

以下の実施形態において説明する識別方法調整装置は、事象関連電位に対して必ず反応が現れる視覚以外のモダリティ（視覚以外の五感）への刺激、たとえばスピーカ３ｂを利用した聴覚への刺激や、バイブレータ３ｃを利用した体性感覚への刺激をユーザ５に提示して、その提示後の脳波の事象関連電位を計測する。脳波の事象関連電位は無線または有線で識別方法調整装置１０に送信される。

視覚以外のモダリティへの刺激を利用する理由は、キャリブレーション用の刺激を見落とすことなく、確実にキャリブレーションを行うためである。これは、視覚のみによってキャリブレーションを行うと視覚刺激をユーザが見過ごすおそれがあることに基づく。

後述の実施形態１および２においてはキャリブレーション用の刺激として聴覚刺激を採用した例を説明し、実施形態３においては体性感覚刺激を採用した例を説明する。ただし、提示されるキャリブレーション用の刺激は１種類に限られず、同時に複数の種類の刺激が提示されてもよい。または、適当な基準を設けて刺激の種類を切り替えてもよい。

視覚以外のモダリティに対する刺激によって得られた事象関連電位のＰ３成分（たとえば聴覚Ｐ３成分、匂いＰ３成分）と視覚事象関連電位のＰ３成分とは、被験者ごとに振幅および潜時には正の相関関係があることが知られている。また、被験者ごとの事象関連電位の違いの一部は、頭蓋骨や脳の形状等の解剖学的な個人差に由来するとされており、視覚Ｐ３成分と体性感覚Ｐ３成分の振幅および潜時にも相関関係があると考えられる。また、加我他、「事象関連電位（ＥＲＰ）マニュアル−Ｐ３００を中心に−」、篠原出版新社、１９９５年：２５５頁の記載によれば、同一のユーザであってもユーザの覚醒度に応じてＰ３の振幅および潜時が変化することが知られている。

通常、事象関連電位のＰ３成分は、頻度の異なる２種類の刺激を弁別した場合に低頻度の刺激に対して出現する。しかし、柿木他、「新生理心理学２巻」、北大路書房、１９９７年、１５頁に記載のように、同じ音の高さの１種類の刺激を提示した場合にも出現することが知られている。

聴覚または体性感覚刺激に対する事象関連電位のＰ３成分と、視覚事象関連電位のＰ３成分との相関を利用すると、視覚事象関連電位のＰ３成分に関するユーザ５の特徴量を導出できる。識別方法調整装置１０は、その特徴量に基づいて脳波インタフェース部１００における脳波識別方法を調整する。

キャリブレーションを行うタイミングは、脳波インタフェースシステム１の利用開始時、利用開始から予め定められた時間を経過した時である。またはランダムなタイミングでキャリブレーションを行ってもよい。そのときのユーザ状態や電極の装着状態に合わせて脳波の識別方法が調整できるため、脳波インタフェースの識別率が向上する。

（実施形態１）
図４は、本実施形態による脳波インタフェースシステム１の機能ブロックの構成を示す。脳波インタフェースシステム１は、出力部３と、識別方法調整装置１０と、生体信号計測部５０と、脳波インタフェース（ＩＦ）部１００とを有している。図４はまた、調整装置１０の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。

出力部３は、画面３ａおよびスピーカ３ｂを有している。

本実施形態においてはキャリブレーション用刺激として画面３ａ上へのメニュー項目の表示と同時にスピーカ３ｂから聴覚刺激を提示し、キャリブレーション用の聴覚刺激に対する事象関連電位のＰ３成分を用いて脳波インタフェースにおける視覚Ｐ３成分の識別方法を調整する。これによって、脳波インタフェースを操作する直前のユーザ状態や電極の装着状態に応じた識別が可能となり脳波インタフェースで用いる視覚Ｐ３成分の識別率が向上する。

ユーザ５は、脳波インタフェース部１００によって画面３ａに提示される機器操作に関
するメニュー項目（選択肢）をただ見ているだけで操作入力はしないが、脳波インタフェース部１００を介して選択されたメニュー項目に応じて機器が動作するものとする。なお、メニュー項目の表示、すなわち視覚刺激は必須ではない。メニュー項目の内容をスピーカ３ｂから音声出力してもよい。

識別方法調整装置１０は、有線または無線で生体信号検出部５０および脳波インタフェース部１００と接続され、信号の送信および受信を行う。図４においては、生体信号検出部５０および脳波インタフェース部１００は識別方法調整装置１０とは別体であるが、これは例である。生体信号検出部５０および脳波インタフェース部の一部または全部を、識別方法調整装置１０内に設けてもよい。

生体信号検出部５０は、ユーザ５の生体信号を検出する脳波計であり、生体信号として脳波を計測する。脳波計は図１に示すようなヘッドマウント式脳波計であってもよい。ユーザ５はあらかじめ脳波計を装着しているものとする。

ユーザ５の頭部に装着されたとき、その頭部の所定の位置に接触するよう、生体信号計測部５０には電極が配置されている。電極の配置は、例えばＰｚ（正中頭頂）、Ａ１（耳朶）およびユーザ５の鼻根部になる。ただし、電極は最低２個あればよく、例えばＰｚとＡ１のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。

この結果、生体信号計測部５０はユーザ５の事象関連電位を測定することができる。測定されたユーザ５の脳波は、コンピュータで処理できるようにサンプリングされ、脳波インタフェース部１００および識別方法調整装置１０に送られる。なお、脳波に混入するノイズの影響を低減するため、生体信号計測部５０においては計測される脳波は、あらかじめ例えば０．０５から２０Ｈｚのバンドパスフィルタ処理がされ、メニュー項目や聴覚刺激が提示される前の例えば２００ｍｓの平均電位でベースライン補正されているものとする。

脳波インタフェース部１００は、機器操作に関するメニュー項目をユーザに提示し、生体信号計測部５０で計測された脳波を切り出して識別する。そして識別結果に応じて機器動作を制御する。脳波インタフェース部１００における基本的な動作は上述の通りである。

脳波インタフェース部１００を利用して制御する機器が、例えば図１に示すＴＶ２であるとすると、メニュー項目は画面３ａを介してユーザ５に提示される。図２（ａ）に示したようにメニュー項目は、所定の時間ごと（例えば３５０ｍｓ）に一つずつハイライトされる。メニュー項目がハイライトされる所定の間隔は、２００ｍｓ、５００ｍｓ、１０００ｍｓであってもよい。

脳波インタフェース部１００は、メニュー項目がハイライトされた時刻を起点に、生体信号計測部５０で計測されたユーザ５の脳波を例えば聴覚Ｐ３成分、視覚Ｐ３成分の潜時よりも長い５００ｍｓ分を切り出し、波形を識別する。脳波を切り出す時間は１０００ｍｓ分であってもよい。事象関連電位を識別する方法は、単純に波形を閾値処理してもよいし、特許文献２に記載のようにあらかじめユーザごとに計測した視覚Ｐ３成分の加算平均波形で作成したテンプレートとの相関係数を算出してもよい。識別のためのパラメータは後述する方法によって識別方法調整装置１０によって調整される。

次に、本実施形態による識別方法調整装置１０の詳細な構成を説明する。本発明の主要な特徴のひとつは、調整装置１０の構成および動作にある。

識別方法調整装置１０は、キャリブレーション用刺激提示部１１と、キャリブレーション用脳波分析部１２と、モダリティ変換データベース１３と、識別方法調整部１４とを有している。

キャリブレーション用刺激提示部１１（以下「刺激提示部１１」と記述する。）は、画面３ａを介するメニュー項目提示と同時に、スピーカ３ｂを介してキャリブレーション用の聴覚刺激を提示する。

キャリブレーション用脳波分析部１２（以下「脳波分析部１２」と記述する。）は、生体信号計測部５０によって計測されたキャリブレーション用聴覚刺激に対する事象関連電位を分析する。

モダリティ変換データベース（ＤＢ）１３は、聴覚Ｐ３成分と視覚Ｐ３成分との相関関係を規定している。なお、モダリティ変換ＤＢ１３は任意の記録媒体に記録され、保持されていればよい。たとえばモダリティ変換ＤＢ１３は、ハードディスクや、ＲＯＭ、ＳＲＡＭ、フラッシュメモリなどの半導体メモリに記録される。

識別方法調整部１４は、脳波分析部１２によって分析された結果に基づいて、具体的には聴覚刺激によって得られた事象関連電位のＰ３成分に基づいてモダリティ変換ＤＢ１３を参照し、視覚事象関連電位のＰ３成分に関するユーザの特徴量を導出する。そしてその特徴量に基づいて脳波インタフェース部１００における脳波識別方法を調整する。脳波識別方法の調整とは、脳波インタフェース部１００が保持する視覚事象関連電位のＰ３成分の識別に用いるパラメータを決定し、脳波インタフェース部１００に送ってそのパラメータを更新させる処理をいう。

以下、識別方法調整装置１０の各構成要素をより具体的に説明する。

刺激提示部１１は、メニュー項目の提示と同時にユーザ５にキャリブレーション用の聴覚刺激を提示する。聴覚刺激は、単純な音、例えば１０００Ｈｚのトーンバースト音であってもよいし、機器動作音としてイメージされる、例えば「ポーン」という音でもよい。また、１種類の音に限らず複数種類の音であってもよい。

脳波分析部１２は、生体信号計測部５０において計測したユーザ５の脳波のうち、刺激提示部１１がキャリブレーション刺激を提示したタイミングを起点として、例えば５００ｍｓ分の脳波を利用して特徴量を分析する。分析する特徴量は、例えば、聴覚刺激に対するＰ３成分の振幅および潜時である。

前述のように、事象関連電位はＳ／Ｎ比が低いため、聴覚刺激に対するＰ３成分の振幅および潜時を分析するために、事象関連電位に対して、例えば２Ｈｚのローパスフィルタを利用してもよい。

特徴量の分析区間として、例えば、一般的に聴覚刺激に対するＰ３成分が出現するとされている刺激提示後３００ｍｓ前後１００ｍｓの時間帯を採用することもできる。その時間帯における陽性のピークを利用して潜時および振幅を求めればよい。なお、キャリブレーション用聴覚刺激が提示された直後の脳波に、眼電等の大きなノイズが混入し、正しいキャリブレーションができなかった場合には、直前のキャリブレーション結果を用いて識別方法を調整してもよいし、識別方法を調整しなくてもよい。

次に、モダリティ変換ＤＢ１３を説明する。図５（ａ）および（ｂ）は、いずれもモダリティ変換ＤＢのデータ構造の例を示す。モダリティ変換ＤＢ１３は、聴覚刺激によって得られた事象関連電位（聴覚事象関連電位）を、視覚刺激によって得られた事象関連電位（視覚事象関連電位）に変換するために利用される。

モダリティ変換ＤＢ１３は、例えば振幅、潜時および補正区間など、脳波分析部１２で求めた聴覚刺激に対するＰ３成分の振幅および潜時のデータに応じて、脳波インタフェース部１００における視覚Ｐ３成分の識別方法を調整するためのデータを保存している。

図５（ａ）は、全ユーザに対して共通して適用される変換規則を規定したモダリティ変換ＤＢ１３を示す。このモダリティ変換ＤＢ１３によれば、「補正区間」の欄において指定された聴覚事象関連電位の区間（刺激提示後２００−５００ｍｓの区間）において、聴覚事象関連電位の振幅および潜時がそれぞれ１．２倍および１．５倍される。刺激提示後２００−５００ｍｓの区間は、事象関連電位のＰ３成分を含む区間である。

この変換規則は、実験等によって予め得られた聴覚刺激に対するＰ３成分と視覚刺激に対するＰ３成分との相関関係のデータに基づいて規定される。したがって、上述の変換を行うことにより、聴覚事象関連電位に基づいて信頼性の高い視覚事象関連電位のＰ３成分を得ることができる。このＰ３成分を利用して、後述する脳波インタフェース部１００における視覚Ｐ３成分の識別方法を調整することができる。

一方、図５（ｂ）は、ユーザごとの変換基準をあらかじめ計測し、ユーザごとに切り替えて適用される変換規則を規定したモダリティ変換ＤＢ１３を示す。たとえばユーザ名などのユーザを特定する情報を別途入力することにより、適用される変換規則が特定され、切り替えられる。変換方法は上述の図５（ａ）に関連して説明した変換方法と同じである。

モダリティ変換ＤＢ１３を参照することにより、聴覚事象関連電位の振幅および潜時から、視覚事象関連電位の振幅および潜時を得ることができる。補正区間としてＰ３成分を含む区間を指定することにより、そのユーザの特徴量である視覚事象関連電位のＰ３成分を特定できる。

識別方法調整部１４は、脳波分析部１２で分析したキャリブレーション刺激に対する聴覚Ｐ３成分の振幅および潜時と、モダリティ変換ＤＢ１３に保存された聴覚Ｐ３成分から視覚Ｐ３成分の識別方法を調整するためのＤＢを参照して、脳波インタフェース部１００で事象関連電位を識別する際のパラメータを書き換える。パラメータは種々考えられる。たとえば、脳波インタフェース部１００が波形を閾値処理して視覚Ｐ３成分を識別している場合には、パラメータとしての閾値を書き換えて識別方法を調整してもよい。また、ユーザごとに計測した視覚Ｐ３成分の加算平均波形でテンプレートが作成され、そのテンプレートを用いて視覚Ｐ３成分を識別している場合には、パラメータとして設定されたそのテンプレートを書き換えて識別方法を調整してもよい。

図６（ａ）および（ｂ）は、テンプレートを書き換えることによる識別方法の調整例を示す。図６（ａ）は、識別方法を調整するために用いるデータ群と、テンプレート調整のための計算式を示す。データ群としては、脳波分析部１２で分析された聴覚Ｐ３成分の振幅および潜時に関する特徴量と、モダリティ変換ＤＢ１３に保存された聴覚Ｐ３成分と視覚Ｐ３成分の相関データを用いる。そして、振幅、潜時に関するデータをそれぞれ掛け算することでテンプレート調整のパラメータを算出する。また、図６（ｂ）は、図６（ａ）によって算出されたテンプレートの補正パラメータによって調整された標準テンプレート波形を示す。調整区間２００−５００ｍｓにおいて、テンプレートの波形が調整されている様子が分かる。ここでいう「波形」とは、テンプレートの波形の振幅および潜時を意味する。

また、閾値やテンプレートは変更せず、脳波インタフェース部１００において、生体信号計測部５０で計測された脳波信号に識別方法調整部１４に基づいて一定の倍率を乗じるなどの方法で調整して識別を行ってもよい。

図７（ａ）および（ｂ）は、脳波信号の倍率を変更することによる識別方法の調整例を示す。図７（ａ）は、識別方法を調整するために用いるデータ群と、テンプレート調整のための計算式とを示す。データ群としては、脳波分析部１２で分析された聴覚Ｐ３成分の振幅および潜時に関する特徴量と、モダリティ変換ＤＢ１３に保存された聴覚Ｐ３成分と視覚Ｐ３成分の相関データおよび、脳波インタフェース部１００に保存されている標準テンプレートの振幅および潜時に関する特徴量とを用いる。そして、標準テンプレートの振幅、潜時に関する特徴量を、キャリブレーション用聴覚Ｐ３成分の振幅、潜時に関する特徴量に聴覚視覚の相関データをそれぞれ掛け合わせた値で割って、生体信号計測部５０において計測された脳波信号調整用のパラメータを算出する。図７（ｂ）は、図７（ａ）によって算出された脳波信号調整用のパラメータによって調整された脳波信号の波形を示す。調整区間２００−５００ｍｓにおいて、脳波信号の波形が調整されている様子が分かる。ここでいう「波形」とは、脳波信号の振幅を意味する。

このように構成することで、キャリブレーション用刺激としてメニュー項目提示時に聴覚刺激を提示し、キャリブレーション用の聴覚刺激に対する事象関連電位のＰ３成分を用いて脳波インタフェースにおける視覚Ｐ３成分の識別方法を調整することが可能となり、脳波インタフェースを利用する直前のユーザ状態に基づいた脳波の識別が可能となるため、識別率が向上する。

次に、図８のフローチャートを参照しながら、図３の脳波識別方法調整システム１において行われる全体的な処理手順を説明する。

図８は、脳波インタフェースシステム１においてキャリブレーションを行い、その後、脳波インタフェースを利用する処理の手順を示す。図８に示す処理手順の特徴のひとつは、メニュー項目の提示と同時にキャリブレーション用の聴覚刺激を提示し、聴覚刺激に対する聴覚Ｐ３成分に基づいて、脳波インタフェースで利用する視覚Ｐ３成分の識別方法を調整するステップを設けたことである。

なお、図８に示すステップＳ１０１からステップＳ１０６は、図３に示す脳波インタフェースの処理手順と同じである。よって、以下ではそれらの説明は省略する。

ステップＳ１０において、刺激提示部１１は、スピーカ３ｂを介してキャリブレーション用の聴覚刺激を提示する。なお、図８では、ステップＳ１０はステップＳ１０１の次に行われているが、実際は脳波インタフェース部１００が画面３ａ上にメニュー項目を提示すると同時にステップＳ１０の処理が行われ、聴覚刺激が提示される。

ステップＳ２０において、生体信号計測部５０は、ステップＳ１０によって聴覚刺激が提示された時刻を起点にユーザ５の脳波の事象関連電位を例えば５００ｍｓ分計測する。なお、生体信号計測部５０が事象関連電位を継続的に計測し、脳波分析部１２が聴覚刺激が提示された時刻を起点に事象関連電位を５００ｍｓ分切り出すことにより、実質的に同じデータを得てもよい。

ステップＳ３０において、脳波分析部１２はステップＳ２０において計測された事象関連電位の聴覚Ｐ３成分を分析し、特徴量として聴覚Ｐ３成分の振幅および潜時を算出する。特徴量の算出に際しては、ステップＳ２０において計測された事象関連電位に例えば２Ｈｚのローパスフィルタをかけてもよい。これにより、眼電や背景脳波の影響を低減することができる。

ステップＳ４０において、識別方法調整部１４は、ステップＳ３０によって分析された聴覚Ｐ３成分の特徴量と、モダリティ変換ＤＢ１３に基づいて、視覚Ｐ３成分の識別パラメータを調整する。上述のように、モダリティ変換ＤＢ１３は聴覚Ｐ３成分と視覚Ｐ３成分との相関関係を規定しているため、聴覚Ｐ３成分をキーとしてモダリティ変換ＤＢ１３を参照すると、脳波インタフェース部１００において脳波識別に利用される視覚Ｐ３成分が得られる。

脳波識別方法をどのように調整するかについては、図６および図７を参照して説明したように、脳波インタフェース部１００に保存されている視覚Ｐ３成分を識別するためのテンプレートを調整してもよいし、生体信号計測部５０によって計測された事象関連電位の波形を調整してもよい。

調整が完了すると、その後はステップＳ１０２からステップＳ１０６が実行される。

次に、図９から図１１のフローチャートを参照しながら、上述のステップＳ３０およびＳ４０の処理を詳細に説明する。

図９は、図８のステップＳ３０において行われる脳波分析部１２の処理の詳細な手順を示す。脳波分析部１２は、キャリブレーション用聴覚刺激提示後の事象関連電位に大きなノイズが混入していたか否かによっての処理を切り替える。

すなわち図９において、ステップＳ３１において、脳波分析部１２は生体信号計測部５０で計測された事象関連電位の絶対値の最大値を算出する。次のステップＳ３２において、脳波分析部１２は、ステップＳ３１で算出した値が、眼電（ＥＯＧ）ノイズの混入基準値とされる１００μＶよりも小さいか否かを判定する。１００μＶよりも小さい場合はステップＳ３３に進み、大きい場合、すなわち１００μＶ以上の場合は処理は終了する。処理が終了する理由は、事象関連電位の絶対値の最大値が１００μＶ以上であるとノイズの影響が非常に強いと考えられるためである。ステップＳ３３において、脳波分析部１２は、事象関連電位の特徴量を分析する。

次に、図１０は、図８のステップＳ４０において行われる識別方法調整部１４の処理の手順を示す。

ステップＳ４１において、識別方法調整部１４は、脳波分析部１２において算出された聴覚Ｐ３成分の特徴量として振幅および潜時を取得する。ステップＳ４２において、識別方法調整部１４は、モダリティ変換ＤＢ１３に保存されている聴覚Ｐ３成分と視覚Ｐ３成分の相関データとして、例えば振幅、潜時、調整区間の情報を参照する。

ステップＳ４３において、ステップＳ４１およびステップＳ４２により取得した、振幅、潜時、調整区間等の情報に基づき、そのユーザの特徴量を導出して、識別基準調整のためのパラメータを算出する。パラメータの算出は、図６を用いて説明したように、掛け算によって求めることができる。

ステップＳ４４において、識別方法調整部１４は、ステップＳ４３によって算出した識別基準調整のパラメータを脳波インタフェース部１００に送信し、既存のパラメータの更新を指示する。

なお、図１０に示す識別方法に代えて、図１１に示す識別方法を利用してもよい。図１１は、あらかじめ生体信号計測部５０において取得していた脳波信号を調整する処理の手順を示す。図１１において、図１０と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

ステップＳ４５において、識別方法調整部１４は、脳波インタフェース部１００に保存されている例えばユーザごとの加算平均波形から作成したテンプレート等の標準的な識別方法を参照する。そしてステップＳ４６において、識別方法調整部１４は、ステップＳ４１、ステップＳ４２およびステップＳ４５により取得した、振幅、潜時、調整区間等の情報に基づいてそのユーザの特徴量を導出して、識別基準調整のためのパラメータを算出する。パラメータの算出は、図７を用いて説明したように、掛け算および割り算によって求めてもよい。

ステップＳ４７において、識別方法調整部１４は、ステップＳ４６で算出した脳波信号調整用のパラメータを脳波インタフェース部１００に送信する。そして、そのパラメータに基づいて脳波信号を調整するよう、脳波インタフェース部１００に指示する。

このような処理によって、メニュー項目と同時に提示した聴覚刺激に対する事象関連電位のＰ３成分を用いて脳波インタフェースにおける視覚Ｐ３成分の識別方法が調整され、脳波インタフェースを操作する直前のユーザ状態や電極の装着状態に応じた識別が実現できる。よって脳波インタフェースで用いる視覚Ｐ３成分の識別率が向上する。

本実施形態の脳波インタフェースシステム１に識別方法調整装置１０を設けることにより、メニュー項目と同時に提示したキャリブレーション用聴覚刺激に対するＰ３成分の特徴量を用いて、脳波インタフェースを操作する直前のユーザ状態や電極の装着状態に応じた視覚Ｐ３成分の識別が可能となる。識別率を向上することが可能であるため、使いやすい脳波インタフェースが実現できる。

（実施形態２）
実施形態１による脳波インタフェースシステム１では、脳波インタフェース部１００がメニュー項目を提示すると同時に、刺激提示部１１がキャリブレーション用の聴覚刺激を提示した。これにより、脳波インタフェースを利用する直前のユーザ状態や電極の装着状態に合わせた識別方法の調整が可能になった。

しかし先に言及したように、事象関連電位はＳ／Ｎが低いため、キャリブレーション用刺激が提示されると同時に、眼電等の大きなノイズが混入した場合には、正しくキャリブレーションを実施できない可能性がある。

本実施形態による脳波インタフェースシステムでは、脳波インタフェース利用の直前に限らず、ランダムなタイミング、または予め定められたタイミングでキャリブレーション用聴覚刺激を提示する。そして聴覚Ｐ３成分の特徴量を用いて常時変化し得るユーザ状態や電極の装着状態を計測して脳波インタフェースの視覚Ｐ３成分の識別方法を調整する。これにより、高い識別率を維持する脳波インタフェースシステムを提供することが可能となる。

図１２は、本実施形態による脳波インタフェースシステム１２０の機能ブロックの構成を示す。図１２はまた、識別方法調整装置１２２の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。

脳波インタフェースシステム１２０が脳波インタフェースシステム１（図４）と相違する点は、識別方法調整装置１２２の構成にある。より具体的には、識別方法調整装置１２２に、識別方法調整装置１０（図４）の刺激提示部１１および脳波分析部１２とは異なる機能を有するキャリブレーション用聴覚刺激ランダム提示部２１およびキャリブレーション用脳波分析部２２を設けたこと、および、蓄積部２３を新たに有することにある。

以下、キャリブレーション用刺激ランダム提示部２１およびキャリブレーション用脳波分析部２２を説明する。以下では、それぞれ「刺激ランダム提示部２１」および「脳波分析部２２」と記述する。なお、脳波インタフェースシステム１２０の構成要素のうち、脳波インタフェースシステム１（図４）と同じ構成要素については同じ参照符号を付しその説明を省略する。

刺激ランダム提示部２１は、ランダムなタイミング、または予め定められたタイミングでユーザ５にキャリブレーション用の聴覚刺激を提示する。ランダムなタイミングとは、ＴＶ２を利用して番組を視聴するユーザに必要以上の煩わしさを与えない頻度であればよく、たとえば２０分以上の間隔が空いた任意の時刻であればよい。また、予め定められたタイミングとしては、例えば約１０分間隔でもよいし、５分、２０分または１時間間隔であってもよい。なお聴覚刺激は実施形態１で説明した例と同じであればよく、例えば１０００Ｈｚのトーンバースト音や機器動作音でよい。また１種類か複数種類かも問わない。

脳波分析部２２は、刺激ランダム提示部２１が聴覚刺激を提示したタイミングを起点として、生体信号計測部５０によって計測されたユーザ５の事象関連電位の特徴量を分析する。

蓄積部２３は、たとえば半導体メモリやハードディスクである。蓄積部２３は、最近ｎ回分のキャリブレーションにおいて得られた事象関連電位の波形を脳波分析部２２から受け取って蓄積する。なお、蓄積する波形数は、脳波インタフェースを利用する前３０分間に提示されたキャリブレーション用刺激に起因して得られた事象関連電位の波形であってもよい。なお、蓄積部２３を設けずに、モダリティ変換ＤＢ１３を保持する記録媒体に事象関連電位の波形を蓄積することもできる。

脳波分析部２２が分析する事象関連電位の特徴量は脳波分析部１２（図４）と同じである。しかし、分析方法が異なっている。脳波分析部２２においては、キャリブレーション用聴覚刺激が提示された後の事象関連電位にノイズが含まれていないかを判定する。そして、ノイズが含まれていない場合には、蓄積部２３に蓄積された事象関連電位の最近ｎ回分の波形を加算平均し、加算平均波形から聴覚Ｐ３成分の振幅および潜時を算出する。加算回数ｎは例えば５であってもよいし、脳波インタフェースを利用する前３０分間に提示されたキャリブレーション用刺激の数であってもよい。

上述の分析方法を採用することにより、ノイズの影響を低減した上で、聴覚Ｐ３成分の振幅および潜時をより正しく算出できるようになる。その結果、識別方法調整部１４における識別方法の調整パラメータもより正しく算出でき、脳波インタフェース部１００の視覚Ｐ３成分の識別率を向上させることができる。

次に、図１３のフローチャートを参照しながら、脳波インタフェースシステム１２０において行われる全体的な処理の手順を説明する。

図１３は、本実施形態による脳波インタフェースシステム１２０の処理手順を示す。脳波インタフェースシステム１（図８）の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。具体的には、ステップＳ２０、ステップＳ４０およびステップＳ１０１からステップＳ１０６までの処理が、脳波インタフェースシステム１および１２０に共通する。

ステップＳ５０において、刺激ランダム提示部２１はキャリブレーション用の聴覚刺激をランダムなタイミングで提示する。

ステップＳ６０において、脳波分析部２２は、ステップＳ５０によって聴覚刺激が提示されたタイミングを起点に生体信号計測部５０で計測された事象関連電位の特徴量を分析する。分析のための詳細な処理は後述する。

ステップＳ７０において、脳波インタフェース部１００は、脳波インタフェースが起動されたか否か、たとえばメニュー項目が表示されたか否かを判断する。脳波インタフェースが起動された場合には処理はステップＳ１０１に進み、脳波インタフェースが起動されていない場合には処理はステップＳ５０に戻る。後者の場合には、刺激ランダム提示部２１は聴覚刺激をランダムなタイミングで提示する処理を継続する。

ステップＳ８０において、脳波インタフェース部１００は脳波計測が終了したか否かを判定する。ユーザ５が脳波計である生体信号計測部５０を外して脳波計測を終了する場合には処理を終了し、脳波計測を続ける場合には処理はステップＳ５０に戻る。

上述のように、キャリブレーション用の聴覚刺激を提示するステップＳ５０に戻る処理を設けることにより、ユーザが脳波識別方法調整システム１２０の使用を開始した後であってもキャリブレーションを行うことが可能になる。よって、脳波識別方法調整システム１２０の使用に伴って生体信号計測部５０の電極装着位置がずれて装着状態が変化したり、ユーザ５の覚醒度が変化した場合でも、脳波信号の事象関連電位を的確に認識できる。

次に、図１４のフローチャートを参照しながら、ステップＳ６０の詳細な処理を説明する。

図１４は、図１３のステップＳ６０において行われる脳波分析部２２の処理の手順を示す。なお、図９に示す脳波インタフェースシステム１の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。具体的には、すなわちステップＳ３１、Ｓ３２およびＳ３３までの処理が脳波分析部１２および２２に共通する。

ステップＳ３２の後で、かつステップＳ３３の前に行われるステップＳ３４において、脳波分析部２２は、生体信号計測部５０で計測されたキャリブレーション用聴覚刺激提示後の最近ｎ回の事象関連電位を加算する。この加算によってノイズの影響が低減され、聴覚Ｐ３成分の振幅および潜時をより正しく算出できるようになる。よってノイズに強いキャリブレーションが実現できる。なお、脳波分析部２２は、最近ｎ回の事象関連電位の加算平均ではなく加算演算を行ってもよい。

ランダムなタイミングまたは所定のタイミングで聴覚刺激を提示してキャリブレーションを実行することにより、常時変化し得るユーザ状態や電極の装着状態に的確に追従して事象関連電位の視覚Ｐ３成分の識別方法の調整が可能となる。これにより、脳波インタフェースの識別率の向上が実現できる。

（実施形態３）
実施形態１および２による脳波インタフェースシステムでは、ユーザがキャリブレーション刺激を見落とすことがない聴覚刺激を用いてキャリブレーションを行うとして説明した。

しかしながら、脳波インタフェースシステムは、図１に示すＴＶ２のような据え置き型の機器のみならず、携帯型の機器を操作対象として構築することが可能である。携帯型の機器を所持して外出し、脳波インタフェースシステムを利用して操作しようとしたとき、例えば人ごみや電車の中において聴覚刺激を提示しても聞き落としてしまう可能性がある。また、マナー上、聴覚刺激を提示すべきでない場合もある。そうすると、聴覚刺激を利用して適切なキャリブレーションが実施できない可能性がある。

本実施形態による脳波インタフェースシステム１５０は、キャリブレーション用刺激として、聴覚刺激ではなく体性感覚刺激を提示する。体性感覚刺激であれば、ユーザが雑踏の中にいても見落とす可能性が非常に低くなる。よって聴覚刺激によるキャリブレーションが難しい場合であっても、脳波インタフェースの視覚Ｐ３成分の識別方法を調整することが可能となり、識別率の向上を実現できる。

図１５は、本実施形態による脳波インタフェースシステム１５０の機能ブロックの構成を示す。図１５はまた、識別方法調整装置１５２の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。

脳波インタフェースシステム１５０が脳波インタフェースシステム１（図４）と相違する点は、識別方法調整装置１５２の構成にある。より具体的には、識別方法調整装置１５２に、識別方法調整装置１０（図４）の刺激提示部１１およびモダリティ変換ＤＢ１３とは異なる機能を有するキャリブレーション用体性感覚刺激提示部３１および体性感覚視覚変換データベース（ＤＢ）３２を設けたことにある。なお、図１５には、脳波インタフェースシステム１５０の出力部３にバイブレータ３ｃを示している。これは後述する体性感覚刺激をユーザ５に提示するために利用される。なお、出力部３にはスピーカ３ｂ（図４）が示されていないが、これはスピーカ３ｂを排除するものではない。

以下、キャリブレーション用体性感覚刺激提示部３１および体性感覚−視覚変換ＤＢ３２を説明する。以下では、それぞれ「体性感覚刺激提示部３１」および「変換ＤＢ３２」と記述する。なお、脳波インタフェースシステム１５０の構成要素のうち、脳波インタフェースシステム１（図４）と同じ構成要素については同じ参照符号を付しその説明を省略する。

体性感覚刺激提示部３１は、脳波インタフェース部１００においてメニュー項目の提示と同時にユーザ５に、バイブレータ３ｃを介してキャリブレーション用の体性感覚刺激を提示する。バイブレータ３ｃは、無線または有線で体性感覚刺激提示部３１からの指示を受けて動作する。なお、バイブレータ３ｃは、たとえばユーザ５の腕に装着されて、携帯電話のバイブレータ機能のような振動をユーザに与える機能を有するとして想定しているが、これは例である。他に、単純に手や顔などの皮膚に刺激を与えてもよい。体性感覚刺激は１種類であってもよいし、２種類以上であってもよい。

変換ＤＢ３２は、体性感覚Ｐ３成分と視覚Ｐ３成分との相関関係を規定している。

変換ＤＢ３２は、例えば振幅、潜時および補正区間など、脳波分析部１２で求めた聴覚刺激に対するＰ３成分の振幅および潜時のデータに応じて、脳波インタフェース部１００における視覚Ｐ３成分の識別方法を調整するためのデータを保存している。

図１６（ａ）および（ｂ）は、いずれも変換ＤＢ３２のデータ構造の例を示す。図１６（ａ）は、全ユーザに対して共通して適用される変換規則を規定した変換ＤＢ３２を示す。一方、図１６（ｂ）は、ユーザごとの変換基準をあらかじめ計測し、ユーザごとに切り替えて適用される変換規則を規定した変換ＤＢ３２を示す。図１６（ａ）および（ｂ）の変換ＤＢ３２を参照して、どのように体性感覚刺激に起因する事象関連電位から視覚事象関連電位のＰ３成分を得るかについては、図５（ａ）および（ｂ）の例に準ずる。

上述の体性感覚刺激提示部３１および変換ＤＢ３２を含む識別方法調整装置１５２を脳波インタフェースシステム１５０に組み込むことにより、聴覚刺激によるキャリブレーションができない場合であっても、体性感覚刺激を用いてユーザ状態および電極の装着状態に基づいた識別方法の調整が可能となる。これにより、脳波インタフェース部１００における識別率を向上させることができる。

図１７は、本実施形態による脳波インタフェースシステム１５０の処理手順を示す。図１７のフローチャートは、キャリブレーション用に体性感覚刺激が利用され、その刺激に基づく事象関連電位の体性感覚Ｐ３成分を利用して処理が行われることを除いては図８のフローチャートと同じである。したがって、図８に関する説明を援用し、説明は省略する。

図１７に示す処理により、聴覚刺激によるキャリブレーションができない場合であっても、体性感覚刺激を用いてユーザ状態および電極の装着状態に基づいた識別方法の調整が可能となる。これにより、脳波インタフェースの識別率の向上が実現できる。

なお、聴覚刺激によるキャリブレーションが可能な状況であっても、体性感覚刺激を用いてキャリブレーションを行ってもよい。または、聴覚刺激および体性感覚刺激を併用してキャリブレーションを行ってもよい。

本発明の識別方法調整装置および識別方法調整装置が組み込まれた脳波インタフェースシステムによれば、脳波インタフェースシステムでの識別に用いられる視覚Ｐ３成分の識別方法を調整するため、脳波を常時計測するインタフェースにおいて問題となるユーザ個人の体調などの状態や、脳波検出のための電極の装着状態の変化の影響を排除し、脳波の識別率を維持できる。よって、脳波の識別ミスによるユーザの意図しない機器動作が減少するため脳波インタフェースの操作性向上を実現できる。このような識別方法調整装置の機能は、たとえばコンピュータプログラムによって実現することも可能であるため、システムの大幅な改変をすることなく、容易に実装できる。

脳波インタフェースシステム１の構成および利用環境を示す図である。 （ａ）〜（ｃ）は、脳波インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したいジャンルの番組を見るときの例を示す図である。 脳波インタフェースの処理の手順を示すフローチャートである。 実施形態１による脳波インタフェースシステム１の機能ブロックの構成を示す図である。 （ａ）および（ｂ）は、いずれもモダリティ変換ＤＢのデータ構造の例を示す図である。 （ａ）および（ｂ）は、テンプレートを書き換えることによる識別方法の調整例を示す図である。 （ａ）および（ｂ）は、脳波信号の倍率を変更することによる識別方法の調整例を示す図である。 脳波インタフェースシステム１においてキャリブレーションを行い、その後、脳波インタフェースを利用する処理の手順を示すフローチャートである。 図８のステップＳ３０において行われる脳波分析部１２の処理の手順を示すフローチャートである。 図８のステップＳ４０において行われる識別方法調整部１４の処理の手順を示すフローチャートである。 あらかじめ生体信号計測部５０において取得していた脳波信号を調整する処理の手順を示すフローチャートである。 実施形態２による脳波インタフェースシステム１２０の機能ブロックの構成を示す図である。 実施形態２による脳波インタフェースシステム１２０の処理手順を示すフローチャートである。 図１３のステップＳ６０において行われる脳波分析部２２の処理の手順を示すフローチャートである。 実施形態による脳波インタフェースシステム１５０の機能ブロックの構成を示す図である。 （ａ）および（ｂ）は、いずれも変換ＤＢ３２のデータ構造の例を示す図である。 実施形態３による脳波インタフェースシステム１５０の処理手順を示すフローチャートである。

符号の説明

１ 脳波インタフェースシステム
３ 出力部
３ａ 画面
３ｂ スピーカ
１０ 識別方法調整装置
１１ キャリブレーション用刺激提示部
１２ キャリブレーション用脳波分析部
１３ モダリティ変換データベース
１４ 識別方法調整部
５０ 生体信号計測部
１００ 脳波インタフェース部

Claims (14)

1. 機器の操作メニューを視覚的に提示し、かつ、視覚以外のモダリティへの刺激を提示する出力部と、
   ユーザの脳波信号を取得する生体信号計測部と、
   予め保持された視覚事象関連電位のパラメータを利用して前記操作メニュー提示後の脳波信号に含まれる視覚事象関連電位のＰ３成分を識別し、識別された前記Ｐ３成分に基づいて前記機器を動作させる脳波インタフェース部と
   を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる装置であって、
   視覚以外のモダリティへの刺激によって得られる事象関連電位のＰ３成分と視覚事象関連電位のＰ３成分との相関を規定したデータベースと、
   前記出力部を介して前記刺激を提示する刺激提示部と、
   前記刺激提示後の脳波信号に含まれる事象関連電位を分析する分析部と、
   分析された前記事象関連電位のＰ３成分および前記データベースに基づいて視覚事象関連電位のＰ３成分に関する前記ユーザの特徴量である、前記Ｐ３成分の振幅および潜時の少なくとも一方を導出し、前記特徴量に基づいて前記脳波インタフェース部における脳波識別方法を調整する識別方法調整部と
   を備えた、脳波識別方法調整装置。
2. 前記刺激提示部は、前記刺激として聴覚刺激を提示する、請求項１に記載の脳波識別方法調整装置。
3. 前記刺激提示部は、前記刺激として体性感覚刺激を提示する、請求項１に記載の脳波識別方法調整装置。
4. 前記脳波インタフェース部は、前記パラメータとして設定された閾値に基づいて前記ユーザの視覚事象関連電位のＰ３成分の有無を識別しており、
   前記識別方法調整部は、前記特徴量に基づいて前記閾値を調整する、請求項１から３のいずれかに記載の脳波識別方法調整装置。
5. 前記脳波インタフェース部は、前記パラメータとして設定された視覚事象関連電位の波形のテンプレートに基づいて前記ユーザの視覚事象関連電位のＰ３成分の有無を識別しており、
   前記識別方法調整部は、前記特徴量に基づいて前記テンプレートを調整する、請求項１から３のいずれかに記載の脳波識別方法調整装置。
6. 前記識別方法調整部は、前記特徴量に基づいて前記ユーザの脳波信号を調整する、請求項１に記載の脳波識別方法調整装置。
7. 前記脳波インタフェース部は、視覚事象関連電位の振幅に関する閾値に基づいて前記視覚事象関連電位のＰ３成分の有無を識別しており、
   前記データベースは、前記Ｐ３成分の振幅に関する相関を規定しており、
   前記識別方法調整部は、振幅に関する前記特徴量に基づいて前記閾値を調整する、請求項４に記載の脳波識別方法調整装置。
8. 前記データベースは、前記Ｐ３成分の振幅に関する相関を規定しており、
   前記識別方法調整部は、振幅に関する前記特徴量に基づいて前記テンプレートを調整する、請求項５に記載の脳波識別方法調整装置。
9. 前記データベースは、前記Ｐ３成分の振幅に関する相関を規定しており、
   前記識別方法調整部は、振幅に関する前記特徴量に基づいて前記脳波信号を調整する、
   請求項６に記載の脳波識別方法調整装置。
10. 前記刺激提示部は、前記脳波インタフェースシステムの利用開始時に前記刺激を提示する、請求項１から３のいずれかに記載の脳波識別方法調整装置。
11. 前記刺激提示部は、前記脳波インタフェースシステムが利用されている期間中のランダムな時刻に前記刺激を提示する、請求項１から３のいずれかに記載の脳波識別方法調整装置。
12. 機器の操作メニューを視覚的に提示し、かつ、視覚以外のモダリティへの刺激を提示する出力部と、
    ユーザの脳波信号を取得する生体信号計測部と、
    予め保持された視覚事象関連電位のパラメータを利用して前記操作メニュー提示後の脳波信号に含まれる視覚事象関連電位のＰ３成分を識別し、識別された前記Ｐ３成分に基づいて前記機器を動作させる脳波インタフェース部と
    を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる方法であって、
    視覚以外のモダリティへの刺激によって得られる事象関連電位のＰ３成分と視覚事象関連電位のＰ３成分との相関を規定したデータベースを用意するステップと、
    前記出力部を介して前記刺激を提示するステップと、
    前記刺激提示後の脳波信号に含まれる事象関連電位を分析するステップと、
    分析された前記事象関連電位のＰ３成分および前記データベースに基づいて視覚事象関連電位のＰ３成分に関する前記ユーザの特徴量である、前記Ｐ３成分の振幅および潜時の少なくとも一方を導出するステップと、
    前記特徴量に基づいて前記脳波インタフェース部における脳波識別方法を調整するステップと
    を包含する、脳波の識別方法を調整するための方法。
13. 機器の操作メニューを視覚的に提示し、かつ、視覚以外のモダリティへの刺激を提示する出力部と、
    ユーザの脳波信号を取得する生体信号計測部と、
    予め保持された視覚事象関連電位のパラメータを利用して前記操作メニュー提示後の脳波信号に含まれる視覚事象関連電位のＰ３成分を識別し、識別された前記Ｐ３成分に基づいて前記機器を動作させる脳波インタフェース部と
    を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる装置であって、
    前記出力部を介して前記刺激を提示する刺激提示部と、
    前記刺激提示後の脳波信号に含まれる事象関連電位を分析する分析部と、
    データベースに記録された、視覚以外のモダリティへの刺激によって得られる事象関連電位のＰ３成分と視覚事象関連電位のＰ３成分との相関と、分析された前記事象関連電位のＰ３成分とに基づいて視覚事象関連電位のＰ３成分に関する前記ユーザの特徴量である、前記Ｐ３成分の振幅および潜時の少なくとも一方を導出し、前記特徴量に基づいて前記脳波インタフェース部における脳波識別方法を調整する識別方法調整部と
    を備えた、脳波識別方法調整装置。
14. 機器の操作メニューを視覚的に提示し、かつ、視覚以外のモダリティへの刺激を提示する出力部と、
    ユーザの脳波信号を取得する生体信号計測部と、
    予め保持された視覚事象関連電位のパラメータを利用して前記操作メニュー提示後の脳波信号に含まれる視覚事象関連電位のＰ３成分を識別し、識別された前記Ｐ３成分に基づいて前記機器を動作させる脳波インタフェース部と
    を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる方法であって、
    前記出力部を介して前記刺激を提示するステップと、
    前記刺激提示後の脳波信号に含まれる事象関連電位を分析するステップと、
    データベースに記録された、視覚以外のモダリティへの刺激によって得られる事象関連電位のＰ３成分と視覚事象関連電位のＰ３成分との相関と、分析された前記事象関連電位のＰ３成分とに基づいて視覚事象関連電位のＰ３成分に関する前記ユーザの特徴量である、前記Ｐ３成分の振幅および潜時の少なくとも一方を導出するステップと、
    前記特徴量に基づいて前記脳波インタフェース部における脳波識別方法を調整するステップと
    を包含する、脳波の識別方法を調整するための方法。

Images