JPWO2008117521A1 - 脳波識別の要否を決定する装置および方法 - Google Patents

Abstract

脳波を利用したインタフェースを備えたシステムにおいて、ユーザ脳波の周波数からユーザがメニューを見ていたかどうかを判定し、ユーザがメニューを見ていない場合は識別対象から除外することを可能とする。脳波インタフェースシステム１において脳波信号の識別を行うか否かを決定するための識別要否決定装置１０は、脳波信号の周波数パワーが極大となる代表周波数を算出する周波数分析部１１と、決定部１２とを備えている。決定部１２は、メニュー項目の切り替え周波数および脳波信号の代表周波数の相対量に基づいて、代表周波数がメニュー項目の切り替えに関連しているか否かを判定し、判定した結果に応じて、脳波インタフェース部１００において採用される脳波信号の識別方法を調整するための指示を脳波インタフェース部１００に対して出力する。

Description

本発明は、ユーザの脳波を利用してユーザが機器を操作することが可能なインタフェース（脳波インタフェース）システムに関する。より具体的には、本発明は、ユーザの意図を的確に解析するために、脳波インタフェース使用時のユーザの脳波をリアルタイムで計測し、その周波数を用いてユーザがメニュー項目を見ているか否かを判定する技術に関する。

近年、テレビ、携帯電話、ＰＤＡ（Personal Digital Assistant）等の様々な種類の情報機器が普及し、人間の生活に入り込んできたため、ユーザは普段の生活の中の多くの場面で情報機器を操作する必要が生じている。通常、ユーザは手を使ってボタン等の入力手段（インタフェース部）を介して入力コマンドを入力し、機器の操作を実現している。しかし、たとえば、家事、育児や運転をしているときなど、両手が機器操作以外のタスクで塞がっている状況ではインタフェース部を利用した入力が困難となり、機器操作が実現できなかった。そのため、あらゆる状況で情報機器を操作したいというユーザのニーズが高まっている。

このようなニーズに対して、ユーザの生体信号を利用した入力手段が開発されている。たとえば非特許文献１では、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別するという脳波インタフェースが開示されている。非特許文献１に記載された技術を具体的に説明すると、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ｍｓ後に出現する事象関連電位のＰ３成分を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によって、ユーザは手を使うことなく、選択したいと思った選択肢を特定可能となる。

ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースでは、外的な事象として視覚に対する刺激によって得られる事象関連電位が利用される。たとえば、視覚刺激に対する事象関連電位のうちの、いわゆるＰ３成分と呼ばれる成分を利用すると、チャンネルの切り替え、視聴を希望する番組のジャンルの選択、音量の調整などの処理を行うことができる。「Ｐ３成分」とは、事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく標的刺激提示後２５０ｍｓから５００ｍｓの時間帯に出現する陽性成分をいう。

事象関連電位をインタフェースに応用するためには、対象の事象関連電位（たとえばＰ３成分）を高い精度で識別することが重要である。そのために、生体信号を精度良く計測すること、および、計測した生体信号を適切な識別手法によって精度良く識別することが必要となる。

識別率が低下する要因は、二種類に分けられる。一つ目の要因は、脳波インタフェースに用いられる脳波成分（Ｐ３成分等）は信号対雑音比（Ｓ／Ｎ比）が低く、識別手法の精度が低いために、精度の高い識別が実現されていないことにある。この要因に対しては、脳波に混入するノイズの除去方法、精度の高い識別方法がそれぞれ開発されつつある。

たとえば、特許文献１では、バンドパスフィルタを用いて、脳波に含まれるノイズのうち、商用電源ノイズ等の識別対象（事象関連電位）の周波数とは異なる周波数で混入するノイズを除去した後で、識別を行い、識別率を向上させる技術が開示されている。また、特許文献２では、単純な周波数フィルタでは除去がしにくい眼電等の生体由来のノイズを除去する技術として、眼電が含まれた試行は識別対象から除外して識別率を向上させる技術が開示されている。

識別率が低下する二つ目の要因は、たとえば被験者の状態によっては被験者の脳波に識別対象となる脳波成分がそもそも出現していないため、識別ができないことにある。この要因に対しては、従来の実験室条件での実験では、外乱を排除した実験室を用意して課題に集中するよう被験者に教示したり、確認ボタンを押下させる等によって被験者の状態を統制することで、定常的に反応を出現させるという手法がとられてきた。
国際公開第２００５／００１６７７号パンフレット 特開平１０−１４６３２３号公報 エマニュエル・ドンチン（Emanuel Donchin）、他２名、"Ｔｈｅ Ｍｅｎｔａｌ Ｐｒｏｓｔｈｅｓｉｓ：Ａｓｓｅｓｉｎｇ ｔｈｅ Ｓｐｅｅｄ ｏｆ ａ Ｐ３００−Ｂａｓｅｄ Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ"、ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ ＥＮＧＩＮＥＥＲＩＮＧ ２０００、Ｖｏｌ．８、２０００年６月

家庭で通常に用いられる情報機器の操作インタフェースとして脳波を利用する場合には、ユーザが常にメニュー選択の課題に集中しているとは限らない。たとえば、脳波インタフェースの画面が提示されているにもかかわらず、ユーザがそれ以外のことに気を取られてメニューを見ていないという状況が発生し得る。このような状況では、識別対象の脳波成分がそもそも出現しないため、脳波による識別ができないことになる。これはまさに、上述の識別率が低下する二つ目の要因に該当する。

ユーザがメニュー項目を見ていない場合には、ユーザが選択したいと思っているメニュー項目がハイライトされてもＰ３成分は出現しない。しかし、Ｐ３成分に似た波形のノイズが偶然混入した場合にはＰ３成分の誤識別が発生し得る。脳波の識別率が低下することにより、ユーザの意図しないメニュー項目が選択されてしまい、脳波インタフェースを利用した脳波識別が正確に機能しないことになる。このような不適切な認識は、脳波を日常的に計測し、インタフェースに利用するという状況下では頻繁に発生すると想定される。

上述の問題は、実験室条件の実験下では想定されておらず、家庭で通常に用いられる情報機器に脳波インタフェースを採用して初めて認識されたものである。実験室条件の実験で採用されているような、被験者の状態を統制し、定常的に脳波反応を出現させる環境を全ての一般家庭に設けることは脳波インタフェースを気軽に利用することの妨げとなり、不可能である。よって、脳波の識別率を低下させない他の方法が必要となる。

本発明の目的は、脳波を利用したインタフェースを備えたシステムにおいて、ユーザ脳波の周波数からユーザがメニューを見ていたかどうかを判定し、ユーザがメニューを見ていない場合は識別対象から除外することで、誤識別によるユーザの意図しない機器動作を減少させることである。

本発明による装置は、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記出力部を介して前記操作メニューのメニュー項目を特定の切り替え周波数で提示し、予め保持された前記脳波信号に基づいて前記メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部において採用される前記脳波信号の識別方法を調整するための装置であって、前記脳波信号の周波数パワーが極大となる周波数を代表周波数として算出する周波数分析部と、前記メニュー項目の切り替え周波数および前記脳波信号の代表周波数の相対量に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定し、判定した結果に応じて、前記脳波インタフェース部において採用される前記脳波信号の識別方法を調整するための指示を前記脳波インタフェース部に対して出力する決定部とを備えている。

前記決定部は、前記代表周波数が前記メニュー項目の切り替えに関連していると判定した場合には前記脳波インタフェース部に対して前記脳波信号を識別対象として採用するよう指示し、前記代表周波数が前記メニュー項目の切り替えに関連していないと判定した場合には前記脳波インタフェース部に対して前記脳波信号を識別対象から除外するよう指示してもよい。

前記決定部は、前記メニュー項目の切り替え周波数と前記脳波信号の代表周波数との差、または、前記メニュー項目の切り替え周波数と前記脳波信号の代表周波数との比に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定してもよい。

前記周波数分析部は、前記メニュー項目がハイライトされた時刻より所定の秒数前の時刻以降に取得された脳波信号に基づいて、前記代表周波数を算出してもよい。

前記周波数分析部は、前記メニュー項目の切り替え周波数を含む所定の周波数帯域において周波数パワーが最大となる周波数を前記代表周波数として算出してもよい。

前記周波数分析部は、０．５Ｈｚ以上の周波数帯域において周波数パワーが最大となる周波数を前記代表周波数として算出してもよい。

前記決定部は、０．５Ｈｚから９Ｈｚの周波数帯域から選択された前記切り替え周波数および前記脳波信号の代表周波数の相対量に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定してもよい。

前記決定部は、前記メニュー項目の切り替え周波数と前記脳波信号の代表周波数との差が０．２Ｈｚ以上のとき、前記代表周波数は前記メニュー項目の切り替えに関連していないと判定してもよい。

前記決定部が前記脳波インタフェース部に対して前記脳波信号を識別対象から除外するよう指示することにより、前記脳波インタフェース部は前記機器の動作状態を一つ前に戻してもよい。

前記脳波インタフェース部が、複数種類の操作メニューのメニュー項目を、互いに異なる複数種類の切り替え周波数でそれぞれ提示するときにおいて、前記決定部は、前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数の相対量とに基づいて、前記代表周波数が、いずれかの操作メニューのメニュー項目の切り替えに関連しているか否かを判定してもよい。

前記決定部は、互いに整数倍の関係にならないように設定された前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数との相対量に基づいて、前記代表周波数が、いずれかの操作メニューのメニュー項目の切り替えに関連しているか否かを判定してもよい。

前記決定部は、前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数との相対量のうち最も小さい相対量に対応する切り替え周波数を特定し、前記代表周波数が、特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連しているか否かを判定してもよい。

前記決定部は、前記複数種類の切り替え周波数の各々に対応する閾値を保持しており、前記決定部は、前記最も小さい相対量が、特定された前記切り替え周波数に対応する閾値より小さいとき、前記代表周波数が特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連していると判定し、前記最も小さい相対量が、特定された前記切り替え周波数に対応する閾値以上のとき、前記代表周波数が特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連していないと判定してもよい。

前記脳波インタフェース部は、前記メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位にＰ３成分が含まれているか否かを識別するための閾値を保持しており、前記決定部は、前記代表周波数が前記メニュー項目の切り替えに関連していないと判定した場合には、前記閾値の大きさを、事象関連電位のＰ３成分が検出されにくくなる側に変化させてもよい。

本発明による方法は、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記操作メニューのメニュー項目を特定の切り替え周波数で前記出力部を介して提示し、予め保持された前記脳波信号に基づいて前記メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部に前記脳波信号の識別を行わせるか否かを決定するための方法であって、前記脳波信号の周波数パワーが極大となる周波数を代表周波数として算出するステップと、前記メニュー項目の切り替え周波数および前記脳波信号の代表周波数の相対量に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定するステップと、関連していると判定した場合には、前記脳波インタフェース部に対して前記脳波信号を識別対象として採用するよう指示するステップと、関連していないと判定した場合には、前記脳波インタフェース部に対して前記脳波信号を識別対象から除外するよう指示するステップとを包含する。

前記脳波インタフェース部が、複数種類の操作メニューのメニュー項目を、互いに異なる複数種類の切り替え周波数でそれぞれ提示するときにおいて、前記判定するステップは、前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数の相対量とに基づいて、前記代表周波数が、いずれかの操作メニューのメニュー項目の切り替えに関連しているか否かを判定してもよい。

前記判定するステップは、前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数との相対量のうち最も小さい相対量に対応する切り替え周波数を特定し、前記代表周波数が、特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連しているか否かを判定してもよい。

前記複数種類の切り替え周波数の各々に対応する閾値を用意するステップをさらに包含し、前記決定するステップは、前記最も小さい相対量が、特定された前記切り替え周波数に対応する閾値より小さいとき、前記代表周波数が特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連していると判定し、前記最も小さい相対量が、特定された前記切り替え周波数に対応する閾値以上のとき、前記代表周波数が特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連していないと判定してもよい。

本発明による他の装置は、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記出力部を介して前記操作メニューのメニュー項目を特定の切り替え周波数で提示し、予め保持された前記脳波信号に基づいて前記メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部において採用される前記脳波信号の識別方法を調整するための装置であって、前記脳波信号の周波数パワーが極大となる周波数を代表周波数として算出する周波数分析部と、前記メニュー項目の切り替え周波数および前記脳波信号の代表周波数の相対量に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定し、関連していると判定した場合には、前記ユーザが前記メニュー項目を見ていると判断し、関連していないと判定した場合には、前記ユーザが前記メニュー項目を見ていないと判断して、判断結果に応じて前記脳波インタフェース部の前記脳波信号の識別方法を調整する決定部とを備えている。

本発明の識別要否決定装置、方法および識別要否決定装置が組み込まれた脳波インタフェースシステムによれば、ユーザ脳波の周波数パワーが極大の代表周波数（θｅ）とメニュー項目ハイライトの切り替え周波数（θｓ）とが異なっていた場合に、ユーザがメニューを見てないと判定し、識別対象から除外するという方法で識別方法を調整する。これにより、脳波を日常的に計測するインタフェースにおいて問題となる、メニュー項目の見落としによる誤識別がなくなるため、識別率が高く維持できる。よって、脳波の識別ミスによるユーザの意図しない機器動作が減少するため脳波インタフェースの操作性向上を実現できる。

脳波インタフェースシステム１の構成および利用環境を示す図である。 脳波インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したいジャンルの番組を見るときの例を示す図である。 本発明による脳波インタフェースの第１の通常処理手順の例（処理手順Ａ）を示すフローチャートである。 本発明による脳波インタフェースの第２の通常処理手順の例（処理手順Ｂ）を示すフローチャートである。 実験の手順を示す図であり、（ａ）は機器の処理手順を示すフローチャートであり、（ｂ）は被験者の動作手順を示すフローチャートである。 （ａ）は実際に被験者に提示されたメニューおよび選択指示の表示画面を示す図であり、（ｂ）はハイライトされたメニュー項目の表示例を示す図である。 実験結果の一例を示すグラフである。 （ａ）はメニュー項目が３５０ｍｓごとに切り替えてハイライトされているとき（条件Ａ）の脳波の周波数パワーを示す図であり、（ｂ）はステップＳ５１で選択指示刺激が提示されているとき（条件Ｂ）の脳波の周波数パワーを示す図である。 本発明の実施形態１による脳波インタフェースシステム１の機能ブロックの構成を示す図である。 実施形態１による脳波インタフェースシステム１の処理手順を示すフローチャートである。 ユーザ５がメニュー項目を見ていたか否かを判定する処理の詳細な手順を示すフローチャートである。 本発明の実施形態２による脳波インタフェースシステム２の機能ブロックの構成を示す図である。 脳波インタフェースシステム２を利用して、大画面テレビに２種類のメニューを提示している例を示す図である。 実施形態２による脳波インタフェースシステム２の処理手順を示すフローチャートである。 ユーザ５がメニューＡ、メニューＢのどちらを見ていたか、またはどのメニューもみていなかったかを判定する処理の詳細な手順を示すフローチャートである。 実施形態３による脳波インタフェースシステム３の機能ブロックの構成を示す図である。 実施形態３による脳波インタフェースシステム３の処理手順を示すフローチャートである。

符号の説明

１、２、３ 脳波インタフェースシステム
５ ユーザ
７ 出力部
７ａ 画面
１０ 識別要否決定装置
１１ 代表周波数分析部
１２ 決定部
２１ 識別対象決定部
３１ 識別方法調整部
５０ 生体信号計測部
１００ 脳波インタフェース部
２００ 複数メニュー提示脳波インタフェース部
３００ 識別パラメータ可変脳波インタフェース部
３０１ Ｐ３識別用パラメータ

以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波インタフェースシステムに組み込まれる識別要否決定装置の実施形態を説明する。

以下では、まず脳波インタフェースシステムを説明し、その後識別要否決定装置の構成および動作を説明する。

図１は、脳波インタフェースシステム１の構成および利用環境を示す。この脳波インタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。

脳波インタフェースシステム１は、ユーザ５の脳波信号を利用してＴＶ２を操作するインタフェースを提供するためのシステムである。ユーザ５の脳波信号はユーザが頭部に装着した生体信号計測部５０によって取得され、無線または有線で脳波インタフェース部１００に送信される。ＴＶ２に内蔵された脳波インタフェース部１００は、脳波の一部を構成する事象関連電位と呼ばれる成分を利用してユーザの意図を認識し、チャンネルの切り替えなどの処理を行う。

図２は、脳波インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したいジャンルの番組を見るときの例を示す。

図２（ａ）は、脳波インタフェース部１００がＴＶ２の画面７ａを介してユーザに提示するメニューの例である。図２（ａ）では、画面７ａ−１から画面７ａ−４において、それぞれ「野球」、「天気予報」、「アニメ」、「ニュース」というメニュー項目が順にまたはランダムにハイライトされる様子を示している。

本明細書においては、図２（ａ）に示す機器操作に関する選択肢群を包括して「メニュー」と定義し、メニューを構成する各選択肢を「メニュー項目」と定義する。また、メニュー項目のハイライトが切り替えられる頻度を、「切り替わり周波数（θｓ）」と定義する。たとえば、ハイライトが１秒間に２回切り替えられる場合には、切り替わり周波数（θｓ）は２Ｈｚである（周期は５００ｍｓである）。以下の説明では、切り替わり周波数（θｓ）は２．８６Ｈｚ、周期は３５０ｍｓであるとして説明する。

メニュー項目をハイライトすることによって、それぞれのメニュー項目がハイライトされた時刻を起点とした事象関連電位が計測可能となる。なお、ハイライトの代わりに、またはハイライトと共に補助的矢印を用いたポインタでメニュー項目を提示してもよい。図２（ａ）には、ハイライトと共にポインタでメニュー項目が提示される例を示している。

図２（ｂ）は、メニュー項目がハイライトされた時刻を起点に計測したユーザの脳波信号の事象関連電位を模式的に示す。今、ユーザは「天気予報」を見たいと考えていたとする。画面７ａ−１から画面７ａ−４までのそれぞれに対応する脳波信号２０１〜２０４のうち、ユーザ５が「天気予報」がハイライトされた画面７ａ−２を見ると、「天気予報」がハイライトされた時刻を起点に潜時約４００−４５０ｍｓに特徴的な陽性の成分（Ｐ３成分）が出現する（非特許文献１）。

脳波インタフェース部１００がこのＰ３成分の出現を識別すると、ユーザが選択したいと考えていたメニュー項目「天気予報」の選択が可能となる。図２（ｃ）では、Ｐ３成分を識別した結果、チャンネルが「天気予報」に切り替えられた後の画面７ａ−５を示している。

図３は、本発明による脳波インタフェースの第１の通常処理手順の例（処理手順Ａ）を示す。

ステップＳ１０１において、脳波インタフェース部１００はたとえば４つのメニュー項目を含んだメニュー（図２（ａ）の左側）と、問いかけの文章（図２（ａ）の右側）を提示する。ステップＳ１０２において、脳波インタフェース部１００はメニュー項目の一つを選択する。ステップＳ１０３において、ステップＳ１０２によって選択されたメニュー項目をハイライトする。

ステップＳ１０４において、脳波インタフェース部１００は、ステップＳ１０３においてメニュー項目がハイライトされた時刻を起点に、たとえば５００ｍｓ分のユーザの事象関連電位を計測する。事象関連電位として切り出す区間は、３００−５００ｍｓに出現するＰ３成分が含まれれば、たとえば８００ｍｓ、１０００ｍｓであってもよい。ここでは、図２（ｂ）に模式的に示す脳波信号の事象関連電位２０１〜２０４が計測される。

ステップＳ１０５において、ステップＳ１０４で計測した事象関連電位にＰ３成分が含まれているか否かを識別する。Ｐ３成分の識別は、単純に波形の最大振幅または波形のある区間の平均電位があらかじめ設定した閾値よりも大きいかどうかを判定してもよいし、特許文献２に記載のようにあらかじめユーザごとに計測したＰ３成分の加算平均波形で作成したテンプレートとの相関係数を算出してもよい。なお、閾値は、ユーザごとに決定してもよい。ステップＳ１０５でＹｅｓの場合、ステップＳ１０６に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。

ステップＳ１０６において、脳波インタフェース部１００はステップＳ１０５によって選択されたメニュー項目に対応する処理を実行する。これにより、そのメニュー項目が選択され、実行されて、図２（ｃ）に示す画面７ａ−５が表示される。たとえば、図２の例で言えば、天気予報が選択され、天気予報の番組が提示されている。

このような脳波インタフェースシステム１によれば、たとえば家事や育児で両手が塞がっている場合にもユーザは手を使わずにＴＶ２等の機器を操作することが可能となる。よって機器の操作性が格段に向上する。

ただし、脳波をインタフェースとして用いる場合、ユーザが常にメニューを見ているとは限らない。たとえば、家事や育児など脳波インタフェースを用いた機器の操作とは別の作業を平行して行っているときには、インタフェースが画面を常に注視することは難しい。また、前述のように、メニュー項目がハイライトされたタイミングにおいて、ユーザがメニューを見ていない場合には、ステップＳ１０３においてＰ３成分は計測されない。そのような状況下で、ステップＳ１０４において取得した事象関連電位にノイズ（たとえば眼電）が混入しＰ３成分に似た波形を示した場合には、ステップＳ１０５においてＰ３成分ありと判定され、ステップＳ１０６においてユーザが意図していないメニュー項目の選択が実行される可能性があるため、より識別精度が高い処理を行うことが好ましい。

異なる識別方法として、たとえばそれぞれのメニュー項目がハイライトされた後の事象関連電位を比較し、最もＰ３成分が出現した可能性の高いものを選択するという処理の手順（処理手順Ｂ）を用いることも可能である。処理手順Ｂを用いた場合には、事象関連電位の比較によってＰ３成分と近いものの選択が可能であるため、多少のノイズが混入しても機器動作が実現できる。

図４は、本発明による脳波インタフェースの第２の通常処理手順の例（処理手順Ｂ）を示す。なお、図３に示す脳波インタフェースの処理手順Ａと同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

ステップＳ１０７において、全ての選択項目が少なくとも一度はハイライトされたかどうかにより分岐する。ステップＳ１０７でＹｅｓの場合、ステップＳ１０８に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。

ステップＳ１０８において、ステップＳ１０４で取得したメニュー項目ごとの事象関連電位にＰ３成分が含まれる可能性を計算し、項目ごとに比較をして一番近いメニュー項目をＰ３成分ありと識別する。項目ごとの事象関連電位にＰ３成分が含まれる可能性は、図３中のステップＳ１０４のように、単純に波形の最大振幅値として最大振幅が最大のものを選んでもよいし、ある区間の平均電位の大きさを求め平均電位が最大のものを選んでもよい。また、テンプレートとの相関係数の値が大きいものを選んでもよい。ステップＳ１０８でＹｅｓの場合、ステップＳ１０６に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。

このように、メニュー項目ごとの事象関連電位を比較し、最もＰ３成分が出現した可能性の高い選択項目を選ぶことで、多少のノイズが混入しても識別が可能な識別方法が実現されるが、処理手順Ｂを用いた場合も同様に、ユーザがメニューを見ていない場合にも、Ｐ３が含まれていそうないずれかのメニュー項目が選択されてしまう。よって、やはり、ユーザの意図しないメニュー項目の選択が実行される可能性があるため、より識別精度が高い処理を行うことが好ましい。

ユーザが意図しないメニュー項目の選択は、いずれもユーザがメニューを見ていたかどうかを機器側が判定できないために発生する。メニューを見ていたか否かの判定が可能であれば、見ていない場合には識別対象から除外するなど識別方法の調整によって、これらの意図しない機器動作をなくすことができる。

本願発明者らは、脳波インタフェースを利用するユーザの脳波の周波数を分析することで、ユーザがメニューを見ているかどうかの判定が可能であることを発見した。これにより、視線検出装置等を新たに加えることなく、ユーザがメニューを見ていなかったことの検出が実現できる。以下、図５から図７を参照しながら本願発明者らが実施した実験および実験結果について説明する。

図５は、実験のフローを示す図である。図５の（ａ）は実験中の機器側のフローとして刺激および事象関連電位計測の手順を示した図で、図５の（ｂ）は実験中に被験者が実施する課題の手順を示した図である。図５の（ａ）および（ｂ）のフローは、並行して行われる。図５の（ａ）に従った機器の動作を受けて、被験者は図５の（ｂ）に従った動作を行う。そして、その結果発生する事象関連電位を図５の（ａ）に従って機器が計測する。

まず、図５の（ａ）について説明する。

ステップＳ５０において、機器は被験者の脳波計測を開始する。

ステップＳ５１において、機器は、４つのメニュー項目と被験者がどのメニュー項目を選択するかの選択指示を提示する。図６（ａ）は、実際に被験者に提示されたメニューおよび選択指示の表示画面を示す。本願発明者らの実験では、図６（ａ）の表示を４秒間提示した。以下、選択指示が出された選択項目を「ターゲット」と呼ぶ。

なお、この提示を受けて被験者が動作を開始する。図５（ａ）のステップＳ５１から図５（ｂ）のステップＳ６１へ向かう矢印は、ステップＳ５１の機器動作に対応する、被験者の動作の開始タイミングを示している。

ステップＳ５２において、機器はメニュー項目をランダムに選択する。

ステップＳ５３において、ステップＳ５２で選択されたメニュー項目を３５０ｍｓ間ハイライトする。すなわち、メニュー項目のハイライトは切り替え周波数θｓ＝２．８６Ｈｚで切り替えられる。図６（ｂ）は、ハイライトされたメニュー項目の表示例を示す。機器は、メニュー項目をハイライトした総回数ｎをカウントし、保持する。

ステップＳ５４において、機器は、ステップＳ５３でメニュー項目がハイライトされた時刻を基準として所定区間の脳波を切り出し、事象関連電位を取得する。本実験では、ハイライト前１００ｍｓからハイライト後１０００ｍｓまでの区間の事象関連電位を切り出した。

ステップＳ５５において、機器は、メニュー項目のハイライト回数ｎが４０回以下か４０回より多いかを判定する。ハイライト回数ｎが４０回以下の場合には機器はステップＳ５２の処理に戻り、メニュー項目のハイライトを繰り返す。一方、ハイライト回数ｎが４０回より多くなると、機器は処理を終了する。

上述の処理により、統計的にメニュー項目ごとに１０回前後ずつハイライトが実行される。なお、この処理回数は、実験的に事象関連電位を繰り返し加算平均して、成分の出現を確認するために必要であるとして設定されたものである。実際に脳波インタフェースシステムとして実装される場合には、必ずしもこのような処理回数を設ける必要はない。

前述のステップＳ５０からステップＳ５５によって、３５０ｍｓごとにハイライトされるメニュー項目が切り替わる条件下で、機器は、各メニュー項目が１０回程度ずつハイライトされたときのハイライトを起点とした被験者の事象関連電位を４０試行取得できる。

次に、図５（ｂ）について説明する。

ステップＳ６１において、被験者は、図５（ａ）のステップＳ５１によって提示されたメニューおよび選択指示を見る。被験者は選択指示を見て、ターゲットを確認する。これは、実際に脳波インタフェースを用いる場合にユーザが実現したいと思う機器動作にあたる。

ステップＳ６２において、被験者はメニューを注視し、図５（ａ）のステップＳ５２からＳ５５によって提示されるメニュー項目ハイライトを見て、選択対象のメニュー項目がハイライトされることを待つ。

ステップＳ６３において、被験者は、ステップＳ６１でターゲットがハイライトされたかどうかを判断する。ターゲットがハイライトされたと判断すると、ステップＳ６４へ進み、ハイライトされていないと判断するとステップＳ６２に戻る。

ステップＳ６４において、被験者は、ターゲットがハイライトされた回数をメンタルカウントするステップである。メンタルカウントとは、心の中で数をカウントすることである。

ステップＳ６５において、被験者は、ハイライトの切り替わりが終了したか否かを判断し、機器によるメニュー項目の切り替わり処理が終了したときは実験を終了し、メニュー項目の切り替わり処理が継続されているときはステップＳ６２からの動作を再開する。

なお、脳波は頭皮上Ｆｚ、Ｃｚ、Ｐｚ（国際１０−２０法）の３部位から耳朶を基準に計測した。また、視覚刺激は被験者の目前１ｍの１９インチＬＣＤディスプレイに提示した。

図７は、実験結果の一例を示すグラフである。このグラフは、電極位置Ｐｚで計測した事象関連電位の加算平均波形を示す。実線の波形ａは、ターゲットが０ｍｓにおいてハイライトされた後に得られた事象関連電位の加算平均波形を示す。一方、点線の波形ｂはターゲット以外の項目がハイライトされた後の事象関連電位の加算平均波形を示す。なおグラフの横軸は時間（単位：ｍｓ）、縦軸は電位（単位：μＶ）である。メニュー項目は、３５０ｍｓごとに切り替えられている。

ターゲットに関連する図７の実線の波形ａに示すように、ターゲットのハイライト後３００から４００ｍｓに陽性成分が出現している。これは、一般的なＰ３成分であり、非特許文献１の結果と一致すると考えられる。

さらに本願発明者らは、図７の実線、点線には共通して周期的な特徴が存在すること、具体的には、両方の波形には約３５０ｍｓ間隔で陰性の極値が現れているという特徴が存在することを見出した。そしてその特徴に着目し、脳波の周波数解析を実施した。

図８（ａ）は、メニュー項目が３５０ｍｓごとに切り替えてハイライトされているとき（条件Ａ）の脳波の周波数パワーを示し、図８（ｂ）は、ステップＳ５１で選択指示刺激が提示されているとき（条件Ｂ）の脳波の周波数パワーを示す。いずれも横軸が周波数（単位：Ｈｚ）、縦軸が周波数パワー（単位：μＶ・μＶ／Ｈｚ）である。

図８（ａ）から明らかなように、条件Ａでは周波数パワーに特徴的なピークが存在することが理解される。このピークに対応する周波数（θｅ）は２．７４Ｈｚであった。上述のように、条件Ａに対応するメニュー項目の切り替え周波数（θｓ）は２．８６Ｈｚであり、脳波の周波数パワーが極大となった周波数とほぼ一致する。一方、図８（ｂ）によれば、条件Ｂでは周波数パワーには特徴的なピークは存在しない。

これらを総合すると、メニュー項目ハイライトの切り替え周波数（θｓ）が脳波の周波数に影響を与えたため、事象関連電位に周期的な変化が発生したと考えられる。したがって、脳波の周波数パワーが極大となる周波数（θｅ）を算出することにより、ユーザがメニューを見ていたか否かを判定可能である。

なお、同じ位置で点滅する視覚刺激を提示すると、ＳＳＶＥＰと呼ばれる成分が視覚刺激の点滅と同期して脳波に現れることが知られている（Ｘｉａｏｒｏｎｇ Ｇａｏ他、Ａ ＢＣＩ−Ｂａｓｅｄ Ｅｎｖｉｒｏｎｍｅｎｔａｌ Ｃｏｎｔｒｏｌｌｅｒ ｆｏｒ ｔｈｅ Ｍｏｔｉｏｎ−Ｄｉｓａｂｌｅｄ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｓｙｓｔｅｍｓ ａｎｄ Ｒｅｈａｂｉｌｉｔａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ、２００３）。

しかしながら、本願発明者らは、本願発明者らの実験によって得られた結果はＳＳＶＥＰとは異なっていると考える。その理由は、今回の実験における視覚刺激はハイライトの切り替えであり、同じ位置で点滅するものではないためである。さらに他の理由としては、今回の実験では被験者は対象のメニュー項目（ターゲット）がハイライトされるのを待っている状態であり、ＳＳＶＥＰの実験のような点滅する刺激を見ているだけの状態とは異なっているためである。すなわち、本願発明者らの実験とＳＳＶＥＰの実験とは設定が異なっている。

続いて、本発明の実施形態にかかる識別要否決定装置を詳細に説明する。識別要否決定装置は、脳波インタフェース使用時のユーザ脳波の周波数パワーが極大となる周波数を、代表周波数（θｅ）として算出する。そして、代表周波数（θｅ）とメニュー項目の切り替え周波数との相対量に基づいて、代表周波数（θｅ）がメニュー項目の切り替えに関連しているか否かを判定する。「相対量に基づいて」とは、たとえば周波数（θｅ）とメニュー項目の切り替え周波数との差、または、周波数（θｅ）とメニュー項目の切り替え周波数との比が、閾値以下か閾値よりも大きいかによって、という意味である。

閾値以下であれば、代表周波数（θｅ）とメニュー項目の切り替え周波数とが関連している、すなわちユーザがメニューを見ていたと判定する。その結果、脳波信号が脳波インタフェースにおける識別対象として採用される。

一方、閾値よりも大きいときは、代表周波数（θｅ）とメニュー項目の切り替え周波数とは関連がなく、ユーザがメニューを見ていなかったと判定する。その結果、脳波信号が脳波インタフェースにおける識別対象から除外される。これにより、ユーザが意図しない機器動作を減らすことが可能となる。

（実施形態１）
図９は、本実施形態による脳波インタフェースシステム１の機能ブロックの構成を示す。脳波インタフェースシステム１は、出力部７と、識別要否決定装置１０と、生体信号計測部５０と、脳波インタフェース（ＩＦ）部１００とを有している。図９はまた、識別要否決定装置１０（以下「決定装置１０」と記述する）の機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。なお、出力部７は、ユーザ５にメニュー等を提示する画面を示す。

ユーザ５は、脳波インタフェース部１００によって出力部７に提示される機器操作に関するメニュー項目がハイライトされるかどうかに注意して見ているだけで操作入力はしないが、脳波インタフェース部１００を介して選択されたメニュー項目に応じて機器が動作するものとする。

決定装置１０は、有線または無線で生体信号計測部５０および脳波インタフェース部１００と接続され、信号の送信および受信を行う。図９においては、生体信号計測部５０および脳波インタフェース部１００は決定装置１０とは別体であるが、これは例である。生体信号計測部５０および脳波インタフェース部の一部または全部を、決定装置１０内に設けてもよい。

生体信号計測部５０は、ユーザ５の生体信号を検出する脳波計であり、生体信号として脳波を計測する。脳波計は図１に示すようなヘッドマウント式脳波計であってもよい。ユーザ５はあらかじめ脳波計を装着しているものとする。

ユーザ５の頭部に装着されたとき、その頭部の所定の位置に接触するよう、生体信号計測部５０には電極が配置されている。電極の配置は、たとえばＰｚ（正中頭頂）、Ａ１（耳朶）およびユーザ５の鼻根部になる。ただし、電極は最低２個あればよく、たとえばＰｚとＡ１のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。

この結果、生体信号計測部５０はユーザ５の事象関連電位を測定することができる。測定されたユーザ５の脳波は、コンピュータで処理できるようにサンプリングされ、脳波インタフェース部１００および決定装置１０に送られる。なお、脳波に混入するノイズの影響を低減するため、生体信号計測部５０においては計測される脳波は、あらかじめたとえば０．０５から２０Ｈｚのバンドパスフィルタ処理がされ、メニュー項目ハイライト前のたとえば１００ｍｓの平均電位でベースライン補正されているものとする。

脳波インタフェース部１００は、機器操作に関するメニュー項目をユーザに提示し、生体信号計測部５０で計測された脳波を切り出して識別する。そして識別結果に応じて機器動作を制御する。脳波インタフェース部１００における基本的な動作は前述の通りである。

脳波インタフェース部１００を利用して制御する機器が、たとえば図１に示すＴＶ２であるとすると、メニューは出力部７を介してユーザ５に提示される。図２（ａ）に示したようにメニュー項目は、所定の切り替え周期でθｓ（たとえば２．８６Ｈｚ）に一つずつハイライトされる。θｓは２Ｈｚ、３Ｈｚ、５Ｈｚであってもよい。

脳波インタフェース部１００は、識別実行フラグ１０１を保持している。

識別実行フラグ１０１は、生体信号計測部５０で計測されたユーザ５の脳波に含まれる事象関連電位の特徴を識別するか否かを決定するために参照される。たとえば、識別実行フラグ１０１が「１」のときは、脳波インタフェース部１００は得られている事象関連電位を識別対象として採用する。一方、識別実行フラグ１０１が「０」のときは、脳波インタフェース部１００は得られている事象関連電位を識別対象から除外する。識別実行フラグ１０１は後述する方法によって決定装置１０からの指示によって設定される。なお、「０」および「１」の各値に対応する動作は例であり、他の例を採用してもよい。

識別実行フラグ１０１が「１」に設定されているとき、脳波インタフェース部１００は、メニュー項目がハイライトされた時刻を起点に、生体信号計測部５０で計測されたユーザ５の脳波をたとえばＰ３成分のピーク潜時よりも長い５００ｍｓ分を切り出し、波形を識別する。脳波を切り出す時間は波形のピークからの戻りの部分も考慮して１０００ｍｓ分であってもよい。事象関連電位を識別する方法は、単純に波形を閾値処理してもよいし、特許文献２に記載のようにあらかじめユーザごとに計測したＰ３成分の加算平均波形で作成したテンプレートとの相関係数を算出してもよい。

次に、本実施形態による決定装置１０の詳細な構成を説明する。本発明の主要な特徴のひとつは、決定装置１０の構成および動作にある。

決定装置１０は、代表周波数分析部１１と、決定部１２とを有している。

代表周波数分析部１１は、周波数パワーが特徴的なピークをもつ周波数（代表周波数（θｅ））を算出し、決定部１２に送る。以下、代表周波数（θｅ）の算出方法を具体的に説明する。

まず、代表周波数分析部１１は、生体信号計測部５０で計測されたユーザ５の脳波の周波数パワーを、たとえば高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；ＦＦＴ）によって算出する。代表周波数分析部１１は、脳波インタフェース部１００がメニュー項目をハイライトするタイミングを基準として、たとえば前後１秒程度の脳波を切り出して周波数パワーを算出してもよい。なお、脳波を切り出す時間窓の長さは、ハイライトの切り替え周波数に応じて変えてもよい。周波数解析の精度を向上させるために、２回以上のハイライトが発生するように時間窓の長さを設定してもよい。

次に、代表周波数分析部１１は、算出した周波数パワーのうち、周波数パワーの極大値から代表周波数（θｅ）を求める。

周波数パワーの極大値を求める範囲は、たとえば直流成分とアルファー波等の自発脳波の影響の少ない範囲（１Ｈｚ〜８Ｈｚの周波数帯域、またはより広い０．５Ｈｚ〜９Ｈｚの周波数帯域）とすればよい。または、脳波インタフェース部１００からメニュー項目ハイライトの切り替え周波数を取得し、その周波数の周辺の周波数パワーから求めてもよい。図８（ａ）には、メニュー項目ハイライトの切り替え周波数の周辺±０．２Ｈｚの周波数帯域Ａと、０．５Ｈｚ〜９Ｈｚの周波数帯域Ｂとが示されている。

周波数パワーの極大値として、たとえば上記範囲のすべての極大値の中で最大となるものを選択すればよい。さらに、周波数パワーに閾値（たとえば周波数パワーが４０００（μＶ・μＶ／Ｈｚ））を設け、その閾値以上であることを条件として課してもよい。代表周波数分析部１１は、特徴的なピークを周波数パワーの極大値として特定することができため、その極大値に対応する周波数を代表周波数（θｅ）として採用することができる。

なお、周波数パワーの極大値が０．５Ｈｚ〜９Ｈｚの周波数帯域から決定されるということは、メニュー項目ハイライトの切り替え周波数（θｓ）が０．５Ｈｚ〜９Ｈｚから選択され得ること、すなわち切り替え周波数（θｓ）が可変であることを意味する。０．５Ｈｚは切り替えが非常に遅く、一方９Ｈｚは切り替えが非常に早い。ユーザ５の性別、年齢、習熟度などによっては、メニュー項目ハイライトの切り替えが遅くなければ実用的な利用ができない場合もあるし、早くしても十分対応できる場合がある。そこで、メニュー項目ハイライトの切り替え周波数（θｓ）を０．５Ｈｚ〜９Ｈｚの周波数帯域から選択可能とし、同時に周波数パワーの極大値もまた、０．５Ｈｚ〜９Ｈｚの周波数帯域から決定することとした。

なお、脳波ＩＦ部１００がメニュー項目のハイライトを２回程度行えば、メニュー項目ハイライトの周期が確定するため、周波数パワーの極大値に有意な差が現れる。

決定部１２は、代表周波数分析部１１から受け取った代表周波数（θｅ）と、脳波インタフェース部１００から受け取ったメニュー項目切り替え周波数（θｓ）との相対量（差または比）を算出し、両者が互いに関連しているか否かを判定する。互いに関連しているか否かの判定は、サンプリング周波数、周波数分析の時間窓によって決定される周波数分析精度に基づき、たとえばθｓとθｅとの差は０．２Ｈｚ以内か否か、または、θｓとθｅとの比は０．９３以上１．０７以下の範囲内か否か、によって決定すればよい。以下では差を利用して判定するとして説明する。なお、閾値は固定値ではなく可変であってもよい。

両者が互いに関連していると判断した場合には、決定部１２は何も実行しない。一方、両者が互いに関連していないと判断した場合には、決定部１２は、脳波インタフェース部１００における脳波識別方法を調整する。ユーザ５はメニューを見ていないと判断できるためである。

脳波識別方法の調整とは、たとえば脳波インタフェース部１００が保持する識別実行フラグ１０１を、識別対象から除外することを示す値「０」に設定するよう指示することをいう。なお、上述の説明では、両者が互いに関連していると判断した場合には決定部１２は何も実行しないとして説明したが、たとえば、識別実行フラグ１０１を「１」に設定するよう指示し、識別対象として採用させてもよい。

このように構成することで、ユーザ５がメニュー項目のハイライトを見ていたかどうかを、脳波の周波数（θｅ）を指標に判定できるため、ユーザ５がメニューを見ていない場合の試行を識別対象から除外するという識別方法の調整が可能となる。これにより、ユーザ５が意図しない機器動作を減少し、ユーザ５にとって使いやすい脳波インタフェースが実現できる。

次に、図１０のフローチャートを参照しながら、図９の脳波インタフェースシステム１において行われる全体的な処理手順を説明する。

図１０は、本実施形態による脳波インタフェースシステム１の処理手順を示す。この脳波インタフェースシステム１には、ユーザ５がメニューを見ているかどうかの判定を行い、メニューを見ていない場合を識別対象から除外するという機能が設けられている。

なお、図１０に示すステップＳ１０１からステップＳ１０６は、図３に示す脳波インタフェースの処理手順と同じである。よって、以下ではそれらの説明は省略する。

図３の脳波インタフェースの処理手順との差異は、ユーザ５がメニュー項目のハイライトを見ていたかどうかを判定するステップＳ２０を設けたことにある。

ステップＳ２０において、決定装置１０は、生体信号計測部５０で計測したユーザ５の脳波の周波数からユーザ５がメニュー項目のハイライトを見ていたか否かを判定する。具体的な処理は、図１１を参照しながら後述する。

決定装置１０によってユーザ５がメニューを見ていたと判定されると（ステップＳ２０でＹｅｓ）、処理はステップＳ１０５に進む。ステップＳ１０５において、脳波ＩＦ部１００は、ステップＳ１０４で計測された事象関連電位にＰ３成分が出現しているかどうかの識別を実施する。

一方、決定装置１０によってユーザ５がメニューを見ていなかったと判定されると（ステップＳ２０でＮｏ）、脳波ＩＦ部１００は事象関連電位の識別処理は行わずに、ステップＳ１０２の処理に戻る。そして、脳波ＩＦ部１００は次のメニュー項目ハイライトに向けてハイライトする項目を選択する。

次に、図１１を参照しながら、ステップＳ２０の詳細な処理を説明する。

図１１は、ユーザ５がメニュー項目を見ていたか否かを判定する処理の詳細な手順を示す。この処理は、決定装置１０を構成する代表周波数分析部１１と決定部１２によって行われる。

ステップＳ２１において、代表周波数分析部１１は生体信号計測部５０で計測されたユーザ５の脳波を切り出す。脳波を切り出すタイミングは、たとえば脳波インタフェース部１００がメニューを提示した時刻としてもよいし、たとえば１秒ごとのように代表周波数分析部１１で独自に決定してもよい。また、脳波を切り出す区間は、たとえば１秒分であってもよいし、２秒分、３秒分、５秒分であってもよい。

ステップＳ２２において、代表周波数分析部はステップＳ２１で切り出したユーザ５の脳波の周波数パワーを高速フーリエ変換ＦＦＴによって計算する。

ステップＳ２３において、代表周波数分析部１１はステップＳ２２で計算した周波数パワーが極大となる周波数を代表周波数（θｅ）として算出し、決定部１２に送る。

ステップＳ２４において、決定部１２は脳波インタフェース部１００からメニュー項目ハイライトの切り替え周波数（θｓ）を受け取り、θｅとθｓとの差分を算出する。

ステップＳ２５において、決定部１２はθｓとθｅとの差を計算し、その差が閾値よりも小さいか否かを判定する。差が閾値より小さい場合はステップＳ２６に進み、閾値以上の場合はステップＳ２７に進む。

ステップＳ２６において、決定部１２はユーザ５がメニューを見ていたと判定し、脳波ＩＦ部１００に対して何も行わない。または、決定部１２は、脳波ＩＦ部１００が保持する識別実行フラグ１０１を「１」に設定するよう脳波ＩＦ部１００に指示してもよい。

一方、ステップＳ２７おいて、決定部１２はユーザ５がメニューを見ていないと判定し、脳波ＩＦ部１００に対して識別実行フラグ１０１を「０」に設定するよう指示する。

このような処理によって、識別率を低下させる原因となるユーザがメニューを見ていないときの識別処理の実行を除外でき、ユーザの意図しない機器動作の減少が実現できる。

なお、本実施形態ではユーザがメニューを見ていないときは、その脳波信号を識別対象から除外した。しかし、ユーザがメニューを見ていない場合に、動作状態を１つまたはそれ以上前に戻すよう機器を動作させることも可能である。その場合には、ユーザがメニューから視線を外しただけでユーザの意図しない機器動作をキャンセルできるため、脳波インタフェースの操作性が格段に向上する。また、「戻る」というメニュー項目を設定する必要がなくなり、それに代えて他のメニュー項目を設定できる。さらに他には、ユーザがメニュー項目を見ていない場合に映像または音声でアラートを提示するなど、メニューを見ていないことを検出可能とすることによって様々な機器動作が可能となる。

本実施形態の脳波インタフェースシステム１に決定装置１０を設けることにより、脳波インタフェースを利用するユーザ５の脳波の周波数からユーザ５がメニュー項目のハイライトを見ていたかどうかが判定できる。これによって、メニューを見ていない場合には識別対象から除外するという識別方法の調整が可能となり、ユーザの意図しない機器動作の減少が実現できるため、使いやすいインタフェースを実現できる。

（実施形態２）
実施形態１による脳波インタフェースシステム１では、脳波インタフェース部１００が提示する一種類のメニュー（メニュー項目は複数）に対して、脳波インタフェースシステム使用時のユーザ脳波の周波数の特徴から、ユーザがメニュー項目を見ているかどうかを判定し、メニュー項目を見ていない場合には識別対象から除外することで、ユーザの意図しない機器動作の減少を実現していた。

上述の脳波インタフェースでは、メニュー項目をランダムにハイライトするため選択したいメニュー項目がハイライトされるまでの時間はメニュー項目の数に比例して増える。そのため、操作性を考慮すると提示するメニュー項目の数を制限せざるを得なかった。

そこで、たとえば近年普及が進んでいる大画面テレビのような、映像表示可能領域が大きい表示装置を利用することが可能な状況では、複数のメニューを異なる位置に同時に提示することにより、多くのメニュー項目から短時間でのメニュー項目の選択が可能となる。

複数のメニューを１画面上に同時に提示すると、それぞれのメニューでメニュー項目がハイライトされるため、結果として同じ時刻に複数のメニュー項目がハイライトされることになる。よって、まずユーザがどのメニューを見ているかを特定した上で、ユーザが意図する機器動作を一意に決定する必要がある。

本実施形態による脳波インタフェースシステムでは、複数のメニューの各々に対してメニュー項目のハイライトの切り替え周波数を独立して設定し、それぞれの複数のメニュー項目のハイライトを切り替える。そして、ユーザ脳波の周波数の特徴に基づいて、ユーザがどちらのメニューを見ているかの判定を行う。これにより、複数のメニューが同時に提示され、同じ時刻に複数のメニュー項目がハイライトされる状況においても、ユーザがどのメニューを見ているかを特定できる。そして、事象関連電位に基づいて、特定されたメニューに対してユーザがどのメニュー項目の実行を希望しているかを判断できる。これにより、精度の高い識別を実現できる。

図１２は、本実施形態による脳波インタフェースシステム２の機能ブロックの構成を示す。図１２はまた、識別要否決定装置２０の機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。

さらに、図１３には本実施形態による脳波インタフェースシステム２がどのように利用されるかを示している。すなわち、図１３は、脳波インタフェースシステム２を利用して、大画面テレビに２種類のメニューを提示している例を示す。

理解の容易のために、まず図１３に示す表示例を説明する。図１３には、ＴＶ操作に関するメニューＡが提示され、ＴＶ以外の機器の操作に関するメニューＢが提示されている。そして、メニューＡでは「チャンネル選択」がハイライトされ、メニューＢでは「照明」がハイライトされている。本例では、ハイライトの切り替えは、メニューＡに関しては３Ｈｚで行われ、メニューＢに関しては５Ｈｚで行われる。ユーザがメニューＡを見ている状況では、相対的に３Ｈｚに近い代表周波数（θｅ）が観測され、ユーザがメニューＢを見ている状況では、相対的に５Ｈｚに近い代表周波数（θｅ）が観測されることになる。なお、ユーザがいずれのメニューも見ていない場合には、代表周波数（θｅ）は観測されない。上述のように脳波インタフェースを用いて複数のメニューを提示することにより、複数の機器を簡易にかつ確実に操作できるようになる。

脳波インタフェースシステム２が実施形態１による脳波インタフェースシステム１（図９）と相違する点は、実施形態１の脳波インタフェース部１００に代えて複数メニュー提示脳波インタフェース部２００を備えたこと、および、識別要否決定装置２０（以下「決定装置２０」と記述する。）の構成のうち決定部１２を識別対象決定部２１に変更したことにある。なお、脳波インタフェースシステム２の構成要素のうち、脳波インタフェースシステム１（図９）と同じ構成要素については同じ参照符号を付しその説明を省略する。

複数メニュー提示脳波インタフェース部２００（以下「脳波ＩＦ部２００」と記述する。）は、脳波インタフェース部１００の機能を拡張して、複数のメニューを同時に提示し、かつ、各メニューのメニュー項目から機能の実行を可能にしている。

脳波ＩＦ部２００は、出力部７を介して複数メニューをユーザ５に提示する。たとえば脳波ＩＦ部２００は、あるメニューには特定の機器の詳細な機能に関するメニュー項目を表示し、その他のメニューには制御可能な複数の機器に関するメニュー項目を表示する。そして、各メニューのメニュー項目ハイライトの切り替え周波数（θｓ）を異なる値に設定してハイライトを切り替えている。

図１３に示す例では、メニューＡ、メニューＢのハイライト周波数をそれぞれθｓａ、θｓｂと記述すると、θｓａを３Ｈｚ、θｓｂを５Ｈｚとして設定している。メニュー項目ハイライトの周波数（θｓ）は、ユーザ５がハイライトを認知できる範囲であればよい。また、倍数周波数成分の影響を考慮すると、θｓａとθｓｂは整数倍にならないように設定することが好ましい。また、メニュー項目のハイライトのタイミングは重ならないように設定してもよい。

また、脳波ＩＦ部２００は、識別実行フラグ群２０１を保持している。識別実行フラグ群２０１は、複数の識別実行フラグの集合である。本実施形態においては、識別実行フラグはメニューに対応して設けられているとする。たとえば、識別実行フラグ群２０１の第１ビットはメニューＡに対応し、第２ビットはメニューＢに対応する。脳波ＩＦ部２００は、いずれかのフラグ値に「１」が設定されているときには、得られている事象関連電位を識別対象として採用する。そして、その事象関連電位に基づいて、フラグ値「１」に対応するメニューのどのメニュー項目に示された操作を実行するかを判定し、その項目に対応する動作を実行する。識別実行フラグ群２０１は、次に説明する識別対象決定部２１によって更新される。

識別対象決定部２１（以下「決定部２１」と記述する）は、脳波ＩＦ部２００から受け取った切り替え周波数（θｓａ、θｓｂ）と、代表周波数分析部１１から受け取ったユーザ５の脳波周波数パワーが極大となる代表周波数（θｅ）との比較を行い、ユーザ５がどちらのメニューを見ているかを判定する。

判定は、実施形態１による決定部１２と同様に、代表周波数（θｅ）と、各メニュー項目切り替え周波数（θｓａ、θｓｂ）との相対量（差または比）を算出して、その相対量に基づいて行えばよい。たとえば、相対量として差を利用する例を挙げると、代表周波数（θｅ）と切り替え周波数（θｓａ、θｓｂ）の各々との差を比較し、小さいほうのメニューを見ていたとすればよい。あるいは、閾値を０．２Ｈｚとして、代表周波数（θｅ）と切り替え周波数（θｓａ、θｓｂ）の各々との差が閾値以下であったメニューを見ていたとし、それ以外はどちらのメニューも見ていなかったと判定してもよい。

決定部２１は、判定結果に応じて、脳波ＩＦ部２００に設けられた識別実行フラグ群２０１のうち、ユーザ５が見ていたメニューに対応する識別実行フラグの値を「１」に設定するよう脳波ＩＦ部２００に指示する。ユーザ５がどちらのメニューも見ていなかった場合には、決定部２１は脳波ＩＦ部２００に対して何の指示もしないか、または、識別実行フラグ群２０１のすべてのフラグ値を「０」に設定するよう指示する。これにより、確実に識別対象から除外することが可能となり、誤認識を低減できる。

決定部２１の判定結果を受けて、脳波ＩＦ部２００は対応するメニューのメニュー項目ハイライトに関連した事象関連電位の識別を行い、Ｐ３成分ありと判定した場合には、対応するメニュー項目の機器動作を実行する。

このようにメニューを同時に複数提示し、それぞれ異なる周波数でメニュー項目をハイライトした場合、ユーザがどちらのメニューを見ていたのかが判定可能となる。それにより、ユーザが見ていたメニューのメニュー項目の中に限定した識別が可能となり、識別の精度が向上し、結果として多くのメニュー項目から短時間でのメニュー項目の選択が可能となる。

次に、図１４のフローチャートを参照しながら、脳波インタフェースシステム２において行われる全体的な処理の手順を説明する。

図１４は、本実施形態による脳波インタフェースシステム２の処理手順を示す。図１４では、複数メニューの例として、図１３に示すようなメニューＡ、メニューＢの二種類のメニューを提示する場合の処理手順を示している。また、メニューＡ、メニューＢはそれぞれ数個のメニュー項目で構成されているとする。たとえば図１３に示す表示例を参照されたい。脳波インタフェースシステム１（図１０）の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

ステップＳ２０１において、脳波ＩＦ部２００はメニューＡをユーザ５に提示する。

ステップＳ２０２において、脳波ＩＦ部２００はメニューＢをユーザ５に提示する。なお、ステップＳ２０１とステップＳ２０２は同時であってもよいし、それぞれ別の時刻であってもよいとする。

ステップＳ２０３において、脳波ＩＦ部２００はメニューＡまたはメニューＢからハイライトするメニュー項目を選択する。どちらのメニューからメニュー項目を選択するかは、それぞれのメニュー項目ハイライトの周波数によって決定された順序に基づく。

ステップＳ２０４において、脳波ＩＦ部２００はステップＳ２０３で選択したメニュー項目をハイライトする。メニュー項目をハイライトするタイミングは、それぞれのメニュー項目ハイライトの周波数によって決定される。

ステップＳ３０において、決定装置２０はユーザ５がどちらのメニューを見ていたのか、またはどちらのメニューも見ていなかったのかを判定し、分岐する。ステップＳ３０の処理の詳細については、後述する。

ステップＳ２０５において、脳波ＩＦ部２００はステップＳ１０４で計測したメニューＡのメニュー項目ハイライトを起点とした事象関連電位にＰ３成分が含まれているか否かを識別する。Ｐ３成分の識別は、単純に波形を閾値処理してもよいし、特許文献２に記載のようにあらかじめユーザごとに計測したＰ３成分の加算平均波形で作成したテンプレートとの相関係数を算出してもよい。ステップＳ２０５でＹｅｓの場合、ステップＳ２０７に進み、Ｎｏの場合はステップＳ２０３に戻り次のメニュー項目を選択する。

ステップＳ２０６において、脳波ＩＦ部２００はステップＳ１０４で計測したメニューＢのメニュー項目ハイライトを起点とした事象関連電位にＰ３成分が含まれているか否かを識別する。Ｐ３成分の識別は、ステップＳ２０５と同様である。ステップＳ２０６でＹｅｓの場合、ステップＳ２０８に進み、Ｎｏの場合はステップＳ２０３に戻り次のメニュー項目を選択する。

ステップＳ２０７において、脳波ＩＦ部２００はステップＳ２０５によって選択されたメニューＡのメニュー項目に対応する処理を実行する。これにより、そのメニュー項目が選択され、実行される。

ステップＳ２０８において、脳波ＩＦ部２００はステップＳ２０６によって選択されたメニューＢのメニュー項目に対応する処理を実行する。これにより、そのメニュー項目が選択され、実行される。

次に、図１５を参照しながらステップＳ２０の詳細な処理を説明する。

図１５は、ユーザ５がメニューＡ、メニューＢのどちらを見ていたか、またはどのメニューもみていなかったかを判定する処理の詳細な手順を示す。この処理は、決定装置２０を構成する代表周波数分析部１１と決定部２１によって行われる。図１５の処理では、代表周波数（θｅ）とハイライト切り替え周波数（θｓａ、θｓｂ）の各々との相対量として、差を利用する例を挙げて説明する。なお、図１１に示す処理と同じ処理に関するステップには同一の参照符号を付し、その説明は省略する。

ステップＳ３１において、決定部２１は、脳波ＩＦ部２００から受け取った、メニューＡのハイライト切り替え周波数（θｓａ）およびメニューＢのハイライト切り替え周波数（θｓｂ）と、ステップＳ２３において、代表周波数分析部１１から受け取ったユーザ５の脳波の周波数パワー極大の代表周波数（θｅ）との比較を行い、差分ΔａおよびΔｂを計算する。

ステップＳ３２において、決定部２１は、ステップＳ３１で計算したΔａとΔｂの大きさを判定する。Δａの方が小さい場合（ステップＳ３２でＹｅｓ）には処理はステップＳ３３へ進み、Δｂの方が小さい場合（ステップＳ３２でＮｏ）には処理はステップＳ３４へ進む。なお、メニューＡ、メニューＢのどちらかを見ているかの二状態を判定する場合にはΔａ、Δｂを比較し小さいほうのメニューを見ていたと判定すればよいため、以下のＳ３３からＳ３７の処理は不要である。

ステップＳ３３において、決定部２１はΔａが閾値よりも小さいか否かに応じて分岐する。差分が閾値以下の場合には処理はステップＳ３５に進み、閾値以上の場合には処理はステップＳ３６に進む。閾値は、たとえば０．１Ｈｚとしてもよいし、０．２Ｈｚ、０．３Ｈｚとしてもよい。

ステップＳ３３において、決定部２１はΔｂが閾値よりも小さいかどうかを判定し、分岐する。差分が閾値以下の場合はＹｅｓとしてステップＳ３７へ、閾値以上の場合はＮｏとしてＳ３６にそれぞれ進む。閾値はステップＳ３３のように決定してもよい。

ステップＳ３５、ステップＳ３７において、決定部２１はそれぞれメニューＡを見ていると判定し、メニューＢを見ていると判定し、ステップＳ３６において、どちらのメニューも見ていないと判定する。

このような処理によって、ハイライトの切り替え周波数がそれぞれ独立な複数のメニュー項目を同時に提示し、ユーザ脳波の周波数からユーザがどちらのメニューを見ているかの判定を行う。これによって、たとえば複数の機器を操作する場合など、複数のメニュー項目が同時に提示される状況においても精度の高い識別を実現できる。

本実施形態の脳波インタフェースシステム２に決定装置２０を設けることにより、脳波インタフェースを利用するユーザ５の脳波の周波数からユーザ５がどのメニューを見ていたかどうかを判定できる。これによって、複数のメニュー項目が同時に提示される状況においてもメニューごとに識別方法の調整が可能となり、多くのメニュー項目から短時間でのメニュー項目の選択が可能となり、使いやすい脳波インタフェースが実現できる。

上述の実施形態においては、決定部１２、２１は、識別実行フラグを利用して脳波インタフェース部１００、２００を間接的に制御している。しかし、識別実行フラグを利用せず、フラグ値「０」および「１」に対応する動作を行うよう、決定部１２、２１が脳波インタフェース部１００、２００に直接指示してもよい。

（実施形態３）
実施形態１による脳波インタフェースシステム１では、識別方法調整装置１０において脳波インタフェースシステム使用時の所定の時間窓におけるユーザの脳波の周波数から、ユーザがメニュー項目を見ていたか否かを判定し、メニュー項目を見ていない場合には識別対象から除外することで、ユーザの意図しない機器動作の減少を実現していた。

しかし、特に時間窓の長さが十分でない場合、代表周波数は背景脳波や眼電・筋電ノイズの影響を受けやすく、たとえばユーザがハイライトを見ていても見ていないと誤判定してしまう可能性がある。実施形態１では代表周波数を絶対的な指標として用いて、識別の要否を「１」か「０」かで決定するため誤判定の場合には正しい識別ができなかった。

そこで、本実施形態による脳波インタフェースシステムでは、代表周波数によりハイライト後のＰ３成分の識別用パラメータを調整する。これにより、ハイライトを見ていたか否かを誤判定した場合でもハイライト後のＰ３成分によりユーザの選択意図が検出できる可能性が復活し、より精度の高い識別が実現できる。

図１６は、本実施形態による脳波インタフェースシステム３の機能ブロックの構成を示す。図１６はまた、識別方法調整装置３０の機能ブロックも示している。ユーザ５のブロックは説明のために示されている。

脳波インタフェースシステム３が実施形態１による脳波インタフェースシステム１（図９）と相違する点は、実施形態１の脳波インタフェース部１００に代えて、Ｐ３識別用パラメータ３０１に基づきＰ３成分の識別パラメータが可変な脳波インタフェース部３００を設けたこと、および、実施形態１の識別要否決定装置１０に代えて、代表周波数に基づきＰ３成分の識別パラメータを決定する識別方法調整部３１を構成要素に持つ識別方法調整装置３０を備えたことにある。なお、脳波インタフェースシステム３の構成要素のうち、脳波インタフェースシステム１（図９）と同じ構成要素については同じ参照符号を付しその説明を省略する。

脳波インタフェース部３００（以下「脳波ＩＦ部３００」と記述する。）は、脳波インタフェース部１００の機能を拡張したもので内部にＰ３識別用パラメータ３０１を持ち、Ｐ３識別用パラメータ３０１に基づいて識別方法を調整してハイライト後のＰ３成分を識別する。

Ｐ３識別用パラメータ３０１は、ハイライト後のＰ３成分を識別する際に利用するパラメータ（閾値）である。前述のように（たとえば図３中のステップＳ１０５）、Ｐ３成分の識別方法は種々あるが、識別パラメータは識別方法に合わせて、たとえば区間平均電位や相関係数に関する閾値としてもよい。

識別方法調整部３１は、脳波ＩＦ部３００から受け取った切り替え周波数（θｓ）と、代表周波数分析部１１から受け取ったユーザ５の脳波周波数パワーが極大となる代表周波数（θｅ）との相対量（差または比）を算出し、両者が互いに関連しているか否かを判定する。判定方法は図９中の決定部１２と同様である。θｓとθｅが互いに関連していると判断した場合には、識別方法調整部３１は何も実行しない。一方両者が互いに関連していないと判断した場合には、識別方法調整部３１は、脳波インタフェース部３００における識別方法を調整する。

ここで「識別方法を調整する」とは、脳波ＩＦ部３００が保持するＰ３識別用パラメータ３０１（閾値）をＰ３成分が検出されにくくなる側に変えることをいう。例えば、脳波ＩＦ部３００において区間平均電位を用いて識別を行う場合には、閾値をプラス方向に変化させる。また、相関係数を用いて識別を行う場合には、閾値を１に近づける方向に変化させる。

変化させるための方法として、たとえば脳波ＩＦ部３００内に保持されているＰ３識別用パラメータ３０１を外部から直接書き換えてもよいし、脳波ＩＦ部３００に対してＰ３識別用パラメータ３０１の変更を指示してもよい。

なお、ここではθｓとθｅの関連性を「関連性がある」または「関連性がない」の二状態で判断したが、二状態に限らずθｓとθｅの一致度に応じて閾値を連続的に、または段階的に変化させても良い。

このように代表周波数によってＰ３成分識別のパラメータを調整することで、ハイライトを見ていたか否かを誤判定した場合でもハイライト後のＰ３成分によりユーザの選択意図が検出できる可能性が復活し、より精度の高い識別が実現できる。

上述の説明から理解されるように、識別方法調整部３１は、実施形態１および２において説明した「決定部１２」（図９）および「識別対象メニュー決定部２１」（図１２）の動作と同様、識別を行うか否かをまず決定している。よって識別方法調整部３１は、「決定部１２」（図９）および「識別対象メニュー決定部２１」のような決定部としての機能を有しつつ、さらに付加的な機能を有しているといえる。

次に、図１７のフローチャートを参照しながら、脳波インタフェースシステム３において行われる全体的な処理の手順を説明する。

図１７は、本実施形態による脳波インタフェースシステム２の処理手順を示す。図１７において、脳波インタフェースシステム１（図１０）の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

ステップＳ３０１において、識別方法調整部３１は脳波ＩＦ部３００におけるＰ３識別用パラメータ３０１をＰ３成分が検出されにくくなるように調整する。

ステップＳ３０２において、脳波ＩＦ部３００はＰ３識別用パラメータ３０１を参照してＰ３成分検出の閾値を取得し、取得した閾値に基づいてステップＳ１０４で計測された事象関連電位にＰ３成分が出現しているかどうかの識別を実施する。

このような処理によって、ハイライトを見ていたか否かを誤判定した場合でもハイライト後のＰ３成分によりユーザの選択意図の検出が可能となる。なお、図１７では代表周波数を用いてユーザがハイライトを見ていたか否かを二状態で判定したが、二状態に限らずθｓとθｅの一致度に応じて閾値を連続的に、または段階的に変化させてもよい。

本実施形態の脳波インタフェースシステム３に識別方法調整装置３０を設けることにより、代表周波数に基づいてＰ３成分識別のパラメータの調整が可能となり、代表周波数とＰ３成分を用いた識別が実現できる。代表周波数とＰ３成分はどちらもノイズの影響を受ける可能性があるが、両方を用いることでノイズの影響に強い識別が可能となり、結果としてユーザの意図しない機器動作の減少が実現できる。

本発明の識別要否決定装置および識別要否決定装置が組み込まれた脳波インタフェースシステムによれば、視線検出装置等を加えることなく、脳波インタフェースを操作しているユーザの脳波の周波数によって、ユーザがメニューを見ていないことが検出可能になる。これによって、ユーザがメニューを見ていない場合を識別対象から除外することでユーザが意図しない機器動作の減少が実現できる。このような識別要否決定装置の機能は、たとえばコンピュータプログラムによって実現することも可能である。コンピュータプログラムはコンピュータに読み込まれて実行されることにより、上述の機能を発揮できるためシステムの大幅な改変をすることなく、かつ、容易に実装できる。

本発明は、ユーザの脳波を利用してユーザが機器を操作することが可能なインタフェース（脳波インタフェース）システムに関する。より具体的には、本発明は、ユーザの意図を的確に解析するために、脳波インタフェース使用時のユーザの脳波をリアルタイムで計測し、その周波数を用いてユーザがメニュー項目を見ているか否かを判定する技術に関する。

近年、テレビ、携帯電話、ＰＤＡ（Personal Digital Assistant）等の様々な種類の情報機器が普及し、人間の生活に入り込んできたため、ユーザは普段の生活の中の多くの場面で情報機器を操作する必要が生じている。通常、ユーザは手を使ってボタン等の入力手段（インタフェース部）を介して入力コマンドを入力し、機器の操作を実現している。しかし、たとえば、家事、育児や運転をしているときなど、両手が機器操作以外のタスクで塞がっている状況ではインタフェース部を利用した入力が困難となり、機器操作が実現できなかった。そのため、あらゆる状況で情報機器を操作したいというユーザのニーズが高まっている。

このようなニーズに対して、ユーザの生体信号を利用した入力手段が開発されている。たとえば非特許文献１では、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別するという脳波インタフェースが開示されている。非特許文献１に記載された技術を具体的に説明すると、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ｍｓ後に出現する事象関連電位のＰ３成分を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によって、ユーザは手を使うことなく、選択したいと思った選択肢を特定可能となる。

ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースでは、外的な事象として視覚に対する刺激によって得られる事象関連電位が利用される。たとえば、視覚刺激に対する事象関連電位のうちの、いわゆるＰ３成分と呼ばれる成分を利用すると、チャンネルの切り替え、視聴を希望する番組のジャンルの選択、音量の調整などの処理を行うことができる。「Ｐ３成分」とは、事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく標的刺激提示後２５０ｍｓから５００ｍｓの時間帯に出現する陽性成分をいう。

事象関連電位をインタフェースに応用するためには、対象の事象関連電位（たとえばＰ３成分）を高い精度で識別することが重要である。そのために、生体信号を精度良く計測すること、および、計測した生体信号を適切な識別手法によって精度良く識別することが必要となる。

識別率が低下する要因は、二種類に分けられる。一つ目の要因は、脳波インタフェースに用いられる脳波成分（Ｐ３成分等）は信号対雑音比（Ｓ／Ｎ比）が低く、識別手法の精度が低いために、精度の高い識別が実現されていないことにある。この要因に対しては、脳波に混入するノイズの除去方法、精度の高い識別方法がそれぞれ開発されつつある。

たとえば、特許文献１では、バンドパスフィルタを用いて、脳波に含まれるノイズのうち、商用電源ノイズ等の識別対象（事象関連電位）の周波数とは異なる周波数で混入するノイズを除去した後で、識別を行い、識別率を向上させる技術が開示されている。また、特許文献２では、単純な周波数フィルタでは除去がしにくい眼電等の生体由来のノイズを除去する技術として、眼電が含まれた試行は識別対象から除外して識別率を向上させる技術が開示されている。

識別率が低下する二つ目の要因は、たとえば被験者の状態によっては被験者の脳波に識別対象となる脳波成分がそもそも出現していないため、識別ができないことにある。この要因に対しては、従来の実験室条件での実験では、外乱を排除した実験室を用意して課題に集中するよう被験者に教示したり、確認ボタンを押下させる等によって被験者の状態を統制することで、定常的に反応を出現させるという手法がとられてきた。

国際公開第２００５／００１６７７号パンフレット 特開平１０−１４６３２３号公報

エマニュエル・ドンチン（Emanuel Donchin）、他２名、"Ｔｈｅ Ｍｅｎｔａｌ Ｐｒｏｓｔｈｅｓｉｓ：Ａｓｓｅｓｉｎｇ ｔｈｅ Ｓｐｅｅｄ ｏｆ ａ Ｐ３００−Ｂａｓｅｄ Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ"、ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ ＥＮＧＩＮＥＥＲＩＮＧ ２０００、Ｖｏｌ．８、２０００年６月

家庭で通常に用いられる情報機器の操作インタフェースとして脳波を利用する場合には、ユーザが常にメニュー選択の課題に集中しているとは限らない。たとえば、脳波インタフェースの画面が提示されているにもかかわらず、ユーザがそれ以外のことに気を取られてメニューを見ていないという状況が発生し得る。このような状況では、識別対象の脳波成分がそもそも出現しないため、脳波による識別ができないことになる。これはまさに、上述の識別率が低下する二つ目の要因に該当する。

ユーザがメニュー項目を見ていない場合には、ユーザが選択したいと思っているメニュー項目がハイライトされてもＰ３成分は出現しない。しかし、Ｐ３成分に似た波形のノイズが偶然混入した場合にはＰ３成分の誤識別が発生し得る。脳波の識別率が低下することにより、ユーザの意図しないメニュー項目が選択されてしまい、脳波インタフェースを利用した脳波識別が正確に機能しないことになる。このような不適切な認識は、脳波を日常的に計測し、インタフェースに利用するという状況下では頻繁に発生すると想定される。

上述の問題は、実験室条件の実験下では想定されておらず、家庭で通常に用いられる情報機器に脳波インタフェースを採用して初めて認識されたものである。実験室条件の実験で採用されているような、被験者の状態を統制し、定常的に脳波反応を出現させる環境を全ての一般家庭に設けることは脳波インタフェースを気軽に利用することの妨げとなり、不可能である。よって、脳波の識別率を低下させない他の方法が必要となる。

本発明の目的は、脳波を利用したインタフェースを備えたシステムにおいて、ユーザ脳波の周波数からユーザがメニューを見ていたかどうかを判定し、ユーザがメニューを見ていない場合は識別対象から除外することで、誤識別によるユーザの意図しない機器動作を減少させることである。

本発明による装置は、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記出力部を介して前記操作メニューのメニュー項目を特定の切り替え周波数で提示し、予め保持された前記脳波信号に基づいて前記メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部において採用される前記脳波信号の識別方法を調整するための装置であって、前記脳波信号の周波数パワーが極大となる周波数を代表周波数として算出する周波数分析部と、前記メニュー項目の切り替え周波数および前記脳波信号の代表周波数の相対量に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定し、判定した結果に応じて、前記脳波インタフェース部において採用される前記脳波信号の識別方法を調整するための指示を前記脳波インタフェース部に対して出力する決定部とを備えている。

前記決定部は、前記代表周波数が前記メニュー項目の切り替えに関連していると判定した場合には前記脳波インタフェース部に対して前記脳波信号を識別対象として採用するよう指示し、前記代表周波数が前記メニュー項目の切り替えに関連していないと判定した場合には前記脳波インタフェース部に対して前記脳波信号を識別対象から除外するよう指示してもよい。

前記決定部は、前記メニュー項目の切り替え周波数と前記脳波信号の代表周波数との差、または、前記メニュー項目の切り替え周波数と前記脳波信号の代表周波数との比に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定してもよい。

前記周波数分析部は、前記メニュー項目がハイライトされた時刻より所定の秒数前の時刻以降に取得された脳波信号に基づいて、前記代表周波数を算出してもよい。

前記周波数分析部は、前記メニュー項目の切り替え周波数を含む所定の周波数帯域において周波数パワーが最大となる周波数を前記代表周波数として算出してもよい。

前記周波数分析部は、０．５Ｈｚ以上の周波数帯域において周波数パワーが最大となる周波数を前記代表周波数として算出してもよい。

前記決定部は、０．５Ｈｚから９Ｈｚの周波数帯域から選択された前記切り替え周波数および前記脳波信号の代表周波数の相対量に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定してもよい。

前記決定部は、前記メニュー項目の切り替え周波数と前記脳波信号の代表周波数との差が０．２Ｈｚ以上のとき、前記代表周波数は前記メニュー項目の切り替えに関連していないと判定してもよい。

前記決定部が前記脳波インタフェース部に対して前記脳波信号を識別対象から除外するよう指示することにより、前記脳波インタフェース部は前記機器の動作状態を一つ前に戻してもよい。

前記脳波インタフェース部が、複数種類の操作メニューのメニュー項目を、互いに異なる複数種類の切り替え周波数でそれぞれ提示するときにおいて、前記決定部は、前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数の相対量とに基づいて、前記代表周波数が、いずれかの操作メニューのメニュー項目の切り替えに関連しているか否かを判定してもよい。

前記決定部は、互いに整数倍の関係にならないように設定された前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数との相対量に基づいて、前記代表周波数が、いずれかの操作メニューのメニュー項目の切り替えに関連しているか否かを判定してもよい。

前記決定部は、前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数との相対量のうち最も小さい相対量に対応する切り替え周波数を特定し、前記代表周波数が、特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連しているか否かを判定してもよい。

前記決定部は、前記複数種類の切り替え周波数の各々に対応する閾値を保持しており、前記決定部は、前記最も小さい相対量が、特定された前記切り替え周波数に対応する閾値より小さいとき、前記代表周波数が特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連していると判定し、前記最も小さい相対量が、特定された前記切り替え周波数に対応する閾値以上のとき、前記代表周波数が特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連していないと判定してもよい。

前記脳波インタフェース部は、前記メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位にＰ３成分が含まれているか否かを識別するための閾値を保持しており、前記決定部は、前記代表周波数が前記メニュー項目の切り替えに関連していないと判定した場合には、前記閾値の大きさを、事象関連電位のＰ３成分が検出されにくくなる側に変化させてもよい。

本発明による方法は、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記操作メニューのメニュー項目を特定の切り替え周波数で前記出力部を介して提示し、予め保持された前記脳波信号に基づいて前記メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部に前記脳波信号の識別を行わせるか否かを決定するための方法であって、前記脳波信号の周波数パワーが極大となる周波数を代表周波数として算出するステップと、前記メニュー項目の切り替え周波数および前記脳波信号の代表周波数の相対量に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定するステップと、関連していると判定した場合には、前記脳波インタフェース部に対して前記脳波信号を識別対象として採用するよう指示するステップと、関連していないと判定した場合には、前記脳波インタフェース部に対して前記脳波信号を識別対象から除外するよう指示するステップとを包含する。

前記脳波インタフェース部が、複数種類の操作メニューのメニュー項目を、互いに異なる複数種類の切り替え周波数でそれぞれ提示するときにおいて、前記判定するステップは、前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数の相対量とに基づいて、前記代表周波数が、いずれかの操作メニューのメニュー項目の切り替えに関連しているか否かを判定してもよい。

前記判定するステップは、前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数との相対量のうち最も小さい相対量に対応する切り替え周波数を特定し、前記代表周波数が、特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連しているか否かを判定してもよい。

前記複数種類の切り替え周波数の各々に対応する閾値を用意するステップをさらに包含し、前記決定するステップは、前記最も小さい相対量が、特定された前記切り替え周波数に対応する閾値より小さいとき、前記代表周波数が特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連していると判定し、前記最も小さい相対量が、特定された前記切り替え周波数に対応する閾値以上のとき、前記代表周波数が特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連していないと判定してもよい。

本発明による他の装置は、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記出力部を介して前記操作メニューのメニュー項目を特定の切り替え周波数で提示し、予め保持された前記脳波信号に基づいて前記メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部において採用される前記脳波信号の識別方法を調整するための装置であって、前記脳波信号の周波数パワーが極大となる周波数を代表周波数として算出する周波数分析部と、前記メニュー項目の切り替え周波数および前記脳波信号の代表周波数の相対量に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定し、関連していると判定した場合には、前記ユーザが前記メニュー項目を見ていると判断し、関連していないと判定した場合には、前記ユーザが前記メニュー項目を見ていないと判断して、判断結果に応じて前記脳波インタフェース部の前記脳波信号の識別方法を調整する決定部とを備えている。

本発明の識別要否決定装置、方法および識別要否決定装置が組み込まれた脳波インタフェースシステムによれば、ユーザ脳波の周波数パワーが極大の代表周波数（θｅ）とメニュー項目ハイライトの切り替え周波数（θｓ）とが異なっていた場合に、ユーザがメニューを見てないと判定し、識別対象から除外するという方法で識別方法を調整する。これにより、脳波を日常的に計測するインタフェースにおいて問題となる、メニュー項目の見落としによる誤識別がなくなるため、識別率が高く維持できる。よって、脳波の識別ミスによるユーザの意図しない機器動作が減少するため脳波インタフェースの操作性向上を実現できる。

脳波インタフェースシステム１の構成および利用環境を示す図である。 脳波インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したいジャンルの番組を見るときの例を示す図である。 本発明による脳波インタフェースの第１の通常処理手順の例（処理手順Ａ）を示すフローチャートである。 本発明による脳波インタフェースの第２の通常処理手順の例（処理手順Ｂ）を示すフローチャートである。 実験の手順を示す図であり、（ａ）は機器の処理手順を示すフローチャートであり、（ｂ）は被験者の動作手順を示すフローチャートである。 （ａ）は実際に被験者に提示されたメニューおよび選択指示の表示画面を示す図であり、（ｂ）はハイライトされたメニュー項目の表示例を示す図である。 実験結果の一例を示すグラフである。 （ａ）はメニュー項目が３５０ｍｓごとに切り替えてハイライトされているとき（条件Ａ）の脳波の周波数パワーを示す図であり、（ｂ）はステップＳ５１で選択指示刺激が提示されているとき（条件Ｂ）の脳波の周波数パワーを示す図である。 本発明の実施形態１による脳波インタフェースシステム１の機能ブロックの構成を示す図である。 実施形態１による脳波インタフェースシステム１の処理手順を示すフローチャートである。 ユーザ５がメニュー項目を見ていたか否かを判定する処理の詳細な手順を示すフローチャートである。 本発明の実施形態２による脳波インタフェースシステム２の機能ブロックの構成を示す図である。 脳波インタフェースシステム２を利用して、大画面テレビに２種類のメニューを提示している例を示す図である。 実施形態２による脳波インタフェースシステム２の処理手順を示すフローチャートである。 ユーザ５がメニューＡ、メニューＢのどちらを見ていたか、またはどのメニューもみていなかったかを判定する処理の詳細な手順を示すフローチャートである。 実施形態３による脳波インタフェースシステム３の機能ブロックの構成を示す図である。 実施形態３による脳波インタフェースシステム３の処理手順を示すフローチャートである。

以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波インタフェースシステムに組み込まれる識別要否決定装置の実施形態を説明する。

以下では、まず脳波インタフェースシステムを説明し、その後識別要否決定装置の構成および動作を説明する。

図１は、脳波インタフェースシステム１の構成および利用環境を示す。この脳波インタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。

脳波インタフェースシステム１は、ユーザ５の脳波信号を利用してＴＶ２を操作するインタフェースを提供するためのシステムである。ユーザ５の脳波信号はユーザが頭部に装着した生体信号計測部５０によって取得され、無線または有線で脳波インタフェース部１００に送信される。ＴＶ２に内蔵された脳波インタフェース部１００は、脳波の一部を構成する事象関連電位と呼ばれる成分を利用してユーザの意図を認識し、チャンネルの切り替えなどの処理を行う。

図２は、脳波インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したいジャンルの番組を見るときの例を示す。

図２（ａ）は、脳波インタフェース部１００がＴＶ２の画面７ａを介してユーザに提示するメニューの例である。図２（ａ）では、画面７ａ−１から画面７ａ−４において、それぞれ「野球」、「天気予報」、「アニメ」、「ニュース」というメニュー項目が順にまたはランダムにハイライトされる様子を示している。

本明細書においては、図２（ａ）に示す機器操作に関する選択肢群を包括して「メニュー」と定義し、メニューを構成する各選択肢を「メニュー項目」と定義する。また、メニュー項目のハイライトが切り替えられる頻度を、「切り替わり周波数（θｓ）」と定義する。たとえば、ハイライトが１秒間に２回切り替えられる場合には、切り替わり周波数（θｓ）は２Ｈｚである（周期は５００ｍｓである）。以下の説明では、切り替わり周波数（θｓ）は２．８６Ｈｚ、周期は３５０ｍｓであるとして説明する。

メニュー項目をハイライトすることによって、それぞれのメニュー項目がハイライトされた時刻を起点とした事象関連電位が計測可能となる。なお、ハイライトの代わりに、またはハイライトと共に補助的矢印を用いたポインタでメニュー項目を提示してもよい。図２（ａ）には、ハイライトと共にポインタでメニュー項目が提示される例を示している。

図２（ｂ）は、メニュー項目がハイライトされた時刻を起点に計測したユーザの脳波信号の事象関連電位を模式的に示す。今、ユーザは「天気予報」を見たいと考えていたとする。画面７ａ−１から画面７ａ−４までのそれぞれに対応する脳波信号２０１〜２０４のうち、ユーザ５が「天気予報」がハイライトされた画面７ａ−２を見ると、「天気予報」がハイライトされた時刻を起点に潜時約４００−４５０ｍｓに特徴的な陽性の成分（Ｐ３成分）が出現する（非特許文献１）。

脳波インタフェース部１００がこのＰ３成分の出現を識別すると、ユーザが選択したいと考えていたメニュー項目「天気予報」の選択が可能となる。図２（ｃ）では、Ｐ３成分を識別した結果、チャンネルが「天気予報」に切り替えられた後の画面７ａ−５を示している。

図３は、本発明による脳波インタフェースの第１の通常処理手順の例（処理手順Ａ）を示す。

ステップＳ１０１において、脳波インタフェース部１００はたとえば４つのメニュー項目を含んだメニュー（図２（ａ）の左側）と、問いかけの文章（図２（ａ）の右側）を提示する。ステップＳ１０２において、脳波インタフェース部１００はメニュー項目の一つを選択する。ステップＳ１０３において、ステップＳ１０２によって選択されたメニュー項目をハイライトする。

ステップＳ１０４において、脳波インタフェース部１００は、ステップＳ１０３においてメニュー項目がハイライトされた時刻を起点に、たとえば５００ｍｓ分のユーザの事象関連電位を計測する。事象関連電位として切り出す区間は、３００−５００ｍｓに出現するＰ３成分が含まれれば、たとえば８００ｍｓ、１０００ｍｓであってもよい。ここでは、図２（ｂ）に模式的に示す脳波信号の事象関連電位２０１〜２０４が計測される。

ステップＳ１０５において、ステップＳ１０４で計測した事象関連電位にＰ３成分が含まれているか否かを識別する。Ｐ３成分の識別は、単純に波形の最大振幅または波形のある区間の平均電位があらかじめ設定した閾値よりも大きいかどうかを判定してもよいし、特許文献２に記載のようにあらかじめユーザごとに計測したＰ３成分の加算平均波形で作成したテンプレートとの相関係数を算出してもよい。なお、閾値は、ユーザごとに決定してもよい。ステップＳ１０５でＹｅｓの場合、ステップＳ１０６に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。

ステップＳ１０６において、脳波インタフェース部１００はステップＳ１０５によって選択されたメニュー項目に対応する処理を実行する。これにより、そのメニュー項目が選択され、実行されて、図２（ｃ）に示す画面７ａ−５が表示される。たとえば、図２の例で言えば、天気予報が選択され、天気予報の番組が提示されている。

このような脳波インタフェースシステム１によれば、たとえば家事や育児で両手が塞がっている場合にもユーザは手を使わずにＴＶ２等の機器を操作することが可能となる。よって機器の操作性が格段に向上する。

ただし、脳波をインタフェースとして用いる場合、ユーザが常にメニューを見ているとは限らない。たとえば、家事や育児など脳波インタフェースを用いた機器の操作とは別の作業を平行して行っているときには、インタフェースが画面を常に注視することは難しい。また、前述のように、メニュー項目がハイライトされたタイミングにおいて、ユーザがメニューを見ていない場合には、ステップＳ１０３においてＰ３成分は計測されない。そのような状況下で、ステップＳ１０４において取得した事象関連電位にノイズ（たとえば眼電）が混入しＰ３成分に似た波形を示した場合には、ステップＳ１０５においてＰ３成分ありと判定され、ステップＳ１０６においてユーザが意図していないメニュー項目の選択が実行される可能性があるため、より識別精度が高い処理を行うことが好ましい。

異なる識別方法として、たとえばそれぞれのメニュー項目がハイライトされた後の事象関連電位を比較し、最もＰ３成分が出現した可能性の高いものを選択するという処理の手順（処理手順Ｂ）を用いることも可能である。処理手順Ｂを用いた場合には、事象関連電位の比較によってＰ３成分と近いものの選択が可能であるため、多少のノイズが混入しても機器動作が実現できる。

図４は、本発明による脳波インタフェースの第２の通常処理手順の例（処理手順Ｂ）を示す。なお、図３に示す脳波インタフェースの処理手順Ａと同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

ステップＳ１０７において、全ての選択項目が少なくとも一度はハイライトされたかどうかにより分岐する。ステップＳ１０７でＹｅｓの場合、ステップＳ１０８に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。

ステップＳ１０８において、ステップＳ１０４で取得したメニュー項目ごとの事象関連電位にＰ３成分が含まれる可能性を計算し、項目ごとに比較をして一番近いメニュー項目をＰ３成分ありと識別する。項目ごとの事象関連電位にＰ３成分が含まれる可能性は、図３中のステップＳ１０４のように、単純に波形の最大振幅値として最大振幅が最大のものを選んでもよいし、ある区間の平均電位の大きさを求め平均電位が最大のものを選んでもよい。また、テンプレートとの相関係数の値が大きいものを選んでもよい。ステップＳ１０８でＹｅｓの場合、ステップＳ１０６に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。

このように、メニュー項目ごとの事象関連電位を比較し、最もＰ３成分が出現した可能性の高い選択項目を選ぶことで、多少のノイズが混入しても識別が可能な識別方法が実現されるが、処理手順Ｂを用いた場合も同様に、ユーザがメニューを見ていない場合にも、Ｐ３が含まれていそうないずれかのメニュー項目が選択されてしまう。よって、やはり、ユーザの意図しないメニュー項目の選択が実行される可能性があるため、より識別精度が高い処理を行うことが好ましい。

ユーザが意図しないメニュー項目の選択は、いずれもユーザがメニューを見ていたかどうかを機器側が判定できないために発生する。メニューを見ていたか否かの判定が可能であれば、見ていない場合には識別対象から除外するなど識別方法の調整によって、これらの意図しない機器動作をなくすことができる。

本願発明者らは、脳波インタフェースを利用するユーザの脳波の周波数を分析することで、ユーザがメニューを見ているかどうかの判定が可能であることを発見した。これにより、視線検出装置等を新たに加えることなく、ユーザがメニューを見ていなかったことの検出が実現できる。以下、図５から図７を参照しながら本願発明者らが実施した実験および実験結果について説明する。

図５は、実験のフローを示す図である。図５の（ａ）は実験中の機器側のフローとして刺激および事象関連電位計測の手順を示した図で、図５の（ｂ）は実験中に被験者が実施する課題の手順を示した図である。図５の（ａ）および（ｂ）のフローは、並行して行われる。図５の（ａ）に従った機器の動作を受けて、被験者は図５の（ｂ）に従った動作を行う。そして、その結果発生する事象関連電位を図５の（ａ）に従って機器が計測する。

まず、図５の（ａ）について説明する。

ステップＳ５０において、機器は被験者の脳波計測を開始する。

ステップＳ５１において、機器は、４つのメニュー項目と被験者がどのメニュー項目を選択するかの選択指示を提示する。図６（ａ）は、実際に被験者に提示されたメニューおよび選択指示の表示画面を示す。本願発明者らの実験では、図６（ａ）の表示を４秒間提示した。以下、選択指示が出された選択項目を「ターゲット」と呼ぶ。

なお、この提示を受けて被験者が動作を開始する。図５（ａ）のステップＳ５１から図５（ｂ）のステップＳ６１へ向かう矢印は、ステップＳ５１の機器動作に対応する、被験者の動作の開始タイミングを示している。

ステップＳ５２において、機器はメニュー項目をランダムに選択する。

ステップＳ５３において、ステップＳ５２で選択されたメニュー項目を３５０ｍｓ間ハイライトする。すなわち、メニュー項目のハイライトは切り替え周波数θｓ＝２．８６Ｈｚで切り替えられる。図６（ｂ）は、ハイライトされたメニュー項目の表示例を示す。機器は、メニュー項目をハイライトした総回数ｎをカウントし、保持する。

ステップＳ５４において、機器は、ステップＳ５３でメニュー項目がハイライトされた時刻を基準として所定区間の脳波を切り出し、事象関連電位を取得する。本実験では、ハイライト前１００ｍｓからハイライト後１０００ｍｓまでの区間の事象関連電位を切り出した。

ステップＳ５５において、機器は、メニュー項目のハイライト回数ｎが４０回以下か４０回より多いかを判定する。ハイライト回数ｎが４０回以下の場合には機器はステップＳ５２の処理に戻り、メニュー項目のハイライトを繰り返す。一方、ハイライト回数ｎが４０回より多くなると、機器は処理を終了する。

上述の処理により、統計的にメニュー項目ごとに１０回前後ずつハイライトが実行される。なお、この処理回数は、実験的に事象関連電位を繰り返し加算平均して、成分の出現を確認するために必要であるとして設定されたものである。実際に脳波インタフェースシステムとして実装される場合には、必ずしもこのような処理回数を設ける必要はない。

前述のステップＳ５０からステップＳ５５によって、３５０ｍｓごとにハイライトされるメニュー項目が切り替わる条件下で、機器は、各メニュー項目が１０回程度ずつハイライトされたときのハイライトを起点とした被験者の事象関連電位を４０試行取得できる。

次に、図５（ｂ）について説明する。

ステップＳ６１において、被験者は、図５（ａ）のステップＳ５１によって提示されたメニューおよび選択指示を見る。被験者は選択指示を見て、ターゲットを確認する。これは、実際に脳波インタフェースを用いる場合にユーザが実現したいと思う機器動作にあたる。

ステップＳ６２において、被験者はメニューを注視し、図５（ａ）のステップＳ５２からＳ５５によって提示されるメニュー項目ハイライトを見て、選択対象のメニュー項目がハイライトされることを待つ。

ステップＳ６３において、被験者は、ステップＳ６１でターゲットがハイライトされたかどうかを判断する。ターゲットがハイライトされたと判断すると、ステップＳ６４へ進み、ハイライトされていないと判断するとステップＳ６２に戻る。

ステップＳ６４において、被験者は、ターゲットがハイライトされた回数をメンタルカウントするステップである。メンタルカウントとは、心の中で数をカウントすることである。

ステップＳ６５において、被験者は、ハイライトの切り替わりが終了したか否かを判断し、機器によるメニュー項目の切り替わり処理が終了したときは実験を終了し、メニュー項目の切り替わり処理が継続されているときはステップＳ６２からの動作を再開する。

なお、脳波は頭皮上Ｆｚ、Ｃｚ、Ｐｚ（国際１０−２０法）の３部位から耳朶を基準に計測した。また、視覚刺激は被験者の目前１ｍの１９インチＬＣＤディスプレイに提示した。

図７は、実験結果の一例を示すグラフである。このグラフは、電極位置Ｐｚで計測した事象関連電位の加算平均波形を示す。実線の波形ａは、ターゲットが０ｍｓにおいてハイライトされた後に得られた事象関連電位の加算平均波形を示す。一方、点線の波形ｂはターゲット以外の項目がハイライトされた後の事象関連電位の加算平均波形を示す。なおグラフの横軸は時間（単位：ｍｓ）、縦軸は電位（単位：μＶ）である。メニュー項目は、３５０ｍｓごとに切り替えられている。

ターゲットに関連する図７の実線の波形ａに示すように、ターゲットのハイライト後３００から４００ｍｓに陽性成分が出現している。これは、一般的なＰ３成分であり、非特許文献１の結果と一致すると考えられる。

さらに本願発明者らは、図７の実線、点線には共通して周期的な特徴が存在すること、具体的には、両方の波形には約３５０ｍｓ間隔で陰性の極値が現れているという特徴が存在することを見出した。そしてその特徴に着目し、脳波の周波数解析を実施した。

図８（ａ）は、メニュー項目が３５０ｍｓごとに切り替えてハイライトされているとき（条件Ａ）の脳波の周波数パワーを示し、図８（ｂ）は、ステップＳ５１で選択指示刺激が提示されているとき（条件Ｂ）の脳波の周波数パワーを示す。いずれも横軸が周波数（単位：Ｈｚ）、縦軸が周波数パワー（単位：μＶ・μＶ／Ｈｚ）である。

図８（ａ）から明らかなように、条件Ａでは周波数パワーに特徴的なピークが存在することが理解される。このピークに対応する周波数（θｅ）は２．７４Ｈｚであった。上述のように、条件Ａに対応するメニュー項目の切り替え周波数（θｓ）は２．８６Ｈｚであり、脳波の周波数パワーが極大となった周波数とほぼ一致する。一方、図８（ｂ）によれば、条件Ｂでは周波数パワーには特徴的なピークは存在しない。

これらを総合すると、メニュー項目ハイライトの切り替え周波数（θｓ）が脳波の周波数に影響を与えたため、事象関連電位に周期的な変化が発生したと考えられる。したがって、脳波の周波数パワーが極大となる周波数（θｅ）を算出することにより、ユーザがメニューを見ていたか否かを判定可能である。

なお、同じ位置で点滅する視覚刺激を提示すると、ＳＳＶＥＰと呼ばれる成分が視覚刺激の点滅と同期して脳波に現れることが知られている（Ｘｉａｏｒｏｎｇ Ｇａｏ他、Ａ ＢＣＩ−Ｂａｓｅｄ Ｅｎｖｉｒｏｎｍｅｎｔａｌ Ｃｏｎｔｒｏｌｌｅｒ ｆｏｒ ｔｈｅ Ｍｏｔｉｏｎ−Ｄｉｓａｂｌｅｄ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｓｙｓｔｅｍｓ ａｎｄ Ｒｅｈａｂｉｌｉｔａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ、２００３）。

しかしながら、本願発明者らは、本願発明者らの実験によって得られた結果はＳＳＶＥＰとは異なっていると考える。その理由は、今回の実験における視覚刺激はハイライトの切り替えであり、同じ位置で点滅するものではないためである。さらに他の理由としては、今回の実験では被験者は対象のメニュー項目（ターゲット）がハイライトされるのを待っている状態であり、ＳＳＶＥＰの実験のような点滅する刺激を見ているだけの状態とは異なっているためである。すなわち、本願発明者らの実験とＳＳＶＥＰの実験とは設定が異なっている。

続いて、本発明の実施形態にかかる識別要否決定装置を詳細に説明する。識別要否決定装置は、脳波インタフェース使用時のユーザ脳波の周波数パワーが極大となる周波数を、代表周波数（θｅ）として算出する。そして、代表周波数（θｅ）とメニュー項目の切り替え周波数との相対量に基づいて、代表周波数（θｅ）がメニュー項目の切り替えに関連しているか否かを判定する。「相対量に基づいて」とは、たとえば周波数（θｅ）とメニュー項目の切り替え周波数との差、または、周波数（θｅ）とメニュー項目の切り替え周波数との比が、閾値以下か閾値よりも大きいかによって、という意味である。

閾値以下であれば、代表周波数（θｅ）とメニュー項目の切り替え周波数とが関連している、すなわちユーザがメニューを見ていたと判定する。その結果、脳波信号が脳波インタフェースにおける識別対象として採用される。

一方、閾値よりも大きいときは、代表周波数（θｅ）とメニュー項目の切り替え周波数とは関連がなく、ユーザがメニューを見ていなかったと判定する。その結果、脳波信号が脳波インタフェースにおける識別対象から除外される。これにより、ユーザが意図しない機器動作を減らすことが可能となる。

（実施形態１）
図９は、本実施形態による脳波インタフェースシステム１の機能ブロックの構成を示す。脳波インタフェースシステム１は、出力部７と、識別要否決定装置１０と、生体信号計測部５０と、脳波インタフェース（ＩＦ）部１００とを有している。図９はまた、識別要否決定装置１０（以下「決定装置１０」と記述する）の機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。なお、出力部７は、ユーザ５にメニュー等を提示する画面を示す。

ユーザ５は、脳波インタフェース部１００によって出力部７に提示される機器操作に関するメニュー項目がハイライトされるかどうかに注意して見ているだけで操作入力はしないが、脳波インタフェース部１００を介して選択されたメニュー項目に応じて機器が動作するものとする。

決定装置１０は、有線または無線で生体信号計測部５０および脳波インタフェース部１００と接続され、信号の送信および受信を行う。図９においては、生体信号計測部５０および脳波インタフェース部１００は決定装置１０とは別体であるが、これは例である。生体信号計測部５０および脳波インタフェース部の一部または全部を、決定装置１０内に設けてもよい。

生体信号計測部５０は、ユーザ５の生体信号を検出する脳波計であり、生体信号として脳波を計測する。脳波計は図１に示すようなヘッドマウント式脳波計であってもよい。ユーザ５はあらかじめ脳波計を装着しているものとする。

ユーザ５の頭部に装着されたとき、その頭部の所定の位置に接触するよう、生体信号計測部５０には電極が配置されている。電極の配置は、たとえばＰｚ（正中頭頂）、Ａ１（耳朶）およびユーザ５の鼻根部になる。ただし、電極は最低２個あればよく、たとえばＰｚとＡ１のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。

この結果、生体信号計測部５０はユーザ５の事象関連電位を測定することができる。測定されたユーザ５の脳波は、コンピュータで処理できるようにサンプリングされ、脳波インタフェース部１００および決定装置１０に送られる。なお、脳波に混入するノイズの影響を低減するため、生体信号計測部５０においては計測される脳波は、あらかじめたとえば０．０５から２０Ｈｚのバンドパスフィルタ処理がされ、メニュー項目ハイライト前のたとえば１００ｍｓの平均電位でベースライン補正されているものとする。

脳波インタフェース部１００は、機器操作に関するメニュー項目をユーザに提示し、生体信号計測部５０で計測された脳波を切り出して識別する。そして識別結果に応じて機器動作を制御する。脳波インタフェース部１００における基本的な動作は前述の通りである。

脳波インタフェース部１００を利用して制御する機器が、たとえば図１に示すＴＶ２であるとすると、メニューは出力部７を介してユーザ５に提示される。図２（ａ）に示したようにメニュー項目は、所定の切り替え周期でθｓ（たとえば２．８６Ｈｚ）に一つずつハイライトされる。θｓは２Ｈｚ、３Ｈｚ、５Ｈｚであってもよい。

脳波インタフェース部１００は、識別実行フラグ１０１を保持している。

識別実行フラグ１０１は、生体信号計測部５０で計測されたユーザ５の脳波に含まれる事象関連電位の特徴を識別するか否かを決定するために参照される。たとえば、識別実行フラグ１０１が「１」のときは、脳波インタフェース部１００は得られている事象関連電位を識別対象として採用する。一方、識別実行フラグ１０１が「０」のときは、脳波インタフェース部１００は得られている事象関連電位を識別対象から除外する。識別実行フラグ１０１は後述する方法によって決定装置１０からの指示によって設定される。なお、「０」および「１」の各値に対応する動作は例であり、他の例を採用してもよい。

識別実行フラグ１０１が「１」に設定されているとき、脳波インタフェース部１００は、メニュー項目がハイライトされた時刻を起点に、生体信号計測部５０で計測されたユーザ５の脳波をたとえばＰ３成分のピーク潜時よりも長い５００ｍｓ分を切り出し、波形を識別する。脳波を切り出す時間は波形のピークからの戻りの部分も考慮して１０００ｍｓ分であってもよい。事象関連電位を識別する方法は、単純に波形を閾値処理してもよいし、特許文献２に記載のようにあらかじめユーザごとに計測したＰ３成分の加算平均波形で作成したテンプレートとの相関係数を算出してもよい。

次に、本実施形態による決定装置１０の詳細な構成を説明する。本発明の主要な特徴のひとつは、決定装置１０の構成および動作にある。

決定装置１０は、代表周波数分析部１１と、決定部１２とを有している。

代表周波数分析部１１は、周波数パワーが特徴的なピークをもつ周波数（代表周波数（θｅ））を算出し、決定部１２に送る。以下、代表周波数（θｅ）の算出方法を具体的に説明する。

まず、代表周波数分析部１１は、生体信号計測部５０で計測されたユーザ５の脳波の周波数パワーを、たとえば高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；ＦＦＴ）によって算出する。代表周波数分析部１１は、脳波インタフェース部１００がメニュー項目をハイライトするタイミングを基準として、たとえば前後１秒程度の脳波を切り出して周波数パワーを算出してもよい。なお、脳波を切り出す時間窓の長さは、ハイライトの切り替え周波数に応じて変えてもよい。周波数解析の精度を向上させるために、２回以上のハイライトが発生するように時間窓の長さを設定してもよい。

次に、代表周波数分析部１１は、算出した周波数パワーのうち、周波数パワーの極大値から代表周波数（θｅ）を求める。

周波数パワーの極大値を求める範囲は、たとえば直流成分とアルファー波等の自発脳波の影響の少ない範囲（１Ｈｚ〜８Ｈｚの周波数帯域、またはより広い０．５Ｈｚ〜９Ｈｚの周波数帯域）とすればよい。または、脳波インタフェース部１００からメニュー項目ハイライトの切り替え周波数を取得し、その周波数の周辺の周波数パワーから求めてもよい。図８（ａ）には、メニュー項目ハイライトの切り替え周波数の周辺±０．２Ｈｚの周波数帯域Ａと、０．５Ｈｚ〜９Ｈｚの周波数帯域Ｂとが示されている。

周波数パワーの極大値として、たとえば上記範囲のすべての極大値の中で最大となるものを選択すればよい。さらに、周波数パワーに閾値（たとえば周波数パワーが４０００（μＶ・μＶ／Ｈｚ））を設け、その閾値以上であることを条件として課してもよい。代表周波数分析部１１は、特徴的なピークを周波数パワーの極大値として特定することができため、その極大値に対応する周波数を代表周波数（θｅ）として採用することができる。

なお、周波数パワーの極大値が０．５Ｈｚ〜９Ｈｚの周波数帯域から決定されるということは、メニュー項目ハイライトの切り替え周波数（θｓ）が０．５Ｈｚ〜９Ｈｚから選択され得ること、すなわち切り替え周波数（θｓ）が可変であることを意味する。０．５Ｈｚは切り替えが非常に遅く、一方９Ｈｚは切り替えが非常に早い。ユーザ５の性別、年齢、習熟度などによっては、メニュー項目ハイライトの切り替えが遅くなければ実用的な利用ができない場合もあるし、早くしても十分対応できる場合がある。そこで、メニュー項目ハイライトの切り替え周波数（θｓ）を０．５Ｈｚ〜９Ｈｚの周波数帯域から選択可能とし、同時に周波数パワーの極大値もまた、０．５Ｈｚ〜９Ｈｚの周波数帯域から決定することとした。

なお、脳波ＩＦ部１００がメニュー項目のハイライトを２回程度行えば、メニュー項目ハイライトの周期が確定するため、周波数パワーの極大値に有意な差が現れる。

決定部１２は、代表周波数分析部１１から受け取った代表周波数（θｅ）と、脳波インタフェース部１００から受け取ったメニュー項目切り替え周波数（θｓ）との相対量（差または比）を算出し、両者が互いに関連しているか否かを判定する。互いに関連しているか否かの判定は、サンプリング周波数、周波数分析の時間窓によって決定される周波数分析精度に基づき、たとえばθｓとθｅとの差は０．２Ｈｚ以内か否か、または、θｓとθｅとの比は０．９３以上１．０７以下の範囲内か否か、によって決定すればよい。以下では差を利用して判定するとして説明する。なお、閾値は固定値ではなく可変であってもよい。

両者が互いに関連していると判断した場合には、決定部１２は何も実行しない。一方、両者が互いに関連していないと判断した場合には、決定部１２は、脳波インタフェース部１００における脳波識別方法を調整する。ユーザ５はメニューを見ていないと判断できるためである。

脳波識別方法の調整とは、たとえば脳波インタフェース部１００が保持する識別実行フラグ１０１を、識別対象から除外することを示す値「０」に設定するよう指示することをいう。なお、上述の説明では、両者が互いに関連していると判断した場合には決定部１２は何も実行しないとして説明したが、たとえば、識別実行フラグ１０１を「１」に設定するよう指示し、識別対象として採用させてもよい。

このように構成することで、ユーザ５がメニュー項目のハイライトを見ていたかどうかを、脳波の周波数（θｅ）を指標に判定できるため、ユーザ５がメニューを見ていない場合の試行を識別対象から除外するという識別方法の調整が可能となる。これにより、ユーザ５が意図しない機器動作を減少し、ユーザ５にとって使いやすい脳波インタフェースが実現できる。

次に、図１０のフローチャートを参照しながら、図９の脳波インタフェースシステム１において行われる全体的な処理手順を説明する。

図１０は、本実施形態による脳波インタフェースシステム１の処理手順を示す。この脳波インタフェースシステム１には、ユーザ５がメニューを見ているかどうかの判定を行い、メニューを見ていない場合を識別対象から除外するという機能が設けられている。

なお、図１０に示すステップＳ１０１からステップＳ１０６は、図３に示す脳波インタフェースの処理手順と同じである。よって、以下ではそれらの説明は省略する。

図３の脳波インタフェースの処理手順との差異は、ユーザ５がメニュー項目のハイライトを見ていたかどうかを判定するステップＳ２０を設けたことにある。

ステップＳ２０において、決定装置１０は、生体信号計測部５０で計測したユーザ５の脳波の周波数からユーザ５がメニュー項目のハイライトを見ていたか否かを判定する。具体的な処理は、図１１を参照しながら後述する。

決定装置１０によってユーザ５がメニューを見ていたと判定されると（ステップＳ２０でＹｅｓ）、処理はステップＳ１０５に進む。ステップＳ１０５において、脳波ＩＦ部１００は、ステップＳ１０４で計測された事象関連電位にＰ３成分が出現しているかどうかの識別を実施する。

一方、決定装置１０によってユーザ５がメニューを見ていなかったと判定されると（ステップＳ２０でＮｏ）、脳波ＩＦ部１００は事象関連電位の識別処理は行わずに、ステップＳ１０２の処理に戻る。そして、脳波ＩＦ部１００は次のメニュー項目ハイライトに向けてハイライトする項目を選択する。

次に、図１１を参照しながら、ステップＳ２０の詳細な処理を説明する。

図１１は、ユーザ５がメニュー項目を見ていたか否かを判定する処理の詳細な手順を示す。この処理は、決定装置１０を構成する代表周波数分析部１１と決定部１２によって行われる。

ステップＳ２１において、代表周波数分析部１１は生体信号計測部５０で計測されたユーザ５の脳波を切り出す。脳波を切り出すタイミングは、たとえば脳波インタフェース部１００がメニューを提示した時刻としてもよいし、たとえば１秒ごとのように代表周波数分析部１１で独自に決定してもよい。また、脳波を切り出す区間は、たとえば１秒分であってもよいし、２秒分、３秒分、５秒分であってもよい。

ステップＳ２２において、代表周波数分析部はステップＳ２１で切り出したユーザ５の脳波の周波数パワーを高速フーリエ変換ＦＦＴによって計算する。

ステップＳ２３において、代表周波数分析部１１はステップＳ２２で計算した周波数パワーが極大となる周波数を代表周波数（θｅ）として算出し、決定部１２に送る。

ステップＳ２４において、決定部１２は脳波インタフェース部１００からメニュー項目ハイライトの切り替え周波数（θｓ）を受け取り、θｅとθｓとの差分を算出する。

ステップＳ２５において、決定部１２はθｓとθｅとの差を計算し、その差が閾値よりも小さいか否かを判定する。差が閾値より小さい場合はステップＳ２６に進み、閾値以上の場合はステップＳ２７に進む。

ステップＳ２６において、決定部１２はユーザ５がメニューを見ていたと判定し、脳波ＩＦ部１００に対して何も行わない。または、決定部１２は、脳波ＩＦ部１００が保持する識別実行フラグ１０１を「１」に設定するよう脳波ＩＦ部１００に指示してもよい。

一方、ステップＳ２７おいて、決定部１２はユーザ５がメニューを見ていないと判定し、脳波ＩＦ部１００に対して識別実行フラグ１０１を「０」に設定するよう指示する。

このような処理によって、識別率を低下させる原因となるユーザがメニューを見ていないときの識別処理の実行を除外でき、ユーザの意図しない機器動作の減少が実現できる。

なお、本実施形態ではユーザがメニューを見ていないときは、その脳波信号を識別対象から除外した。しかし、ユーザがメニューを見ていない場合に、動作状態を１つまたはそれ以上前に戻すよう機器を動作させることも可能である。その場合には、ユーザがメニューから視線を外しただけでユーザの意図しない機器動作をキャンセルできるため、脳波インタフェースの操作性が格段に向上する。また、「戻る」というメニュー項目を設定する必要がなくなり、それに代えて他のメニュー項目を設定できる。さらに他には、ユーザがメニュー項目を見ていない場合に映像または音声でアラートを提示するなど、メニューを見ていないことを検出可能とすることによって様々な機器動作が可能となる。

本実施形態の脳波インタフェースシステム１に決定装置１０を設けることにより、脳波インタフェースを利用するユーザ５の脳波の周波数からユーザ５がメニュー項目のハイライトを見ていたかどうかが判定できる。これによって、メニューを見ていない場合には識別対象から除外するという識別方法の調整が可能となり、ユーザの意図しない機器動作の減少が実現できるため、使いやすいインタフェースを実現できる。

（実施形態２）
実施形態１による脳波インタフェースシステム１では、脳波インタフェース部１００が提示する一種類のメニュー（メニュー項目は複数）に対して、脳波インタフェースシステム使用時のユーザ脳波の周波数の特徴から、ユーザがメニュー項目を見ているかどうかを判定し、メニュー項目を見ていない場合には識別対象から除外することで、ユーザの意図しない機器動作の減少を実現していた。

上述の脳波インタフェースでは、メニュー項目をランダムにハイライトするため選択したいメニュー項目がハイライトされるまでの時間はメニュー項目の数に比例して増える。そのため、操作性を考慮すると提示するメニュー項目の数を制限せざるを得なかった。

そこで、たとえば近年普及が進んでいる大画面テレビのような、映像表示可能領域が大きい表示装置を利用することが可能な状況では、複数のメニューを異なる位置に同時に提示することにより、多くのメニュー項目から短時間でのメニュー項目の選択が可能となる。

複数のメニューを１画面上に同時に提示すると、それぞれのメニューでメニュー項目がハイライトされるため、結果として同じ時刻に複数のメニュー項目がハイライトされることになる。よって、まずユーザがどのメニューを見ているかを特定した上で、ユーザが意図する機器動作を一意に決定する必要がある。

本実施形態による脳波インタフェースシステムでは、複数のメニューの各々に対してメニュー項目のハイライトの切り替え周波数を独立して設定し、それぞれの複数のメニュー項目のハイライトを切り替える。そして、ユーザ脳波の周波数の特徴に基づいて、ユーザがどちらのメニューを見ているかの判定を行う。これにより、複数のメニューが同時に提示され、同じ時刻に複数のメニュー項目がハイライトされる状況においても、ユーザがどのメニューを見ているかを特定できる。そして、事象関連電位に基づいて、特定されたメニューに対してユーザがどのメニュー項目の実行を希望しているかを判断できる。これにより、精度の高い識別を実現できる。

図１２は、本実施形態による脳波インタフェースシステム２の機能ブロックの構成を示す。図１２はまた、識別要否決定装置２０の機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。

さらに、図１３には本実施形態による脳波インタフェースシステム２がどのように利用されるかを示している。すなわち、図１３は、脳波インタフェースシステム２を利用して、大画面テレビに２種類のメニューを提示している例を示す。

理解の容易のために、まず図１３に示す表示例を説明する。図１３には、ＴＶ操作に関するメニューＡが提示され、ＴＶ以外の機器の操作に関するメニューＢが提示されている。そして、メニューＡでは「チャンネル選択」がハイライトされ、メニューＢでは「照明」がハイライトされている。本例では、ハイライトの切り替えは、メニューＡに関しては３Ｈｚで行われ、メニューＢに関しては５Ｈｚで行われる。ユーザがメニューＡを見ている状況では、相対的に３Ｈｚに近い代表周波数（θｅ）が観測され、ユーザがメニューＢを見ている状況では、相対的に５Ｈｚに近い代表周波数（θｅ）が観測されることになる。なお、ユーザがいずれのメニューも見ていない場合には、代表周波数（θｅ）は観測されない。上述のように脳波インタフェースを用いて複数のメニューを提示することにより、複数の機器を簡易にかつ確実に操作できるようになる。

脳波インタフェースシステム２が実施形態１による脳波インタフェースシステム１（図９）と相違する点は、実施形態１の脳波インタフェース部１００に代えて複数メニュー提示脳波インタフェース部２００を備えたこと、および、識別要否決定装置２０（以下「決定装置２０」と記述する。）の構成のうち決定部１２を識別対象決定部２１に変更したことにある。なお、脳波インタフェースシステム２の構成要素のうち、脳波インタフェースシステム１（図９）と同じ構成要素については同じ参照符号を付しその説明を省略する。

複数メニュー提示脳波インタフェース部２００（以下「脳波ＩＦ部２００」と記述する。）は、脳波インタフェース部１００の機能を拡張して、複数のメニューを同時に提示し、かつ、各メニューのメニュー項目から機能の実行を可能にしている。

脳波ＩＦ部２００は、出力部７を介して複数メニューをユーザ５に提示する。たとえば脳波ＩＦ部２００は、あるメニューには特定の機器の詳細な機能に関するメニュー項目を表示し、その他のメニューには制御可能な複数の機器に関するメニュー項目を表示する。そして、各メニューのメニュー項目ハイライトの切り替え周波数（θｓ）を異なる値に設定してハイライトを切り替えている。

図１３に示す例では、メニューＡ、メニューＢのハイライト周波数をそれぞれθｓａ、θｓｂと記述すると、θｓａを３Ｈｚ、θｓｂを５Ｈｚとして設定している。メニュー項目ハイライトの周波数（θｓ）は、ユーザ５がハイライトを認知できる範囲であればよい。また、倍数周波数成分の影響を考慮すると、θｓａとθｓｂは整数倍にならないように設定することが好ましい。また、メニュー項目のハイライトのタイミングは重ならないように設定してもよい。

また、脳波ＩＦ部２００は、識別実行フラグ群２０１を保持している。識別実行フラグ群２０１は、複数の識別実行フラグの集合である。本実施形態においては、識別実行フラグはメニューに対応して設けられているとする。たとえば、識別実行フラグ群２０１の第１ビットはメニューＡに対応し、第２ビットはメニューＢに対応する。脳波ＩＦ部２００は、いずれかのフラグ値に「１」が設定されているときには、得られている事象関連電位を識別対象として採用する。そして、その事象関連電位に基づいて、フラグ値「１」に対応するメニューのどのメニュー項目に示された操作を実行するかを判定し、その項目に対応する動作を実行する。識別実行フラグ群２０１は、次に説明する識別対象決定部２１によって更新される。

識別対象決定部２１（以下「決定部２１」と記述する）は、脳波ＩＦ部２００から受け取った切り替え周波数（θｓａ、θｓｂ）と、代表周波数分析部１１から受け取ったユーザ５の脳波周波数パワーが極大となる代表周波数（θｅ）との比較を行い、ユーザ５がどちらのメニューを見ているかを判定する。

判定は、実施形態１による決定部１２と同様に、代表周波数（θｅ）と、各メニュー項目切り替え周波数（θｓａ、θｓｂ）との相対量（差または比）を算出して、その相対量に基づいて行えばよい。たとえば、相対量として差を利用する例を挙げると、代表周波数（θｅ）と切り替え周波数（θｓａ、θｓｂ）の各々との差を比較し、小さいほうのメニューを見ていたとすればよい。あるいは、閾値を０．２Ｈｚとして、代表周波数（θｅ）と切り替え周波数（θｓａ、θｓｂ）の各々との差が閾値以下であったメニューを見ていたとし、それ以外はどちらのメニューも見ていなかったと判定してもよい。

決定部２１は、判定結果に応じて、脳波ＩＦ部２００に設けられた識別実行フラグ群２０１のうち、ユーザ５が見ていたメニューに対応する識別実行フラグの値を「１」に設定するよう脳波ＩＦ部２００に指示する。ユーザ５がどちらのメニューも見ていなかった場合には、決定部２１は脳波ＩＦ部２００に対して何の指示もしないか、または、識別実行フラグ群２０１のすべてのフラグ値を「０」に設定するよう指示する。これにより、確実に識別対象から除外することが可能となり、誤認識を低減できる。

決定部２１の判定結果を受けて、脳波ＩＦ部２００は対応するメニューのメニュー項目ハイライトに関連した事象関連電位の識別を行い、Ｐ３成分ありと判定した場合には、対応するメニュー項目の機器動作を実行する。

このようにメニューを同時に複数提示し、それぞれ異なる周波数でメニュー項目をハイライトした場合、ユーザがどちらのメニューを見ていたのかが判定可能となる。それにより、ユーザが見ていたメニューのメニュー項目の中に限定した識別が可能となり、識別の精度が向上し、結果として多くのメニュー項目から短時間でのメニュー項目の選択が可能となる。

次に、図１４のフローチャートを参照しながら、脳波インタフェースシステム２において行われる全体的な処理の手順を説明する。

図１４は、本実施形態による脳波インタフェースシステム２の処理手順を示す。図１４では、複数メニューの例として、図１３に示すようなメニューＡ、メニューＢの二種類のメニューを提示する場合の処理手順を示している。また、メニューＡ、メニューＢはそれぞれ数個のメニュー項目で構成されているとする。たとえば図１３に示す表示例を参照されたい。脳波インタフェースシステム１（図１０）の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

ステップＳ２０１において、脳波ＩＦ部２００はメニューＡをユーザ５に提示する。

ステップＳ２０２において、脳波ＩＦ部２００はメニューＢをユーザ５に提示する。なお、ステップＳ２０１とステップＳ２０２は同時であってもよいし、それぞれ別の時刻であってもよいとする。

ステップＳ２０３において、脳波ＩＦ部２００はメニューＡまたはメニューＢからハイライトするメニュー項目を選択する。どちらのメニューからメニュー項目を選択するかは、それぞれのメニュー項目ハイライトの周波数によって決定された順序に基づく。

ステップＳ２０４において、脳波ＩＦ部２００はステップＳ２０３で選択したメニュー項目をハイライトする。メニュー項目をハイライトするタイミングは、それぞれのメニュー項目ハイライトの周波数によって決定される。

ステップＳ３０において、決定装置２０はユーザ５がどちらのメニューを見ていたのか、またはどちらのメニューも見ていなかったのかを判定し、分岐する。ステップＳ３０の処理の詳細については、後述する。

ステップＳ２０５において、脳波ＩＦ部２００はステップＳ１０４で計測したメニューＡのメニュー項目ハイライトを起点とした事象関連電位にＰ３成分が含まれているか否かを識別する。Ｐ３成分の識別は、単純に波形を閾値処理してもよいし、特許文献２に記載のようにあらかじめユーザごとに計測したＰ３成分の加算平均波形で作成したテンプレートとの相関係数を算出してもよい。ステップＳ２０５でＹｅｓの場合、ステップＳ２０７に進み、Ｎｏの場合はステップＳ２０３に戻り次のメニュー項目を選択する。

ステップＳ２０６において、脳波ＩＦ部２００はステップＳ１０４で計測したメニューＢのメニュー項目ハイライトを起点とした事象関連電位にＰ３成分が含まれているか否かを識別する。Ｐ３成分の識別は、ステップＳ２０５と同様である。ステップＳ２０６でＹｅｓの場合、ステップＳ２０８に進み、Ｎｏの場合はステップＳ２０３に戻り次のメニュー項目を選択する。

ステップＳ２０７において、脳波ＩＦ部２００はステップＳ２０５によって選択されたメニューＡのメニュー項目に対応する処理を実行する。これにより、そのメニュー項目が選択され、実行される。

ステップＳ２０８において、脳波ＩＦ部２００はステップＳ２０６によって選択されたメニューＢのメニュー項目に対応する処理を実行する。これにより、そのメニュー項目が選択され、実行される。

次に、図１５を参照しながらステップＳ２０の詳細な処理を説明する。

図１５は、ユーザ５がメニューＡ、メニューＢのどちらを見ていたか、またはどのメニューもみていなかったかを判定する処理の詳細な手順を示す。この処理は、決定装置２０を構成する代表周波数分析部１１と決定部２１によって行われる。図１５の処理では、代表周波数（θｅ）とハイライト切り替え周波数（θｓａ、θｓｂ）の各々との相対量として、差を利用する例を挙げて説明する。なお、図１１に示す処理と同じ処理に関するステップには同一の参照符号を付し、その説明は省略する。

ステップＳ３１において、決定部２１は、脳波ＩＦ部２００から受け取った、メニューＡのハイライト切り替え周波数（θｓａ）およびメニューＢのハイライト切り替え周波数（θｓｂ）と、ステップＳ２３において、代表周波数分析部１１から受け取ったユーザ５の脳波の周波数パワー極大の代表周波数（θｅ）との比較を行い、差分ΔａおよびΔｂを計算する。

ステップＳ３２において、決定部２１は、ステップＳ３１で計算したΔａとΔｂの大きさを判定する。Δａの方が小さい場合（ステップＳ３２でＹｅｓ）には処理はステップＳ３３へ進み、Δｂの方が小さい場合（ステップＳ３２でＮｏ）には処理はステップＳ３４へ進む。なお、メニューＡ、メニューＢのどちらかを見ているかの二状態を判定する場合にはΔａ、Δｂを比較し小さいほうのメニューを見ていたと判定すればよいため、以下のＳ３３からＳ３７の処理は不要である。

ステップＳ３３において、決定部２１はΔａが閾値よりも小さいか否かに応じて分岐する。差分が閾値以下の場合には処理はステップＳ３５に進み、閾値以上の場合には処理はステップＳ３６に進む。閾値は、たとえば０．１Ｈｚとしてもよいし、０．２Ｈｚ、０．３Ｈｚとしてもよい。

ステップＳ３３において、決定部２１はΔｂが閾値よりも小さいかどうかを判定し、分岐する。差分が閾値以下の場合はＹｅｓとしてステップＳ３７へ、閾値以上の場合はＮｏとしてＳ３６にそれぞれ進む。閾値はステップＳ３３のように決定してもよい。

ステップＳ３５、ステップＳ３７において、決定部２１はそれぞれメニューＡを見ていると判定し、メニューＢを見ていると判定し、ステップＳ３６において、どちらのメニューも見ていないと判定する。

このような処理によって、ハイライトの切り替え周波数がそれぞれ独立な複数のメニュー項目を同時に提示し、ユーザ脳波の周波数からユーザがどちらのメニューを見ているかの判定を行う。これによって、たとえば複数の機器を操作する場合など、複数のメニュー項目が同時に提示される状況においても精度の高い識別を実現できる。

本実施形態の脳波インタフェースシステム２に決定装置２０を設けることにより、脳波インタフェースを利用するユーザ５の脳波の周波数からユーザ５がどのメニューを見ていたかどうかを判定できる。これによって、複数のメニュー項目が同時に提示される状況においてもメニューごとに識別方法の調整が可能となり、多くのメニュー項目から短時間でのメニュー項目の選択が可能となり、使いやすい脳波インタフェースが実現できる。

上述の実施形態においては、決定部１２、２１は、識別実行フラグを利用して脳波インタフェース部１００、２００を間接的に制御している。しかし、識別実行フラグを利用せず、フラグ値「０」および「１」に対応する動作を行うよう、決定部１２、２１が脳波インタフェース部１００、２００に直接指示してもよい。

（実施形態３）
実施形態１による脳波インタフェースシステム１では、識別方法調整装置１０において脳波インタフェースシステム使用時の所定の時間窓におけるユーザの脳波の周波数から、ユーザがメニュー項目を見ていたか否かを判定し、メニュー項目を見ていない場合には識別対象から除外することで、ユーザの意図しない機器動作の減少を実現していた。

しかし、特に時間窓の長さが十分でない場合、代表周波数は背景脳波や眼電・筋電ノイズの影響を受けやすく、たとえばユーザがハイライトを見ていても見ていないと誤判定してしまう可能性がある。実施形態１では代表周波数を絶対的な指標として用いて、識別の要否を「１」か「０」かで決定するため誤判定の場合には正しい識別ができなかった。

そこで、本実施形態による脳波インタフェースシステムでは、代表周波数によりハイライト後のＰ３成分の識別用パラメータを調整する。これにより、ハイライトを見ていたか否かを誤判定した場合でもハイライト後のＰ３成分によりユーザの選択意図が検出できる可能性が復活し、より精度の高い識別が実現できる。

図１６は、本実施形態による脳波インタフェースシステム３の機能ブロックの構成を示す。図１６はまた、識別方法調整装置３０の機能ブロックも示している。ユーザ５のブロックは説明のために示されている。

脳波インタフェースシステム３が実施形態１による脳波インタフェースシステム１（図９）と相違する点は、実施形態１の脳波インタフェース部１００に代えて、Ｐ３識別用パラメータ３０１に基づきＰ３成分の識別パラメータが可変な脳波インタフェース部３００を設けたこと、および、実施形態１の識別要否決定装置１０に代えて、代表周波数に基づきＰ３成分の識別パラメータを決定する識別方法調整部３１を構成要素に持つ識別方法調整装置３０を備えたことにある。なお、脳波インタフェースシステム３の構成要素のうち、脳波インタフェースシステム１（図９）と同じ構成要素については同じ参照符号を付しその説明を省略する。

脳波インタフェース部３００（以下「脳波ＩＦ部３００」と記述する。）は、脳波インタフェース部１００の機能を拡張したもので内部にＰ３識別用パラメータ３０１を持ち、Ｐ３識別用パラメータ３０１に基づいて識別方法を調整してハイライト後のＰ３成分を識別する。

Ｐ３識別用パラメータ３０１は、ハイライト後のＰ３成分を識別する際に利用するパラメータ（閾値）である。前述のように（たとえば図３中のステップＳ１０５）、Ｐ３成分の識別方法は種々あるが、識別パラメータは識別方法に合わせて、たとえば区間平均電位や相関係数に関する閾値としてもよい。

識別方法調整部３１は、脳波ＩＦ部３００から受け取った切り替え周波数（θｓ）と、代表周波数分析部１１から受け取ったユーザ５の脳波周波数パワーが極大となる代表周波数（θｅ）との相対量（差または比）を算出し、両者が互いに関連しているか否かを判定する。判定方法は図９中の決定部１２と同様である。θｓとθｅが互いに関連していると判断した場合には、識別方法調整部３１は何も実行しない。一方両者が互いに関連していないと判断した場合には、識別方法調整部３１は、脳波インタフェース部３００における識別方法を調整する。

ここで「識別方法を調整する」とは、脳波ＩＦ部３００が保持するＰ３識別用パラメータ３０１（閾値）をＰ３成分が検出されにくくなる側に変えることをいう。例えば、脳波ＩＦ部３００において区間平均電位を用いて識別を行う場合には、閾値をプラス方向に変化させる。また、相関係数を用いて識別を行う場合には、閾値を１に近づける方向に変化させる。

変化させるための方法として、たとえば脳波ＩＦ部３００内に保持されているＰ３識別用パラメータ３０１を外部から直接書き換えてもよいし、脳波ＩＦ部３００に対してＰ３識別用パラメータ３０１の変更を指示してもよい。

なお、ここではθｓとθｅの関連性を「関連性がある」または「関連性がない」の二状態で判断したが、二状態に限らずθｓとθｅの一致度に応じて閾値を連続的に、または段階的に変化させても良い。

このように代表周波数によってＰ３成分識別のパラメータを調整することで、ハイライトを見ていたか否かを誤判定した場合でもハイライト後のＰ３成分によりユーザの選択意図が検出できる可能性が復活し、より精度の高い識別が実現できる。

上述の説明から理解されるように、識別方法調整部３１は、実施形態１および２において説明した「決定部１２」（図９）および「識別対象メニュー決定部２１」（図１２）の動作と同様、識別を行うか否かをまず決定している。よって識別方法調整部３１は、「決定部１２」（図９）および「識別対象メニュー決定部２１」のような決定部としての機能を有しつつ、さらに付加的な機能を有しているといえる。

次に、図１７のフローチャートを参照しながら、脳波インタフェースシステム３において行われる全体的な処理の手順を説明する。

図１７は、本実施形態による脳波インタフェースシステム２の処理手順を示す。図１７において、脳波インタフェースシステム１（図１０）の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

ステップＳ３０１において、識別方法調整部３１は脳波ＩＦ部３００におけるＰ３識別用パラメータ３０１をＰ３成分が検出されにくくなるように調整する。

ステップＳ３０２において、脳波ＩＦ部３００はＰ３識別用パラメータ３０１を参照してＰ３成分検出の閾値を取得し、取得した閾値に基づいてステップＳ１０４で計測された事象関連電位にＰ３成分が出現しているかどうかの識別を実施する。

このような処理によって、ハイライトを見ていたか否かを誤判定した場合でもハイライト後のＰ３成分によりユーザの選択意図の検出が可能となる。なお、図１７では代表周波数を用いてユーザがハイライトを見ていたか否かを二状態で判定したが、二状態に限らずθｓとθｅの一致度に応じて閾値を連続的に、または段階的に変化させてもよい。

本実施形態の脳波インタフェースシステム３に識別方法調整装置３０を設けることにより、代表周波数に基づいてＰ３成分識別のパラメータの調整が可能となり、代表周波数とＰ３成分を用いた識別が実現できる。代表周波数とＰ３成分はどちらもノイズの影響を受ける可能性があるが、両方を用いることでノイズの影響に強い識別が可能となり、結果としてユーザの意図しない機器動作の減少が実現できる。

本発明の識別要否決定装置および識別要否決定装置が組み込まれた脳波インタフェースシステムによれば、視線検出装置等を加えることなく、脳波インタフェースを操作しているユーザの脳波の周波数によって、ユーザがメニューを見ていないことが検出可能になる。これによって、ユーザがメニューを見ていない場合を識別対象から除外することでユーザが意図しない機器動作の減少が実現できる。このような識別要否決定装置の機能は、たとえばコンピュータプログラムによって実現することも可能である。コンピュータプログラムはコンピュータに読み込まれて実行されることにより、上述の機能を発揮できるためシステムの大幅な改変をすることなく、かつ、容易に実装できる。

１、２、３ 脳波インタフェースシステム
５ ユーザ
７ 出力部
７ａ 画面
１０ 識別要否決定装置
１１ 代表周波数分析部
１２ 決定部
２１ 識別対象決定部
３１ 識別方法調整部
５０ 生体信号計測部
１００ 脳波インタフェース部
２００ 複数メニュー提示脳波インタフェース部
３００ 識別パラメータ可変脳波インタフェース部
３０１ Ｐ３識別用パラメータ

Claims (19)

1. 機器の操作メニューを視覚的に提示する出力部と、
   ユーザの脳波信号を取得する生体信号計測部と、
   前記出力部を介して前記操作メニューのメニュー項目を特定の切り替え周波数で提示し、予め保持された前記脳波信号に基づいて前記メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部と
   を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部において採用される前記脳波信号の識別方法を調整するための装置であって、
   前記脳波信号の周波数パワーが極大となる周波数を代表周波数として算出する周波数分析部と、
   前記メニュー項目の切り替え周波数および前記脳波信号の代表周波数の相対量に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定し、判定した結果に応じて、前記脳波インタフェース部において採用される前記脳波信号の識別方法を調整するための指示を前記脳波インタフェース部に対して出力する決定部と
   を備えた、識別方法を調整するための装置。
2. 前記決定部は、
   前記代表周波数が前記メニュー項目の切り替えに関連していると判定した場合には前記脳波インタフェース部に対して前記脳波信号を識別対象として採用するよう指示し、
   前記代表周波数が前記メニュー項目の切り替えに関連していないと判定した場合には前記脳波インタフェース部に対して前記脳波信号を識別対象から除外するよう指示する、請求項１に記載の装置。
3. 前記決定部は、前記メニュー項目の切り替え周波数と前記脳波信号の代表周波数との差、または、前記メニュー項目の切り替え周波数と前記脳波信号の代表周波数との比に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定する、請求項１に記載の装置。
4. 前記周波数分析部は、前記メニュー項目がハイライトされた時刻より所定の秒数前の時刻以降に取得された脳波信号に基づいて、前記代表周波数を算出する、請求項１に記載の装置。
5. 前記周波数分析部は、前記メニュー項目の切り替え周波数を含む所定の周波数帯域において周波数パワーが最大となる周波数を前記代表周波数として算出する、請求項１に記載の装置。
6. 前記周波数分析部は、０．５Ｈｚ以上の周波数帯域において周波数パワーが最大となる周波数を前記代表周波数として算出する、請求項１に記載の装置。
7. 前記決定部は、０．５Ｈｚから９Ｈｚの周波数帯域から選択された前記切り替え周波数および前記脳波信号の代表周波数の相対量に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定する、請求項６に記載の装置。
8. 前記決定部は、前記メニュー項目の切り替え周波数と前記脳波信号の代表周波数との差が０．２Ｈｚ以上のとき、前記代表周波数は前記メニュー項目の切り替えに関連していないと判定する、請求項７に記載の装置。
9. 前記決定部が前記脳波インタフェース部に対して前記脳波信号を識別対象から除外するよう指示することにより、前記脳波インタフェース部は前記機器の動作状態を一つ前に戻す、請求項１に記載の装置。
10. 前記脳波インタフェース部が、複数種類の操作メニューのメニュー項目を、互いに異なる複数種類の切り替え周波数でそれぞれ提示するときにおいて、
    前記決定部は、前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数の相対量とに基づいて、前記代表周波数が、いずれかの操作メニューのメニュー項目の切り替えに関連しているか否かを判定する、請求項１に記載の装置。
11. 前記決定部は、互いに整数倍の関係にならないように設定された前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数との相対量に基づいて、前記代表周波数が、いずれかの操作メニューのメニュー項目の切り替えに関連しているか否かを判定する、請求項１０に記載の装置。
12. 前記決定部は、前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数との相対量のうち最も小さい相対量に対応する切り替え周波数を特定し、前記代表周波数が、特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連しているか否かを判定する、請求項１０に記載の装置。
13. 前記決定部は、前記複数種類の切り替え周波数の各々に対応する閾値を保持しており、
    前記決定部は、前記最も小さい相対量が、特定された前記切り替え周波数に対応する閾値より小さいとき、前記代表周波数が特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連していると判定し、前記最も小さい相対量が、特定された前記切り替え周波数に対応する閾値以上のとき、前記代表周波数が特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連していないと判定する、請求項１２に記載の装置。
14. 前記脳波インタフェース部は、前記メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位にＰ３成分が含まれているか否かを識別するための閾値を保持しており、
    前記決定部は、前記代表周波数が前記メニュー項目の切り替えに関連していないと判定した場合には、前記閾値の大きさを、事象関連電位のＰ３成分が検出されにくくなる側に変化させる、請求項１に記載の装置。
15. 機器の操作メニューを視覚的に提示する出力部と、
    ユーザの脳波信号を取得する生体信号計測部と、
    前記操作メニューのメニュー項目を特定の切り替え周波数で前記出力部を介して提示し、予め保持された前記脳波信号に基づいて前記メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部と
    を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部に前記脳波信号の識別を行わせるか否かを決定するための方法であって、
    前記脳波信号の周波数パワーが極大となる周波数を代表周波数として算出するステップと、
    前記メニュー項目の切り替え周波数および前記脳波信号の代表周波数の相対量に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定するステップと、
    関連していると判定した場合には、前記脳波インタフェース部に対して前記脳波信号を識別対象として採用するよう指示するステップと、
    関連していないと判定した場合には、前記脳波インタフェース部に対して前記脳波信号を識別対象から除外するよう指示するステップと
    を包含する、識別要否決定方法。
16. 前記脳波インタフェース部が、複数種類の操作メニューのメニュー項目を、互いに異なる複数種類の切り替え周波数でそれぞれ提示するときにおいて、
    前記判定するステップは、前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数の相対量とに基づいて、前記代表周波数が、いずれかの操作メニューのメニュー項目の切り替えに関連しているか否かを判定する、請求項１５に記載の識別要否決定方法。
17. 前記判定するステップは、前記複数種類の切り替え周波数の各々と前記脳波信号の代表周波数との相対量のうち最も小さい相対量に対応する切り替え周波数を特定し、前記代表周波数が、特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連しているか否かを判定する、請求項１６に記載の識別要否決定方法。
18. 前記複数種類の切り替え周波数の各々に対応する閾値を用意するステップをさらに包含し、
    前記決定するステップは、前記最も小さい相対量が、特定された前記切り替え周波数に対応する閾値より小さいとき、前記代表周波数が特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連していると判定し、前記最も小さい相対量が、特定された前記切り替え周波数に対応する閾値以上のとき、前記代表周波数が特定された前記切り替え周波数で提示されるメニュー項目の切り替えに関連していないと判定する、請求項１７に記載の識別要否決定方法。
19. 機器の操作メニューを視覚的に提示する出力部と、
    ユーザの脳波信号を取得する生体信号計測部と、
    前記出力部を介して前記操作メニューのメニュー項目を特定の切り替え周波数で提示し、予め保持された前記脳波信号に基づいて前記メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部と
    を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部において採用される前記脳波信号の識別方法を調整するための装置であって、
    前記脳波信号の周波数パワーが極大となる周波数を代表周波数として算出する周波数分析部と、
    前記メニュー項目の切り替え周波数および前記脳波信号の代表周波数の相対量に基づいて、前記代表周波数が前記メニュー項目の切り替えに関連しているか否かを判定し、関連していると判定した場合には、前記ユーザが前記メニュー項目を見ていると判断し、関連していないと判定した場合には、前記ユーザが前記メニュー項目を見ていないと判断して、判断結果に応じて前記脳波インタフェース部の前記脳波信号の識別方法を調整する決定部と
    を備えた、識別方法を調整するための装置。

Images