JP4861538B2 - 脳波計測装置、電気的ノイズの推定方法、および、電気的ノイズの推定方法を実行するコンピュータプログラム - Google Patents

Description

本発明は、脳波測定において、音響信号による影響を低減する技術に関する。

近年、機器の小型軽量化により、ステレオヘッドホン音楽プレーヤーやヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；以下「ＨＭＤ」とも記述する。）等のウェアラブル（ｗｅａｒａｂｌｅ）機器が普及してきている。

通常、機器を操作するためのインタフェースとして、「ボタンを押す」、「カーソルを移動させて決定する」、「画面を見ながらマウスを移動させる」などの、入力デバイスを用いた物理的な入力操作が利用されてきた。しかしながら、ＨＭＤのような、小型の本体を有し、かつハンズフリーを特徴とする機器を操作しようとする場合に上記のような物理的な入力操作が必要とされると、ハンズフリーの特徴を損なうため有効ではない。さらに、補聴器のような非常に小さい機器を操作する場合には、操作ボタンやダイアルが非常に小さくなり、頻繁な操作には不都合である。

そこで、ユーザが思っただけで手軽に操作できる脳波を利用したインタフェースであれば、物理的な操作を行わずに済むため便利である。さらに、ユーザの脳波等を利用してそのユーザの状態（たとえば感情）を観測し、観測されたその状態に合わせて機器のモード等を自動制御できればさらに便利である。

ここで、「脳波」とは、たとえばヒトの頭部に設置された基準極の電位と計測対象極の電位との差により計測される、脳神経細胞の電気的活動（脳活動）をいう。脳波は脳活動を示すことが知られている。

近年、脳波を利用する技術の開発が進められている。特許文献１は、脳波を利用したインタフェースを開示する。特許文献１では、脳波の事象関連電位と呼ばれる特徴的な信号を用いて、ユーザが選択したいと思っている選択肢を判別する技術が開示されている。また、特許文献２では、脳波により感情状態の判別と数値化を行う技術が開示されている。

従来は、電極を国際１０−２０法の場所表記にしたがって装着して脳波が計測されてきた。たとえば計測対象極は頭頂部に装着されていた。特許文献１では国際１０−２０法におけるＰｚ、Ｃｚの位置で脳波計測が行われている。また、特許文献２ではＰｚ周辺の後頭部を中心とする位置で脳波計測が行われている。なお、特許文献２で利用されている、帯域が８〜１３Ｈｚの脳波であるα波は比較的大きな振幅で記録されることが知られている。

しかしながら、ウェアラブル機器（たとえばＨＭＤ、音楽プレーヤーおよび補聴器。以下同じ）が身体に接触する部分以外の頭頂部や後頭部に、脳波計測のための電極を装着することは、着脱時にユーザに負担（手間）がかかり、また、頭皮への常時装着に起因する不快感等を伴う。

このため、脳波計測のための電極を従来のウェアラブルな機器に通常必要とされる形状が占める範囲内に収め、ウェアラブル機器を装着すると同時に電極の設置も完了できるようにしてユーザの負担を軽減することが必要とされている。

図１は特許文献３による脳波計測用電極１０００が設けられたヘッドホン１００１の例を示す。特許文献３ではヘッドホン１００１の支持バンド部に脳波計測用電極１０００が付けられており、ヘッドホン１００１の装着と共に脳波計測用の電極が頭皮に接触する形状が提案されている。

頭皮上で観測される脳波の電位は１０μＶ〜１００μＶ程度であり、非常に微弱である。そのため、脳波は周辺の機器が発生する電気的ノイズの影響を受けやすい。特許文献３のように、音声信号発生装置（電気音響変換器）の近傍に電極を配置すると、電気音響変換器からの電気的ノイズが観測された脳波に重畳される。また特許文献４は、予め推定した雑音スペクトルの形状を用いて、脳波の４〜３０Ｈｚ帯域の雑音を除去することが開示されている。

しかしながら、これまで可聴範囲の周波数帯域はノイズ源にならないとされていた。その理由は、利用される脳波の周波数帯域は、可聴範囲と重ならないと考えられていたためである。映像音響機器から出力される音響信号の周波数帯域は、人の可聴範囲の周波数帯域すなわち２０Ｈｚから２００００Ｈｚの全部または一部である。そして、音響信号を出力する電気音響変換器が原因となる電気的ノイズの周波数帯域は、音響信号の周波数の下限（約２０Ｈｚ）を超える。一方、利用される脳波の周波数帯域は、たとえば１０Ｈｚ以下の事象関連電位、４Ｈｚ〜８Ｈｚのθ波、８Ｈｚ〜１３Ｈｚのα波を含んでいる。すなわち、音響信号の周波数帯域と、脳波の周波数帯域は、互いに異なっている。なお、脳波に含まれる、１３Ｈｚ以上のβ波についても測定時にはカットオフ周波数が１００Ｈｚ程度の低域通過フィルタを使用することが多い。したがって、可聴範囲の音響信号に起因する電気的ノイズの多くは、脳波計測においては大きな問題とならないと考えられていた。

特開２００５−３４６２０号公報 特開平７−２０４１６８号公報 特開２００１−１８７０３４号公報 特開平９−１３１３３１号公報

本願発明者らは実験を行うことにより、脳波計測の電極に近接する電気音響変換器の影響によって音響信号に含まれる低周波の電気的ノイズが脳波に重畳されることを初めて見出した。

本発明は上記課題に鑑みてなされたものであり、その目的は、電気的ノイズの影響のない脳波を得て、脳波インタフェースあるいは脳波によるユーザのモニタリングに提供することである。

本発明のある実施形態にかかる脳波計測装置は、複数の電極を用いて、使用者の脳波を計測する脳波計測部と、前記使用者が前記脳波計測部を装着したときにおいて、前記複数の電極のうち少なくとも１つの電極の近傍に配置され、前記使用者に音響信号を提示する電気音響変換器と、前記電気音響変換器から提示された音響信号の振幅包絡を抽出する振幅包絡抽出部と、前記振幅包絡抽出部で抽出された振幅包絡の周波数分析を行う周波数分析部と、あらかじめ用意された変換規則と抽出された前記振幅包絡の周波数分析結果とを用いて、前記少なくとも１つの電極に混入した電気的ノイズを推定するノイズ推定部とを備えている。

前記変換規則は、周波数と変換係数との対応を規定しており、前記ノイズ推定部は、前記振幅包絡の瞬時周波数および前記変換規則を利用して前記瞬時周波数に対応する変換係数を求め、求められた変換係数を前記振幅包絡に乗じることにより、前記電気的ノイズを推定してもよい。

前記ノイズ推定部は、周波数が高くなるに従って変換係数がより小さくなる変換規則を用いて前記電気的ノイズを推定してもよい。

前記ノイズ推定部は、周波数が２０Ｈｚから３０Ｈｚの間で０に収束する変換規則を用いて前記電気的ノイズを推定してもよい。

前記脳波計測装置は、推定された前記電気的ノイズを、前記脳波から除去する除去部をさらに備えていてもよい。

本発明によるある実施形態にかかる脳波計測装置によれば、複数の電極を用いて、使用者の脳波を計測する脳波計測部と、前記使用者が前記脳波計測部を装着したときにおいて、前記複数の電極のうち少なくとも１つの電極の近傍に配置され、前記使用者に音響信号を提示する電気音響変換器と、前記電気音響変換器から提示された音響信号の振幅包絡を抽出する振幅包絡抽出部と、前記振幅包絡抽出部で抽出された振幅包絡の周波数分析を行う周波数分析部と、あらかじめ用意された変換関数を用いて、抽出された前記振幅包絡の周波数分析結果からノイズ推定値への変換係数を求め、前記変換係数に基づいて、前記振幅包絡の影響により前記少なくとも１つの電極の入力信号に電気的に混入したノイズを推定するノイズ推定部とを備えている。

前記脳波計測装置は、推定された前記電気的ノイズを、前記脳波から除去する除去部をさらに備えていてもよい。

本発明によるある実施形態にかかる脳波計測装置によれば、複数の電極を用いて、使用者の脳波を計測する脳波計測部と、前記使用者が前記脳波計測部を装着したときにおいて、前記複数の電極のうち少なくとも１つの電極の近傍に配置され、前記使用者に音響信号を提示する電気音響変換器とを備え、予め用意された判別基準にしたがって、計測された前記脳波から前記使用者の意図を判別する脳波計測装置であって、前記電気音響変換器から提示される音響信号の振幅包絡を抽出する振幅包絡抽出部と、前記振幅包絡抽出部で抽出された振幅包絡の周波数を分析する周波数分析部と、あらかじめ用意された変換関数を用いて、前記振幅包絡の周波数分析結果からノイズ推定値への変換係数を求め、前記変換係数に基づいて、前記振幅包絡の影響により前記電極の入力信号に電気的に混入したノイズを推定するノイズ推定部と、推定された前記ノイズに応じて前記判別基準を変化させる判別基準設定部とを備えている。

本発明による脳波計測装置は、複数の電極を用いて、使用者の脳波を計測する脳波計測部と、前記使用者が前記脳波計測部を装着したときにおいて、前記複数の電極のうち少なくとも１つの電極の近傍に配置され、前記使用者に音響信号を提示する電気音響変換器とを備え、予め用意された判別基準にしたがって、計測された前記脳波から前記使用者の意図を判別する脳波計測装置であって、前記電気音響変換器から提示された音響信号の振幅包絡を抽出する振幅包絡抽出部と、前記振幅包絡抽出部で抽出された振幅包絡の周波数分析を行う周波数分析部と、あらかじめ用意された変換関数を用いて、抽出された前記振幅包絡の周波数分析結果からノイズ推定値への変換係数を求め、前記変換係数に基づいて、前記振幅包絡の影響により前記電極の入力信号に電気的に混入したノイズを推定するノイズ推定部と、推定された前記ノイズに応じて前記判別基準を変化させる判別基準設定部とを備えている。

前記変換関数は、周波数が高くなるに従って前記変換係数が減衰し、かつ出力された前記音響信号に含まれる成分の周波数が２０Ｈｚから３０Ｈｚの間で０に収束するような変換係数を与える関数であってもよい。

前記変換関数は、予め設定された複数の帯域の各々に変換係数が対応付けられて構成されていてもよい。

前記振幅包絡抽出部は、ウェーブレット変換により、前記音響信号を時間周波数分解して前記音響信号の振幅包絡を抽出してもよい。

前記振幅包絡抽出部は、フーリエ変換により、前記音響信号を時間周波数分解して前記音響信号の振幅包絡を抽出してもよい。

前記振幅包絡抽出部は、前記音響信号を時間周波数分解することによって得られた成分のうち２０Ｈｚから３０Ｈｚの間であらかじめ定められた上限周波数以下の周波数の成分を前記音響信号の振幅包絡として抽出してもよい。

前記振幅包絡抽出部は、予め定められた脳波の周波数を含む周波数帯域で、かつ、予め定められた時間帯に関してウェーブレット変換を行うことにより、前記音響信号から時間周波数領域の周波数成分を求め、かつ、求めた前記時間周波数領域の周波数成分をウェーブレット逆変換することにより、前記音響信号の振幅包絡を抽出して出力してもよい。

前記ノイズ推定部は、前記変換関数を用いて、前記音響信号に含まれる周波数成分に対応する変換係数を求めてもよい。

前記脳波計測装置は、前記変換関数を記憶する記憶部をさらに備えていてもよい。

前記判別基準は、計測された前記脳波と複数種類の基準脳波データとの類似度に応じて、前記使用者の意図を判別するために利用される基準であって、前記類似度の閾値または複数の閾値の組み合わせによって構成されていてもよい。

前記少なくとも１つの電極および前記電気音響変換器は、一体的に構成されていてもよい。

本発明による電気的ノイズの推定方法は、複数の電極を用いて、使用者の脳波を計測するステップと、前記使用者が前記脳波計測部を装着したときにおいて、前記複数の電極のうち少なくとも１つの電極の近傍に配置された電気音響変換器を用いて、前記使用者に音響信号を提示するステップと、前記電気音響変換器から提示された音響信号の振幅包絡を抽出するステップと、前記振幅包絡の周波数分析を行うステップと、あらかじめ用意された変換規則と抽出された前記振幅包絡の周波数分析結果とを用いて、前記少なくとも１つの電極に混入した電気的ノイズを推定するステップとを包含する。

本発明によるコンピュータプログラムは、脳波計測装置に実装されるコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、複数の電極を用いて計測された使用者の脳波のデータを受け取るステップと、前記使用者が前記脳波計測部を装着したときにおいて、前記複数の電極のうち少なくとも１つの電極の近傍に配置された電気音響変換器を用いて、前記使用者に音響信号を提示するステップと、前記電気音響変換器から提示された音響信号の振幅包絡を抽出するステップと、前記振幅包絡の周波数分析を行うステップと、あらかじめ用意された変換規則と抽出された前記振幅包絡の周波数分析結果とを用いて、前記少なくとも１つの電極に混入した電気的ノイズを推定するステップとを実行させる。

本発明の脳波計測装置によれば、脳波計測の電極に近接あるいは接触する電気音響変換器由来の低周波の電気的ノイズに影響されることなく、脳波計測装置を動作させることが可能となる。

特許文献３による脳波電極付きヘッドホンの例を示す図である。 （ａ）は、頭皮上の電極上方１ｃｍの位置に骨導ヘッドホンを保持し、５Ｈｚの十分に大きな正弦波の音響信号を出力した際に記録された脳波の電位波形のグラフ（脳波波形）を示す図であり、（ｂ）は（ａ）の波形の周波数スペクトルを示す図であり、（ｃ）は骨導ヘッドホンを脳波計電極より遠ざけ、電極と骨導ヘッドホンとの距離を充分に離した場合の、（ａ）と同一の電極で記録された脳波の周波数スペクトルを示す図である。 （ａ）は録音音声の波形を示す図であり、（ｂ）はピンクノイズの振幅を５Ｈｚの正弦波で変動させた信号の時間波形とその振幅の包絡線を示す図である。 （ａ）は近接する電気音響変換器から、ピンクノイズの振幅を５Ｈｚで変動させた信号（図３（ｂ））を出力した際に電極で記録された脳波の電位波形のグラフ（脳波波形）を示す図である。（ｂ）は図４（ａ）の波形の周波数スペクトルを示す図である。（ｃ）はピンクノイズの振幅を９Ｈｚで変動させた信号を出力した際に記録された電位の周波数スペクトルを示す図である。（ｄ）はピンクノイズの振幅を１７Ｈｚで変動させた信号を出力した際に記録された電位の周波数スペクトルである。（ｅ）は骨導ヘッドホンを脳波計電極より遠ざけ、電極と骨導ヘッドホンとの距離を充分に離した場合の、図４（ａ）と同一の電極で記録された脳波の周波数スペクトルを示す図である。 補聴器のように電気音響変換器が耳穴付近に位置するときの、電気的ノイズが影響すると考えられる範囲１を模式的に示す図である。 メガネ形状のヘッドマウントディスプレイＨＭＤ６の構成を示す図である。 耳掛型の補聴器の装用例を示す図である。 本願発明の概要を示す図である。 実施形態１による脳波計測装置５１の構成図である。 振幅包絡抽出部１４０の詳細な構成を示す図である。 ノイズ推定部１５０の詳細な構成を示す図である。 ノイズ減算部１８０の詳細な構成を示す図である。 脳波判定部１９０の詳細な構成を示す図である。 脳波計測装置５１の処理手順を示すフローチャートである。 図１４に示すステップＳ５００１の振幅包絡の抽出方法の詳細を示すフローチャートである。 変換関数の一例を示す図である。 振幅包絡の抽出方法を説明するための各種波形図である。 図１４に示すステップＳ５００３の振幅包絡の抽出方法の詳細を示すフローチャートである。 （ａ）は低周波ノイズが重畳したα波を含む脳波の時間波形を模式的に示す図であり、（ｂ）は（ａ）において脳波重畳されている低周波ノイズの波形を示す図であり、（ｃ）は（ａ）および（ｂ）の波形から得られた波形を示す図である。 実施形態２による脳波計測装置５２の構成図である。 振幅包絡抽出部２４０の詳細な構成を示す図である。 脳波特徴抽出部２７０の詳細な構成を示す図である。 判別部２９０の詳細な構成を示す図である。 実施形態２の脳波計測装置５２の処理の手順を示すフローチャートである。 （ａ）〜（ｄ）は、脳波インタフェースを用いてメニューを選択する際のメニューリストの画面表示例を示す図である。 図２４のステップＳ１０００の詳細を示すフローチャートである。 実施形態２の第１の変形例にかかる、脳波計測装置５７の構成図である。 実施形態２の第２の変形例にかかる、脳波計測装置５３の構成図である。 帯域成分分析部３４０の詳細な構成を示す図である。 ノイズ推定部３５０の詳細な構成を示す図である。 脳波計測装置５３における、図２４のステップＳ１０００の処理手順を示すフローチャートである。 信号ノイズ変換係数テーブル３５２の一例を示す図である。 実施形態３による脳波計測装置５４の構成図である。 判別基準設定部４８０の詳細を示す図である。 判別部４９０の詳細を示す図である。 実施形態３による脳波計測装置５４の処理手順を示すフローチャートである。 脳波計測装置５４における、ステップＳ３０００の処理手順を示すフローチャートである。 出力波形の帯域成分により判別基準を設定した場合の一例を模式的に示す図である。 判別基準変更テーブル４８２の一例を示す図である。 実施形態３の変形例にかかる、脳波計測装置５５の構成図である。 判別基準設定部５８０の詳細な構成を示す図である。 判別部５９０の詳細な構成を示す図である。 実施形態３の変形例による脳波計測装置５４の処理手順を示すフローチャートである。 脳波計測装置５５における、ステップＳ４０００の処理手順を示すフローチャートである。 線形判別基準設定部５８１によって参照される判別基準変更テーブル５８２の一例である。 実施形態４による脳波計測装置５６の構成図である。 脳波判定部６９０の詳細な構成を示す図である。 実施形態４による脳波計測装置５６の処理手順を示すフローチャートである。 ノイズの振幅と判定基準との対照テーブルの一例を示す図である。

本願発明者らは、脳波計測の電極に近接する電気音響変換器の影響により、低周波の電気的ノイズが脳波に重畳される現象を発見した。以下ではまず、その現象を確認した実験を詳細に説明する。その後、本発明の実施形態を説明する。

図２（ａ）は、頭皮上の電極上方１ｃｍの位置に骨導ヘッドホンを保持し、５Ｈｚの十分に大きな正弦波の音響信号を出力した際に記録された脳波の電位波形のグラフ（脳波波形）を示す。脳波波形は左側頭部に装着した脳波計電極で記録された。縦軸は脳波の電位を示し、横軸は時間を示している。電位の単位はマイクロボルトであり、時間の単位はミリ秒である。なお、周波数を５Ｈｚにした理由は、８Ｈｚ〜１３Ｈｚとされているα波よりも低くするためである。図２（ａ）中に両側矢印で示した１秒間の区間に、逆三角のマークで示した電位のピークが５回現れる。ピークは等間隔であり、１秒間に５回の周期的な電位の変動があることが理解される。この脳波波形によれば、５Ｈｚの信号が脳波に重畳されていることがわかる。

図２（ｂ）は、図２（ａ）の波形の周波数スペクトルを示す。縦軸は相対的なエネルギーを示し、横軸は周波数を示している。周波数の単位はヘルツ（Ｈｚ）である。周波数スペクトルには、図２（ａ）に見られた５Ｈｚ以外に、１０Ｈｚ、１５Ｈｚ、２０Ｈｚ等の５の倍数の周波数の成分が含まれている。

本願発明者らが計測したところによると、これらの成分は骨導ヘッドホンを近づけた電極とは異なる、右側頭部に装着した電極で記録された脳波電位でも観察されている。つまり、ノイズは頭部全体に広がっているといえる。

図２（ｃ）は骨導ヘッドホンを脳波計電極より遠ざけ、電極と骨導ヘッドホンとの距離を充分に離した場合の、図２（ａ）と同一の電極で記録された脳波の周波数スペクトルを示す。６０Ｈｚの交流雑音が見られる以外は、図２（ｂ）に見られた５の倍数のノイズ成分は見られず、１０Ｈｚ以下の低域に脳波の成分が見られる。

ウェアラブル機器の電気音響変換器を通して、音楽や音声を聴取する際に、図２の脳波を得たときのような大きな低周波信号が出力されることはまれである。可聴範囲の下限周波数を下回る低周波信号は、多くの場合、より周波数の高い可聴範囲内の音響信号の振幅変動として現れる。音楽のリズムや音声の母音と子音の反復のパタンなどがそれである。

図３（ａ）は成人男性話者が日本語で「スーパー“行列”で特売してますよ。」と発声したときの録音音声の波形を示している。

音声のうち母音は声帯の振動を喉と口腔および鼻腔とで共鳴させた音である。母音発声時には、口から放出されるエネルギーすなわち音圧が大きく、波形として表示すると振幅が大きい。

一方、子音は喉や舌、歯、唇といった構音器官によって、呼気の流れを狭めたり一時的に止めたりすることで起こる乱流に伴う雑音を主成分とする。乱流の雑音のエネルギーは声帯振動エネルギーよりも小さい。言語音は子音と母音の組み合わせによって発声されており、図３（ａ）のように周期的な振幅の変動のある信号になっている。

ウェアラブル機器の電気音響変換器が出力する音響信号の多くは可聴範囲内の音響信号であるが、その音響信号の振幅は、可聴範囲を下回る低周波で変動する。そこで本願発明者らは、音響信号の振幅変動として含まれる低周波成分が電気的ノイズを発生させる可能性を確認するために実験を行った。

振幅変動の影響のみを確認するため、実際の音声ではなく、低周波の振幅変動を加えたピンクノイズを用いた。ピンクノイズはパワースペクトル密度が周波数に反比例するという特性を持つノイズであり、高い周波数ほどパワーが減衰する周波数特性を持つ。楽器音や音声は周波数が高くなるに連れてパワーが減衰する周波数特性を持っているため、ピンクノイズは簡易に音楽や音声あるいは環境雑音の周波数特性を模擬する際に用いられる。

図３（ｂ）はピンクノイズの振幅を５Ｈｚの正弦波で変動させた信号の時間波形とその振幅の包絡線である。実線が時間波形であり、点線が包絡線である。包絡線（envelope）は、波形の振幅値（極大値）を時間軸に沿って結ぶことによって得られる。

図３（ｂ）の破線に示すように、５Ｈｚの正弦波は音響信号の振幅変動の様子を示す包絡線として時間波形に現れている。本願発明者らは図３（ｂ）に示したような音響信号を用いて、低周波の電気的ノイズが脳波計測の電極に重畳されるか否かの実験を行った。

本願発明者らは、頭皮上の電極上方１ｃｍの位置に骨導ヘッドホンを保持し、図３（ｂ）のような音響信号を出力した。この実験は、図２に結果を示した低周波（５Ｈｚ）の正弦波を用いた実験と同様である。

音響信号は、音として聴取できない程度のレベルの信号とした。これにより、脳波が信号の振幅変動に同期して変動することを防いだ。

図４（ａ）は、近接する電気音響変換器から、ピンクノイズの振幅を５Ｈｚで変動させた信号（図３（ｂ））を出力した際に電極で記録された脳波の電位波形のグラフ（脳波波形）を示す。図２（ａ）と同様に縦軸は脳波の電位を示し、横軸は時間を示している。電位の単位はマイクロボルトであり、時間の単位はミリ秒である。

図４（ｂ）は、図４（ａ）の波形の周波数スペクトルを示す。また図４（ｅ）は、骨導ヘッドホンを脳波計電極より遠ざけ、電極と骨導ヘッドホンとの距離を充分に離した場合の、図４（ａ）と同一の電極で記録された脳波の周波数スペクトルを示す。図２（ｂ）、（ｃ）と同様に、図４（ｂ）および（ｅ）の縦軸は相対的なエネルギーを示し、横軸は周波数を示している。周波数の単位はヘルツ（Ｈｚ）である。

図４（ａ）の波形では５Ｈｚの成分は判別できないが、図４（ｂ）の周波数スペクトルでは５Ｈｚにわずかながらピークが見られる。一方、このピークは図４（ｅ）には見られない。よって図４（ｂ）の５Ｈｚ付近のピークは、振幅包絡に同期したノイズが重畳したものであるといえる。

この実験においては、脳波が音響信号の振幅包絡に同期して変動することを避けるために、可聴範囲を下回る低レベルの音響信号を用いた。しかしながら、それにもかかわらず、脳波計測の電極に電気的ノイズが混入した。

図４（ｃ）は、ピンクノイズの振幅を９Ｈｚで変動させた信号を出力した際に記録された電位の周波数スペクトルである。また、図４（ｄ）はピンクノイズの振幅を１７Ｈｚで変動させた信号を出力した際に記録された電位の周波数スペクトルである。図４（ｃ）では９Ｈｚ近辺、図４（ｄ）では１７Ｈｚ近辺に、わずかながらピークが確認される。これらのピークは、図４（ｅ）には見られない。

なお、９Ｈｚで振幅を変動させた場合も、１７Ｈｚで振幅を変動させた場合も、図４（ａ）と同様、波形からは低周波信号を判別できなかった。そのため、図４ではそれらの波形図の例示は省略している。

図５は、補聴器のように電気音響変換器が耳穴付近に位置するときの、電気的ノイズが影響すると考えられる範囲１を模式的に示す。図５の斜線部で示される範囲１に、電気音響変換器による電気的ノイズが混入すると考えられる。範囲１は、たとえば電気音響変換器の周辺数ｃｍである。聴取可能なレベルの音響信号を用いる際には、さらに大きな電気的ノイズが混入し、かつより広い範囲に電気的ノイズが混入する。たとえば、音響信号が可聴域を下回る場合であっても、電気音響変換器を中心として２ｃｍ程度までは音響信号にノイズの影響が現れる。音響信号が可聴域を上回る場合、たとえば健聴者が喧しくない程度に聞き取ることが可能な音響信号が出力される場合には、電気音響変換器を中心として５ｃｍ程度までは音響信号にノイズの影響が現れる。

この実験により、これまで脳波計測においては可聴範囲の音響信号を出力する際の電気音響変換器が、脳波で利用される周波数帯域でのノイズ源となることが確認された。上述のように、これまで、電気音響変換器はノイズ源として問題視されていなかった。

ユーザがＨＭＤや音楽プレーヤーで視聴するコンテンツや、補聴器で聴取する日常の生活音の多くは振幅変動を持つ。聴取の中心となる会話等の音声は、図４（ｂ）の例に示すように音韻ごとの音圧変化がある。日本語の例ではテレビのニュース番組におけるアナウンサの発声は毎秒７モーラ（モーラは日本語における音韻の単位）程度の速度で変化する。すなわち音韻による音圧変化は７Ｈｚ前後である。これは、ヘッドホン等から出力される音声には７Ｈｚ前後の低周波ノイズが混入していることを意味する。

ウェアラブル機器はユーザの頭部あるいは耳へ装着される。たとえばＨＭＤはゴーグルあるいはメガネの形状を基本として頭部に装着される。メガネ形状のＨＭＤを例にすると、当該ＨＭＤが接触するユーザの身体の部位は、例えば図６に示すＨＭＤ６においては、ノーズパッド部６ａが接触する鼻根部と、フレームのテンプル部６ｂが接触する側頭部と、先セル部６ｃが接触する耳の周辺６ｄとに限られる。

音楽プレーヤーについては、耳穴へ装着する形状あるいは耳介（ａｕｒｉｃｌｅ）を挟みこむクリップ型等のヘッドホンのように、機器と接触する身体の部位は耳周辺に限局される。耳穴型の補聴器７は耳穴に装着される。図７は、耳掛型の補聴器７を示す。耳掛型の補聴器７は図７のように耳介に掛けて装用される。耳穴型、耳掛型とも機器は耳およびその周辺位置７ａでのみ身体と接触する。したがって、そのような接触位置に電極が配置される。そのため、このような機器に脳波計測の電極を収めようとすると、耳穴や耳介に配置されるヘッドホン等の電気音響変換器７ｂに近接して脳波計測の電極が配置されることになる。図７によれば、電極が設置される位置７ａとノイズ原である電気音響変換器７ｂとの距離７ｃがノイズの影響を受ける程度に短いことが理解される。

頭皮上で観測される脳波の電位は１０μＶ〜１００μＶ程度であり、周辺に位置する電子機器が発生する交流ノイズ、又はユーザの動作による筋電や瞬目による眼電等のノイズが脳波に重畳されると、正確な脳波計測が困難となる。よって、脳波からノイズを除去することが要求される。そこで、多くの市販脳波計では、たとえば交流電源周波数に対するノッチフィルタが採用されている。また、脳波として有用な周波数帯域とノイズの帯域との差を利用したフィルタリングや、たとえば特開２００１−６１８００号公報のようにウェーブレット変換等の信号処理により脳波とは周波数の異なる信号を分離することによるノイズ除去が行われている。

上記のように電極を電気音響変換器の近傍に配置すると、電気音響変換器からの脳波の帯域と一致する低周波帯域のノイズが脳波に重畳される。

脳波は基準極と計測極との電位差を抽出する差動増幅によって記録される。よって基準極および計測極に同じノイズが重畳した場合、言い換えると、基準極と計測極とが、ノイズ源である電気音響変換器から同じ距離に位置する場合には、差動増幅によってノイズは相殺され、除去される。

しかしながら、ノイズ源からの距離によってノイズの大きさは異なる。よって図７に示す補聴器のように、２つの電極が電気音響変換器から異なる距離に位置する場合にはノイズは相殺されないため、完全には除去することはできない。

本願発明者らは、出力される音響信号の振幅包絡を抽出して、その振幅包絡の周波数を分析して、低周波信号である振幅包絡から脳波計測の電極へ混入する電気的ノイズを推定することとした。そして、推定されたノイズに基づいて脳波計測の電極から導出された電位に対してノイズ対策処理を行うことにより、音響信号の出力中であっても音響信号由来のノイズに影響されない脳波を得ることに成功した。

図８は本願発明の概要を示す。図８の輪郭線８０１は使用者８００の頭部を左から見た輪郭および左耳である。使用者８００の耳には、イヤホン８０２を介して音響信号が提示されており、点線で示した音響信号の振幅包絡８０３は、低周波のノイズとして、使用者８００の頭部の組織を介して頭部に装着された電極８０４へ混入している。一方、電極８０４には、脳の活動８０５を示す電気信号が到達する。電極８０４は、脳の活動８０５に由来する電気信号と、音響信号の振幅包絡８０３に由来する低周波のノイズとが混ざった電位８０６を取得する。その電位は電位抽出部８０７を経てノイズ対策処理部８０８へ送られる。イヤホン８０２から出力された音響信号に対して、振幅包絡抽出部８０９は音響信号の振幅包絡８０３を抽出して周波数分析部８１０へ出力する。ノイズ推定部８１１は、周波数分析部８１０の周波数分析結果にしたがって振幅包絡８０３がノイズとして混入する際の電位を推定し、ノイズ対策処理部８０８へ出力する。ノイズ対策処理部８０８は、電位抽出部８０７から出力された脳の活動８０５に由来する電気信号と、混入した振幅包絡８０３とが混ざった波形から、ノイズ推定部８１１から出力された音響信号の振幅包絡から推定されたノイズを減算してノイズ対策処理を行う。これにより、ノイズのない真の脳波８１２を計測することができる。

また、本願発明者らは、出力される音響信号を分析して音響信号に含まれる低周波信号を抽出し、その低周波信号から脳波計測の電極への影響を考慮した脳波の判別基準を設定することとした。この方法によっても、音響信号の出力中であっても音響信号由来のノイズに影響されない脳波を得ることが可能になった。

上述の処理によって得られた脳波を、脳波を利用したインタフェースによる機器操作や、脳波によりユーザの状態を観測する機能を備えた機器のうち、音響信号の出力部を有し、かつウェアラブルな機器に応用した。その結果、音響信号由来のノイズに影響されない脳波による脳波インタフェースの提供、あるいは、脳波によるユーザのモニタリングを提供できるようになった。

以下、添付の図面を参照しながら、本発明にかかる脳波計測装置の実施形態を説明する。各実施形態で説明される脳波計測装置は、電気信号を音に変換する機構（音響出力手段）を有している。音響出力手段の一例が、電気音響変換器である。

（実施形態１）
図９は、本実施形態による脳波計測装置５１の構成図である。図１０〜図１３は、それぞれ本実施形態における構成の一部の詳細な構成を示す。なお、ユーザ１００は説明の便宜のために図示されている。脳波計測装置５１の構成要素には含まれないことは言うまでもない。

本実施形態では、脳波によりユーザ状態をモニタし、脳波の変化に応じて機器を自動的に制御する例を示す。より具体的には、脳波のα波の出現頻度により音響出力のボリューム操作を行う例である。図６に示したようなＨＭＤや図７に示したような補聴器への応用が可能である。

脳波計測装置５１は、入力部１０１と、音響出力制御部１１０と、波形生成部１２０と、電気音響変換器１３０と、振幅包絡抽出部１４０と、ノイズ推定部１５０と、電極部１６０と、電位抽出部１７０と、ノイズ減算部１８０と、脳波判定部１９０とを備えている。

入力部１０１は、ユーザ１００が音響出力を操作するスイッチ等である。

音響出力制御部１１０は、出力する音響信号を制御する。

波形生成部１２０は、音響出力制御部１１０の制御信号に従って出力する音響信号の波形を生成する。

電気音響変換器１３０は、波形生成部１２０で生成された波形信号を音響信号に変換してユーザ１００に提示する。電気音響変換器１３０は、例えばアンプおよびスピーカを利用して構成することができる。

振幅包絡抽出部１４０は、波形生成部１２０で生成された波形信号を分析して振幅包絡を抽出する。

周波数分析部１４７は、振幅包絡抽出部１４０で抽出された振幅包絡の周波数を求める。

ノイズ推定部１５０は、周波数分析部１４７で求められた振幅包絡の周波数に基づいて、振幅包絡抽出部１４０で抽出された低周波成分によって発生する電気的ノイズを推定する。

電極部１６０は、ユーザ１００の片側または両側の耳周辺部に装着される少なくとも２つ以上の電極、より具体的には、基準極および計測極としてそれぞれ機能する電極を含む。電極部１６０は、電極は皮膚と接触する金属、あるいは、皮膚と接触する金属にインピーダンス変換回路を加えて構成されている。電極部１６０の各電極は、設置された位置の電位を取得する。後述するように、電位抽出部１７０が、基準極および計測極の電位差を算出する。この電位差が脳波として取り扱われる。

ここで、電極部１６０を電気音響変換器１３０の近傍に配置することにより、得られた脳波の電位には電気音響変換器１３０の影響で生じるノイズが重畳されていることに留意されたい。なお、「近傍」とは、低周波帯域のノイズが有意に、言い換えれば無視できない程度に脳波に重畳され得る範囲をいう。たとえば図５の斜線部に示される円の中心に電気音響変換器を配置したときの斜線領域内が「近傍」である。

図９では、電極部１６０と電気音響変換器１３０とが別個に設けられているが、これらを一体的に形成してもよい。このとき、電極部１６０に含まれる全ての電極が電気音響変換器１３０と一体的に形成されていてもよいし、一部の電極（少なくとも１つの電極）が電気音響変換器１３０と一体的に形成されていてもよい。

このような構成は、以下に説明する各実施形態においても採用することができる。

電位抽出部１７０は、電極部１６０の電極のうち２つの電極間の電位の差を計測し、電位変化を抽出する。電位抽出部１７０は、例えばＣＰＵおよびメモリとＡＤ変換器とアンプとを有している。

ノイズ減算部１８０は、電位抽出部１７０で抽出された電位変化に対してノイズ推定部１５０で推定された電気的ノイズの影響を減じるノイズ対策処理を行う。なお、ノイズ減算部１８０は、減算を行うことによって電気的ノイズの影響を減じる。しかしながら、減算は処理の一例である。ノイズを低減し、または除去することが可能であれば、減算処理以外の演算を利用してもよい。減算を含む種々の演算を行う構成要素は、ノイズ除去部と呼ぶことができる。ノイズ減算部１８０はノイズ除去部の一例である。

脳波判定部１９０は、ノイズ減算部１８０で処理を行った結果に基づき、脳波に含まれる特徴成分を利用して、その脳波がユーザ１００のどのような意図を反映しているかを判定する。

音響出力制御部１１０、波形生成部１２０、振幅包絡抽出部１４０、周波数分析部１４７、ノイズ推定部１５０、ノイズ減算部１８０および脳波判定部１９０は、ＣＰＵおよびメモリによって実現される。このＣＰＵおよびメモリは、電位抽出部１７０の一部としても機能してもよい。図９には、ＣＰＵおよびメモリによって実現される構成を破線によって囲んで示している。ＣＰＵは、メモリに格納されたコンピュータプログラムを実行することにより、ある時刻においては上述の１つの構成要素として機能し、またある時刻においては見かけ上同時に複数の構成要素が機能しているように動作する。

なお、ＣＰＵとメモリはそれぞれ１つでなくてもよい。例えば、振幅包絡抽出部１４０、周波数分析部１４７、ノイズ推定部１５０、ノイズ減算部１８０、脳波判定部１９０および電位抽出部１７０の一部をなす脳波計測用のＣＰＵおよびメモリを設けるとともに、音響出力制御部１１０および波形生成部１２０とを含むコンテンツ出力制御用のＣＰＵおよびメモリを設け、独立に動作させてもよい。

以下では、上述の各構成要素の内部構成を説明する。たとえば図１０〜図１３は、ＣＰＵおよびメモリによって実現される各構成要素内部の機能ブロックを示しているが、各機能ブロックもまた、特に説明しない限りはＣＰＵおよび／またはメモリによって実現される。各機能ブロックの具体的な動作は、後の図１４、図１８等を参照しながら説明する。

図１０は、振幅包絡抽出部１４０の詳細な構成を示す。振幅包絡抽出部１４０は、波形切り出し部１４１と、全波整流処理部１４２と、ピーク検出部１４３と、ローパスフィルタ１４４と、メモリによって実現される切り出し時間位置記憶部１４５とを有している。

図１１は、ノイズ推定部１５０の詳細な構成を示す。ノイズ推定部１５０は、メモリによって実現される信号ノイズ変換関数記憶部１５１、および、ノイズ推定処理部１５２を有している。

図１２は、ノイズ減算部１８０の詳細な構成を示す。ノイズ減算部１８０は、電位波形切り出し部１８１と、ノイズ成分減算部１８２とを有している。

図１３は、脳波判定部１９０の詳細な構成を示す。脳波判定部１９０は、α波抽出部１９１と、α波時間長計算部１９２と、判定部１９３と、先行状態記憶部１９４と、脳波切り出し部１９５とを有している。

図１４は、脳波計測装置５１の処理手順を示すフローチャートである。以下、処理手順を順に説明する。

ステップＳ１０１では、電位抽出部１７０は、複数の電極部１６０のうち、あらかじめ定められた基準電極と、その他の各計測極との電位差を求める。基準電極は、例えば、片方のマストイドに配置すればよい。

ステップＳ１０２では、波形生成部１２０は、音響出力制御部１１０が音響出力を指示しているか否かを判断する。本実施形態では、音響出力の指示は、図１４の処理の実行とは独立し出されているとする。音響出力が指示されているときは、ステップＳ１０１が実行されるよりも前から波形生成部１２０はその指示に基づいて波形信号を生成し出力しているとする。

ステップＳ１０２において音響出力が指示されている場合（ステップＳ１０２においてＹｅｓの場合）には処理はステップＳ５００１に進み、音響出力が指示されていない場合（ステップＳ１０２においてＮｏの場合）には処理はステップＳ１１１に進む。

本実施形態においては、音響信号が出力されているときにステップＳ１０１で求められた電位差には出力波形由来の低周波の電気的ノイズが混入しているものと見なす。そこで脳波計測装置５１はノイズを除去するための処理として、ステップＳ５００１、ステップＳ５００２、ステップＳ１０８、ステップＳ５００３を行う。

ステップＳ５００１では、振幅包絡抽出部１４０は、波形生成部１２０で生成された出力音響信号の振幅包絡を低周波成分として抽出する。振幅包絡の抽出方法については図１５を参照しながら後に詳述する。

ステップＳ５００２では、周波数分析部１４７は、ステップＳ５００１で抽出された振幅包絡の包絡線の周波数分析を行う。包絡線すなわち低周波成分（または低域成分）の瞬時周波数は、例えば、低域成分をヒルベルト変換し、瞬時角速度をサンプル点ごとに計算し、サンプリング周期に基づいて角速度を周波数に変換する、という手順で求めるものとする。

ステップＳ１０８では、ノイズ推定処理部１５２は、ステップＳ５００２で求めた包絡線の瞬時周波数に対応する係数を決定する。

また、ノイズ推定処理部１５２は、信号ノイズ変換関数記憶部１５１に記憶された変換関数を利用する。図１６は、変換関数の一例を示す。変換関数は、出力された音響信号の低域成分の周波数と、変換係数との対応を規定する関数である。より具体的には、変換関数は、周波数が高くなるに従って変換係数がより小さくなる（減衰する）よう、周波数と変換係数との対応を規定している。さらに変換関数は、周波数が２０Ｈｚから３０Ｈｚの間で０に収束するような変換係数を与えるよう規定されている。信号ノイズ変換関数記憶部１５１は、関数式として変換関数を保持していてもよいし、図１６に示される周波数と変換係数との関係を、離散的に記述したテーブルを保持していてもよい。さらに、周波数を所定の帯域に分割し、各帯域単位で変換係数を割り当ててもよい。ただし、各帯域の変換係数の大きさは、図１６に示す関係に準じた関係を有しているとする。本願明細書では、上述の変換関数、テーブル、各帯域単位と変換係数との関係を「変換規則」と総称する。変換規則は、周波数と変換係数とを対応させるための規則であり、記述形式は任意である。

変換関数が、２０Ｈｚから３０Ｈｚの間で０に収束することは、電気音響変換器の出力信号の周波数と脳波用電極で記録された電位の周波数成分とから実験的に確かめられた。２０Ｈｚは可聴範囲の下限周波数とされている。この変換関数は、可聴範囲あるいはそれに近い比較的高い周波数成分はノイズを発生させないが、２０Ｈｚよりも低い周波数成分は脳波用電極へのノイズとなりやすいことを示している。

さらに、これらのノイズになりやすい低い周波数はユーザの状態を知るために使用されるα波等の脳波や、認知や判断の状態を知るために使用される事象関連電位の周波数とも重なっている。このため、周波数に応じて変化し得る、電気音響変換器の出力信号由来のノイズを、図１６のような変換関数を利用して正確に推定し、除去することで、ノイズに埋もれた脳波から、ノイズの無い正確な脳波のみを抽出して計測することが可能になる。これは、脳波を利用してより正確に機器の操作が可能になることを意味している。

そしてノイズ推定処理部１５２は、決定した係数を包絡線（低周波成分）の各値に乗じることにより、出力波形由来で発生する低周波の電気的ノイズを時間波形として推定する。

ステップＳ５００３では、ノイズ減算部１８０は、ステップＳ１０８においてノイズ推定処理部１５２で推定されたノイズ波形を脳波から除去する。除去の方法については、図１８を参照しながら後に詳述する。

図１４のステップＳ１１１において、脳波判定部１９０は、脳波中のα波の出現頻度が減少しているか否かを判定する。この処理に利用される脳波は以下のように決定される。すなわち、現在の処理がステップＳ１０２においてＮｏと判定され、分岐した結果行われている場合には、脳波判定部１９０は、ステップＳ１０１で取得された電位差を脳波とみなして利用する。一方、現在の処理がステップＳ５００３の処理後に行われている場合には、脳波判定部１９０は、ステップＳ５００３によってノイズ波形が除去された脳波を利用する。そして、その脳波中のα波の出現頻度を評価する。

α波の出現頻度の評価方法は、たとえば以下のとおりである。

脳波切り出し部１９５は、あらかじめ定められた時間長の脳波波形を切り出す。α波抽出部１９１は脳波切り出し部１９５が切り出した脳波中に記録されたα波（約８Ｈｚ〜１３Ｈｚ）を抽出する。α波時間長計算部１９２は切り出された波形中に観察されたα波の総時間長を求め、判定部１９３が先行状態記憶部１９４に記憶されている過去のα波の総時間長と比較する。判定に用いる時間長は例えば２秒間とする。ただし、判定に用いる時間長はα波の出現頻度を比較するのに十分な長さであって、ステップＳ１０３で切り出された出力波形の時間長より短ければどのような値でも良い。

α波の抽出は具体的には例えば以下のような手順で行う。まず、α波抽出部１９１は切り出した脳波全体の二乗平均平方根（ＲＭＳ）を求める。それとは別に、α波抽出部１９１は切り出した脳波を２００ｍｓずつの領域に分割し、領域ごとにＲＭＳを求める。そしてα波抽出部１９１は、各領域のＲＭＳのうち、切り出した脳波全体のＲＭＳを１０％以上上回るＲＭＳを特定し、そのＲＭＳに対応する領域を抽出する。α波抽出部１９１は、抽出された領域内の波形を例えばメジアンスムージング等の方法によりスムージングした後にゼロクロス点を数え、周波数を求める。この周波数が８Ｈｚから１３Ｈｚである場合に該当する領域２００ｍｓをα波が含まれる区間として抽出する。なお、上述のα波の抽出方法は一例であり、これ以外の方法で行っても良い。

ステップＳ１１２では、音響出力制御部１１０は出力する音響信号のボリュームを調整する。ステップＳ１１１でα波の出現頻度が減少している場合、すなわちステップＳ１１１でＹｅｓの場合、音響出力制御部１１０は音響出力のボリュームを下げる（ステップＳ１１２）。ステップＳ１１１でα波の出現頻度が減少していない場合、すなわちＳ１１１でＮｏの場合は、音響出力制御部１１０は音響出力に対する変更は行わない。

なお、本実施形態ではα波の出現頻度により音響出力のボリューム操作を行ったが、これ以外の操作、例えばスイッチの切断、モードの切り替え等の制御を行うものとしても良い。特に補聴器の場合は脳波により、会話に集中するモードや雑踏を聞き流すモード等を脳波により自動的に切り替える操作を行うものとしても良い。

なお図１４に示す処理中は、音響信号が出力されることによってユーザの脳波（たとえば事象関連電位）の振幅や出現タイミングなどが変動し得る。しかしながらそのような脳波変動が生じても上述の処理には影響はない。図１４の処理は、電気音響変換器から電極に直接重畳されるノイズを除去することを目的としており、ノイズは音響信号が出力されるのと実質的に同時に発生するためである。

次に、図１４に示すステップＳ５００１の振幅包絡の抽出方法の詳細を、図１５のフローチャートおよび図１７の模式図を参照しながら説明する。

図１５のステップＳ１０３では、振幅包絡抽出部１４０内の波形切り出し部１４１は、ステップＳ１０２で波形生成部１２０により生成された波形信号から、あらかじめ定められた一定の時間長の波形信号を切り出す。波形切り出し部１４１は、切り出した時刻（時間位置）、例えば基点となる時刻から切り出し開始時刻までの時間長を秒単位で記述した切り出し時間情報等を切り出し時間位置記憶部１４５に記憶する。切り出す時間長は例えば２秒間とする。この時間長は、脳波判定時の電位波形切り出し時間長と同じか、それ以上である必要がある。切り出し時間情報は、これ以外の記述形式、例えば、基点となる時間から３秒後から５秒後のように切り出し開始時刻と切り出し終了時刻とを記述する形式でも良い。

図１７の（ａ）は、ステップＳ１０３で切り出された音響信号の時間波形の例を示す。横軸は経過時間を示し、単位はミリセカンドである。図１７の（ａ）は５００ミリセカンドに亘る波形を示している。縦軸は各サンプル点での瞬時値すなわち、瞬時のエネルギーの相対値である。音響信号は本来は空気密度の粗密波であるため、相対値は負の値をもつ。図１７では５００ミリセカンドを図示したが、処理は切り出した波形の全期間に亘って行われてもよい。

図１５のステップＳ１０４では、全波整流処理部１４２は波形切り出し部１４１で切り出された波形の各サンプル点での瞬時値の絶対値を求める。これにより全波整流が行われる。図１７の（ｂ）は、全波整流を行った後の波形を示す。この処理は、図１７の（ａ）に示された音響信号の瞬時値が相対値として負の値を持つ部分について、正の側へ折り返す処理となる。全波整流は、エネルギー０の状態に対して、粗密波の「粗」への振幅と「密」への振幅を同様に取り扱うための処理である。

ステップＳ１０５では、ピーク検出部１４３は全波整流された波形のピークを検出する。具体的には、ピーク検出部１４３はステップＳ１０４で絶対値化された波形の値の時間系列である波形データ列において、隣接するデータ点との差のデータ列を求める。そして、このデータ列において符号が逆転するデータ位置に当たる全波整流処理波形のデータ列上の値をピーク位置として検出する。

図１７の（ｃ）は、図１７の（ｂ）に示した全波整流処理の結果、すなわち音響信号波形を絶対値化した値の時間系列である。円内に波形の一部が拡大して示されている。隣接するデータ点間の差を表すデータ列において符号が逆転するデータ位置は例えば、円中の×印で示した点である。ピーク検出部１４３はこれらの点に対応する全波整流処理波形のデータ列上の値、すなわち図１７の（ｂ）上の値を検出する。図１７の（ｄ）は抽出結果を示す。

図１５のステップＳ１０６では、ピーク検出部１４３は図１７の（ｄ）に示す、ピーク位置のデータとその時間位置を抽出したデータ列を生成し、このデータ列を等間隔の時間間隔でリサンプルすることで波形データの包絡線信号を生成する。

図１７の（ｅ）は、（ｄ）の波形の一部を拡大して示す。グラフ中の点線は図１７の（ｄ）に示したステップＳ１０５で抽出された値であり、白丸はリサンプルした値である。図１７の（ａ）から（ｃ）がサンプリング周波数４４．１ｋＨｚであったのに対して、図１７の（ｅ）ではサンプリング周波数１ｋＨｚになるようリサンプルした。

図１５のステップＳ１０７では、ピーク検出部１４３はステップＳ１０６で生成した包絡線信号をローパスフィルタ１４４に出力する。ローパスフィルタ１４４は例えばカットオフ周波数３０ＨｚのＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタとする。ローパスフィルタ１４４を通過させることで包絡線信号のスムーシングを行うことが可能になる。ローパスフィルタ１４４から出力されたデータ系列を包絡線信号（振幅包絡）とする。包絡線信号は出力波形に含まれる低域成分として出力される。

図１７の（ｅ）では、白丸で示したデータ系列をローパスフィルタを通過させることにより、破線のようなデータが得られる。図１７の（ｄ）全体に対しては、図１７の（ｆ）の実線のようになる。

図１７の（ｆ）は、図１７の（ｄ）に示したステップＳ１０４で生成された全波整流処理結果のデータ系列と、ステップＳ１０７でローパスフィルタを通過したデータ系列（すなわち包絡線）とを示す。各時刻におけるデータ系列は全波整流処理結果を示しており、その値は左の縦軸（時刻０に設けられた縦軸）に付された目盛で示される。一方、（ｆ）の実線はそのデータ系列の包絡線であり、その値は右の縦軸（時刻５０００ｍｓに設けられた縦軸）に付された目盛りで示される。包絡線の値は相対値である。

次に、図１４に示すステップＳ５００３のノイズ除去の詳細を、図１８のフローチャートに従って説明する。

ステップＳ１０９では、電位波形切り出し部１８１（図１２）は、ステップＳ１０１で取得された電位波形から、出力波形由来のノイズが計算された時間区間に対応する時刻の電位波形を切り出す。ステップＳ１０１で取得された電位は、出力波形由来のノイズ、すなわちステップＳ１０８で推定された電気的ノイズを含んでいる。

電位波形切り出し部１８１は、電位抽出部１７０で取得された基準電極以外の各電極の電位波形から、ノイズ推定部１５０に記憶されている出力波形の切り出し時間位置の情報に基づき、出力波形と時間的に対応する電位波形を切り出す。

ステップＳ１１０では、ノイズ成分減算部１８２はステップＳ１０９で切り出された電位波形よりステップＳ１０８で推定された出力波形由来で発生する低周波の電気的ノイズを減算して、ノイズが除去された電位を脳波として出力する。

図１９（ａ）は低周波ノイズが重畳したα波を含む脳波の時間波形を模式的に示す。図１９（ｂ）は、図１９（ａ）において脳波重畳されている低周波ノイズの波形を示している。図１９（ａ）のようにノイズが重畳した波形からはα波を明確に判別することができず、αの区間を実際より過大にあるいは過小に判断することとなる。ステップＳ５００１からステップＳ１０８の手順によって図１９（ｂ）に示すノイズを推定し、図１９（ａ）の波形より減算すると、図１９（ｃ）に示す波形が得られる。図１９（ｃ）の波形には１０Ｈｚの紡錘形を示す特徴的なα波が見られ、α波の区間を正確に判定することができる。

音響出力由来の低周波帯域の電気的ノイズが混入した状態においては、指標として用いる特徴的脳波成分であるα波とノイズを分離することができない。そうすると、実際にはα波が存在しないにもかかわらず、ステップＳ１１１においてノイズをα波として検出することとなり、α波の出現頻度の変化を正確に捉えることができない。このため、本実施形態の例であれば、ボリュームの調節が正しく行われないこととなる。

しかしながら、以上のように動作する脳波計測装置５１は、電極に近接する電気音響変換器から出力される波形信号を分析して、電極で記録される電位に混入する低周波の電気的ノイズを推定して除去する。これにより、電極と電気音響変換器とが近接し、音響信号が電極に直接回り込んでいる場合でも、音響出力に影響されること無く脳波を計測して感情や眠気等のユーザの状態をモニタすることができる。

本実施形態の構成によれば、ウェアラブル機器の範囲内に電極と電気音響変換器とを近接して装備しても脳波によるユーザ状態のモニタが可能になる。ウェアラブル機器以外に電極を装着する必要がなくなるため、ユーザの機器装着負担を削減できる。

なお、本実施形態ではユーザ状態のモニタとしてα波の出現頻度を用いたが、これは一例である。α波とβ波とのパワー比率等を用いてもよいし、他の脳波成分による指標を用いても良い。

（実施形態２）
図２０は、本実施形態による脳波計測装置５２の構成図である。また図２１〜図２３は本実施形態における構成の一部の詳細な構成を示す。図２０と図２１と図２２と図２３に関しては、実施形態１と同様の部分には同一の記号を付し、説明を省略する。

本実施形態では、事象関連電位を用いた脳波インタフェースによりユーザの意図を取得して機器を制御する例を示す。事象関連電位を取得する際の脳波切り出し用トリガとして、本実施形態では図６に示したようなＨＭＤを想定し、ディスプレイ上での選択肢のハイライトタイミングを用いた。

脳波計測装置５２は、出力制御部２１０と、波形生成部１２０と、電気音響変換器１３０と、振幅包絡抽出部２４０と、周波数分析部１４７と、ノイズ推定部１５０と、ディスプレイ２３０と、電極部１６０と、電位抽出部１７０と、電位波形切り出し部２６０と、ノイズ減算部１８０と、脳波特徴抽出部２７０と、判別部２９０とを有している。

出力制御部２１０は、機器の出力を制御する。

波形生成部１２０は、出力制御部２１０の制御信号に従って出力する音響信号の波形を生成する。

電気音響変換器１３０は、波形生成部１２０で生成された波形信号を音響信号に変換してユーザ１００に提示する。

振幅包絡抽出部２４０は、波形生成部１２０で生成された波形信号を分析して低周波成分を抽出する。

周波数分析部１４７は、振幅包絡抽出部２４０で抽出された振幅包絡の周波数を分析する。

ノイズ推定部１５０は、振幅包絡抽出部２４０で抽出された低周波成分によって発生する電気的ノイズを周波数分析部１４７で分析された周波数に従って推定する。

画像信号生成部２２０は、画像信号を生成し、出力制御部２１０の制御信号に従って画像信号を出力する。画像信号生成部２２０は、電位波形切り出し部２６０に切り出し時間位置情報を送信する。切り出し時間位置情報は、たとえば選択肢がハイライトされた瞬間に送信される。これは、選択肢のハイライトタイミングを示している。この切り出し時間位置情報は、事象関連電位を取得する際の脳波の切り出しに際して利用される。

ディスプレイ２３０は、画像を表示する。ディスプレイ２３０は、例えば液晶ディスプレイである。

電極部１６０は、ユーザ１００の片側または両側の耳周辺部に装着される。

電位抽出部１７０は、電位データを抽出する。この電位データは、電位波形信号とも呼ぶ。

電位波形切り出し部２６０は、画像信号生成部２２０から出力された切り出し時間位置情報に従って、電位抽出部１７０で抽出された電位データから電位波形を切り出す。

ノイズ減算部１８０は、電位波形切り出し部２６０で切り出した電位波形に対してノイズ推定部１５０で推定された出力波形由来の電気的ノイズの影響を減じるノイズ対策処理を行う。

脳波特徴抽出部２７０は、ノイズ減算部１８０で処理を行った脳波から、判別に用いる脳波の特徴量を抽出する。

判別部２９０は、脳波特徴抽出部２７０で抽出された特徴量に基づきユーザの意図の判別を行う。

これらの構成要素のうち、波形生成部１２０、振幅包絡抽出部２４０、周波数分析部１４７、ノイズ推定部１５０、ノイズ減算部１８０、出力制御部２１０、画像信号生成部２１０、電位波形切り出し部２５０、脳波特徴抽出部２７０、判別部２９０、および、電位抽出部１７０の一部はＣＰＵとメモリによって実現される。

図２１は、振幅包絡抽出部２４０の詳細な構成を示す。振幅包絡抽出部２４０は波形切り出し部２４１と、ウェーブレット変換部２４２と、低周波成分抽出部２４３と、ウェーブレット逆変換部２４４とを有している。

図２２は、脳波特徴抽出部２７０の詳細な構成を示す。脳波特徴抽出部２７０は、脳波切り出し部１９５と、ウェーブレット変換部２７１と、特徴成分抽出部２７２とを有している。

脳波特徴抽出部２７０は、脳波波形に含まれる成分を抽出する。抽出された成分のデータは、判別部２９０における、事象関連電位のＰ３００成分が含まれているか否かを判定するための処理のために利用される。

ここで、本実施形態における「事象関連電位のＰ３００成分」とは、たとえばメニューの項目がハイライトされた時刻を起点に、潜時約３００ｍｓ後の脳波成分に出現する、特徴的な陽性の成分をいう。

脳波切り出し部１９５は、計測に必要な時間範囲の電位波形を切り出す。具体的には例えば、ハイライトタイミングの−１００ミリ秒〜６００ミリ秒の区間を切り出す。

ウェーブレット変換部２７１は、切り出された連続的な脳波波形をウェーブレット変換によって時間周波数分解する。特徴成分抽出部２７２は、時間周波数分解されたデータから、必要な時間帯および周波数帯を特徴成分として抽出し、判別部２９０に送信する。たとえば、メニューの項目がハイライトされた時刻を起点とした、２００ｍｓ〜４００ｍｓ（３００±１００ｍｓ）の時間帯である。

図２３は、判別部２９０の詳細な構成を示す。判別部２９０は特徴量比較部２９１と、判別基準データベース２９２とを有している。

判別基準データベース２９２は、たとえばメモリ上に構築されている。判別基準データベース２９２には、上述した典型的なＰ３００成分を含む脳波波形をウェーブレット変換することによって得られた特徴成分のデータと、Ｐ３００成分を含まない脳波波形をウェーブレット変換することによって得られた特徴成分のデータとが、予め格納されている。これらをそれぞれ「基準データ」とも呼ぶ。

特徴量比較部２９１は、特徴成分抽出部２７２から受信した特徴成分と、判別基準データベース２９２に格納されている基準データとを比較して類似度を算出する。そして、算出したその類似度に応じて、受信した特徴成分が、Ｐ３００の特徴成分を含有するデータに近いか、Ｐ３００の特徴成分を含有しないデータに近いかを判別する。

図２４は、本実施形態の脳波計測装置５２の処理の手順を示すフローチャートである。以下、図２４を参照しながら、脳波計測装置５２の動作を説明する。

ステップＳ１０１では電位抽出部１７０は、電極部１６０の電極中であらかじめ定められた１つの基準電極とおのおのの計測極との電位差を求める。基準電極は例えば片方のマストイドとする。

ステップＳ２０１では電位波形切り出し部２６０は、出力制御部２１０が事象関連電位計測のトリガとなる情報提示を指示しているか否かを判断する。トリガとなる情報提示は、具体的には、例えば、ディスプレイ上に画像として表示されているメニューリストの１項目をハイライトしてユーザの注目を促す画像の生成を画像信号生成部２２０に指示することである。

図２５（ａ）〜（ｄ）は、脳波インタフェースを用いてメニューを選択する際のメニューリストの画面表示例である。メニューリストは例えば図２５の（ａ）から（ｄ）に示すように、選択可能なメニュー（図２５の例では「野球」「天気予報」「アニメ」「ニュース」を列挙した画面）の表示中に、１項目のみをハイライトする。（ａ）から（ｄ）は順に、「野球」、「天気予報」、「アニメ」、「ニュース」の各項目がハイライトされている例を示す。例えば（ａ）では「野球」がハイライト表示され、他の３項目はハイライトされていない。

画像信号生成部２２０は画像の生成指示に基づいて画像情報を生成し、さらにトリガタイミング（本実施形態の具体例では選択肢のハイライトタイミング）を電位波形切り出し部２６０と振幅包絡抽出部２４０へ出力する。

ステップＳ２０２では、電位波形切り出し部２６０はステップＳ２０１で設定されたハイライトタイミングを基準にして、電位抽出部１７０で抽出された電位波形から計測に必要な時間範囲の電位波形を切り出す。たとえば電位波形切り出し部２６０は、例えば、ハイライトタイミングの−１００ミリ秒〜６００ミリ秒の区間を切り出せばよい。

ステップＳ１０２では音響出力制御部１１０からの音響出力指示があるか否かを判断する。

ステップＳ１０２において音響出力指示がある場合、すなわちステップＳ１０２においてＹｅｓの場合、処理はステップＳ１０００に進む。ステップＳ１０００では、ステップＳ１０１で取得され、ステップＳ２０２で切り出された電位差には出力波形由来の低周波の電気的ノイズが混入しているものと見なして、ノイズ除去処理が行われる。

一方、ステップＳ１０２において音響出力指示がない場合、すなわちステップＳ１０２においてＮｏの場合、処理はステップＳ２０３に進む。ステップＳ２０３では、ステップＳ１０１で取得され、ステップＳ２０２で切り出された電位波形を脳波（事象関連電位）と見なし、ノイズ除去処理は行われない。

図２６は、ステップＳ１０００の詳細を示す。ステップＳ１０００は、本実施形態のフローチャートの出力波形由来の電気的ノイズを除去するために実行される。

ステップＳ１０００は図２６に示したＳ１００１からＳ１００６に示す手順で行われる。

ステップＳ１００１で波形切り出し部２４１は画像信号生成部２２０から出力されたハイライトタイミングを基準にして波形生成部１２０で生成された波形信号から脳波の計測時間範囲に対応する波形信号を切り出す。具体的にはステップＳ２０２で切り出した電位波形の時間範囲と一致する時間に出力された波形、あるいは一致する時間に出力された波形を含む時間範囲の出力波形信号を切り出す。

ステップＳ１００２ではウェーブレット変換部２４２はステップＳ１００１で切り出された波形をウェーブレット変換し周波数成分ごとの帯域に分解する。

ステップＳ１００３では低周波成分抽出部２４３は３０Ｈｚ以下の成分を抽出する。このとき抽出された成分は、時間周波数領域で表現された低周波成分である。この低周波成分が振幅包絡の成分を含む。

ステップＳ１００４ではウェーブレット逆変換部２４４はステップＳ１００３で抽出された低周波成分のウェーブレット逆変換を行い、抽出した低周波成分の時間波形を生成する。この処理により、波形生成部１２０で生成された出力信号の振幅包絡を時間波形として抽出できる。なお、ウェーブレット逆変換はウェーブレット変換の逆の処理であり、時間周波数分解されたデータを、時間領域の波形のデータに戻す処理である。この処理は周知であるため、詳細な説明は省略する。

ステップＳ５００２では、周波数分析部１４７は、ステップＳ５００１で抽出された振幅包絡の包絡線の周波数分析を行う。包絡線すなわち低周波成分（または低域成分）の瞬時周波数は、例えば、低域成分をヒルベルト変換し、瞬時角速度をサンプル点ごとに計算し、サンプリング周期に基づいて角速度を周波数に変換する、という手順で求めるものとする。あるいは、ステップＳ１００２で行ったウェーブレット変換によるウェーブレット係数を用い、ステップＳ１００３で抽出した低周波成分のうち、サンプル点ごとにエネルギーが最も大きい周波数を振幅包絡の周波数とするとしてもよい。

ステップＳ１００５ではステップＳ１００４で生成された波形に基づいて、ノイズ推定部１５０は実施形態１のステップＳ１０８と同様、出力波形に由来して発生する低周波の電気的ノイズを時間波形として推定する。ノイズ推定処理部１５２は信号ノイズ変換関数記憶部に記憶された変換関数より、低周波成分の時間波形の瞬時周波数に対応する係数を決定する。そして、その係数を低周波成分の時間波形の各値に乗じて出力波形由来で発生する低周波の電気的ノイズを時間波形として推定する。

ステップＳ１００６ではノイズ成分減算部１８２はステップＳ２０２で切り出された電位波形から、ステップＳ１００５で推定された出力波形由来で発生する低周波の電気的ノイズを減算して、ノイズが除去された電位を脳波として出力する。

ステップＳ２０３ではウェーブレット変換部２７１はステップＳ２０２で切り出された事象関連電位、あるいはステップＳ２０２で切り出され、ステップＳ１０００でノイズ除去処理を施された事象関連電位を、ウェーブレット変換する。これにより事象関連電位に対して時間周波数分解が行われる。脳波を時間と周波数の特徴量に詳細化することで、選択時の脳波の特徴信号の発生時間帯や周波数帯を選び出して抽出することが可能になる。

ステップＳ２０４では、特徴成分抽出部２７２はステップＳ２０３のウェーブレット変換の結果より、脳波特徴信号に関する領域のみを切り出す。具体的には、例えば周波数５Ｈｚ以下の領域を切り出す。これにより、事象関連電位の主要な成分であるＰ３００の周波数帯域を抽出するとともに、主に５Ｈｚ以上の周波数帯で記録される眼電や筋電を除去することができる。

特徴成分抽出部２７２は、ハイライト後２００ｍｓから４００ｍｓの区間の情報を脳波特徴成分として切り出す。すなわち本実施形態の例では周波数５Ｈｚ以下の２００ｍｓから４００ｍｓの領域に含まれるデータサンプル点を抽出する。これは、Ｐ３００がトリガから約３００ｍｓ経過後に観察される電位変化だからである。

ステップＳ２０５では、特徴成分抽出部２７２は、ステップＳ２０４で抽出されたデータサンプル点を脳波特徴成分として１つのデータに組み合わせ、脳波特徴量とする。

ステップＳ２０６では、判別部２９０の特徴量比較部２９１は、ステップＳ２０５で生成された特徴量と判別基準データベース２９２に蓄積された基準データとの類似度を求め、計測された事象関連電位がハイライト項目を選択する意図に対応するものか、ハイライト項目を選択しない意図に対応するものかを判断する。

判別基準データベース２９２に蓄積された基準データは、予め用意された脳波特徴量である。本願発明者らは、基準データを以下のようにして得た。まず、あらかじめ複数人のユーザに、複数の項目のうちのどの項目（選択肢）を選択するか事前に明らかにしてもらう。その上で、実際に脳波インタフェースを利用する際と同様の電極位置において脳波インタフェース実験を実施する。そして、複数の項目を順にハイライトさせて頭の中で選択してもらい、その際の脳波（事象関連電位）を計測する。 記録した事象関連電位データを上記のステップＳ２０３からＳ２０５と同様にウェーブレット変換し、周波数５Ｈｚ以下で２００ｍｓから４００ｍｓの脳波特徴領域のサンプル点を抽出して結合することにより、脳波特徴量が得られる。この脳波特徴量を選択したい項目に対するものと選択したくない（選択していない）項目に分類し、脳波特徴量と対応づけて得られたデータが基準データである。判別基準データベース２９２はこのようにして得られた基準データを保持する。

なお、基準データを上記のように不特定の複数人の脳波をもとに作成してもよい。または、脳波インタフェースを利用するユーザ１００に対し、上記と同様あらかじめ学習作業を実施し、ユーザ１００の脳波を利用した基準データを作成してもよい。

特徴量比較部２９１はステップＳ２０５で生成された脳波特徴量が、選択したい項目がハイライトされた場合の波形とどれだけ類似しているかを表す類似度の算出を行う。具体的には特徴量比較部２９１は、判別基準データベース２９２に蓄積された基準データを、選択したい場合の波形（正解波形）と選択したくない場合の波形（不正解波形）の２つの群に分類する。そして、特徴量比較部２９１は、計測された脳波特徴量と、正解波形群、不正解波形群の脳波特徴量との距離を計算することにより、正解波形群との類似度を算出する。本実施形態では、類似度の計算方法として、線形判別手法を利用し、ステップＳ２０５で得られた特徴量が正解波形群あるいは不正解波形群に属する事後確率を類似度とする。

なお、上述の類似度の計算方法は一例である。他の計算方法として、サポートベクターマシンやニューラルネットなどの手法を用いてもよい。これらの手法では、正解波形群、不正解波形群をわける境界線から、計測された脳波特徴量がどれだけ正解波形群に近いか（境界線からの距離）が算出される。これにより、脳波特徴量と正解波形群との類似度を算出してもよい。

ステップＳ２０７では特徴量比較部２９１はステップＳ２０６で求めた正解波形群との類似度と不正解波形群との類似度とを比較する。特徴量比較部２９１は、正解波形群との類似度が不正解波形群との類似度より大きく、かつ正解波形群との類似度があらかじめ定められた閾値以上であり、不正解波形群との類似度があらかじめ定められた閾値以下である場合に、計測された事象関連電位がハイライト表示された項目を選択する意図を示すと判断する。あらかじめ定められた閾値は、例えば正解波形群との類似度については０．７以上であり、不正解波形群との類似度については０．３以下であるとする。

なお、本実施形態ではハイライト１回ごとに選択意図の判定を行った。しかしながら、全選択肢のハイライトを行い、各選択肢のハイライトに対する事象関連電位を取得したのちに、正解波形群との類似度が最も高かった選択肢がユーザが意図した選択肢と判断しても良い。例えば図２５の（ａ）から（ｄ）の４つの表示とそれに伴う事象関連電位の取得を行ったのち、各選択肢に対する事象関連電位の類似度を比較して、正解波形群との類似度が最も高かった選択肢を採用する。各選択肢のハイライトは複数回であってもよく、その際には選択肢ごとに加算平均波形を生成して、正解波形群との類似度を求める方法でも良い。また、各選択肢の複数回のハイライトについて、ハイライトごとに正解波形群との類似度を求め、複数回のハイライトでの平均あるいは中央値等の代表値を用いて選択肢間の正解波形群との類似度比較を行っても良い。

ステップＳ２０７では、類似度が正解波形群との類似度が不正解波形群との類似度より大きく、かつ正解波形群との類似度があらかじめ定められた閾値以上であり、不正解波形群との類似度があらかじめ定められた閾値以下であるか否かが判定される。その両方の条件を満たすとき、すなわちステップＳ２０７においてＹｅｓの場合は、出力制御部２１０は、ステップＳ２０８でハイライトされた項目が選択されたものとして、その項目を実行する。具体的には、例えば、再生していた楽曲の出力を停止して、メニューリストにハイライト提示された楽曲の再生を開始する。

一方、ステップＳ２０７において、上述したいずれかの条件が満たされないとき、すなわちステップＳ２０７においてＮｏの場合は動作を終了する。

以上のように脳波計測装置５２は、電極に近接する電気音響変換器から出力される波形信号を分析して、電極で記録される電位に混入する低周波の電気的ノイズを推定して除去する。これにより、電極に電気音響変換器が近接している場合でも音響出力に影響されること無く脳波を計測して脳波インタフェースとして利用することができる。その結果、ウェアラブル機器の範囲内に電極と電気音響変換器とを近接して装備しても脳波インタフェースの利用が可能になり、ウェアラブル機器以外に電極を装着する必要がなくなるため、ユーザの機器装着負担を削減できる。

また、画像信号生成部２２０は、選択肢がハイライトされた時点で切り出し時間位置情報を出力するとしたが、これは一例である。画像信号生成部２２０は、ハイライトされた後に、そのハイライト時刻を示す情報を切り出し時間位置情報として出力してもよい。このとき、振幅包絡抽出部２４０や電位波形切り出し部２６０の各々が、出力波形信号および電位波形信号から必要な波形を切り出す時間帯を判断してもよい。

また、ステップＳ２０３において、振幅包絡抽出部２４０はウェーブレット変換を行うとして説明した。しかしながら、振幅包絡抽出部２４０はフーリエ変換を行ってもよい。このとき、図２１のウェーブレット変換部２４２およびウェーブレット逆変換部２４４はそれぞれ、フーリエ変換を行うフーリエ変換部およびフーリエ逆変換を行うフーリエ逆変換部と読み替えればよい。

（実施形態２の第１の変形例）
実施形態２においては脳波計測のための出力としてディスプレイ２３０による画像出力を用いるとした。しかしながら、触覚への力覚提示、鼻への匂い物質の噴霧による嗅覚提示、舌への味物質提示による味覚提示等の、視覚以外の感覚への信号提示でも良い。

たとえば、ディスプレイ２３０ではなく音響信号の出力をトリガに用いることもできる。この場合、例えば、図２に示したようなヘッドホンを利用する音楽プレーヤーでは、提示楽曲を次々と切り替えるような、楽曲のザッピングにおける楽曲の切り替えタイミングをトリガに用いることができる。図２７を参照しながら、このような実施例にかかる脳波計測装置の構成を説明する。

図２７は、本実施形態の第１の変形例にかかる、脳波計測装置５７の構成図である。脳波計測装置５７は、実施形態１と同様の電気音響変換器１３０を利用して複数の楽曲を提示し、楽曲が切り替わるタイミングをトリガとして脳波を切り出し、事象関連電位を取得する。脳波計測装置５７は、楽曲のみで脳波を切り出すタイミングを決定するため、実施形態２にかかる脳波計測装置５２（図２０）に設けられていたディスプレイ２３０を有していなくてもよい。脳波計測装置５７の構成要素のうち、たとえば脳波計測装置５２（図２０）と同じ機能を有する構成要素には、同じ参照符号を付している。そして共通する構成要素の説明は省略する。なお、破線で囲まれた構成要素は、ＣＰＵおよび／またはメモリによって実現され得る。

本変形例にかかる脳波計測装置５７の処理は、概ね、図２４および図２６に示す処理を実行する。相違点は、楽曲が切り替わるタイミングをトリガとして採用することに関連する処理のみである。以下、その一例を説明する。

図２７に示すように、波形生成部１２１は出力波形を生成するとともに、楽曲の切り替えタイミングを、電位波形切り出し部２６０と振幅包絡抽出部２４０へ出力する。この処理は、先に説明した実施形態２における、画像信号生成部２２０がハイライトタイミングを出力する処理（図２４のステップＳ２０１）に対応する。

ステップＳ２０２では、電位波形切り出し部２６０は波形生成部１２１が出力した楽曲切り替えタイミングを基準にして電位抽出部１７０で抽出された電位波形から計測に必要な時間範囲の電位波形を切り出す。また、波形切り出し部２４１は画像信号生成部２２０から出力されたハイライトタイミングに替わって、波形生成部１２１が出力した楽曲切り替えタイミングを取得する。

ステップＳ１００１で波形切り出し部２４１は楽曲切り替えタイミングを基準にして波形生成部１２０で生成された波形信号からステップＳ２０２で切り出した電位波形の時間範囲と一致する時間に出力された波形を切り出す。あるいは波形切り出し部２４１は、一致する時間に出力された波形を含む時間範囲の出力波形信号を切り出す。この処理によれば、音楽プレーヤーのようにディスプレイのないウェアラブル機器においても実施形態２と同様の脳波インタフェースが構成できる。

なお、本実施形態において脳波特徴抽出部２７０はステップＳ２０３においてウェーブレットによる時間周波数分解を用いた。しかしながら、それ以外の方法、例えばフーリエ変換を用いた時間周波数分解を用いる方法や脳波成分のピーク抽出による潜時と振幅を用いる方法を採用しても良い。

（実施形態２の第２の変形例）
次に、上述の本実施形態にかかる脳波計測装置の第２の変形例を説明する。本変形例ではディスプレイを利用した視覚刺激をトリガとして採用するが、実施形態２にかかる処理とは異なる処理を行う。

図２８は、本実施形態の第２の変形例にかかる、脳波計測装置５３の構成図である。

先の実施形態２と同様、本変形例においても、事象関連電位を用いた脳波インタフェースによりユーザの意図を取得して機器を制御するとして説明する。

本例では、事象関連電位を取得する際の脳波切り出し用トリガとして、本実施形態では図６に示したようなＨＭＤを想定し、ディスプレイ上での選択肢のハイライトタイミングを用いた。

本例による脳波計測装置５３では、実施形態２の脳波計測装置５２に設けられた振幅包絡抽出部２４０に代えて帯域成分分析部３４０が設けられている。また、ノイズ推定部１５０に代えてノイズ推定部３５０が設けられている。それ以外は同一の構成である。破線で囲まれた構成要素が、ＣＰＵおよび／またはメモリによって実現され得る点も同じである。

帯域成分分析部３４０およびノイズ推定部３５０は、ＣＰＵとメモリにより実現される。これは、実施形態２における振幅包絡抽出部２４０とノイズ推定部１５０と同様である。

脳波計測装置５３は、出力制御部２１０と、波形生成部１２０と、電気音響変換器１３０と、帯域成分分析部３４０と、ノイズ推定部３５０と、画像信号生成部２２０と、ディスプレイ２３０と、電極部１６０と、電位抽出部１７０と、電位波形切り出し部２６０と、ノイズ減算部１８０と、脳波特徴抽出部２７０と、判別部２９０とを有している。

帯域成分分析部３４０は、波形生成部１２０で生成された波形信号を分析して帯域ごとの成分に分解する。

図２９は、帯域成分分析部３４０の詳細な構成を示す。帯域成分分析部３４０は波形切り出し部２４１と、ウェーブレット変換部２４２と、帯域成分分割部３４３とを有している。

図２８のノイズ推定部３５０は、帯域成分分析部３４０で生成された帯域ごとの成分に対して、帯域ごとに電気的ノイズの成分を計算した後に帯域ごとの成分を結合して波形を生成することで電気的ノイズを推定する。

図３０は、ノイズ推定部３５０の詳細な構成を示す。ノイズ推定部３５０は帯域成分計算部３５１と、信号ノイズ変換係数テーブルと３５２と、ウェーブレット逆変換部３５３とを有している。ノイズ推定部３５０に含まれる信号ノイズ変換係数テーブル３５２はメモリによって実現される。

帯域成分分析部３４０およびノイズ推定部３５０の各構成要素の説明を兼ねて、以下、図３１を参照しながら脳波計測装置５３の処理を説明する。なお、図２８〜図３０に関しては、実施形態２と同一の部分には同一の記号を付し、説明を省略する。

本変形例にかかる脳波計測装置５２の動作は、ステップＳ１０００を除いて図２４と同じである。本変形例においても、選択肢のハイライトタイミングをトリガ情報の一例として利用する。

さらにステップＳ１０００についても、図２６のステップＳ１００３からステップＳ１００５の動作がステップＳ２００３からステップＳ２００６の動作に入れ替わった以外は、実施形態２の処理手順と同様である。よって他の動作については適宜説明を省略する。

図３１は、本変形例にかかる脳波計測装置５３における、ステップＳ１０００の処理手順を示すフローチャートである。本変形例においても、ステップＳ１０００の処理は、出力波形由来の電気的ノイズを除去するために実行される。

ステップＳ２００３では帯域成分分割部３４３は、ステップＳ１００２で分解された周波数ごとの成分を帯域ごとに分割する。具体的には例えば一例として図３２に示すように、０Ｈｚ〜２Ｈｚ、２Ｈｚ〜４Ｈｚ、４Ｈｚ〜８Ｈｚ、８Ｈｚ〜１６Ｈｚ、１６Ｈｚ〜３２Ｈｚ、３２Ｈｚ以上の６帯域に分割する。

ステップＳ２００４では、図３０に示すように、帯域成分計算部３５１は、信号ノイズ変換係数テーブル３５２を参照し、ステップＳ２００３で生成した出力波形の周波数帯域ごとの成分のパワーに対応した変換係数を決定する。図３２は、信号ノイズ変換係数テーブル３５２の一例を示す。図３２によれば、帯域およびパワー（単位：ｄＢ）に応じた係数が設定されていることが理解される。

さらに帯域成分計算部３５１は、決定した変換係数を出力波形の帯域ごとの成分のデータに乗算して、電気的ノイズの帯域ごとの成分を求める。出力波形の帯域成分のパワーは、具体的には、例えば、入力限界値を９０ｄＢとする基準値に対する比としてデシベル表示するものとする。信号ノイズ変換係数テーブルは実施形態１の図１６に例示したような信号ノイズ変換関数をもとに作られるが、信号からノイズへの変換比率については、電極と電気音響変換器との距離等、信号の帯域成分以外の要因も加わるため、実測によって決定されるべきである。

ステップＳ２００５では、ウェーブレット逆変換部３５３は、ステップＳ２００４で求めた帯域ごとの成分を結合してウェーブレット逆変換を行い、推定される電気的ノイズの時間波形を生成する。

以上の処理により、最後のステップＳ１００６においてノイズ成分減算部１８２がステップＳ２０２で切り出された電位波形よりステップＳ２００５で推定された出力波形由来で発生する電気的ノイズを減算して、ノイズが除去した電位を脳波として出力する。

続くステップＳ２０３〜Ｓ２０８（図２４）までの処理は、原則として実施形態２と概ね同じである。ステップＳ２０４の処理が一部異なっている点が相違する。

ステップＳ２０４では、特徴成分抽出部２７２はステップＳ２０３のウェーブレット変換の結果より、脳波特徴信号に関する領域のみを切り出す。具体的には、特徴成分抽出部２７２は、例えばＰ３００成分の特徴を抽出するために周波数５Ｈｚ以下の２００ｍｓから４００ｍｓの領域に含まれるデータサンプル点を抽出する。その後のステップＳ２０５以降は、実施形態２の説明と同じである。

以上のように、実施形態２の変形例にかかる脳波計測装置５３によれば、実施形態２にかかる脳波計測装置５２と同じ効果が得られる。

（実施形態３）
図３３は、本実施形態３による脳波計測装置５４の構成図である。実施形態２の変形例にかかる脳波計測装置５３と比較すると、本実施形態による脳波計測装置５４では、実施形態２の変形例におけるノイズ推定部３５０が除去されている。また、ノイズ減算部１８０に代えて判別基準設定部４８０が設けられ、判別部３９０に代えて判別部４９０が設けられている。それ以外は本実施形態にかかる脳波計測装置５４の構成は、実施形態２の変形例にかかる脳波計測装置５３の構成と同じである。破線で囲まれた構成要素が、ＣＰＵおよび／またはメモリによって実現され得る点も同じである。

先の本実施形態と同様、本実施形態においても、事象関連電位を用いた脳波インタフェースによりユーザの意図を取得して機器を制御する例を示す。

判別基準設定部４８０および判別部４９０は、ＣＰＵおよびメモリによって実現される。これは実施形態２の変形例にかかる脳波計測装置５３のノイズ減算部１８０および判別部３９０と同様である。

本実施形態３では、実施形態２同様、事象関連電位を用いた脳波インタフェースによりユーザの意図を取得して機器を制御する例を示す。事象関連電位を取得する際の脳波切り出し用トリガとして、本実施形態では図６に示したようなＨＭＤを想定し、ディスプレイ上での選択肢のハイライトタイミングを用いた。

脳波計測装置５４は、出力制御部２１０と、波形生成部１２０と、電気音響変換器１３０と、帯域成分分析部３４０と、判別基準設定部４８０と、画像信号生成部２２０と、ディスプレイ２３０と、電極部１６０と、電位抽出部１７０と、電位波形切り出し部２６０と、脳波特徴抽出部２７０と、判別部４９０とを有している。

判別基準設定部４８０は、帯域成分分析部３４０で生成された帯域ごとの成分に対して、脳波判定時の判定基準を設定する。

判別部４９０は、判別基準設定部４８０で設定された判別基準に従って脳波特徴抽出部２７０で抽出された脳波の特徴量からユーザの意図を判別する。

図３４は、判別基準設定部４８０の詳細を示す。判別基準設定部４８０は帯域別判別基準設定部４８１と判別基準変更テーブル４８２とを有している。

図３５は、判別部４９０の詳細を示す。判別部４９０は特徴量比較部４９１と、判別基準データベース２９２とを有している。なお、判別基準データベース２９２はメモリによって実現される。

判別基準設定部４８０および判別部４９０の各構成要素の説明を兼ねて、以下図３６を参照しながら脳波計測装置５４の処理を説明する。なお図３３〜図３５に関しては、実施形態２の変形例と同一の部分には同一の記号を付し、説明を省略する。

図３６は、本実施形態による脳波計測装置５４の処理手順を示すフローチャートである。ステップＳ１０００がステップＳ３０００に置き換わり、ステップＳ２０７がステップＳ３０７に入れ替わった以外は実施形態２と同様であるので、それ以外の動作については適宜説明を省略する。

ステップＳ１０２において音響出力指示がある場合、ステップＳ３０００で出力波形に基づく判別基準の設定を行う。ステップＳ１０２において音響出力指示がない場合、出力波形の脳波への影響がないものとみなして判別基準の設定を行わない。

図３７は、脳波計測装置５４における、ステップＳ３０００の処理手順を示すフローチャートである。この処理により、判別基準が設定される。

まずステップＳ１００１およびＳ１００２は、実施形態２の説明と同じである。

一方、ステップＳ２００３では帯域成分分割部３４３はステップＳ１００２で分解された周波数ごとの成分を帯域ごとに分割する。具体的には例えば、０Ｈｚ〜２Ｈｚ、２Ｈｚ〜４Ｈｚ、４Ｈｚ〜８Ｈｚ、８Ｈｚ〜１６Ｈｚ、１６Ｈｚ〜３２Ｈｚ、３２Ｈｚ以上の６帯域に分割する。音声や音楽のような音響信号の周波数成分は同一話者内あるいは同一楽曲内であっても時々刻々と変化しており、したがって出力波形由来の電気的ノイズも時々刻々変化する。

図３８は、出力波形の帯域成分により判別基準を設定した場合の一例を模式的に示す。図３８中の帯域ごとの網かけ部分は出力波形の低周波数領域における帯域成分の時間変化を模式的に示す。図３８では周波数帯域ごとのパワーは、例えば、入力限界値を９０ｄＢとする基準値に対する比のデシベル表示とした。パワーは、例えば４つのうちのいずれかに分類される。具体的には、パワーの分類の一例は、１０ｄＢ未満、１０ｄＢ以上２０ｄＢ未満、２０ｄＢ以上３０ｄＢ未満、３０ｄＢ以上の４つである。なお、この分類数は、後述する判別基準変更テーブル４８２との関係で後述する。

帯域ごとのパワーはそれぞれに時間軸上で変化している。例えば、図３８中では、２Ｈｚ以下では０から４００ｍｓの時間でパワーが大きく、４００ｍｓ以降ではパワーがやや下がっている。これとは逆に１６Ｈｚから３２Ｈｚでは０から４５０ｍｓ付近まではパワーはさほど大きくないが、４５０ｍｓ付近から以降はパワーが大きくなっている。このような変化に伴って出力波形由来の電気的ノイズが時々刻々変化する中で、取得された脳波を正しく判断するために、判別基準をノイズの状況に従って変化させる必要がある。

ステップＳ３００４では帯域別判別基準設定部４８１は判別基準変更テーブル４８２を参照する。具体的には、帯域別判別基準設定部４８１は、出力波形が周波数帯域ごとに時間変動する状況に対応して定められた判別基準に対し、脳波インタフェースとして使用する脳波成分の時間周波数範囲が含まれる時間周波数範囲の判別基準を参照する。例えば、図３８に示すように本実施形態では脳波成分Ｐ３００の時間周波数範囲２００ｍｓから５００ｍｓで、４Ｈｚ以下の範囲が含まれる時間周波数範囲を参照する。

図３９は、判別基準変更テーブル４８２の一例を示す。帯域別判別基準設定部４８１はこの判別基準変更テーブル４８２を利用して、出力波形の周波数帯域ごとの成分のパワーに対応した判別基準を設定する。図３９に示したように、パワーを例えば１０ｄＢ未満、１０ｄＢ以上２０ｄＢ未満、２０ｄＢ以上３０ｄＢ未満、３０ｄＢ以上の４つのうちのいずれかに分割して、帯域ごとに正解波形群との類似度の下限と不正解波形群との類似度の上限とを設定する。

実施形態２のステップＳ２０７では類似度の判断閾値は固定であった。しかしながら、本実施形態では判断閾値は正解波形群との類似度と不正解波形群との類似度との組み合わせであり、出力波形の周波数帯域ごとに組み合わせが設定される。

上述の図３９に開示された判断閾値のテーブルは、正解波形群との類似度の下限と不正解波形群との類似度の上限を示している。さらに判断閾値は帯域ごとに時々刻々と変化する出力波形の周波数帯域ごとのパワーに対応して動的に設定される。

例えば、図３８に示した周波数帯域ごとのパワーの時間変化に対して、２Ｈｚ以下の帯域の０から４００ｍｓの区間では３０ｄＢ以上のパワーがある。そのため、図３９を参照して「正解波形群との類似度が０．８以上で不正解波形群との類似度が０．１以下」の条件を満たす事象関連電位をユーザの選択の意思が反映されたものと見なす。各帯域に対して同様に時間区間ごとのパワーに応じて判別基準を設定する。判別すべき事象関連電位によって、判別に利用する周波数帯域と時間が異なるため、各帯域の時間ごとの判別基準が用意されることにより、様々な事象関連電位に対応することができる。

なお、本実施形態３では出力波形の帯域成分に対して、上記のようにパワーと周波数を分割し、判別基準変更テーブル４８２に記憶されたあらかじめ定められた判別基準値を参照して判別基準値を設定した。しかしながら、周波数とパワーの関係を関数として保持しておき、関数を利用して判別基準値を設定する等、出力波形の帯域成分に応じた判別基準を設定する等のこれ以外の方法により判別基準値を設定しても良い。

続くステップＳ２０３〜Ｓ２０６（図２４）までの処理は、原則として実施形態２またはその変形例と概ね同じである。ステップＳ２０４の処理が一部異なっている点が相違する。

ステップＳ２０４では、特徴成分抽出部２７２はステップＳ２０３のウェーブレット変換の結果より、脳波特徴信号に関する領域のみを切り出す。具体的には、例えばＰ３００成分の特徴を抽出するために周波数４Ｈｚ以下の２００ｍｓから４００ｍｓの領域に含まれるデータサンプル点を抽出する。その後のステップＳ２０５以降は、実施形態２の説明と同じである。

ステップＳ３０７では特徴量比較部４９１はステップＳ２０６で求めた正解波形群との類似度と不正解波形群との類似度とを比較する。特徴量比較部４９１は、正解波形群との類似度が不正解波形群との類似度より大きく、かつ正解波形群との類似度がステップＳ３００４で定められた値以上であり、不正解波形群との類似度がステップＳ３００４で定められた値以下である場合に、計測された事象関連電位がステップＳ２０８でハイライト表示された項目を選択する意図を示すと判断する。あらかじめ定められた値は、例えば正解波形群との類似度については０．７以上であり、不正解波形群との類似度については０．３以下であるとする。

上述の条件を満たすとき（ステップＳ３０７でＹｅｓのとき）は、出力制御部２１０は、ステップＳ２０８でハイライトされた項目が選択されたものとして、その項目を実行する。具体的には、出力制御部２１０は、例えば、再生していた楽曲の出力を停止して、メニューリストにハイライト提示された楽曲の再生を開始する。

一方、ステップＳ３０７において、上述したいずれかの条件が満たされないとき、すなわちステップＳ３０７においてＮｏの場合は動作を終了する。

なお、本実施形態３ではステップＳ３０００では３２Ｈｚ以下のすべての時間周波数範囲に対して判別基準の設定を行った。しかしながら、判別に用いる脳波成分に対応する時間周波数範囲、本実施形態ではＰ３００に対応する２００ｍｓから５００ｍｓで、４Ｈｚ以下の範囲のみについて判別基準を設定するものとしても良い。

以上のように動作する脳波計測装置５４では、電極に近接する電気音響変換器から出力される波形信号を分析して、電極で記録される電位への影響を考慮した判別基準を設定する。これにより、電極に電気音響変換器が近接している場合でも音響出力に影響されること無く脳波を計測して脳波インタフェースとして利用することができる。その結果、ウェアラブル機器の範囲内に電極と電気音響変換器とを近接して装備しても脳波インタフェースの利用が可能になり、ウェアラブル機器以外に電極を装着する必要がなくなるため、ユーザの機器装着負担を削減できる。

（実施形態３の変形例）
次に、上述の本実施形態にかかる脳波計測装置の変形例を説明する。

図４０は、本実施形態の変形例にかかる、脳波計測装置５５の構成図である。

本変形例においても、実施形態３同様、事象関連電位を用いた脳波インタフェースによりユーザの意図を取得して機器を制御する例を示す。

本例では、事象関連電位を取得する際の脳波切り出し用トリガとして、本実施形態では図６に示したようなＨＭＤを想定し、ディスプレイ上での選択肢のハイライトタイミングを用いた。

本例による脳波計測装置５５では、実施形態３の脳波特徴抽出部４７０が除去されている。また、帯域成分分析部３４０に代えて振幅包絡抽出部５４０と周波数分析部１４７とノイズ振幅計算部５１０が設けられ、判別基準設定部４８０に代えて判別基準設定部５８０が設けられ、判別部４９０に代えて判別部５９０が設けられている。それ以外は同一の構成である。

振幅包絡抽出部５４０、ノイズ振幅計算部５１０、判別基準設定部４８０および判別部５９０は、ＣＰＵとメモリによって実現される。これは実施形態３の帯域分析部３４０、判別基準設定部４８０および判別部４９０と同様である。

脳波計測装置５５は、出力制御部２１０と、波形生成部１２０と、電気音響変換器１３０と、振幅包絡抽出部５４０と、周波数分析部１４７と、ノイズ振幅推定部５１０と、判別基準設定部５８０と、画像信号生成部２２０と、ディスプレイ２３０と、電極部１６０と、電位抽出部１７０と、電位波形切り出し部２６０と、判別部５９０を有している。これまでの実施形態と同様、破線で囲まれた構成要素は、ＣＰＵおよび／またはメモリによって実現され得る。

振幅包絡抽出部５４０は、実施形態１の振幅包絡抽出部１４０から波形切り出し部１４１および切り出し時間位置記憶部１４５を除去して構成されている。振幅包絡抽出部５４０は、波形生成部１２０で生成された波形信号を分析して振幅包絡を抽出する。

周波数分析部１４７は、振幅包絡抽出部１４０で抽出された振幅包絡の周波数を求める。

ノイズ振幅推定部５１０は、周波数分析部１４７で求められた振幅包絡の周波数に基づいて、振幅包絡抽出部５４０で抽出された出力音響信号に含まれる低周波成分波形に基づき、電極部１６０で計測される電位に混入するノイズ波形の振幅を計算する。

判別基準設定部５８０は、ノイズ振幅推定部５１０で計算されたノイズ波形の振幅の大きさにより、脳波判定時の判定基準を設定する。

図４１は、判別基準設定部５８０の詳細な構成を示す。

判別基準設定部５８０は線形判別基準設定部５８１と判別基準変更テーブル５８２とを有している。

判別部５９０は、判別基準設定部５８０で設定された判別基準に従って電位波形切り出し部２６０で切り出された脳波波形からユーザの意図を判別する。

図４２は、判別部５９０の詳細な構成を示す。

判別部５９０は波形比較部５９１と、判別式パラメータ５９２とを有しているからなる。なお、判別式パラメータ５９２はメモリによって実現される。

判別基準設定部５８０および判別部５９０の各構成要素の説明を兼ねて、以下図４３を参照しながら脳波計測装置５３の処理を説明する。なお、図４０〜図４２に関しては、実施形態３と同一の部分には同一の記号を付し、説明を省略する。

図４３は、本実施形態の変形例による脳波計測装置５４の処理手順を示すフローチャートである。図３６のステップＳ３０００がステップＳ４０００に置き換わり、ステップＳ２０３からステップＳ２０６がステップＳ５０１に入れ替わり、ステップＳ２０７がステップＳ５０２に入れ替わった以外は実施形態３と同様であるので、それ以外の動作については適宜説明を省略する。

ステップＳ１０２において音響出力指示がある場合、判別基準設定部５８０は、ステップＳ４０００で出力波形に基づく判別基準の設定を行う。判別基準の設定の詳細については後述する。ステップＳ１０２において音響出力指示がない場合、出力波形の脳波への影響がないものとみなして判別基準の設定を行わない。

ステップＳ５０１では波形比較部５９１はステップＳ２０２で切り出された事象関連電位の波形と正解波形群、不正解波形群との類似度をそれぞれに求める。本例では、類似度をあらかじめ求め、波形比較部５９１は判別式パラメータ５９２に格納された線形判別式に波形データを当てはめる。これにより判別スコアが求められ、類似度が計算されるとする。

ただし、この計算方法以外であってもよく、あらかじめ記録された波形データを保持し、個別の波形間の差の総和としての距離を求める等を用いても良い。

線形判別式は、例えば以下のように求められる。まず波形比較部５９１は、あらかじめ計測された複数の正解波形と不正解波形の事象関連電位について、トリガを基点にして０ミリ秒から６００ミリ秒の範囲を２０ミリ秒の区間に分割する。そして、波形比較部５９１は、正解波形であるか不正解波形であるかを従属変数とし、２０ミリ秒の各区間の電位の平均を独立変数として判別分析を行う。これにより、線形判別式を求めることができる。

判別分析によって求められる判別式は、各独立変数の判別への貢献度を重みとし、各データの独立変数に重みをかけ合せて合計値を求めるために利用される。１つのデータに判別式を当てはめることにより、判別式を作成した際に用いたデータを従属変数で分類した場合の従属変数ごとのデータ群に対する対象データの類似度を計算することができる。

ステップＳ５０２ではさらに波形比較部５９１は、ステップＳ４０００で設定された判別基準にステップＳ５０１で計算された類似度を当てはめる。そして、計測された事象関連電位がハイライト項目を選択する意図に対応するものか、ハイライト項目を選択しない意図に対応するものか、判別不能かを判断する。

ステップＳ５０２の判定の結果、計測された事象関連電位がハイライト項目を選択する意図に対応するものであると判断された場合、処理はステップＳ２０８に進む。一方、計測された事象関連電位がハイライト項目を選択する意図に対応するものではないあるいは判別不能と判断された場合は動作を終了する。

ステップＳ２０８では、ハイライトされた項目が選択されたものとして、出力制御部２１０はその項目を実行する。

次に、先のステップＳ４０００の処理を説明する。

図４４は、脳波計測装置５５における、ステップＳ４０００の処理手順を示すフローチャートである。この処理により、判別基準が設定される。

図４４に示されるステップＳ１０４〜Ｓ１０７は、図１５に示す処理と同じである。これらの処理は、振幅包絡抽出部５４０によって実行され、出力信号の低周波成分が抽出される。

ステップＳ５００２では、周波数分析部１４７は、ステップＳ５００１で抽出された振幅包絡の包絡線の周波数分析を行う。ステップＳ１０４〜Ｓ１０７およびＳ５００２の詳細な説明は実施形態１に関連して説明したため、以下ではその説明は省略する。

ステップＳ１０６では、 ステップＳ４００１ではノイズ振幅推定部５１０はステップＳ５００２で求められた振幅包絡の周波数に従って、ステップＳ１０７で生成された低域成分より電極部１６０で計測される脳波に重畳するノイズの振幅を推定する。ノイズ振幅推定部５１０は、図１６に示したような変換関数に従って、ステップＳ５００２で求めた振幅包絡の瞬時周波数に対応する係数を決定し、その係数を低周波成分の各値に乗じて出力波形由来で発生する低周波の電気的ノイズを時間波形として推定する。

ステップＳ４００２では、ノイズ振幅推定部５１０はステップＳ４００１で推定されたノイズ波形をあらかじめ定められた時間幅（例えば１秒）ごとに区切り、区間内での最大値と最小値を求める。そして、これらの差分をその区間におけるノイズ振幅とする。ノイズ振幅推定部５１０は画像信号生成部２２０が出力されたハイライトタイミングを基準として、出力波形信号から推定された区間ごとのノイズ振幅から、ステップＳ２０２で切り出された電位波形の時間範囲と一致する時間に出力された波形のノイズ振幅を求める。

ステップＳ４００３では線形判別基準設定部５８１は判別基準変更テーブル５８２を参照し、ステップＳ４００２で推定された脳波計測区間でのノイズ振幅に従って判別基準を設定する。判別基準は、脳波波形（本例では事象関連電位）を線形判別の手法を用いて判別する際に利用される。

例えば、ノイズが大きく脳波が不鮮明になるにつれ、正解波形との類似度がやや低い場合も正解波形として判断し、正解波形には含めないとする不正解は毛糸の類似度の上限を上げて、正解波形の取りこぼしを補うように判別基準を設定する。一方、ノイズが大きすぎて判別不能となる場合には判別を行わない。

図４５は、線形判別基準設定部５８１によって参照される判別基準変更テーブル５８２の一例である。推定されたノイズの振幅が１マイクロボルト未満である場合は通常の判別基準である正解波形との類似度８０％以上、不正解波形との類似度２０％以下の判別基準が選択される。推定されたノイズの振幅が１マイクロボルト以上３マイクロボルト未満である場合には、正解波形との類似度７０％以上、不正解波形との類似度２０％以下の判別基準が選択される。３マイクロボルト以上７マイクロボルト未満である場合には正解波形との類似度７０％以上、不正解波形との類似度４０％以下の判別基準が選択される。そして、７マイクロボルト以上の場合は判別基準を設定せず、判別をおこなわないものとする。

なお、本例では判別基準を図４１のようにノイズ振幅に対して４段階に分けて設定した。しかしながらこの設定方法は一例であり、他の方法、たとえば４段階とは異なる段階を設けて判別基準を設定してもよい。また、テーブルでなく、類似度判定関数として保持しても良い。

以上のように動作する脳波計測装置５５では、電極に近接する電気音響変換器から出力される波形信号を分析して、電極で記録される電位への影響を考慮した判別基準を設定する。これにより、電極に電気音響変換器が近接している場合でも音響出力に影響されること無く脳波を計測して脳波インタフェースとして利用することができる。この結果、ウェアラブル機器の範囲内に電極と電気音響変換器とを近接して装備しても脳波インタフェースの利用が可能になり、ウェアラブル機器以外に電極を装着する必要がなくなるため、ユーザの機器装着負担を削減できる。

（実施形態４）
図４６は、本実施形態による脳波計測装置５６の構成図である。実施形態１の脳波計測装置５１と比較すると、本実施形態による脳波計測装置５６では、実施形態１の脳波計測装置５１におけるノイズ減算部１８０が除去されている。また、ノイズ推定部１５０に代えてノイズ振幅推定部５１０が設けられ、脳波判定部１９０に代えて脳波判定部６９０が設けられている。それ以外は本実施形態にかかる脳波計測装置５６の構成は、実施形態１にかかる脳波計測装置５１の構成と同じである。なお、破線で囲まれた構成要素は、ＣＰＵおよび／またはメモリによって実現され得る。

本実施形態では、実施形態１と同様、脳波によりユーザ状態をモニタし、脳波の変化に応じて機器を自動的に制御する例を示す。より具体的には、脳波のα波の出現頻度により音響出力のボリューム操作を行う例である。図６に示したようなＨＭＤや図７に示したような補聴器への応用が可能である。

まず、音響出力制御部１１０、波形生成部１２０、振幅包絡抽出部１４０、周波数分析部１４７と同様、ノイズ振幅推定部５１０および脳波判定部６９０は、ＣＰＵとメモリによって実現される。

脳波計測装置５６は、入力手段１０１と、音響出力制御部１１０と、波形生成部１２０と、電気音響変換器１３０と、振幅包絡抽出部１４０と、周波数分析部１４７と、ノイズ振幅推定部５１０と、電極部１６０と、電位抽出部１７０と、脳波判定部６９０とを有している。

ノイズ振幅推定部５１０は、周波数分析部１４７で求めた振幅包絡の周波数に従って、新婦包絡抽出部１４０で抽出された低周波成分すなわち振幅包絡によって発生する電気的ノイズの振幅を推定する。

脳波判定部６９０は、ノイズ振幅推定部５１０で推定されたノイズの振幅に基づいて判定基準を設定し、電位抽出部１７０で抽出された電位変化の波形に含まれるα波の出現頻度を判定する。

図４７は、脳波判定部６９０の詳細な構成を示す。脳波判定部６９０は脳波切り出し部１９５、α波抽出部１９１、α波時間長計算部１９２、判定部６９３、先行状態記憶部６９４と、判定基準変更テーブル６９５、とを有している。

図４６および図４７に関しては、実施形態１と同一の部分には同一の記号を付し、説明を省略する。

図４８は、本実施形態による脳波計測装置５６の処理手順を示すフローチャートである。図１４のステップＳ５００３がステップＳ６０００とＳ６００１に入れ替わり、ステップＳ１１１がステップＳ６００２に入れ替わり、Ｓ４００２が付け加わった以外は実施形態１と同様であるので、それ以外の動作については適宜説明を省略する。

ステップＳ１０２において音響出力が指示されている場合（ステップＳ１０２においてＹｅｓの場合）には処理はステップＳ５００１に進み、音響出力が指示されていない場合（ステップＳ１０２においてＮｏの場合）には処理はステップＳ６００２に進む。

ステップＳ５００１において低周波成分として振幅包絡が抽出され、ステップＳ５００２で振幅包絡の瞬時周波数が分析される。ステップＳ１０８によって包絡線すなわち低域成分の瞬時周波数に対応する係数が決定される。そしてステップＳ４００２において、実施形態３の変形例で説明したとおり、脳波計測区間でのノイズ振幅を推定する。

ステップＳ６０００では脳波切り出し部１９５が、あらかじめ定められた時間長の脳波波形を切り出し、α波抽出部１９１は脳波切り出し部１９５が切り出した脳波中に記録されたα波を抽出する。α波時間長計算部１９２は切り出された波形中に観察されたα波の総時間長を求める。ステップＳ６００１では判定部１９３はステップＳ４００２で推定されたノイズの振幅に対応して、ノイズの振幅と判定基準との対照テーブルに基づき、アルファ波の増減判定の基準を設定する。ステップＳ１０２においてＮｏの場合は、ステップＳ６００２に進む。

図４９は、ノイズの振幅と判定基準との対照テーブルの一例を示す。図４９に関する処理は後述する。

ステップＳ６００２では、脳波判定部１９０は、ステップＳ６００１で計算されたα波の総時間長を、先行状態記憶部６９４に保存された過去のα波の総時間長と比較する。そして、α波の出現頻度が減少しているか否かを判定する。

ステップＳ１０２において音響出力指示がない場合、すなわちステップＳ１０２においてＮｏの場合、ステップＳ１０１で取得された電位差にはノイズは混入していないものとして波形を取り扱う。すなわちα波の減少の判定基準はあらかじめ定められた、ノイズがない場合の基準が用いられる。

ステップＳ１１２では、実施形態１において説明した、ボリュームの調整処理と同様の処理である。ステップＳ６００２でα波の出現頻度が減少している場合、すなわちステップＳ６００２でＹｅｓの場合、音響出力制御部１１０は音響出力のボリュームを下げる（ステップＳ１１２）。ステップＳ６００２でα波の出現頻度が減少していない場合、すなわちＳ６００２でＮｏの場合は、音響出力制御部１１０は音響出力に対する変更は行わない。

ここでステップＳ６００１のα波増減判定基準の設定方法の詳細を説明する。

判定部１９３は、ステップＳ４００２でノイズ振幅推定部５１０によって推定されたノイズの振幅の値と、先行状態記憶部６９４に記憶されている過去のノイズとを比較する。判定部１９３は、現在のノイズの振幅と、過去のノイズの振幅との差によって判定基準変更テーブル６９５を参照し、例えば、図４９に示したような基準の変更率を取得する。

例えば現在のノイズの振幅が３マイクロボルトであって、先行状態記憶部６９４に記憶された過去のノイズの振幅が１マイクロボルトであるとする。つまり、現在は過去に比べて２マイクロボルト増加している。この情報に基づいて図４９の対照テーブルを参照すると、ノイズ振幅が５マイクロボルト以下（図４９の「〜５μＶ」）で、１マイクロボルトから３マイクロボルトのノイズ振幅増加量にあたる。

α波の増減の判断はあらかじめ定められたノイズがない場合の判断基準に対して、過去より現在のα波の総時間長が長いと判断するための時間長の差をさらに２０％大きくする。また、過去より現在のα波の総時間長が短いと判断するための時間長の差をさらに１０％大きくする。

例えば、ノイズがない場合の標準の設定の場合、増加と判断する場合の総時間長の差が１００ミリ秒、減少と判断する場合のそう時間長の差が５０ミリ秒であれば、現在のノイズの振幅が３マイクロボルトであって、先行状態記憶部６９４に記憶された過去のノイズの振幅が１マイクロボルトの場合には、１２０ミリ秒総時間長が長い場合にアルファ波の頻度が増加したと判断し、５５ミリ秒総時間長が短い場合にα波の頻度が減少したと判断する。

なお、ここではα波の出現頻度により音響出力のボリューム操作を行ったが、これ以外の操作、例えばスイッチの切断、モードの切り替え等の制御を行うものとしても良い。特に補聴器の場合は脳波により、会話に集中するモードや雑踏を聞き流すモード等を脳波により自動的に切り替える操作を行うものとしても良い。

以上のように動作する脳波計測装置５６では、電極に近接する電気音響変換器から出力される波形信号を分析して、電極で記録される電位に混入する低周波の電気的ノイズの振幅を推定して判定基準を適応的に変化させる。これにより、電極に電気音響変換器が近接している場合でも音響出力の影響を抑制した状態で、脳波計測により感情や眠気等のユーザの状態をモニタすることができる。

従来の考え方からすれば、音響出力由来の低周波帯域の電気的ノイズが混入した状態においては、指標として用いる特徴的脳波成分であるα波とノイズを分離することができず、実際にはα波が利用できない。それにもかかわらず、ステップＳ１１１においてノイズをα波として検出することとなり、α波の出現頻度の変化を正確に捉えることができない。このため、本実施形態の例であれば、ボリュームの調節が正しく行われないこととなる。

一方、本実施形態の構成によれば、ノイズの影響を考慮した脳波判定を行うことで、ウェアラブル機器の範囲内に電極と電気音響変換器とを近接して装備しても脳波によるユーザ状態のモニタが可能になる。ウェアラブル機器以外に電極を装着する必要がなくなるため、ユーザの機器装着負担を削減できる。

なお、本実施形態ではユーザ状態のモニタとしてα波の出現頻度を用いたが、α波とβ波のパワー比率等、他の脳波成分による指標を用いても良い。

本発明にかかる脳波計測装置では、電気音響変換器が脳波計測用の電極に近接する場合に広く利用可能である。ＨＭＤ、音楽プレーヤー、補聴器のように音響出力手段があり、耳周辺の皮膚との接触範囲において脳波を計測可能であれば、種々の装置に適用できる。たとえば、ユーザの状態をモニタする脳波モニタ装置の構築、あるいは、脳波を利用してより機器の操作等を行う脳波インタフェースシステムを構築する際に有用である。また、ウェアラブルな情報機器や携帯電話等の通信機器等の用途にも応用できる。

５１、５２、５３、５４、５５、５６、５７ 脳波計測装置
１０１ 入力部
１１０ 音響出力制御部
１２０ 波形生成部
１３０ 電気音響変換器
１４０、２４０、５４０ 振幅包絡抽出部
１４１、２４１ 波形切り出し部
１４２ 全波整流処理部
１４３ ピーク検出部
１４４ ローパスフィルタ
１４５ 切り出し時間位置記憶部
１４７ 周波数分析部
１５０、３５０ ノイズ推定部
１５１ 信号ノイズ変換関数記憶部
１５２ ノイズ推定処理部
１６０ 電極部
１７０ 電位抽出部
１８０ ノイズ減算部
１８１、２６０ 電位波形切り出し部
１８２ ノイズ成分減算部
１９０、６９０ 脳波判定部
１９１ α波抽出部
１９２ α波時間長計算部
１９３、６９３ 判定部
１９４、６９４ 先行状態記憶部
１９５ 脳波切り出し部
２１０ 出力制御部
２２０ 画像信号生成部
２３０ ディスプレイ
２７０、４７０ 脳波特徴抽出部
２９０、４９０、５９０ 判別部
２４２、２７１ ウェーブレット変換部
２４３ 低周波成分抽出部
２４４ ウェーブレット逆変換部
２７２ 特徴成分抽出部
２９１、４９１ 特徴量比較部
２９２ 判別基準ＤＢ
３４０ 帯域成分分析部
３４３ 帯域成分分割部
３５１ 帯域成分計算部
３５２ 信号ノイズ変換係数テーブル
３５３ ウェーブレット逆変換部
４８０、５８０ 判別基準設定部
４８１ 帯域別判別基準設定部
４８２、５８２、６９５ 判別基準変更テーブル
５１０ ノイズ振幅推定部
５８１ 線形判別基準設定部
５９１ 波形比較部
５９２ 判別式パラメータ

Claims (21)

1. 複数の電極を用いて、使用者の脳波を計測する脳波計測部と、
   前記使用者が前記脳波計測部を装着したときにおいて、前記複数の電極のうち少なくとも１つの電極の近傍に配置され、前記使用者に音響信号を提示する電気音響変換器と、
   前記電気音響変換器から提示された音響信号の振幅包絡を抽出する振幅包絡抽出部と、
   前記振幅包絡抽出部で抽出された振幅包絡の周波数分析を行う周波数分析部と、
   あらかじめ用意された変換規則と抽出された前記振幅包絡の周波数分析結果とを用いて、前記電気音響変換器から前記少なくとも１つの電極に混入した電気的ノイズを推定するノイズ推定部と
   を備えた、脳波計測装置。
2. 前記変換規則は、周波数と変換係数との対応を規定しており、
   前記ノイズ推定部は、前記振幅包絡の瞬時周波数および前記変換規則を利用して前記瞬時周波数に対応する変換係数を求め、求められた変換係数を前記振幅包絡に乗じることにより、前記電気的ノイズを推定する、請求項１に記載の脳波計測装置。
3. 前記ノイズ推定部は、周波数が高くなるに従って変換係数がより小さくなる変換規則を用いて前記電気的ノイズを推定する、請求項２に記載の脳波計測装置。
4. 前記ノイズ推定部は、周波数が２０Ｈｚから３０Ｈｚの間で０に収束する変換規則を用いて前記電気的ノイズを推定する、請求項２に記載の脳波計測装置。
5. 推定された前記電気的ノイズを、前記脳波から除去する除去部をさらに備えた、請求項１に記載の脳波計測装置。
6. 複数の電極を用いて、使用者の脳波を計測する脳波計測部と、
   前記使用者が前記脳波計測部を装着したときにおいて、前記複数の電極のうち少なくとも１つの電極の近傍に配置され、前記使用者に音響信号を提示する電気音響変換器と、
   前記電気音響変換器から提示された音響信号の振幅包絡を抽出する振幅包絡抽出部と、
   前記振幅包絡抽出部で抽出された振幅包絡の周波数分析を行う周波数分析部と、
   あらかじめ用意された変換関数を用いて、抽出された前記振幅包絡の周波数分析結果からノイズ推定値への変換係数を求め、前記変換係数に基づいて、前記振幅包絡の影響により、前記電気音響変換器から前記少なくとも１つの電極の入力信号に電気的に混入したノイズを推定するノイズ推定部と、
   を備えた、脳波計測装置。
7. 推定された前記電気的ノイズを、前記脳波から除去する除去部をさらに備えた、請求項６に記載の脳波計測装置。
8. 複数の電極を用いて、使用者の脳波を計測する脳波計測部と、
   前記使用者が前記脳波計測部を装着したときにおいて、前記複数の電極のうち少なくとも１つの電極の近傍に配置され、前記使用者に音響信号を提示する電気音響変換器と
   を備え、予め用意された判別基準にしたがって、計測された前記脳波から前記使用者の意図を判別する脳波計測装置であって、
   前記電気音響変換器から提示される音響信号の振幅包絡を抽出する振幅包絡抽出部と、
   前記振幅包絡抽出部で抽出された振幅包絡の周波数を分析する周波数分析部と、
   あらかじめ用意された変換関数を用いて、前記振幅包絡の周波数分析結果からノイズ推定値への変換係数を求め、前記変換係数に基づいて、前記振幅包絡の影響により、前記電気音響変換器から前記電極の入力信号に電気的に混入したノイズを推定するノイズ推定部と、
   推定された前記ノイズに応じて前記判別基準を変化させる判別基準設定部と
   を備えた、脳波計測装置。
9. 複数の電極を用いて、使用者の脳波を計測する脳波計測部と、
   前記使用者が前記脳波計測部を装着したときにおいて、前記複数の電極のうち少なくとも１つの電極の近傍に配置され、前記使用者に音響信号を提示する電気音響変換器と
   を備え、予め用意された判別基準にしたがって、計測された前記脳波から前記使用者の意図を判別する脳波計測装置であって、
   前記電気音響変換器から提示された音響信号の振幅包絡を抽出する振幅包絡抽出部と、
   前記振幅包絡抽出部で抽出された振幅包絡の周波数分析を行う周波数分析部と、
   あらかじめ用意された変換関数を用いて、抽出された前記振幅包絡の周波数分析結果からノイズ推定値への変換係数を求め、前記変換係数に基づいて、前記振幅包絡の影響により、前記電気音響変換器から前記電極の入力信号に電気的に混入したノイズを推定するノイズ推定部と、
   推定された前記ノイズに応じて前記判別基準を変化させる判別基準設定部と
   を備えた、脳波計測装置。
10. 前記変換関数は、周波数が高くなるに従って前記変換係数が減衰し、かつ出力された前記音響信号に含まれる成分の周波数が２０Ｈｚから３０Ｈｚの間で０に収束するような変換係数を与える関数である、請求項１、６、８および９のいずれかに記載の脳波計測装置。
11. 前記変換関数は、予め設定された複数の帯域の各々に変換係数が対応付けられて構成されている、請求項１０に記載の脳波計測装置。
12. 前記振幅包絡抽出部は、ウェーブレット変換により、前記音響信号を時間周波数分解して前記音響信号の振幅包絡を抽出する、請求項６または９に記載の脳波計測装置。
13. 前記振幅包絡抽出部は、フーリエ変換により、前記音響信号を時間周波数分解して前記音響信号の振幅包絡を抽出する、請求項６または９に記載の脳波計測装置。
14. 前記振幅包絡抽出部は、前記音響信号を時間周波数分解することによって得られた成分のうち２０Ｈｚから３０Ｈｚの間であらかじめ定められた上限周波数以下の周波数の成分を前記音響信号の振幅包絡として抽出する、請求項６または９に記載の脳波計測装置。
15. 前記振幅包絡抽出部は、予め定められた脳波の周波数を含む周波数帯域で、かつ、予め定められた時間帯に関してウェーブレット変換を行うことにより、前記音響信号から時間周波数領域の周波数成分を求め、かつ、求めた前記時間周波数領域の周波数成分をウェーブレット逆変換することにより、前記音響信号の振幅包絡を抽出して出力する、請求項６または９に記載の脳波計測装置。
16. 前記ノイズ推定部は、前記変換関数を用いて、前記音響信号に含まれる周波数成分に対応する変換係数を求める、請求項１０に記載の脳波計測装置。
17. 前記変換関数を記憶する記憶部をさらに備えた、請求項１６に記載の脳波計測装置。
18. 前記判別基準は、計測された前記脳波と複数種類の基準脳波データとの類似度に応じて、前記使用者の意図を判別するために利用される基準であって、前記類似度の閾値または複数の閾値の組み合わせによって構成されている、請求項３または９に記載の脳波計測装置。
19. 前記少なくとも１つの電極および前記電気音響変換器は、一体的に構成されている、請求項１、６、８および９のいずれかに記載の脳波計測装置。
20. 複数の電極を用いて、使用者の脳波を計測するステップと、
    前記使用者が前記脳波計測部を装着したときにおいて、前記複数の電極のうち少なくとも１つの電極の近傍に配置された電気音響変換器を用いて、前記使用者に音響信号を提示するステップと、
    前記電気音響変換器から提示された音響信号の振幅包絡を低周波成分として抽出するステップと、
    前記振幅包絡の周波数分析を行うステップと、
    あらかじめ用意された変換規則と抽出された前記振幅包絡の周波数分析結果とを用いて、前記電気音響変換器から前記少なくとも１つの電極に混入した電気的ノイズを推定するステップと
    を包含する、電気的ノイズの推定方法。
21. 脳波計測装置に実装されるコンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記コンピュータに対し、
    複数の電極を用いて計測された使用者の脳波のデータを受け取るステップと、
    前記使用者が前記脳波計測部を装着したときにおいて、前記複数の電極のうち少なくとも１つの電極の近傍に配置された電気音響変換器を用いて、前記使用者に音響信号を提示するステップと、
    前記電気音響変換器から提示された音響信号の振幅包絡を低周波成分として抽出するステップと、
    前記振幅包絡の周波数分析を行うステップと、
    あらかじめ用意された変換規則と抽出された前記振幅包絡の周波数分析結果とを用いて、前記電気音響変換器から前記少なくとも１つの電極に混入した電気的ノイズを推定するステップと
    を実行させる、コンピュータプログラム。

Images