JP5829207B2

JP5829207B2 - 感覚誘発電位を用いたデバイスのｅｅｇ制御システム、方法およびコンピュータプログラム

Info

Publication number: JP5829207B2
Application number: JP2012500783A
Authority: JP
Inventors: サリバン・トーマス・ジェイ．; デロルメ・アルノー; ルオ・アン
Original assignee: Neurosky Inc
Current assignee: Neurosky Inc
Priority date: 2009-03-16
Filing date: 2010-03-12
Publication date: 2015-12-09
Anticipated expiration: 2030-03-12
Also published as: CN102368950A; JP2012520730A; EP2408359A4; WO2010107473A1; EP2408359B1; EP2408359A1; US20120220889A1; TW201125535A; AU2010226293B2; CN102368950B; US8155736B2; AU2010226293A1; TWI505813B; US8798736B2; KR101579773B1; KR20110130482A; US20100234752A1

Description

ユーザの脳波を測定可能にする生体信号センサ（例えば、脳波センサなど）を備えるＥＥＧ検出システムが存在する。感覚誘発電位（ＳＥＰ）は、一般的に、個人が刺激に反応する時に生成される個人の無意識のＥＥＧ信号（例えば、視覚誘発電位、もしくは、触覚誘発または聴覚誘発電位のような他の感覚によって誘発されるＥＥＧ電位）である。したがって、視覚誘発電位などのＳＥＰを用いるデバイスのＳＥＰ応用および／またはＥＥＧ制御のために利用できるＥＥＧ検出システムを提供することが望ましい。

いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムを示すブロック図。いくつかの実施形態に従って、ＥＥＧ制御システムを示す機能図。いくつかの実施形態に従って、ＥＥＧ検出システムを示す機能図。いくつかの実施形態に従って、帽子の中に取り付けられたＥＥＧセンサおよび基準ＥＥＧセンサを備えたＥＥＧ検出システムを示す図。いくつかの実施形態に従って、ＥＥＧセンサを示す図。いくつかの実施形態に従って、ＥＥＧセンサを示す図。いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムを示す別のブロック図。いくつかの実施形態に従って、非接触ＥＥＧセンサを備えるＥＥＧ検出システムを示す図。いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムのためのＬＥＤ光源を示す図。いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムのためのＬＥＤ光源を示す図。いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムについて、ＥＥＧデータおよび光制御信号データを示すグラフ。いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムについて、ＥＥＧデータおよび光制御信号データを示すグラフ。サンプルＥＥＧデータについてのパワースペクトルのグラフ。いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムについて、光開始後の平均ＥＥＧデータを示すグラフ。いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムについて、光フラッシュとＥＥＧ生データとの相関を示すグラフ。いくつかの実施形態に従ったＳＥＰ用のＥＥＧシステムのためのフローチャート。いくつかの実施形態に従ったＳＥＰ用のＥＥＧシステムのための別のフローチャート。いくつかの実施形態に従って、異なる刺激タイプを示す図。いくつかの実施形態に従って、タイムドメインアルゴリズムを示す図。いくつかの実施形態に従って、４つの刺激同期平均の一例を示すグラフ。いくつかの実施形態に従って、フラッシュ同期平均信号の生成についての一例を示すグラフ。

本発明は、以下の様々な形態で実施されうる：処理、装置、システム、物質の組成、コンピュータ読み取り可能な記憶媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納された命令および／またはそのメモリによって提供される命令を実行するよう構成されたプロセッサなど）。本明細書では、これらの実施形態または本発明が取りうる任意の他の形態が、技術とみなされうる。一般に、開示されている処理の工程の順番は、本発明の範囲内で変更されてもよい。特に明記しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、与えられた時間にタスクを実行するよう一時的に構成される汎用の構成要素、または、タスクを実行するために製造された特定の構成要素として実装されてよい。本明細書で用いられているように、「プロセッサ」という用語は、１または複数のデバイス、回路（例えば、ＰＣＢ、ＡＳＩＣ、および／または、ＦＰＧＡ）、および／または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指す。

以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態との関連で説明されるが、どの実施形態にも限定されるものではない。本発明の範囲は、特許請求の範囲によってのみ限定され、本発明は、多数の代替物、変形例、および、等価物を含む。本発明の完全な理解を提供するために、以下の説明では、多数の具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部またはすべてがなくとも特許請求の範囲に従って実施可能である。明瞭するために、本発明に関連する技術分野で周知の技術事項については、本発明が不必要に分かりにくくならないように、詳細には説明されていない。

ユーザがフラッシュ光を見るなどの刺激事象から生成される典型的な脳波検査（ＥＥＧ）信号は、比較的弱い信号である。結果として、（例えば、乾式接触センサ、湿式接触センサ、または、非接触ＥＥＧセンサを用いて）検出された信号内に標準的な量のノイズ（例えば、回路、外部ノイズ源、および／または、関係のないＥＥＧ源からのノイズ）を含むかかる信号を検出することは容易ではない。さらに、適時に（例えば、２〜３秒以内に）、シグネチャＥＥＧ信号を検出するのも容易ではない。例えば、一定の周波数で点滅する光を用いるシステムは、光の周波数における電力の増大についてＥＥＧ信号を監視することを利用する。これらのシステムおよび方法は、一般に、定常状態視覚誘発電位（ＳＳＶＥＰ）と呼ばれる。しかし、電力評価技術（例えば、ＦＦＴ技術）は、ＥＥＧ信号内のノイズレベルが、評価されている信号と同じオーダーのレベルである場合には信頼性がなく、これは、特に非接触ＥＥＧセンサによく当てはまる。

思考または高いレベルの知覚によって生成されるＥＥＧ電位に依存する技術は遅い。例えば、Ｐ３００事象関連電位（ＥＲＰ）では、ユーザは、事象が時間的に比較的離れている（例えば、１０の事象が１分にわたって離間される）必要がある比較的頻度の低い事象を認識しなければならず、それにより、ＥＥＧに基づく制御で決定／行動を実行できる速度が制限される。

したがって、ＥＥＧ信号に基づいて刺激誘発事象（例えば、視覚誘発電位のようなＳＥＰ）を効率的かつ効果的に決定しうるシステムおよび方法が求められる。

いくつかの実施形態では、デバイスを制御するために、ＳＥＰに関連するＥＥＧ信号を効率的かつ効果的に特定するシステムが提供される。いくつかの実施形態では、ユーザへのコマンド／ユーザからのコマンドに対応するフラッシュ光（例えば、１または複数の発光ダイオード（ＬＥＤ）からのフラッシュ光、および／または、コンピュータスクリーンまたはテレビ（ＴＶ）スクリーンからのフラッシュ光）を用いるシステムが提供される。いくつかの実施形態では、システムにおけるフラッシュ光は、異なる一定の周波数で点滅する。いくつかの実施形態では、システムにおける点滅光は、一定パターンの可変周波数または非周期的な周波数で点滅する。システムは、ユーザの検出ＥＥＧ信号を記録し、フラッシュ光の１つをユーザが見ているか否か／ユーザがそれを見ている時を決定する。本明細書で用いられているように、ＳＥＰは、一般に、ユーザが、（例えば、急速に）繰り返す間隔刺激（例えば、フラッシュ光またはその他の視覚刺激事象への無意識の反応などの視覚的、聴覚的、触覚的、もしくは、その他の刺激事象）にさらされた時に生成される無意識のＥＥＧ信号を指す。本明細書に用いられているように、ＳＥＰは、ユーザの思考および高いレベルの知覚（例えば、Ｐ３００のような比較的まれな事象の認識、または、文法の間違いの認識）に基づく事象を含まない。なお、それらの事象は、一般に、より長い期間の時間オフセットの後に生じ（そして、一般に、特定のために小さいＥＥＧ信号サンプルを加算平均することができるように、かかる事象を比較的遅く繰り返す必要があり）、一般に、事象関連電位（ＥＲＰ）と呼ばれる。

いくつかの実施形態では、急速に繰り返す感覚刺激に反応して生成されるＳＥＰ信号に対して様々な信号平均技術を用いるシステムが提供される。図１８に示すようないくつかの実施形態において、急速に繰り返される刺激事象に反応するユーザ（フラッシュ光を見るユーザなど）からのＥＥＧ信号、および、刺激を制御するために用いられる信号が、共に測定される。例えば、光の開始後の固定長（例えば、１００ミリ秒（ｍｓ））のＥＥＧ信号のセグメントが最初に記録される。次いで、記録されたデータは、刺激の開始後の最初のＥＥＧデータ点が共に平均されるように、共に平均され、その後、刺激の開始後の第２のデータ点すべてが共に平均され、刺激の開始後の第３のデータ点が共に平均され、以下同様に続く。その結果、記録されたセグメントと同じ波長の平均波形を有する刺激同期（ｓｔｉｍｕｌｕｓ−ｌｏｃｋｅｄ）平均信号（すなわち、この例では、フラッシュ同期（ｆｌａｓｈ−ｌｏｃｋｅｄ）平均信号）が提供される。例えば、ユーザが光を見た場合、平均波形は、特徴的な形状（例えば、光の開始時刻後の約３０ｍｓでのＥＥＧ電圧の正の変位）を有する。平均波形のこの特徴的な形状は、本明細書でさらに説明される様々な方法で検出されうる。ユーザが光を見ていない場合、平均波形はほとんど平坦である。

いくつかの実施形態において、システムは、２以上の刺激を含む。例えば、図１７は、４つの刺激に同期した平均の一例を示す。平均値の一つは、特徴的な形状をしているが、その他は比較的平坦である。

特徴的な形状は、開始からのある遅延時間で閾値と比較すること、ある期間にわたって平均ＥＥＧ信号を積分して、その結果を閾値と比較すること、または、光に注意が向けられているか否かを識別する分類子を作成することなど、様々な技術を用いて検出されうる。別の例としては、理想的な平均の原型（例えば、光に注意が向けられている時の平均）が構築され、実際の平均を乗じられてもよい。高い値の結果は、光に注意が向けられていることを示唆する。原型は、ユーザが光を見ていることが分かっている時のＥＥＧ平均を算出すること、または、ユーザが光を見ていることが分かっている時のＥＥＧデータの自動回帰モデルを構築して、その自動回帰モデルの係数を原型のデータ要素として用いるなど、様々な方法で構築されうる。

いくつかの実施形態では、システムは、ユーザがフラッシュ光を見ることによって誘発される特定のＥＥＧ信号を用いてデバイスを制御するために用いられる。例えば、制御信号が、検出されたＳＥＰに基づいて、別のデバイス（例えば、娯楽システム、教育システム、医療システム、自動車用のアプリケーション、および、アプリケーションを実行するコンピュータ）に供給されうる。例えば、システムは、デバイスを制御するために用いられるコマンドをそれぞれ表すいくつかのフラッシュ光を備えうる。ユーザが、それらのフラッシュ光の１つを見ると、刺激同期平均技術を用いて、ＥＥＧ信号内の一意的なシグネチャが、ユーザの記録されたＥＥＧ信号パターン内に存在すると決定されうる。例えば、コンピュータデバイス（例えば、プログラムされたコンピュータ／ラップトップ／ネットブック／ポータブルコンピュータデバイス、マイクロコントローラ、ＡＳＩＣ、および／または、ＦＰＧＡ）が、各フラッシュ光に対応する一意的なＥＥＧ信号シグネチャを連続的にチェックする効率的かつ効果的なアルゴリズム（例えば、分類子）を実行しうる。いくつかの実施形態では、アルゴリズムは、リアルタイムでかかる判定を実行する（例えば、かかる判定を事象（この例では、フラッシュ光事象）に対して約３秒以内に計算する）。いくつかの実施形態では、ＥＥＧ信号を最大化して、視覚誘発電位の検出率を増大させるために、様々なパラメータ、例えば、光度、色、間隔、周波数、デューティサイクル、および、光によって用いられる視野の広さなどが調整される。視覚誘発電位が検出されると、対応するコマンドが、制御されるデバイスに送信される。

例えば、制御されるデバイスは玩具であってよく、フラッシュ光の１つがユーザによって見られていることをシステムが認識すると、（例えば、ＳＥＰを検出するためのシステムからのコマンドに基づいて）面白いことが玩具に起きる。別の例としては、ビデオゲーム内の物体が点滅してよく、ゲームは、ユーザが見ているもの（例えば、点滅している物体）を認識して、それをゲームのプレイに組み込むことができる。別の例としては、フライトシミュレータまたは軍事などのアプリケーション内の物体が点滅してよく、ゲームは、ユーザが見ているもの（例えば、点滅している物体）を認識して、それをアプリケーションに組み込むことができる。別の例として、制御されるデバイスは、手を使うことができないユーザを許容するプログラムされたコンピュータまたは任意の装置であってよいが、システムの選択を行うことができる必要がある。別の例として、制御されるデバイスは、自動車のアプリケーションであってよく、例えば、運転手および／または乗客用の自動車インターフェースのための選択または設定を行うものであってよい。例えば、ＥＥＧ検出システムは、ユーザが身につける帽子の形態、および／または、自動車のシートのヘッドレストに組み込まれた形態であってよく、点滅光／フラッシュ光が、ラジオ、温度、または、その他の制御／設定を制御するために自動車のコンソール／ダッシュボードに組み込まれてもよいし、自動車またはその他のデバイス（例えば、自動車、飛行機、または、任意の他のデバイスの操縦者のために、集中、心配、驚き、および／または、眠気の状態を判定するための精神状態モニタなど）の様々な他のＥＥＧアプリケーションと組み合わされてもよい。

図１は、いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムを示すブロック図である。図に示すように、ＳＥＰ用のＥＥＧシステム１００は、ＥＥＧ制御システム１１０と、ＥＥＧ検出システム１３０と、デバイス１５０と、を備える。いくつかの実施形態では、デバイス１５０は、ＥＥＧ制御システム１１０によって制御される。いくつかの実施形態では、デバイス１５０は、図に示すように、ＳＥＰ用のＥＥＧシステム内に含まれるか、もしくは、統合されており、シリアル通信路またはその他の通信路を用いて、デバイス１５０との通信が行われる。いくつかの実施形態では、デバイス１５０は、ＳＥＰ用のＥＥＧシステム１００から離れており、有線または無線通信を用いてＥＥＧ制御システム１１０と通信する。いくつかの実施形態では、ＥＥＧ制御システム１１０は、シリアル通信路またはその他の通信路（例えば、有線または無線）を用いてＥＥＧ検出システム１３０と通信する。

いくつかの実施形態では、ＥＥＧ検出システム１３０は、ユーザのＥＥＧ信号を検出し、ＥＥＧ制御システム１１０は、ＥＥＧ検出システム１３０によって検出されたＥＥＧ信号に対してＳＥＰ判定アルゴリズム（例えば、リアルタイム分類アルゴリズム／分類子）を実行するよう構成されたプロセッサを備える。いくつかの実施形態では、本明細書に開示するように、様々なＳＥＰ判定技術が用いられる（例えば、タイムドメインＳＥＰ判定アルゴリズム／分類子）。

いくつかの実施形態では、ＳＥＰ判定に基づいて、ＥＥＧ制御システム１１０は、（例えば、関連付けられたＳＥＰに基づいて）１または複数の対応する制御信号をデバイス１５０に送信する。いくつかの実施形態では、ＥＥＧ検出システム１３０は、ＥＥＧ制御システム１１０にＥＥＧ信号の生データを送信し、いくつかの実施形態では、処理済みのＥＥＧ信号データを送信する。

図２は、いくつかの実施形態に従って、ＥＥＧ制御システムを示す機能図である。図に示すように、ＥＥＧ制御システム１１０は、ＥＥＧ検出システム１３０と通信するためのＥＥＧ検出通信要素１１２と、ＥＥＧ検出システム１３０によって検出されたＥＥＧ信号に対してＳＥＰ判定アルゴリズムを実行するためのプロセッサ１１４と、装置１５０と通信するための出力制御部１１８と、１または複数のＬＥＤ（例えば、フラッシュＬＥＤ光システム）と通信するためのＬＥＤ通信部１２２と、データストレージ１２４（例えば、フラッシュＬＥＤ光について、受信したＥＥＧ信号サンプルと、関連するタイミングデータとを格納するためのもの）と、通信リンク１２０と、を備える。

いくつかの実施形態では、プログラムされたコンピュータが、ＥＥＧ制御システム１１０と通信し、ＥＥＧ制御システム１１０は、さらに、検出されたＥＥＧ信号サンプルをコンピュータに送信するためのコンピュータ要素へのＥＥＧデータを含む。この例では、コンピュータは、ＥＥＧ検出システム１３０によって検出されたＥＥＧ信号に対してＳＥＰ判定アルゴリズムを実行するよう構成されたプロセッサを備えており、（例えば、関連付けられたＳＥＰに基づいて）デバイスを制御するためのＥＥＧ制御システムに解析結果を提供することができる。いくつかの実施形態では、コンピュータは、ＥＥＧ検出システム１３０によって検出されたＥＥＧ信号に対してＳＥＰ判定アルゴリズムを実行するよう構成されたプロセッサを備えており、ＥＥＧ信号サンプルの解析結果に基づいて、対応する制御信号をデバイスに送信する。いくつかの実施形態では、ＥＥＧ信号サンプルの解析の全部または一部のみが、プログラムされたコンピュータによって実行される。いくつかの実施形態では、ＥＥＧ信号サンプルの解析の全部または一部のみが、ＥＥＧ検出システムで実行される（例えば、ＥＥＧセンサと統合された、または、通信するＡＳＩＣ）。

図３は、いくつかの実施形態に従って、ＥＥＧ検出システムを示す機能図である。図に示すように、ＥＥＧ検出システム１３０は、プロセッサ１３２（例えば、ＦＰＧＡまたはＡＳＩＣ）と、アクティブＥＥＧセンサ１３６と、基準ＥＥＧセンサ１３８と、通信リンク１３４と、を備える。測定されたＥＥＧ信号は、ＥＥＧ制御システム１１０に供給される。いくつかの実施形態では、ＥＥＧ信号サンプルの連続的な測定値が検出されて、ＥＥＧ制御システム１１０に供給される。

図４は、いくつかの実施形態に従って、帽子の中に取り付けられたＥＥＧセンサおよび基準ＥＥＧセンサを備えたＥＥＧ検出システムを示す。図に示すように、ＥＥＧ検出システム１３０は、ユーザが着用する帽子であり、帽子内にＥＥＧセンサ１３６および基準ＥＥＧセンサ１３８を備える。ＥＥＧセンサ１３６および基準ＥＥＧセンサ１３８は、有線通信（例えば、シリアル通信リンク）を介してＥＥＧ制御システム１１０に接続されている。いくつかの実施形態では、ＥＥＧセンサ１３６は、ユーザが帽子をかぶった時に（例えば、視覚事象関連ＥＥＧ信号検出のために）ユーザの頭部の後頭部領域に位置するように帽子の内側に配置され、基準ＥＥＧセンサ１３８は、ユーザの頭部の別の位置に配置される（例えば、前頭部、ユーザの側頭部の耳の上方、または、ユーザの後頭部でアクティブＥＥＧセンサの位置と異なる位置）。いくつかの実施形態では、当業者にとって明らかなように、１または複数のＥＥＧセンサは、検出される刺激事象の種類に基づいて様々な位置に配置される。いくつかの実施形態では、ＥＥＧセンサ１３６および基準ＥＥＧセンサ１３８は、非接触ＥＥＧセンサである。いくつかの実施形態において、ＥＥＧ検出システムは、２以上のＥＥＧセンサ１３６を備える。いくつかの実施形態では、ＥＥＧ検出システム１３０は、ヘッドセット、オーディオヘッドセット、自動車シートのヘッドレスト、もしくは、１または複数のＥＥＧセンサ１３６および基準ＥＥＧセンサ１３８をＥＥＧ信号検出に適切なユーザの頭部上の位置にしっかりと配置するためにユーザが利用できる任意の他の形態の装置またはモジュールの形態をとる。いくつかの実施形態では、ＥＥＧ検出システム１３０（例えば、図に示すように、ハット／キャップ）は、ノイズの量を低減するために、接地されたイヤークリップを備える。

図５Ａ〜図５Ｂは、いくつかの実施形態に従って、ＥＥＧセンサを示す図である。図５Ａに示すように、ＥＥＧセンサ１３６は、ＥＥＧ信号検出帽子の内側に取り付けられる。図５Ｂには、ＥＥＧセンサ１３６の上側が示されており、図のＥＥＧセンサ１３６は、ほぼＵＳ２５セント硬貨のサイズの非接触電極である。ＥＥＧセンサ１３６は、ＥＥＧ信号を増幅しノイズを除去するアナログのフロントエンド回路と共にプリント回路基板（ＰＣＢ）に組み込まれる。ＥＥＧセンサ１３６は、例えば、繊細な信号を外部ノイズから保護する金属シールドを備える。いくつかの実施形態では、ＥＥＧセンサ１３６の回路は、ＡＳＩＣに組み込まれる。

図６は、いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムを示す別のブロック図である。図に示すように、ＳＥＰ用のＥＥＧシステム１００は、検出されたＥＥＧ信号のためのＳＥＰ判定アルゴリズムを実行するよう構成された（例えば、プログラムされた）コンピュータ６１０と、ＬＥＤ（フラッシュ）光システム６５０を制御する（例えば、光フラッシュの開始および終了のタイミングの制御、ならびに、どのパターンでどの光源を点灯させるかの制御）ための制御部６２０と、検出されたＥＥＧ信号をＥＥＧセンサ１３６および基準ＥＥＧセンサ１３８から受信する（さらに、一部の実施形態では、処理する）ためのＥＥＧ回路６３０と、を備える。図に示すように、ＬＥＤ光システム６５０には、４つのＬＥＤ光源が提供されている。いくつかの実施形態では、１または複数のＬＥＤ光源が設けられる。

制御部６２０は、さらに、ＦＰＧＡ６２２を備える（もしくは、いくつかの実施形態では、ＡＳＩＣまたはプログラムされたプロセッサなど、任意の他の形態のプロセッサまたはプロセッサ上で実行されるソフトウェア）。いくつかの実施形態では、制御部６２０は、ＬＥＤ光６５０を制御し、さらに、コンピュータ６１０およびＥＥＧ回路６３０と通信する。いくつかの実施形態では、制御部６２０は、点滅光を制御し、ＥＥＧ信号（サンプル）データをＥＥＧ回路６３０から受信する。いくつかの実施形態では、制御部は、さらに、受信したＥＥＧ信号データおよび光タイミングデータ（例えば、ＬＥＤ光システム６５０のフラッシュ開始／終了のタイミング）を、さらなる解析および処理（例えば、リアルタイムＳＥＰ判定アルゴリズムを用いたもの）に向けてコンピュータ６１０に送信されるシリアルストリームに統合する。いくつかの実施形態では、制御部６２０は、さらに、制御される装置（例えば、デバイス１５０）に制御信号を送信する。

ＥＥＧ回路６３０は、ファームウェア６３２を備える（もしくは、いくつかの実施形態では、ＡＳＩＣまたはＦＰＧＡまたはプログラムされたプロセッサなど、任意の他の形態のプロセッサまたはプロセッサ上で実行されるソフトウェア）。制御部は、図に示すように、コンピュータ６１０およびＥＥＧ回路６３０とシリアル通信する。いくつかの実施形態では、ＥＥＧ回路６３０は、さらに、図に示すように、直接シリアル接続（もしくは、いくつかの実施形態では、直接通信、有線、または、無線）を介してコンピュータ６１０に直接接続される。いくつかの実施形態では、これらの接続の内の１または複数が無線接続である。

図７は、いくつかの実施形態に従って、非接触ＥＥＧセンサを備えるＥＥＧ検出システムを示す図である。図に示すように、ＥＥＧ検出システム１３０は、ユーザが着用するハットまたはキャップの形態であり、バッテリ７１０（例えば、充電式リチウムイオンバッテリ）と、ＥＥＧ回路７２０と、ＥＥＧセンサ（非接触ＥＥＧセンサは、帽子の内側に取り付けられているため、ユーザがかぶっている帽子の図では見えない）への配線７３０と、を備える。いくつかの実施形態では、ＥＥＧ検出システム１３０は、他の装置／デバイス（ＥＥＧ制御システム１１０など）と無線接続される（Ｂｌｕｅｔｏｏｔｈ（登録商標）または他の無線プロトコル）。いくつかの実施形態では、バッテリ７１０、ＥＥＧ回路７２０、および、ＥＥＧセンサへの配線７３０は、ハット／キャップおよび／またはその他の頭部着用装置（上述したのと同様のもの）内に、より密着して組み込まれており、いくつかの実施形態では、ユーザが身につけた際、通常は見えなくなる。明らかに、本明細書に開示するＥＥＧ検出システム１３０を提供するために、様々な他の設計および頭部着用装置を利用することができる。

図８Ａ〜図８Ｂは、いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムのためのＬＥＤ光源を示す図である。図に示すように、図８Ａは、４つのＬＥＤ光がすべてオフ状態（例えば、消灯状態）のＬＥＤ光源６５０を示す。図に示すように、図８Ｂは、４つのＬＥＤ光がすべてオン状態（例えば、点灯状態）のＬＥＤ光源６５０を示す。図に示すように、ＬＥＤ光源６５０は、箱状の装置に取り付けられ、例えば、ユーザへのコマンドを表すパターンで点滅しうる。いくつかの実施形態では、ＬＥＤ光システム６５０の４つの別個のＬＥＤ光源の各々が、独立的に点灯／消灯することができる。いくつかの実施形態では、ＬＥＤ光システム６５０のＬＥＤ光は、異なる一定の周波数で点滅する。いくつかの実施形態では、ＬＥＤ光システム６５０のＬＥＤ光は、一定パターンの可変周波数で点滅する。いくつかの実施形態では、４つのＬＥＤ光の各々が、異なる周波数で点滅する。いくつかの実施形態では、ＬＥＤ光の各々の周波数は、１または２Ｈｚずつ異なる（例えば、４つのＬＥＤ光は、以下の周波数に設定されうる：９Ｈｚ、１０Ｈｚ、１１Ｈｚ、および、１２Ｈｚ、もしくは、８Ｈｚから２０Ｈｚの範囲、または、ＳＥＰを効果的に検出できる他の周波数範囲など、他の周波数）。いくつかの実施形態では、３つ以下または５つ以上のＬＥＤが、ＬＥＤ光システム６５０に備えられる。いくつかの実施形態では、点滅パターンは、制御部６２０によって制御される（例えば、Ｖｅｒｉｌｏｇコードを実行するＸｉｌｉｎｘ社のＦＰＧＡチップなどのＦＰＧＡコントローラを用いて、点滅の周波数を制御する）。

図９Ａ〜図９Ｂは、いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムについて、ＥＥＧデータおよび光制御信号データを示すグラフである。図９Ａは、測定されたＥＥＧ信号（ボルト（Ｖ））を時間（秒）に対して示したものである。図９Ｂは、光入力信号（ヘルツ（Ｈｚ））（例えば、フラッシュ光（点滅光）事象）を時間（秒）に対して示したものである。図に示すように、光入力信号は、一定周波数の矩形波である。

図１０は、サンプルＥＥＧデータについてのパワースペクトルのグラフである。特に、図１０は、測定されたＥＥＧ信号（Ｖ）を周波数（Ｈｚ）に対して示しており、光事象が存在しない場合の第１の測定ＥＥＧ信号と、１２Ｈｚの光事象が起こり、ユーザが１２Ｈｚの一定周波数で点滅する光を見ていた場合の第２の測定信号と、を含む２つの測定値が図示されている。図１０の例に示し、上述したように、１２Ｈｚにおける電力の上昇が１２Ｈｚの光を見たことによるのか、無関係のノイズなのかを判定することは困難である。

図１１は、いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムについて、点灯（光）開始後の平均ＥＥＧデータを示すグラフである。特に、図１１は、（例えば、１２Ｈｚの点滅光事象の）光開始後の平均ＥＥＧ信号を示しており、データの時系列の平均が１２Ｈｚの点滅光に時間同期されている。図に示すように、フラッシュ同期平均信号は、光に注意が向けられている（例えば、ユーザが観察している）ことを検出するために認識できる信号形状を提供し、その結果、ＳＥＰが効果的に検出される（例えば、本明細書に記載のように、閾値の比較および／またはシグネチャ信号の比較による）。

図１２は、いくつかの実施形態に従って、ＳＥＰ用のＥＥＧシステムについて、フラッシュとＥＥＧ生データとの相関を示すグラフである。特に、図１２は、平均ＥＥＧ信号（例えば、フラッシュ同期平均信号）と、点滅光事象（例えば、光フラッシュ）との間の相関分析を示す。離散した各時点で、測定されたＥＥＧ信号および測定された光信号が乗算されている。これらの結果すべてが平均され、相関係数が算出される。いくつかの実施形態では、ＥＥＧデータおよび光信号データの時間オフセット（例えば、３０ｍｓ）を用いて、分析が繰り返される。結果として、光に注意が向けられている（例えば、ユーザが観察している）ことを決定するために利用できる特徴的な形状が得られ、それにより、ＳＥＰが効果的に検出される。

図１３は、いくつかの実施形態に従ったＳＥＰ用のＥＥＧシステムのためのフローチャートである。工程１３０２では、処理が始まる。工程１３０４では、複数のＥＥＧ信号サンプルが検出される。工程１３０６では、刺激同期（ｓｔｉｍｕｌｕｓ−ｌｏｃｋｅｄ）平均信号が、ＥＥＧ信号サンプルを用いて生成される。いくつかの実施形態では、光の開始および／または終了の事象に時間同期されたＥＥＧ信号の平均が決定される。例えば、光開始後の特定の期間（例えば、５０ｍｓ）に、ＥＥＧ信号が記録され、かかる記録は、１または複数の光開始の各々の後に実行される。結果として得られる５０ｍｓのＥＥＧセグメントは、その後、平均されて、平均信号を提供する。工程１３０８では、ＥＥＧ信号サンプルが刺激事象のパターンに反応して誘発されたか否かが判定される（例えば、視覚事象への反応などのＳＥＰ判定）。例えば、開始からの或る遅延時間で閾値と比較すること、或る期間にわたって平均ＥＥＧ信号を積分して、その結果を閾値と比較すること、または、光に注意が向けられているか否かを識別する分類子を作成することなど、様々な技術を用いて、刺激同期平均信号の特徴的な形状が検出されうる。別の例としては、理想的な平均の原型（例えば、光に注意が向けられている時の平均）が構築され、実際の平均を乗じられてもよい。高い値の結果は、光に注意が向けられていることを示唆する。原型は、ユーザが光を見ていることが分かっている時のＥＥＧ平均を算出すること、または、ユーザが光を見ていることが分かっている時のＥＥＧデータの自動回帰モデルを構築して、その自動回帰モデルの係数を原型のデータ要素として用いるなど、様々な方法で構築されうる。工程１３１０では、制御信号が、ＳＥＰ判定に基づいて供給される。工程１３１２では、処理が完了する。

図１４は、いくつかの実施形態に従ったＳＥＰ用のＥＥＧシステムのための別のフローチャートである。工程１４０２では、処理が始まる。工程１４０４では、複数のＥＥＧ信号サンプルが検出され、記録される（例えば、格納される）。工程１４０６では、刺激同期平均信号が、ＥＥＧ信号サンプルを用いて生成される。工程１４０８では、刺激同期平均信号のピーク値が算出され、第１のピーク値は、平均信号の（最大値）−（最小値）に基づいて決定される。工程１４１０では、ピーク値が、閾値と比較される。例えば、ユーザが刺激誘発事象を経験した場合（例えば、点滅光を見ていた場合）、平均ＥＥＧ信号は、一般に、フラッシュ開始直後（例えば、かかるＳＥＰについては、約３０ｍｓから５０ｍｓのオフセット後）に顕著なピークを含む。結果として、ピークが存在するか否かを判定するために、閾値（例えば、シグネチャ信号）が設定されうる。いくつかの実施形態では、システムは、特定のユーザでのテストに基づいてトレーニングされ、閾値（または、いくつかの実施形態では、信号シグネチャ）が、トレーニングに基づいて生成される。いくつかの実施形態では、ＥＥＧ信号サンプルは、ＥＥＧ信号サンプルが刺激事象のパターンに反応して誘発されたか否かを判定（例えば、視覚事象への反応などのＳＥＰ判定）を行うために、時間遅延オフセット（例えば、３０ｍｓから５０ｍｓ）を用いて、刺激事象のパターンと相関される。工程１４１２で、制御は信号が、ＳＥＰ判定に基づいて供給される。工程１４１４では、処理が完了する。

図１５は、いくつかの実施形態に従って、異なる刺激周波数タイプを示す図である。図に示すように、光入力信号の刺激周波数は、単一の一定周波数（矩形波、正弦波または三角波、もしくは、変調された搬送波）であってよい。いくつかの実施形態では、混合周波数刺激が利用され、例えば、２以上の一定周波数を加算した混合周波数である。いくつかの実施形態では、様々な他のタイプの非周期信号が利用され、タイムドメイン解析でマッチングされる。例えば、変調された搬送波は、一定周波数の大きい正弦波成分が別の小さい信号と合成されたＦＭ無線信号と同様のものである。別の例としては、周波数にいくらかの変動を加えることによって、単一周波数の刺激を調整できる。明らかに、携帯電話ネットワークで用いられるＣＤＭＡコードなど、疑似ランダムコードを構築する多くの方法がある。

図１６は、いくつかの実施形態に従って、タイムドメインアルゴリズムを示す図である。いくつかの実施形態では、タイムドメイン分類子技術は、周波数ドメインへの変換なしにＥＥＧ信号を利用する。例えば、利用できる一方法は、点滅光と同じ周波数の正弦波をＥＥＧ信号に乗算する方法である。正弦波が正確な周波数および移相を有する場合、出力は、比較的大きい振幅を有する。かかる出力の絶対値は、不正確な正弦波と比べて、比較的高くなる。別の例として、（例えば、平均を減算した後に）ＥＥＧデータの各点を光度データの各点と掛ける相関分析を用いることができる。データの２つのベクトルの間に相関がない場合、出力はゼロになる。光度データと遅延型のＥＥＧとの間の相関を（例えば、３０ｍｓから５０ｍｓなど、適切なオフセットを用いて）算出することもできる。或る遅延時間において、相関は、通例、注意を向けられている光に対して強くなる。刺激同期平均技術の様々な実施形態について、以下でさらに説明する。

図１７は、いくつかの実施形態に従って、４つの刺激同期平均値の一例を示すグラフである。平均値の一つは、特徴的な形状をしており、その他の平均値は比較的平坦である。

図１８は、いくつかの実施形態に従って、フラッシュ同期平均信号の生成についての一例を示すグラフである。図１８に示すように、点滅光を見ているユーザからのＥＥＧ信号と、光を制御するために用いられる信号が、両方測定される。光の開始に続く固定長（例えば、１００ｍｓ）のＥＥＧ信号のセグメントが最初に記録される。次いで、記録されたデータは、光の開始後の第１のＥＥＧデータポイントが共に平均されるように、共に平均され、その後、光の開始後の第２のデータポイントすべてが共に平均され、光の開始後の第３のデータポイントが共に平均され、以下同様に続く。結果として、記録されたセグメントと同じ長さの平均波形が得られる。例えば、ユーザが光を見た場合、平均波形は、特徴的な形状（例えば、光の開始時刻後の約３０ｍｓから５０ｍｓでのＥＥＧ電圧の正の変位）を有する。この特徴的な形状は、様々な方法で検出できる。ユーザが光を見ていなかった場合、平均波形はほとんど平坦である。いくつかの実施形態では、この技術は、刺激同期平均信号を生成するために同様に利用される。いくつかの実施形態では、測定されたＥＥＧ信号は、無意識のＥＥＧ信号応答を含む。いくつかの実施形態では、測定されたＥＥＧ信号は、さらに、集中度または焦点に関するＥＥＧ信号応答など、意識的なＥＥＧ信号応答を含む（例えば、ＥＥＧ信号の強度は、ユーザが点滅光を見る方法（周辺焦点対直接焦点）またはユーザが点滅光を見る集中度によって変化しうる）。

上述の実施形態は、理解しやすいように或る程度詳細に説明されているが、本発明は、これらの詳細事項に限定されない。本発明を実施する多くの代替的な方法が存在する。開示されている実施形態は、例示的なものであり、限定を意図するものではない。
適用例１：システムであって、プロセッサであって、複数のＥＥＧ信号サンプルの刺激同期平均信号を生成し、前記複数のＥＥＧ信号サンプルが刺激事象のパターンに反応して誘発されたか否かを判定するよう構成された、プロセッサと、前記プロセッサに接続され、前記プロセッサに命令を供給するよう構成されたメモリと、を備える、システム。
適用例２：適用例１に記載のシステムであって、前記刺激事象のパターンは、一定周波数で周期的に光フラッシュを発する複数の光源を含む、システム。
適用例３：適用例１に記載のシステムであって、前記刺激事象のパターンは、周期的に光フラッシュを発する複数の光源を含み、前記複数の光源は、第１の一定周波数で光フラッシュを発する第１の光源と、第２の一定周波数で光フラッシュを発する第２の光源とを含む、システム。
適用例４：適用例１に記載のシステムであって、前記刺激事象のパターンは、複数の周波数で周期的に光フラッシュを発する光源を含み、前記光フラッシュは、第１の周波数の第１の光フラッシュと、第２の周波数の第２の光フラッシュとを含む、システム。
適用例５：適用例１に記載のシステムであって、前記刺激事象のパターンは、非周期的な周波数で光フラッシュを発する複数の光源を含む、システム。
適用例６：適用例１に記載のシステムであって、前記刺激事象のパターンは、視覚刺激事象のパターン、音声刺激事象のパターン、および、触覚刺激事象のパターンの内の１または複数を含む、システム。
適用例７：適用例１に記載のシステムであって、前記刺激事象のパターンは、それぞれ独立したフラッシュ光事象を提供する複数の光源を含む、システム。
適用例８：適用例１に記載のシステムであって、前記複数のＥＥＧ信号サンプルは、前記システムのユーザの無意識の反応として誘発される、システム。
適用例９：適用例１に記載のシステムであって、前記複数のＥＥＧ信号サンプルは、意識的なＥＥＧ信号応答を含む、システム。
適用例１０：適用例１に記載のシステムであって、前記複数のＥＥＧ信号サンプルの各々は、複数のサンプル点を含む、システム。
適用例１１：適用例１に記載のシステムであって、前記複数のＥＥＧ信号サンプルの各々は、時系列のＥＥＧ信号サンプルを含む、システム。
適用例１２：適用例１に記載のシステムであって、前記刺激同期平均信号は、フラッシュ同期平均信号を含む、システム。
適用例１３：適用例１に記載のシステムであって、前記複数のＥＥＧ信号サンプルが刺激事象のパターンに反応して誘発されたか否かの判定は、前記刺激同期平均を閾値と比較することによって実行される、システム。
適用例１４：適用例１に記載のシステムであって、前記複数のＥＥＧ信号サンプルが刺激事象のパターンに反応して誘発されたか否かの判定は、事前に作成した原型平均を前記刺激同期平均に乗算することによって実行される、システム。
適用例１５：適用例１に記載のシステムであって、前記複数のＥＥＧ信号サンプルが刺激事象のパターンに反応して誘発されたか否かの判定は、前記ユーザのＥＥＧ信号に適合する原型平均を前記刺激同期平均に乗算することによって実行される、システム。
適用例１６：適用例１に記載のシステムであって、前記複数のＥＥＧ信号サンプルが刺激事象のパターンに反応して誘発されたか否かの判定は、前記ＥＥＧ信号データを積分して結果を生成し、前記結果を閾値と比較することによって実行される、システム。
適用例１７：適用例１に記載のシステムであって、前記複数のＥＥＧ信号サンプルが刺激事象のパターンに反応して誘発されたか否かの判定は、タイムドメイン分類子を用いて実行される、システム。
適用例１８：適用例１に記載のシステムであって、前記複数のＥＥＧ信号サンプルが刺激事象のパターンに反応して誘発されたか否かの判定は、リアルタイムで実行される、システム。
適用例１９：適用例１に記載のシステムであって、前記プロセッサは、さらに、前記システムのユーザが第１の光源を見ているか否かを判定するよう構成される、システム。
適用例２０：適用例１に記載のシステムであって、前記プロセッサは、さらに、前記刺激同期平均信号の（最大値）−（最小値）に基づいて決定される前記刺激同期平均信号の第１のピーク値を算出し、前記第１のピーク値を閾値と比較するよう構成される、システム。
適用例２１：適用例１に記載のシステムであって、前記プロセッサは、さらに、刺激タイミングに基づく時間オフセットを用いて前記複数のＥＥＧ信号サンプルを前記刺激事象のパターンと相関させるよう構成される、システム。
適用例２２：適用例１に記載のシステムであって、前記プロセッサは、さらに、第１のユーザについて前記複数のＥＥＧ信号サンプルを前記刺激事象のパターンと相関させる際に役立つように、前記第１のユーザに基づいてトレーニングを行い、第１のシグネチャ信号を決定するよう構成される、システム。
適用例２３：適用例１に記載のシステムは、さらに、アクティブＥＥＧ電極および基準ＥＥＧ電極を含む複数の電極を備え、前記複数の電極は、前記複数のＥＥＧ信号サンプルを検出する、システム。
適用例２４：適用例１に記載のシステムであって、前記プロセッサは、さらに、前記複数のＥＥＧ信号サンプルが刺激事象のパターンに反応して誘発されたか否かの判定に基づいて、制御信号を供給するよう構成されている、システム。
適用例２５：適用例１に記載のシステムであって、前記プロセッサは、さらに、前記複数のＥＥＧ信号サンプルが刺激事象のパターンに反応して誘発されたか否かの判定に基づいて、制御信号をデバイスに供給するよう構成され、前記デバイスは、娯楽システム、教育システム、医療システム、自動車システム、および、アプリケーションを実行するコンピュータの内の１または複数を含む、システム。
適用例２６：方法であって、生体信号センサを用いて複数のＥＥＧ信号サンプルを測定し、前記複数のＥＥＧ信号サンプルを用いて、刺激同期平均信号を生成し、前記複数のＥＥＧ信号サンプルが刺激に反応して誘発されたか否かを判定すること、を備える、方法。
適用例２７：コンピュータ読み取り可能な記憶媒体内に埋め込まれたコンピュータプログラム製品であって、複数のＥＥＧ信号サンプルを記録するためのコンピュータ命令と、前記複数のＥＥＧ信号サンプルを用いて、刺激同期平均信号を生成するためのコンピュータ命令と、前記複数のＥＥＧ信号サンプルが刺激に反応して誘発されたか否かを判定するためのコンピュータ命令と、を備える、コンピュータプログラム製品。

Claims

システムであって、
プロセッサであって、
複数のＥＥＧ信号サンプルの刺激同期平均信号を生成し、
前記刺激同期平均信号に基づいて、前記複数のＥＥＧ信号サンプルが光刺激事象のパターンに反応して誘発されたか否かを判定することであって、事前に作成した、光に注意が向けられている時の理想的なＥＥＧ信号平均またはユーザが光を見ていることがわかっている時のＥＥＧ信号平均である原型平均信号を前記刺激同期平均信号に乗算することによって前記複数のＥＥＧ信号サンプルが光刺激事象のパターンに反応して誘発されたか否かを判定するよう構成された、プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を供給するよう構成されたメモリと、
を備える、システム。
請求項１に記載のシステムであって、前記光刺激事象のパターンは、一定周波数で周期的に光フラッシュを発する複数の光源を含む、システム。
請求項１に記載のシステムであって、前記光刺激事象のパターンは、周期的に光フラッシュを発する複数の光源を含み、前記複数の光源は、第１の一定周波数で光フラッシュを発する第１の光源と、前記第１の一定周波数とは異なる第２の一定周波数で光フラッシュを発する第２の光源とを含む、システム。
請求項１に記載のシステムであって、前記光刺激事象のパターンは、複数の周波数で周期的に光フラッシュを発する光源を含み、前記光フラッシュは、第１の周波数の第１の光フラッシュと、第２の周波数の第２の光フラッシュとを含む、システム。
請求項１に記載のシステムであって、前記光刺激事象のパターンは、一定パターンの可変周波数で光フラッシュを発する複数の光源を含む、システム。
請求項１に記載のシステムであって、前記光刺激事象のパターンは、それぞれ独立したフラッシュ光事象を提供する複数の光源を含む、システム。
請求項１に記載のシステムであって、前記複数のＥＥＧ信号サンプルは、前記システムのユーザの無意識の反応として誘発される、システム。
請求項１に記載のシステムであって、前記複数のＥＥＧ信号サンプルは、意識的なＥＥＧ信号応答を含む、システム。
請求項１に記載のシステムであって、前記複数のＥＥＧ信号サンプルの各々は、複数のサンプル点を含む、システム。
請求項１に記載のシステムであって、前記複数のＥＥＧ信号サンプルの各々は、時系列のＥＥＧ信号サンプルを含む、システム。
請求項１に記載のシステムであって、前記刺激同期平均信号は、フラッシュ同期平均信号を含む、システム。
請求項１に記載のシステムであって、前記複数のＥＥＧ信号サンプルが光刺激事象のパターンに反応して誘発されたか否かの判定は、リアルタイムで実行される、システム。
請求項１に記載のシステムであって、前記プロセッサは、さらに、
前記システムのユーザが第１の光源を見ているか否かを判定するよう構成される、システム。
請求項１に記載のシステムは、さらに、
アクティブＥＥＧ電極および基準ＥＥＧ電極を含む複数の電極を備え、前記複数の電極は、前記複数のＥＥＧ信号サンプルを検出する、システム。
請求項１に記載のシステムであって、前記プロセッサは、さらに、
前記複数のＥＥＧ信号サンプルが光刺激事象のパターンに反応して誘発されたか否かの判定に基づいて、制御信号を供給するよう構成されている、システム。
請求項１に記載のシステムであって、前記プロセッサは、さらに、
前記複数のＥＥＧ信号サンプルが光刺激事象のパターンに反応して誘発されたか否かの判定に基づいて、制御信号をデバイスに供給するよう構成され、
前記デバイスは、娯楽システム、教育システム、医療システム、自動車システム、および、アプリケーションを実行するコンピュータの内の１または複数を含む、システム。
方法であって、
生体信号センサを用いて複数のＥＥＧ信号サンプルを測定し、
前記複数のＥＥＧ信号サンプルを用いて、刺激同期平均信号を生成し、
前記刺激同期平均信号に基づいて、前記複数のＥＥＧ信号サンプルが光刺激に反応して誘発されたか否かを判定することであって、事前に作成した、光に注意が向けられている時の理想的なＥＥＧ信号平均またはユーザが光を見ていることがわかっている時のＥＥＧ信号平均である原型平均信号を前記刺激同期平均信号に乗算することによって前記複数のＥＥＧ信号サンプルが光刺激事象のパターンに反応して誘発されたか否かを判定すること、
を備える、方法。
コンピュータプログラムであって、
複数のＥＥＧ信号サンプルを記録するための機能と、
前記複数のＥＥＧ信号サンプルを用いて、刺激同期平均信号を生成するための機能と、
前記刺激同期平均信号に基づいて、前記複数のＥＥＧ信号サンプルが光刺激に反応して誘発されたか否かを判定するための機能であって、事前に作成した、光に注意が向けられている時の理想的なＥＥＧ信号平均またはユーザが光を見ていることがわかっている時のＥＥＧ信号平均である原型平均信号を前記刺激同期平均信号に乗算することによって前記複数のＥＥＧ信号サンプルが光刺激事象のパターンに反応して誘発されたか否かを判定するための機能と、
をコンピュータによって実現させる、コンピュータプログラム。