JP4392465B2

JP4392465B2 - 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム

Info

Publication number: JP4392465B2
Application number: JP2009510224A
Authority: JP
Inventors: 佳久寺田; 信夫足立; 幸治森川
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-10-29
Filing date: 2008-10-21
Publication date: 2010-01-06
Anticipated expiration: 2028-10-21
Also published as: US20100317988A1; US8369939B2; JP4875735B2; CN101669083B; WO2009057260A1; JPWO2009057260A1; CN101669083A; JP2010015584A

Description

本発明は、脳波を利用して機器を操作するインタフェース（脳波インタフェース）システムに関する。より具体的には、本発明は、脳波インタフェースシステムに組み込まれ、ユーザの脳波を利用して所望する機能を選択・起動させるための起動装置、起動方法、およびそのような起動装置において実行されるコンピュータプログラムに関する。

生活において様々な機器が提案され、それらの機器に囲まれて暮らす中で、ユーザは機器を操作することで所望の情報やサービスを受けている。そのインタフェースの操作性向上の重要性は、機器の数自体の増加、機器を使わないと得られない情報の増加、などから年々高まっている。例えば、情報機器（テレビ、携帯電話、ＰＤＡ等）においては、画面を見ながら操作の選択肢を選択することで、機器操作が実現されてきた。その操作入力手段としては、ボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作する、などの方法が用いられていたが、例えば、家事、育児や、自動車の運転中など、両手が機器操作以外の作業のために使えない場合は、操作が困難であった。

これに対して、ユーザの生体信号を利用した入力手段がある。非特許文献１には、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する技術が開示されている。

具体的には、選択肢をランダムにハイライトし、ユーザが選択したいと思っている選択肢がハイライトされたタイミングを起点に３００ｍｓから５００ｍｓの時間帯に出現する陽性成分（Ｐ３００成分）を利用して、選択したいかどうかの識別を実現している。この技術により、ユーザは両手がふさがっている場合でも、また病気等により手足が動かせない状況においても選択したいと思った選択肢が選択でき、機器操作等のインタフェースが実現できる。

このように従来は、脳波信号に様々な処理を加えることで、脳波によるメニュー選択が実現されてきた。
エマニュエル・ドンチン（Emanuel Donchin）、他２名著、"ＴｈｅＭｅｎｔａｌＰｒｏｓｔｈｅｓｉｓ：ＡｓｓｅｓｓｉｎｇｔｈｅＳｐｅｅｄｏｆａＰ３００−ＢａｓｅｄＢｒａｉｎ−ＣｏｍｐｕｔｅｒＩｎｔｅｒｆａｃｅ"、ＩＥＥＥＴＲＡＮＳＡＣＴＩＯＮＳＯＮＲＥＨＡＢＩＬＩＴＡＴＩＯＮＥＮＧＩＮＥＥＲＩＮＧ，Ｖｏｌ．８，Ｎｏ．２，２０００年６月

しかしながら、上述の脳波インタフェースの事例では、選択肢からの選択に関する検討がされているのみで、脳波インタフェースがどのように起動されるかについては検討されていなかった。その理由は、これらの事例では常に脳波インタフェースの画面（例えば選択肢の提示画面）が表示されている状況での使用が想定されていたためである。たとえば病院内において、肢体が不自由な人に対して脳波インタフェースを使用する場合には、ベッドのそばに脳波インタフェースの画面（例えば選択肢の提示画面）が常に表示されていた。

一方、日常生活での情報機器に搭載する場合には、情報端末の画面はスケジュールやメール本文、テレビ番組などの、情報端末本来の役割としての提示されるべき情報に占有されており、脳波インタフェースの画面を常に表示しておくことはできない。よって、脳波インタフェースをＴＶ映像などの情報端末本来の役割として提示されている情報を阻害することなく、起動することができるステップが必要になってくる。

脳波インタフェースの画面を表示させるための起動ボタンを設けてもよいが、これでは、家事、育児や運転をしているときなど、両手が機器操作以外のタスクで塞がっている状況において脳波インタフェースの利用が困難になる。あらゆる状況で脳波インタフェースを利用して情報機器を操作したいというユーザのニーズを考慮すると、その起動もまた脳波を利用して行うことが必要とされている。

本発明の目的は、脳波インタフェースの起動についても、ユーザの生体信号（脳波信号）を利用して実現することにある。

本発明による装置は、脳波インタフェースシステムを起動するための起動装置であって、前記脳波インタフェースシステムは、ユーザの脳波信号を計測する脳波計測部と、前記脳波信号に含まれる事象関連電位を解析し、解析結果に基づいて機器の機能を制御するための機能制御信号を出力する機能制御部と、前記機能制御信号を出力する出力部とを有しており、前記起動装置は、前記脳波インタフェースシステムが機能していないときにおいて、前記出力部に対して、前記出力部における単一項目の視覚刺激の提示および消滅を制御するための刺激制御信号を送信し、かつ、前記脳波計測部から取得した前記脳波信号のうち、前記視覚刺激の提示タイミングを起点とした事象関連電位のＰ２００成分の値と所定の閾値とを比較することにより、比較結果に応じて前記機能制御部に対して起動トリガを出力するか否かを決定する起動判定部と、前記視覚刺激の提示タイミングを起点とした前記事象関連電位のＮ１００成分に基づいて前記視覚刺激をユーザが注目しているか否かを判定し、判定結果に応じて、前記起動判定部の処理を開始させる刺激注目判定部とを備えている。前記起動装置は前記起動トリガを出力することにより、前記脳波インタフェースシステムを起動させる。

前記起動判定部は、前記視覚刺激の提示タイミングを起点として２００±５０ｍｓの区間における事象関連電位の値を前記Ｐ２００成分の値として、前記所定の閾値と比較してもよい。

前記起動判定部は、前記視覚刺激の提示タイミングを起点として２００±５０ｍｓの区間における事象関連電位の極大値、最大値、区間平均値のいずれかを前記Ｐ２００成分の値として、前記所定の閾値と比較してもよい。

前記刺激注目判定部は、前記視覚刺激をユーザが注目している前記判定結果に応じて、前記起動判定部に対して前記視覚刺激の提示方法を変化させるよう指示してもよい。

前記脳波インタフェースシステムは、映像を撮影して映像信号を出力する撮像装置を備えており、前記起動装置は、前記映像信号に基づいて、前記映像内において点滅している被写体を検出する点滅検出部であって、前記被写体の特徴量に基づいて、前記機能制御部に実行させる機能を指示する機能制御情報を生成し、前記被写体の点灯タイミングを示す情報および前記機能制御情報を出力する点滅検出部をさらに備え、前記起動判定部は、前記点灯タイミングを示す情報に基づいて前記視覚刺激の提示タイミングを特定し、前記機能制御部に対して起動トリガを出力する際には、前記機能制御情報に基づく制御信号を出力し、前記脳波インタフェースシステムの前記機能制御部は、前記起動トリガおよび前記機能制御情報に基づいて、特定の機能を実行してもよい。

前記点滅検出部は、被写体の特徴量と前記機能制御部に実行させる機能との対応関係を規定したデータベースを保持しており、前記被写体の特徴量を認識して前記特徴量に基づいて前記データベースを参照することにより、前記機能制御部に実行させる機能を特定し、前記機能制御情報を出力してもよい。

ユーザの脳波信号を計測する脳波計測部と、複数の機器とを有する脳波インタフェースシステムにおいて、前記複数の機器の少なくとも１つを起動するための起動装置であって、前記複数の機器の各々は、機器の機能を制御するための機能制御信号を出力する機能制御部と、前記機能制御信号を出力する出力部とを有し、前記起動装置は、各機器の出力部に対し視覚刺激の提示および消滅を繰り返すよう制御し、かつ、いずれかの機器において前記視覚刺激が提示されたタイミングを示す判定トリガを出力する点滅タイミング制御部と、前記判定トリガの出力タイミングおよび前記判定トリガが出力されたときに前記視覚刺激を提示していた機器を特定する判定トリガ情報を保持する記録媒体と、前記脳波計測部から取得した前記脳波信号のうち、前記判定トリガの受信タイミングを起点とした事象関連電位のＰ２００成分の値と所定の閾値とを比較する起動判定部であって、比較結果に応じて、前記判定トリガの受信タイミングおよび前記判定トリガ情報に基づいて前記視覚刺激を提示していた機器を特定し、特定された機器の機能制御部に対して起動トリガを出力する起動判定部を備えており、前記起動装置は、前記起動トリガを出力することにより、前記起動判定部によって特定された前記機器を起動させてもよい。

本発明による方法は、脳波インタフェースシステムを起動するための起動方法であって、前記脳波インタフェースシステムは、ユーザの脳波信号を計測する脳波計測部と、前記脳波信号に含まれる事象関連電位を解析し、解析結果に基づいて機器の機能を制御するための機能制御信号を出力する機能制御部と、前記機能制御信号を出力する出力部とを有しており、前記起動方法は、前記脳波インタフェースシステムが機能していないときにおいて、前記出力部に対して、前記出力部における単一項目の視覚刺激の提示および消滅を制御するための刺激制御信号を送信するステップと、前記視覚刺激の提示タイミングを起点とした前記事象関連電位のＮ１００成分に基づいて前記視覚刺激をユーザが注目しているか否かを判定するステップと、判定結果に応じて、前記脳波計測部から取得した前記脳波信号のうち、前記視覚刺激の提示タイミングを起点とした事象関連電位のＰ２００成分の値と所定の閾値とを比較するステップと、比較結果に応じて前記機能制御部に対して起動トリガを出力するか否かを決定するステップと、起動トリガを出力することが決定されたときにおいて、前記起動トリガを出力することにより、前記脳波インタフェースシステムを起動させるステップとを包含する。

本発明によるコンピュータプログラムは、脳波インタフェースシステムに組み込まれた起動装置において実行されるコンピュータプログラムであって、前記脳波インタフェースシステムは、ユーザの脳波信号を計測する脳波計測部と、前記脳波信号に含まれる事象関連電位を解析し、解析結果に基づいて機器の機能を制御するための機能制御信号を出力する機能制御部と、前記機能制御信号を出力する出力部とを有しており、前記コンピュータプログラムは、前記起動装置のコンピュータに対し、前記脳波インタフェースシステムが機能していないときにおいて、前記出力部に対して、前記出力部における単一項目の視覚刺激の提示および消滅を制御するための刺激制御信号を送信するステップと、前記視覚刺激の提示タイミングを起点とした前記事象関連電位のＮ１００成分に基づいて前記視覚刺激をユーザが注目しているか否かを判定するステップと、判定結果に応じて、前記脳波計測部から取得した前記脳波信号のうち、前記視覚刺激の提示タイミングを起点とした事象関連電位のＰ２００成分の値と所定の閾値とを比較するステップと、比較結果に応じて前記機能制御部に対して起動トリガを出力するか否かを決定するステップと、起動トリガを出力することが決定されたときにおいて、前記起動トリガを出力することにより、前記脳波インタフェースシステムを起動させるステップとを実行させる。

本発明の脳波インタフェースシステムによれば、脳波インタフェースの起動用視覚刺激（画面上のアイコン、ＬＥＤなど）の点滅をさせ、まず、視覚刺激の提示タイミングを起点とした事象関連電位のＮ１００成分に基づいて視覚刺激をユーザが注目しているか否かを判定する。そして、その判定結果に応じて（具体的には視覚刺激をユーザが注目している、と判定された場合には）起動用視覚刺激の提示タイミングを起点にした事象関連電位のＰ２００成分が脳波に現れているか否かに基づいてユーザの起動意思を判定する。そして当該成分が脳波に現れている場合には、脳波インタフェースを起動する。

これにより、例えば、家事、育児や、自動車の運転中など、両手が機器操作以外の作業のために使えない状況においても、ボタンを押す等の物理的な操作をすることなしに、ユーザ所望のタイミングで脳波インタフェースを起動することが可能となる。

はじめに、上述の課題に対して本願発明者らが検討した事項を説明する。

本願発明者らは、脳波インタフェースシステムの起動を脳波によって実現するために、ユーザに視覚刺激を与え、視覚刺激の提示直後の事象関連電位を利用する方法を考案した。視覚刺激として、情報提示画面の一部で脳波インタフェース起動用の選択肢（起動用アイコン）を常時点滅させる。ユーザは、脳波インタフェースの起動を所望する場合、起動用アイコンが点灯したタイミングにあわせて、「起動したい」または「それ」などと心の中で思う。非特許文献１の考え方によれば、アイコン点灯時を起点とした事象関連電位のＰ３００成分を利用することで、ユーザの起動意思を判定することが可能であると考えられる。

上記考察に基づき、ＴＶ画面上に表示されたアイコンの点滅刺激における事象関連電位の計測実験を行った（詳細は後述する）。実験の結果、ユーザが起動意思を持っている場合でも、必ずしもアイコン点灯時を起点とした３００ｍｓ〜４００ｍｓの間には事象関連電位の明確な陽性成分のピークは出現せず、Ｐ３００成分を利用した起動意思の判定が行えない場合があることがわかった。

これは、複数の選択肢から１つの選択肢を選ぶような「選択」の場合と異なり、起動の場合は、刺激が単一で提示間隔が単調であるため、ユーザが刺激のタイミングが予期できることにより、「選択」の際に利用していた成分が利用できなくなっているためであると考えられる。

そこで、計測した事象関連電位の波形をさらに解析した結果、アイコン点灯時を起点として１００ｍｓの前後５０ｍｓの区間（１００±５０ｍｓ）で発生する陰性ピーク（極小値）の振幅の値であるＮ２００成分と、２００ｍｓの前後５０ｍｓの区間（２００±５０ｍｓ）で発生する陽性ピーク（極大値）の振幅の値であるＰ２００成分に特徴があることを発見した（詳細は後述する）。

従来の研究、たとえば鎮静睡眠薬剤の薬効の計測に関する文献（特開平１０−３３５１３号公報）によれば、Ｐ２００成分は「刺激の痛さ等を知覚として認識した場合」の反応と説明されている。また、覚醒時／ＲＥＭ睡眠時／入眠時の外科医刺激に対する応答性比較に関する研究（「ＲＥＭ睡眠期と入眠期の事象関連電位の比較」、高原他、広島大学総合科学部紀要ＩＶ理系編、第２８巻、１−１１頁、２００２年１２月）によれば、Ｐ２００成分は「ＲＥＭ睡眠時の音声刺激の反応」として認知されていた。このように、「起動意思判定」や「その項目を選びたいという選択意思判定」に関する用途において、Ｐ２００成分は全く利用されていない信号であった。

また、脳波特徴信号を利用した脳波インタフェースに関する技術として、「事象関連電位を利用したヒトの心理状態等の判定方法及び装置」（特開２００２−１６９６３７号公報）に記載の技術が挙げられる。この文献では、個人の特性に合わせてＰ２００成分やＰ３００成分を利用して、ユーザ所望の選択肢（目標単語）を選び出すことに触れているが、目標単語選択とは状況が異なるＴＶ視聴時におけるＰ２００成分に関しては考慮していない。

しかしながら本願発明者らは、Ｎ１００成分とＰ２００成分を利用することにより、ＴＶ視聴中のユーザの起動意思を判定することが可能であることを下記実験により見出した。以下、本願発明者らによる実験の内容を詳細に説明する。

本願発明者らは、ＴＶ画面を利用して、前記手法が適用可能かを検証する実験を行った。本実験では、脳波インタフェースシステムを起動させる起動装置がＴＶに組み込まれたことを想定した。具体的には、ＴＶ画面中のアイコンを点滅させ、ユーザに起動意思がある場合のユーザの脳波の特徴を抽出した。

図１は脳波起動インタフェースのＴＶ画面の例を示す。ＴＶ１１のＴＶ画面１２にはＴＶ映像を表示し、ＴＶ画面１２の画面左上部に脳波インタフェース起動用のアイコン１３を一定の周期で点滅させた。アイコン１３の点滅は、７００ｍｓ間点灯、７００ｍｓ間消灯とし、それを繰り返した。脳波計測部位はユーザの頭頂部（国際１０−２０法におけるＰｚ）とし、右耳後部（マストイド）を基準に計測した。さらに、１５Ｈｚのローパスフィルタを利用することで、電源等のノイズ成分の除去も行った。アイコンが点灯したタイミングを０ｍｓとした場合の事象関連電位を切り出し、−１００ｍｓ〜０ｍｓでベースライン補正を行った。

ユーザが脳波インタフェースの起動を所望する場合、すなわち起動意思がある場合は、起動用アイコン１３が点灯したタイミングにあわせて、ユーザが「起動したい」または「それ」などと心の中で思わせることとした。逆に起動を所望しない場合は、ＴＶ映像を見ることとした。

被験者２名に対し、「（ａ）起動意思をもってアイコンを注目している」場合、「（ｂ）起動意思はもたずにアイコンを見ている」場合、「（ｃ）起動意思は持たずにＴＶ映像を視聴している」場合の３つの条件下で、各々アイコン点滅５０回分の脳波の事象関連電位を計測した。また今回、アイコン点灯タイミングを起点として約３００ｍｓに現れる事象関連電位のＰ３００成分の発生位置は、３００ｍｓより後ろの位置に出現することが多いこと考慮し、３００ｍｓ〜５００ｍｓの区間での事象関連電位の各波形の比較を行った。

図２は、条件（ａ）（ｂ）（ｃ）のもとで測定された事象関連電位の波形の比較結果を示す。これらの波形は、アイコンが点灯したタイミングを起点にした事象関連電位の３００ｍｓ〜５００ｍｓ区間の波形をすべて加算平均したものであり、条件（ａ）の波形は実線で示され、条件（ｂ）の波形は鎖線で示され、条件（ｃ）の波形は点線で示されている。

図２によれば、条件（ａ）（ｂ）（ｃ）のすべてにおいて、３００ｍｓ〜５００ｍｓにおいて明確な陽性成分のピークを特定することは難しいといえる。また条件（ａ）および（ｃ）における値の範囲は両者とも−１〜２．５μＶと重複しており、両者の波形の差も最大２μＶと非常に小さいことがわかる。したがって、これらの被験者の場合、事象関連電位のＰ３００成分を利用して条件（ａ）の「起動意思のあり」の波形かどうかを判定することは非常に困難であることがわかる。

そこで、アイコン点灯時の事象関連電位−１００ｍｓ〜６００ｍｓの区間全体の解析を行った。図３Ａは、条件（ａ）（ｂ）（ｃ）の事象関連電位の波形を示す。各グラフは、１００点滅分（被験者２名×５０点滅）を加算平均した波形である。条件（ａ）の波形は実線で示され、条件（ｂ）の波形は鎖線で示され、条件（ｃ）の波形は点線で表現されている。なお、３００ｍｓから５００ｍｓの区間の波形は、図２と同じである。

図３Ａの波形パターンによれば、条件（ａ）および（ｂ）とも−４μＶ以下であるため、アイコンが点灯されたタイミングを起点として約１００ｍｓ前後５０ｍｓの区間で、条件（ａ）、条件（ｂ）の場合には陰性ピーク（極小値）の電圧の値（Ｎ１００成分）が陰性方向に大きいことがわかる。換言すれば、振幅の大きい陰性ピーク（すなわちＮ１００成分）を確認することができる。なお、振幅は絶対値で表される値である。

これに対し、条件（ｃ）では上記範囲に大きな陰性ピークは見られず、最小値でも約０μＶである。条件（ａ）、（ｂ）は、どちらも起動アイコンを注視している状態で、条件（ｃ）は起動アイコンを見ていない（ＴＶ映像を見ている）状態である。よって、アイコンが点灯されたタイミングを起点として約１００ｍｓの前後５０ｍｓの区間において、アイコンを注視しているか否かを判別することが可能である。

また、約２００ｍｓの前後５０ｍｓの区間で発生する陽性ピーク（極大値）の振幅の値（Ｐ２００成分）は、条件（ａ）の起動意思ありの場合には約５μＶと高い値をとっていることが分かる。また、条件（ｂ）の起動意思なしの場合には約３μＶである。よって、アイコンが点灯されたタイミングを起点として約２００ｍｓの前後５０ｍｓの区間において、起動意思があるか否かを判別することが可能である。

上記のように、Ｎ１００成分による起動アイコンを注視の判別、Ｐ２００成分による起動意思の判別を行うことにより、条件（ａ）、（ｂ）、（ｃ）の３状態を区別することが可能になる。

本願発明者らは同様の実験を別の被験者１５名に対しても実施した。実験の結果を図３Ｂに示す。図３Ｂの結果より、Ｎ１００成分およびＰ２００成分が同様に出現しており、条件（ａ）、（ｂ）、（ｃ）を区別する特徴信号は上記２名の被験者に固有のものではなく、一般的に出現する特徴信号であることが確認できた。

そこで、本願発明者らは、事象関連電位のＮ１００成分およびＰ２００成分を起動意思の判定に利用し、点滅するアイコンを注視している際のＮ１００成分およびＰ２００成分をそれぞれ基準値（閾値）と比較することにより、ＴＶ視聴中に効果的にアイコンの点滅を制御し、起動意思を持っているかどうかの判定を行うこととし、本発明をなすにいたった。

以下、添付の図面を参照しながら、上記の特徴を利用した本発明による起動装置の実施形態を説明する。

なお、本願明細書においては、事象関連電位を取得するためにある時点から起算した所定時間経過後の時刻を具体的に特定しているが、その時刻にはある程度の幅を持たせることが可能である。一般的に、事象関連電位の波形には、個人ごとに３０〜５０ミリ秒の差異（ずれ）が表れることが知られている（加我君孝ほか編集，「事象関連電位（ＥＲＰ）マニュアル―Ｐ３００を中心に−」，篠原出版新社，１９９５，３０ｐ表１）。したがって、「Ｘミリ秒」という語は、Ｘミリ秒を中心として、「３０〜５０ミリ秒」の幅がその前後に存在し得る場合の代表値であると考えることが可能である。「約」や「近辺」という語を付加して、その範囲を明示的に包含してもよい。

（実施形態１）
以下に、脳波インタフェースを起動させるための起動装置の構成および動作を説明する。

図４は、本実施形態による脳波インタフェースシステム１の構成および利用環境を示す。本実施形態において、脳波インタフェースシステム１は、脳波計測部３と、機能制御部５とを含んでいる。

脳波インタフェースシステム１の機能を概説する。まず出力部６によってＴＶ画面１２にメニュー選択画面が表示され、脳波計測部３がユーザ２の脳波信号を計測する。計測された脳波信号に含まれる事象関連電位を機能制御部５が解析することにより、機器（ＴＶ１１）の機能を制御するための機能制御信号を出力部６に対して出力する。これにより、出力部６は、ＴＶ１１のＴＶ画面１２に表示される番組をユーザが所望する番組に切り替えることが可能である。本願明細書においては、このような機器（ＴＶ１１等）の操作を行うためのユーザインタフェースを、「脳波インタフェース」と呼んでいる。

図４には、脳波インタフェースシステム１のための起動装置２０が記載されている。脳波インタフェースシステム１が機能していないとき、より具体的には、機能制御部５が機能していないとき、起動装置２０は、ＴＶ画面１２上に、ある視覚刺激の提示および消滅を行わせる。そして、視覚刺激の提示タイミングを起点とした事象関連電位に基づいて、機能制御部５を起動させるか否かを制御する。

本明細書では、機能制御部５のユーザインタフェース機能の動作を開始させることを、「脳波インタフェースシステムの起動」と呼ぶ。脳波インタフェースシステムに含まれる脳波計測部３が動作していたとしても、機能制御部５が動作していないときには「脳波インタフェースシステムの起動」はまだされていないとする。

図５は、脳波インタフェースシステム１および起動装置２０の機能ブロックの構成を示す。以下、図５を参照しながら、脳波インタフェースシステム１および起動装置２０の各構成要素を説明する。

脳波計測部３はたとえば脳波計であり、ユーザ２の脳波を計測して脳波信号を出力する。脳波インタフェースシステム１が起動していないときは、計測された脳波信号は起動装置２０に送られる。一方、脳波インタフェースシステム１が起動しているときは、計測された脳波信号は機能制御部５に送られる。

機能制御部５は、起動装置２０からの起動トリガの受信に応答して動作を開始する。機能制御部５は、後述する出力部６に対して、機能制御信号を出力する。機能制御信号とは、機器の機能を制御するための信号である。たとえば機能制御信号に基づいて、脳波インタフェースのメニュー選択画面の出力制御、脳波に基づくメニュー選択制御、ＴＶ映像の表示制御等が行われる。

出力部６は、ユーザ２に対する視覚刺激やメニュー選択画面、映像などをＴＶ画面１２上に出力する。

起動装置２０は、起動判定部４を含んでいる。起動判定部４は、脳波インタフェースシステム１が機能していないときにおいて、出力部６に対して、出力部６における単一項目の視覚刺激の提示および消滅を制御するための刺激制御信号を送信する。また起動判定部４は、脳波計測部３から取得した脳波信号のうち、視覚刺激の提示タイミングを起点とした事象関連電位のＰ２００成分の値と所定の閾値とを比較する。そして比較結果に応じて機能制御部５に対して起動トリガを出力するか否かを決定する。この起動トリガが機能制御部５に出力されることにより、脳波インタフェースシステム１を起動させることが可能になる。

本実施形態においては、ユーザ２が脳波インタフェースを利用するか否か、すなわちユーザ２が機能制御部５のユーザインタフェース機能を動作させるか否かは、ユーザ２の脳波を利用して起動判定部４によって判断される。起動判定部４の具体的な動作は後述する。

概説したとおり、脳波インタフェースシステム１は、ユーザ２の脳波信号を利用してＴＶ１１を操作するインタフェースを提供するために用いられる。ユーザ２の脳波信号はユーザ２の頭部に装着された脳波計測部３によって取得され、無線または有線で起動判定部４に送信される。ＴＶ１１に内蔵された本実施形態による起動装置２０は、脳波の一部を構成する事象関連電位と呼ばれる成分を利用してユーザ２の起動意思を認識し、機能制御部５に起動トリガを出力する。

起動トリガを受け取ると、機能制御部５はＴＶ画面１２上にメニュー画面を表示するための機能制御信号を出力部６に出力する。本実施形態においては、機能制御部５もまたＴＶ１１に内蔵されている。

図６は、ＴＶ画面１２に表示されたメニュー画面６１を示す。機器制御部５は、脳波の一部を構成する事象関連電位と呼ばれる成分を利用してユーザ２の意図を認識し、ＴＶ画面１２に表示された複数の選択項目から、ユーザ２が所望する選択項目（６２ａ、６２ｂ、６２ｃ、６２ｄ）を選択し、選択結果に基づいて受信チャンネルの切り替えなどの処理を行う。このようなユーザインタフェースが本願明細書にいう「脳波インタフェース」である。

図７は、本実施形態による脳波インタフェースシステム１および起動装置２０のハードウェア構成を示す。

機能制御部５と、脳波計測部３である脳波計７１と、出力部６と、起動装置２０の起動判定部４とはバス７２に接続されており、バス７２を介して各構成要素間の信号の授受が行われる。ユーザ２の脳波信号に基づいて機能制御部５が脳波インタフェース機能を実行すると、その結果生成される指示信号が出力部６に送られる。

本実施形態においては、出力部６は画像処理回路７５とＴＶ１１とを含む。画像処理回路７５は機能制御部５から受け取った指示信号に基づいて画像処理を行い、制御信号を生成して、ＴＶ１１に送る。その結果、ＴＶ１１が動作する。

なお、起動装置２０および機能制御部５はＴＶ１１に内蔵されているとして説明したが、脳波インタフェース機能との関係では、これらはＴＶ１１に内蔵されていなくてもよい。よって、図７では起動判定部４、機能制御部５とＴＶ１１とは独立した構成として記載している。また、脳波計７１が無線でユーザ２の脳波信号を送信する場合には、脳波計７１には無線の送信部が含まれ、バス７２には無線の受信部が接続されることになる。

起動装置２０の起動判定部４は、ＣＰＵ７３ａと、ＲＡＭ７３ｂと、ＲＯＭ７３ｃとを有している。ＣＰＵ７３ａは、ＲＯＭ７３ｃに格納されているコンピュータプログラム７３ｄをＲＡＭ７３ｂに読み出し、ＲＡＭ７３ｂ上に展開して実行する。起動判定部４は、このコンピュータプログラム７３ｄにしたがって、後述の脳波インタフェースの起動の要否を判断する処理を行う。なお、ＲＯＭ７３ｃは書き換え可能なＲＯＭ（たとえばＥＥＰＲＯＭ）であってもよい。

機能制御部５は、ＣＰＵ７４ａと、ＲＡＭ７４ｂと、ＲＯＭ７４ｃとを有している。ＣＰＵ７４ａと、ＲＡＭ７４ｂと、ＲＯＭ７４ｃのそれぞれの機能は、起動判定部４の同名の構成要素と同様である。ＲＯＭ７４ｃに格納されたコンピュータプログラム７４ｄは、脳波インタフェース機能を実現するための処理を規定しており、その結果として、起動判定部４および機能制御部５の機能は異なる。なお、起動判定部４および機能制御部５のＣＰＵ、ＲＡＭおよびＲＯＭを共通化し、コンピュータプログラムのみを別個設け、構成を簡略化してもよい。

出力部６は、画像処理回路７５を有している。画像処理回路７５は、ＣＰＵ７３ａ、ＣＰＵ７４ａの指示にしたがい、脳波インタフェース起動用アイコンをＴＶ１１の画面上で点滅させたり、脳波インタフェースのメニューを画面上表示させたりするための映像信号を出力する。また、機能制御部５の制御により画像処理回路７５は、ＴＶの基本機能である映像出力処理も行う。

上述のコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、起動判定部４および機能制御部５は、半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現することも可能である。

図８は、脳波インタフェースシステム１の処理の流れを示す。ステップＳ８８１において、ＴＶ画面１２上にはＴＶ映像が表示されている。これは通常時のＴＶ１１の状態である。

ステップＳ８８２において、起動判定部４は、刺激制御信号を出力して図１に示すようにＴＶ画面１２の一部に表示されたアイコン１３の点滅を制御し、脳波計測部３から取得した脳波信号に基づいて、ユーザ２の脳波インタフェース起動意思を判定する。この判定処理の具体的な説明は後述する。ユーザ２に起動意思がないと判定された場合は、処理はステップＳ８８１に戻り、ユーザ２の起動意思を判定するまでＴＶ映像の表示とアイコンの点滅が継続される。ユーザ２に起動意思があると判定された場合は、処理はステップＳ８８３に進む。

ステップＳ８８３において、機能制御部５が動作を開始することにより、脳波インタフェースが起動される。そして次のステップＳ８８４において、ユーザ２が脳波インタフェースを利用して、メニュー画面を介して所望する選択項目を選択する。ステップＳ８８３における脳波インタフェースの処理により、ユーザ２が所望する選択肢が選び出される。脳波インタフェースの処理の詳細に関しては後述する。

ステップＳ８８５において、機能制御部５は、選択された機能を実行する。機能が実行された後はステップＳ８８１に戻り、再びＴＶ映像を表示することで脳波インタフェースの起動待機状態となる。または、選択された機能がＴＶ１１の電源Ｏｆｆであれば、処理は終了する。

図９（ａ）〜（ｄ）は、脳波インタフェースシステム１においてＴＶ１１を操作し、ユーザ２が視聴したいジャンルの番組を見るときの例を示す。

図９（ａ）は、画面１２上に、所定の周波数で点滅する起動アイコン１３が示されている。ユーザ２がこの起動アイコン１３を見ていると起動判定部４が判定すると、機能制御部５が起動されて、脳波インタフェースが利用可能となる。同時に図９（ｂ）のメニュー項目画面が表示される。

図９（ｂ）は、機能制御部５がＴＶの画面１２を介してユーザ２に提示するメニューの例である。画面には「どの番組をご覧になりたいですか？」という質問２４と、見たい番組の候補である選択肢が提示される。ここでは「野球」２５ａ、「天気予報」２５ｂ、「アニメ」２５ｃおよび「ニュース」２５ｄの４種類の選択肢が表示されている。

図９（ｂ）の例ではまず一番上の野球２５ａが選択され、ハイライト表示される。「ハイライト表示」とは、他の項目より明るい背景による表示、明るい文字色による表示、または、カーソル等で指し示された表示をいう。ここではユーザ２が見たときに、システム側が現在どの項目について注意して欲しいかが伝わるようになっていればよい。４つ目の「ニュース」２５ｄの次はまた一番目の野球に戻る。

図９（ｃ）は、脳波計１８によって取得された、ユーザ２の脳波信号の事象関連電位である。事象関連電位の取得の起点は、各選択肢がハイライト表示された瞬間に設定される。そして、この瞬間より、例えば２００ｍｓ前から１秒後までの事象関連電位が脳波信号から抽出される。これによって、ハイライト表示された項目に対するユーザ２の反応が得られる。

今、ユーザ２が「天気予報」２５ｂを見たいと考えていたとする。選択肢２５ａ〜２５ｄまでのそれぞれに対応する脳波信号２６ａ〜２６ｄのうち、「天気予報」がハイライトされたときのユーザ２の脳波信号２６ｂを見ると、「天気予報」がハイライトされた時刻を起点に潜時約３００ｍｓ後に特徴的な陽性の成分（Ｐ３００成分）が出現する。そこで機能制御部５は、このＰ３００成分が検出された選択肢をユーザ２が視聴したい番組であるとして、チャンネルを天気予報のチャンネルに切り替える。図９（ｄ）は、天気予報のチャンネルが選択された後の画面２７を示す。

図１０は、機能制御部５の脳波インタフェースの起動後の処理手順を示す。

脳波インタフェース起動後のステップＳ８９１において、機能制御部５は図９（ｂ）に示すメニュー２３を表示する。機能制御部５は、ステップＳ８９２において、たとえば「野球」２５ａの項目を選択し、次のステップＳ８９３において、選択した「野球」２５ａの項目をハイライト表示する。

ステップＳ８９４において、項目のハイライト表示を起点として、機能制御部５は脳波計測部３から出力された脳波信号により事象関連電位を取得する。

ステップＳ８９５において、機能制御部５は、取得した事象関連電位に、選択したい項目のハイライトに起因する波形変化が存在するか否かを判定する。波形変化が存在する場合にはステップＳ８９６に進み、波形変化が存在しない場合にはステップＳ８９２に戻って次の項目（たとえば「天気予報」２５ｂ）のハイライト表示を行う。Ｐ３００成分の有無を識別することにより、現在取得した脳波の波形が、ユーザ２が選択したい項目に対する波形か、それとも選択したくない項目に対する波形かを判定することができる。

ステップＳ８９６において、機能制御部５は、Ｐ３００成分が現れた項目に対応する機能（チャンネル切り替え）を実行する。

上述の処理により、ユーザ２はボタンを操作しなくても脳波によってメニュー項目を選択することができる。なお、ステップＳ８９２では、項目は順次選択されるとしたが、ランダムに提示する方法も可能である。これにより、事前にどの項目が選択されるか不明なため、より注意深くメニューが選択される可能性がある。

図１１は、本実施形態による脳波インタフェースの起動に関連する処理手順を示す。ここでは図１に示す画面を例に挙げて説明を行う。図１１に示す処理は、たとえばユーザ２が脳波計を装着している状態で、単にＴＶの番組を視聴しているときに実行される。

ステップＳ８００において、脳波計測部３は、ユーザ２の頭部に装着された時点から計測を開始する。ユーザ２がＴＶ１１の番組を視聴しているときも、脳波計測部３は常に脳波信号の計測をおこなっている。

ステップＳ８０１およびステップＳ８０２において、起動判定部４は、所定の間隔でＴＶ画面１２上にアイコン１３の点灯させ、所定の間隔でアイコン１３の消灯させる処理を繰り返してアイコン１３を点滅させる。

その動作と並行して、ステップＳ８０３において、起動判定部４は、脳波計測部３にて計測された脳波信号から、アイコン１３が点灯されたタイミングを起点としたＰ２００成分を含む範囲の事象関連電位を切り出す。さらにステップＳ８０４において、起動判定部４は、アイコン１３が点灯されたタイミングを起点とした約２００ｍｓの前後５０ｍｓの区間において、陽性の極大値を検索し、その振幅をＰ２００成分として抽出する。

ステップＳ８０５において、起動判定部４は、Ｐ２００成分が予め設定された閾値を超えているか否かを判定する。予め設定された閾値は、たとえば４μＶである。図３Ａのグラフ（ａ）および（ｂ）の例によれば、４μＶを閾値に設定すると、Ｐ２００成分に基づいて起動意思の有無を判定可能である。

ステップＳ８０５において、Ｐ２００成分が閾値を超えている場合には、処理はステップＳ８０６に進む。一方、Ｐ２００成分が閾値を越えていない場合には処理はステップＳ８０１に戻り、引き続きアイコン１３の点滅が継続される。

ステップＳ８０６では、起動判定部４は機能制御部５に対して起動トリガを出力し、その起動トリガの受信に応答して、機能制御部５はユーザ２に対し脳波インタフェースの提供を開始する。

このように、アイコン１３点灯時のユーザ２の脳波を解析することによって、脳波インタフェースの起動が必要か否かを判定でき、その判定結果に応じて脳波インタフェースシステム１の処理を切り替えることができる。

上述のように、ユーザの脳波信号を取得することにより、脳波インタフェースの起動と、脳波によるメニュー項目選択が可能な脳波インタフェースシステムを実現できる。脳波インタフェースの起動、実行および切り替え後の処理からなる一連の処理のための操作が脳波のみにより実現されるため、実用的な脳波インタフェースシステムを提供できる。よって、たとえば家事の最中や乳児を抱きかかえている時のような、両手が離せない状況においても、脳波インタフェースが起動でき、機器の動作を制御できる。

上述の例では、Ｐ２００成分を、アイコン１３が点灯されたタイミングを起点とした約２００ｍｓの前後５０ｍｓの区間の極大値の振幅として抽出を行った。しかしこれは例である。陽性の極大値が複数存在する場合には、そのうちの最大値を検索してもよい。または、極大値ではなく当該区間の陽性のピーク（最大値）を検索してもよい。または、上記区間の区間平均の値をＰ２００成分として抽出を行ってもよい。

また、Ｐ２００成分の値と比較される閾値は４μＶとしたが、これも例である。脳波計測部３からの出力が増幅されているときにはその増幅率を乗じた値にすればよい。

上述の例では、起動判定部４は脳波インタフェースシステム１を起動させるための機能ブロックとして説明を行った。しかし、ユーザが脳波計を頭部に装着し、脳波信号が計測できる環境であれば、必ずしも起動されるのは脳波インタフェースだけとは限定されない。例えば、機器の電源のＯｎ／Ｏｆｆや視線インタフェースなどの他のインタフェースの起動も本発明における起動の範疇に含まれる。

また上述の例では、出力部６は起動用アイコン１３、メニュー選択画面、映像コンテンツをＴＶ画面１２上に表示する機能ブロックとして説明を行ったが、起動用アイコン１３のような視覚刺激の表示に特化した出力部とメニュー選択画面、映像コンテンツを表示する出力部を分離してもかまわない。

たとえば図１２は、ＴＶ１１の画面の外のフレーム部分に、起動用の視覚刺激を提示する光源であるＬＥＤ９１を設けた例を示す。ＬＥＤ９１もまた本願明細書に記載の出力部６の範疇である。このＬＥＤ９１がＴＶ１１の画面およびそのフレームから離れた位置に、ＴＶ１１とは別個独立のハードウェアとして実現された場合であっても、ＴＶ１１もそのＬＥＤ９１も出力部６の範疇である。

さらに上述の例では、脳波インタフェースシステム１は、ＴＶ１１を操作するインタフェースをとして説明した。しかし、操作する対象はＴＶでなくても、視覚刺激を提示できるデバイスを保有する機器であれば本発明の適用が可能である。

例えば、図１３は、カーナビゲーションシステム操作時の画面表示例を示す。カーナビ画面１０１でのコンビニエンスストアや道路工事中を示すアイコンなどの地図アイコン１０２の点滅も単一項目の点滅と考えられ、本発明が適用可能である。起動判定部４にて起動判定を行い、地図アイコン１０２に対応付けられた詳細情報（その店の広告や工事の情報など）を表示するようなインタフェースも本発明の範疇である。

さらに他の例として、図１４は電子掲示板１１１の画面上に表示された、点滅する広告画像１１２を示す。本発明は、広告画像１１２自体を点滅させておき、起動判定部４にて起動するという判定が行われた場合にその商品の詳細情報を表示するというインタフェースに対しても適用可能である。

なお本実施形態では、アイコン点滅の間隔は７００ｍｓ点灯／７００ｍｓ消灯のように一定間隔として説明を行ったが、ランダムな間隔やより短い周期での点灯／消灯の繰り返しでもよい。この場合も、事象関連電位のタイミングは、アイコンが点灯したタイミングを起点にされる。ただし、アイコンの点灯タイミングを極端に短くすると、Ｐ２００成分を検出するための１００ｍｓの区間（事象関連電位の約２００ｍｓの前後５０ｍｓの区間）に複数の陽性ピークを発生してしまい、Ｐ２００成分の抽出が行えなくなってしまうため、アイコン１３の点滅間隔をＰ２００成分の検出区間（１００ｍｓ）よりも長い期間でアイコン点滅を行うように制御する必要がある。

また上述の例では、起動判定部４において、アイコン点灯ごとの事象関連電位におけるＰ２００成分の出現の判定を行うと説明したが、アイコン点灯時の事象関連電位を複数点灯回数分加算平均した波形を対象にＰ２００成分が出現しているかの判定を行ってもよい。複数点滅回数分の加算平均した波形を利用することで、瞬きなどによるノイズ成分の影響が小さくなり、起動判定部による誤判定の回数を削減することが可能となる。

（実施形態２）
実施形態１では、アイコンが点滅するごとに事象関連電位のＰ２００成分を抽出し、起動意思があるか否かの判定を行っていた。本実施形態では、さらに起動判定の精度を上げるために、起動判定部４の前に、アイコンの点滅を注視しているかを事象関連電位により判定するステップを設け、アイコン点滅を見ていない場合には起動判定の識別対象から除外することで、ユーザの意図しない機器動作の減少を実現する。

たとえば図１５（ａ）に示されるように、ユーザ２がアイコン１３を注視していないと判定されたときのアイコン１３は、ＴＶ１１のＴＶ画面１２左上に比較的小さく点滅している。一方、図１５（ｂ）に示されるように、ユーザ２がアイコン１３を注視していると判定されたときは、アイコン１３はより大きく表示される。

図１５（ａ）および（ｂ）に示す表示を実現する原理を説明するため、上述した実験の結果を再度検証する。

実験結果を示す図３Ａには、「起動意思をもってアイコンを注目している」場合を示す実線（ａ）、「起動意思はもたずにアイコンを見ている」場合を示す鎖線（ｂ）、および、「起動意思は持たずにＴＶ映像を視聴している」場合を示す点線（ｃ）の３パターンの事象関連電位が示されている。

図３Ａによれば、ＴＶ映像を見ている状態の（ｃ）と、アイコンの点滅を見ている状態の（ａ）または（ｂ）は、アイコン点灯タイミングを起点とした約１００ｍｓの前後５０ｍｓの区間において大きく値が乖離していることがわかる。この区間の陰性ピーク（極小値）の振幅の値は、「Ｎ１００成分」と呼ばれている。

Ｎ１００成分は、グラフ（ａ）（ｂ）（ｃ）のいずれの場合にも含まれており、ノイズの影響で出現したものではないと考えられる。よって本願発明者らは、このＮ１００成分を利用してユーザがアイコンを注視しているか否かを予め判定することにより、アイコン注視時における起動判定を精度よく行うことができることを見出した。これにより、ユーザの意図しない機器動作の減少が実現できる。

以下に、上記特徴を利用した脳波インタフェースを起動させるための起動装置の構成および動作を説明する。

図１６は、本実施形態による脳波インタフェースシステム１および起動装置２１の機能ブロックの構成を示す。

起動装置２１は、実施形態１の起動装置２０の構成に対し、新たにユーザ２がアイコン点滅を注視しているかを判定する刺激注目判定部７を設けて構成されている。

起動装置２１は、脳波計測部３で計測された脳波信号に基づいてユーザ２が視覚刺激を注目しているかを判定する。注目していると判定した場合には、脳波計測部３が計測した脳波信号を起動判定部４に送信する。脳波信号を受け取ると、起動判定部４は起動意思を判定する処理を実行する。なお、本実施形態の構成要素のうち、実施形態１（図５）と同じ構成要素については同じ参照符号を付しその説明を省略する。

図１７は、本実施形態による脳波インタフェースの起動に関連する処理手順を示す。図１７に示す処理は、実施形態１の処理（図１１）と同様、出力部６がＴＶ画面１２であり、ユーザ２がＴＶ映像を視聴しているときに実行されるとする。

ステップＳ２００において、ユーザ２が脳波計測部３を装着することにより、脳波計測部３は、ユーザ２の脳波信号の計測を開始する。脳波信号の計測はユーザ２がＴＶ映像を視聴しているときも行われる。

起動判定部４は、所定の間隔でＴＶ画面１２上にアイコン１３を点灯させるステップＳ２０１と、所定の間隔でアイコン１３を消灯させるステップＳ２０２を繰り返し、アイコン１３を点滅させる。これにより、起動アイコン１３は図１５（ａ）に示すようにＴＶ映像が表示されたＴＶ画面１２の一部で点滅が繰り返される。

ステップＳ２０７において、刺激注目判定部７は、脳波計測部３にて計測された脳波信号から、アイコン１３が点灯されたタイミングを起点としたＮ１００成分を含む範囲の事象関連電位を切り出す。

ステップＳ２０８において、刺激注目判定部７はさらにアイコン１３が点灯されたタイミングを起点とした約１００ｍｓの前後５０ｍｓの区間において極小値を検索し、その振幅をＮ１００成分として抽出する。

ステップＳ２０９において、刺激注目判定部７は、Ｎ１００成分が予め設定された閾値を超えているか否かを判定する。予め設定された閾値は、たとえば−３μＶである。より一般化すると、図３Ａのグラフ（ａ）および（ｂ）の波形と、グラフ（ｃ）の波形との間（たとえば中間値）を閾値として設定することが好ましい。

Ｎ１００成分が閾値を超えている場合には、処理はステップＳ２１０に進む。このときは、ユーザ２はアイコン１３の点滅を注視していると判定されたことを意味する。一方、Ｎ１００成分が閾値を超えていない場合には、処理はステップＳ２０１に戻る。このときは、ユーザ２はアイコン１３の点滅を注視していないと判定されたことを意味する。引き続き図１５（ａ）に示すように小さく表示されたままのアイコン１３の点滅が継続される。

ステップＳ２１０において、刺激注目判定部７は、図１５（ｂ）に示すようにアイコン１３の表示サイズを大きくするよう、起動判定部４に指示信号を出力する。その目的は、アイコン１３のサイズを大きくするとアイコン１３が自然と視界に入るため、意識的に注視する程度を緩和することができるとともに、ＴＶ映像による脳波への影響を抑制することにより、Ｐ２００成分を出現しやすくするためである。その指示信号を受けて起動判定部４は、出力部６に対してアイコン１３を大きく表示するための刺激制御信号を出力する。

なお、ユーザ２がアイコン１３の点滅を注視しているときにアイコン１３を大きく表示するという処理は、視覚刺激を強調して提示することの例である。

次のステップＳ２０３において、起動判定部４は、大きく表示されたアイコンの刺激に基づいて脳波を切り出す。その後、起動判定部４は、ステップＳ２０４からステップＳ２０６までにおいて起動判定処理を行う。起動判定の処理に関しては、実施形態１と同様のため、その説明を省略する。

上述のように、本実施形態においては、ユーザ２の脳波信号により、ユーザ２がアイコン１３の点滅を注視しているか予め判定し、注視している場合はアイコンの大きさを大きくして点滅させる。これにより、大きい刺激の点滅に基づいたＰ２００成分を抽出することが可能となる。アイコンが大きいときのＰ２００成分の値は、小さいときのＰ２００成分の値よりも大きくなるため、より明確に起動意思ありと、なし又はＴＶ視聴中を区別することが可能となる。

上述の例では、Ｎ１００成分を、アイコン１３が点灯されたタイミングを起点とした約１００ｍｓの前後５０ｍｓの区間の極小値の振幅として抽出を行った。しかしこれは例である。極小値が複数存在する場合には、そのうちの最小値を検索してもよい。または、極小値ではなく当該区間の陰性のピーク（最小値）を検索してもよい。または、上記区間の区間平均の値をＮ１００成分として抽出を行ってもよい。

（実施形態３）
実施形態１および２では、刺激となるアイコンの点滅は脳波インタフェースシステムが制御を行い、操作対象の機器が出力部にて刺激を提示している例を挙げた。しかし、われわれの生活の中で利用している機器は多数あり、それらすべての機器の点滅を制御することは大変困難である。

そこで本実施形態では、点滅タイミングを脳波インタフェースシステムが一括制御するのではなく、個々の機器が各機器独自のタイミングで点滅を行った場合でも適用可能な起動インタフェースを説明する。

我々が生活しているなかで、看板やネオン広告、電子掲示板など、点滅しているさまざまな機器を目にする。これらは顧客の目を引くために点滅を行っており、看板や広告を設置した広告主の最終的なねらいとしては、顧客に詳細を認知してもらうか、または商品を顧客に買ってもらうことである。

しかし、顧客は看板を見て興味を持っても、しばらく時間がたつと興味を持ったことを忘れてしまい、最終的な購買活動にはつながらないことが多い。また、広告主が顧客に対して過度の広告を行うと、特に興味を持っていない顧客にとっては不要な情報が押し付けられることになり、顧客の気分を害し、逆に顧客の購入機会を減らしてしまうことになりかねない。

そこで、広告主が設置した看板や広告に興味を持った顧客に対してのみ、割引チケットを提供するなどの購買意欲を高める活動を行うことができれば、効果的に購買活動を促進することが可能となる。顧客の側も、自分の興味ある広告に関する情報のみを取得することができ、効率的な情報収集を行うことができる。

上述した「顧客」を「ユーザ」と捉え、「興味」を「詳細機能表示の起動意思」と捉えて、本発明による脳波インタフェースシステムおよびその起動装置に適用する。

図１８は、本実施形態による脳波インタフェースシステム１および起動装置１９５の利用環境を示す。本実施形態においては、携帯電話１９２中に起動装置１９５が組み込まれている。なお起動装置１９５にはこれまでの実施形態において説明した起動判定部４等が設けられている。

ユーザ２は、頭部に脳波計７１およびカメラ１９１を着用し、常に脳波が脳波計７１により計測されている。カメラ１９１は、ユーザ２の視界に入った点滅物（たとえば看板１９４）を検出するために設けられており、ユーザ２の前方に向けられている。

このような脳波インタフェースシステム１および起動装置１９５は以下の状況で利用される。たとえば、ユーザ２が町を歩いている際に、点滅している広告のうち、詳細情報を知りたいと感じた広告を見かけると、起動意思をもちながら広告の点滅を注視する。

起動装置１９５がユーザ２の起動意思を判定すると、所持している携帯電話１９２において、予め設定された機能の起動が行われる。

例えば、レストランの看板１９４が点滅しており、ユーザ２が詳細情報表示の起動意思をもって看板１９４の点滅を注視する。すると起動装置１９５はユーザ２の起動意思を判定し、脳波インタフェースシステムの出力部である携帯電話１９２のディスプレイ１９３に、レストランの割引クーポンを表示する。

図１９は、本実施形態による脳波インタフェースシステム１および起動装置１９５の機能ブロックの構成を示す。実施形態１の起動装置２０の構成に対し、新たに、点滅検出部９が設けられている。点滅検出部９は、外部の点滅物の点滅タイミングの判定と起動判定時に実行される機能を決定する。そして点滅検出部９は、点滅タイミングを示す情報と、起動判定時に実行される機能を特定する機能制御情報とを起動判定部４に出力する。

起動判定部４は、点滅タイミングを示す情報に基づいて視覚刺激の提示タイミングを特定し、実施形態１において説明した処理を行い、起動トリガを出力するか否かを判定する。起動トリガを出力する場合には、点滅検出部９から受け取った機能制御情報に対応する機能を実行させるための制御信号も併せて出力する。

図２０は、本実施形態による脳波インタフェースの起動に関連する処理手順を示す。

ステップＳ４００において、ユーザ２が脳波計測部３を装着することにより、脳波計測部３は、ユーザ２の脳波信号の計測を開始する。

ステップＳ４０１において、点滅検出部９は、ユーザ２の前方に向けられたカメラの映像に基づいて、視界の中に点滅している物体が存在するかを探索し、その存在を検出する。

その後のステップＳ４０３において、点滅検出部９は、起動意思が検出された場合に実行される機能を決定する。具体的には、点滅検出部９は、点滅しているコンビニエンスストアの看板やロゴマークなどをカメラ１９１で撮影し、画像処理によりパターン認識を行い、および／またはＲＦタグを利用した物体情報の取得を行うことで、点滅している物体を特定する。そして点滅検出部９は、予め保持している店・物体情報と動作機能との対応関係を規定したデータベースに基づいて実行機能を決定する。

図２１は、データベースの一例を示す。ステップＳ４０３に関連する、データベースの利用方法を説明する。例えば、図１８に示す看板１９４の方向に視線を向けた場合、視線方向に装着されているカメラ１９１は看板１９４の映像を撮影して映像信号を出力する。点滅検出部９は、出力された映像信号を取得し、撮影された映像の中で点滅している被写体、すなわち看板１９４を検出し、画像のパターン認識を行う。

点滅検出部９は、画像のパターン認識の結果に基づいて図２１のデータベースを参照し、参照結果から、点滅している看板１９４が「デリシャスレストラン」のものであると判定し、ユーザ２の起動意思を判定した際に実行する機能を「割引クーポンを表示する」と設定する。

再び図２０を参照する。ステップＳＳ４０３と並行して、点滅検出部９はステップＳ４０４の処理を行う。ステップＳ４０４以降の処理は、ユーザ２の脳波信号を利用した起動判定処理である。

ステップＳ４０４において、点滅検出部９は、点滅物体が点灯したタイミングを検出し、実行機能の内容と点灯タイミングを起動判定部４に送る。

ステップＳ４０５、Ｓ４０６、Ｓ４０７は、図１１のステップＳ８０３〜Ｓ８０６と同じであり、起動判定部４は、Ｐ２００成分を利用した起動意思判定を行う。

Ｐ２００成分が閾値を超えていない場合は、ステップＳ４０４の点灯刺激検出に戻り、処理が繰り返される。逆にＰ２００成分が閾値を超えた場合は、ステップＳ４０８において、点滅検出部９によって決定された実行機能にしたがって、起動判定部４は、実行する機能の起動トリガを機能制御部５に出力する。この結果、脳波インタフェースシステム１が点滅タイミングの制御を行っていない機器に対しても、起動意思の判定を行うことが可能になる。

（実施形態４）
実施形態１では、ＴＶが保有する１つの機能（脳波インタフェース）を起動するために、１つのアイコンを点滅させ、アイコン点灯時の事象関連電位Ｐ２００成分を利用することで起動判定を行う方法を説明した。

我々の生活環境の中にはＴＶ以外にも数多くの機器や機能が存在している。これらの機器や機能の起動を、本発明を利用して実現しようとすると、１つのアイコン点滅による１つの機能の起動だけでは、不十分である。

また、各機器に付属するアイコンを順番に点滅させることにより、事象関連電位のＰ３００成分を利用して、ユーザが使用したい機器を選択することも可能である。選択される機器の数が十数個あるいは数十個と多い場合、それらの機器のアイコンを順番に点灯させると非常に多くの時間を要し、ユーザ所望のタイミングで使用したい機器を選択することが困難になる。

そこで本実施形態においては、複数のタイミングで機器ごとのアイコンを点滅させることにより、ユーザはどのアイコンに対して起動意思をもって注視したかを判定する起動インタフェースを実現する。このような起動インタフェースは、単一種類の視覚刺激による起動意思判定が、複数のタイミングで行われる処理と考えられるため、本発明の内容が適用できる。

本実施形態においては、ＴＶを対象とした脳波インタフェースの起動ではなく、電子レンジや電磁調理器などの機器の操作インタフェースを対象として説明する。具体的には、機器のＬＥＤの点滅を利用して機器の電源をＯｎ／Ｏｆｆする起動インタフェースを説明する。

なお、脳波を用いて機器を制御することについては実施形態１と同様である。よって、本実施形態においてもこのような起動装置を含むシステム全体を「脳波インタフェースシステム」と呼ぶこととする。

図２２は、本実施形態による脳波インタフェースシステム１および起動装置２２の利用環境を示す。脳波インタフェースシステム１および起動装置２２は、キッチンで家事をする状況下で利用される。

キッチンでは洗い物や調理などの両手を使った作業が多く、その作業中、ユーザ２は他の作業を行うことができない。その一方、ユーザ２は多くの機器や調理用具を同時に扱わなければならない。

本願発明者らは、取り扱う機器や調理用具の多くには単純な制御が要求されることに着目し、起動装置２２を用いて機器の起動および動作の停止を実現することとした。これにより、ユーザ２が手を放せない作業中であっても、各種機器を起動させ、動作を停止させることが可能になる。

ユーザ２は脳波計７１を装着している。起動装置２２は、起動判定部４と点滅タイミング制御部８とを含んでいる。起動装置２２は脳波計７１で検出されたユーザ２の脳波信号を無線で受け取る。

キッチンに設置された電磁調理器１４１ａや電子レンジ１４１ｂなどの各機器はＬＥＤなどの刺激提示部（６１ａ、６１ｂ）と機能制御部５を有しており、それぞれ異なるタイミングで点滅している。点滅タイミングは、点滅タイミング制御部８により、点滅開始時刻と点滅周期で管理され、各機器の点滅タイミングが重複しないように制御される。また、起動装置２２は無線でＬＥＤ（１４２ａ、１４２ｂ、１４２ｃ、・・・、１４２ｎ）の点滅タイミングを制御し、各機器の機能制御部（５ａ、５ｂ、５ｃ、・・・、５ｎ）に対し起動トリガを出力する。

ユーザ２は、制御を行いたい機器に付随したＬＥＤの点滅を注視する。ユーザ２が起動意思をもって注視した場合には、ＬＥＤが点灯したタイミングを起点とした事象関連電位のＰ２００成分が比較的高い値をとる。ユーザ２が起動意思をもって注視を続けると、ＬＥＤの点滅タイミングにあわせてＰ２００成分が出現し続ける。よって、このＬＥＤの点滅タイミングとＰ２００成分の発生タイミングとを比較することにより、ユーザ２がどの機器のＬＥＤを注視していたかを特定することができる。このとき起動装置２２は、各機器に予め定められた制御をするべく、選択された機器の機能制御部５に起動トリガを送信する。

図２３は、各機器のＬＥＤ１４２ａ〜１４２ｎの点灯タイミングの関係を示す。各機器は、予め定められた点灯タイミングで点灯を繰り返す。図２４は、図２２に示す各機器の機器名と、各機器に設けられた点滅装置の点灯タイミングと、対応する機器動作との対応の例である。この対応に基づいて、Ｐ２００成分の発生タイミング検出が行われ、機器の動作を決定する。

再び図２３を参照して、点滅タイミングとＰ２００成分の発生タイミングの比較方法を説明する。点滅タイミング制御部８は、各機器のＬＥＤの点灯開始時刻と点滅周期を制御するとともに、各機器のＬＥＤ点灯時刻が重複しないように管理している。点滅タイミング制御部８は、点灯開始時刻と点滅周期から各機器の点滅タイミングを予測する。

予測結果によって、複数の機器のＬＥＤの点灯タイミングが重複することが判明した場合、一方のＬＥＤの点灯タイミングを他の機器のＬＥＤの点灯時刻と重複しない時刻にずらす。例えば点滅タイミング制御部８は、各機器に予め割り振られた機器番号が大きい方の機器のＬＥＤの点灯時刻を１００ｍｓ遅らせる。これにより、点滅タイミングが重複しないように制御することができる。

また、複数の機器のＬＥＤの点滅タイミングにおけるＰ２００成分の検出区間が重複していると、重複している区間に発生した陽性ピークが、どちらの機器のＬＥＤに反応したＰ２００成分であるか判定ができなくなってしまう可能性がある。そのため、点滅タイミング制御部８は、各点滅タイミングのＰ２００成分の検出区間が重複しないように（各機器のＬＥＤ点滅タイミングが１００ｍｓ以下にならないように）調整を行う。点滅タイミング制御部８は、点灯開始時刻と点滅周期から重複が予想される場合、一方のＬＥＤの点灯タイミングを、他方の機器のＬＥＤの点灯タイミングよりも１００ｍｓ以上遅れたタイミングに修正する。

各機器（１４１ａ、１４１ｂ、１４１ｃ、・・・、１４１ｎ）は、上記の点滅タイミング制御部８の制御にしたがって、各機器が保持する刺激提示部６１であるＬＥＤ（１４２ａ、１４２ｂ、１４２ｃ、・・・、１４２ｎ）を点滅させる。全ての機器の点灯タイミングにおいて、起動判定部４は、事象関連電位の計測を行い、計測された事象関連電位の中でＰ２００成分を持つものを検出し、そのＰ２００成分の発生タイミングを判定する。また起動判定部４は、Ｐ２００成分の発生タイミングと、各機器のＬＥＤの点灯タイミングとを比較し、タイミングが一致するものを探索することで、どの機器に対して起動意思をもっているのかを特定する。

図２５は、本実施形態による脳波インタフェースシステム１および起動装置２２の機能ブロックの構成を示す。本実施形態による構成は、実施形態１の構成に対し、起動装置中に新たに点滅タイミング制御部８を設けるとともに、脳波インタフェースシステム１において刺激提示部６１ａ、６１ｂ・・・を設けたことにある。

たとえば図２５に示す最上段の機器は、刺激提示部６１ａと、出力部６ａと、機能制御部５ａとを備えている。刺激提示部６１ａはＬＥＤなどを利用して刺激を提示する。出力部６ａは機器の機能をユーザ２に出力する。機能制御部５ａは、その機器に対して予め設定された機能を実行する。

脳波インタフェースシステム１の他の機器も同様に構成されている。

起動装置２２の点滅タイミング制御部８は、各機器が保持する刺激提示部６１における点灯／消滅のタイミングを一括して制御している。

図２６は、本実施形態による脳波インタフェースの起動に関連する処理手順を示す。

図２６においては、主として左側の処理が点滅タイミング制御部８によって実行され、右側の処理は起動判定部４によって実行される。

ステップＳ３００において、点滅タイミング制御部８は、図２４に示す各機器の点灯開始時刻および点灯周期に基づいて、各機器の点灯タイミングを予測する。そしてステップＳ３０１において、点滅タイミング制御部８はそれらの点灯タイミングが重複する時刻が存在するか否かを判定する。重複する時刻が存在する場合には処理はステップＳ３０２に進み、存在しない場合にはステップＳ３０３に進む。

ステップＳ３０２において、点滅タイミング制御部８は、一方の機器の点滅タイミングを１００ｍｓ以上ずらす。これにより、点灯タイミングが重複するその時刻については、重複が解消される。ただし、点灯タイミングをずらした結果、他の機器の点灯タイミングとの関係で重複が生じる可能性がある。そこで処理は再びステップＳ３００に戻り、点滅タイミング制御部８は重複がなくなるまでステップＳ３００からステップＳ３０２までの処理を繰り返す。

ステップＳ３０３において、点滅タイミング制御部８は各機器に制御信号を送り、各機器のＬＥＤを点灯させる。先のステップＳ３００〜Ｓ３０２までの処理により、点灯するのは常に１つの機器のＬＥＤのみである。

ステップＳ３０４において、いずれかの機器のＬＥＤが点灯すると、点滅タイミング制御部８は判定トリガを起動判定部４に出力する。この判定トリガは、後述する起動判定部４において、事象関連電位のＰ２００成分を抽出するための基点を決定するために利用される。

ステップＳ３０５において、点滅タイミング制御部８は各機器のＬＥＤの点灯タイミングを記録媒体（図示せず）に記録する。この結果ステップＳ３１０に示すように、判定トリガ情報が記録媒体に蓄積される。判定トリガ情報は、たとえば機器を特定するための機器ＩＤ、その機器の点灯タイミング等が記述される。「その機器の点灯タイミング」とは、その機器が実際に点灯した時刻であってもよいし、前の点灯タイミングからの差分値であってもよい。

ステップＳ３０６において、点滅タイミング制御部８は各機器のＬＥＤを消灯させる。

ステップＳ３０３からＳ３０６までの処理は、ある機器が点灯してから消灯するまでの処理である。これらの処理が、図２３に示す機器の点灯ごとに行われる。

次にステップＳ３２０以降の処理を説明する。

ステップＳ３２０において、起動判定部４は、判定トリガの検出を待っている。判定トリガを検出すると、ステップＳ３２１において起動判定部４は判定トリガを受信する。

次のステップＳ３２２では、起動判定部４は判定トリガを受信してから２５０ｍｓ経過するまで処理を待つ。その理由は、Ｐ２００成分を抽出するためには、ＬＥＤ点灯後（すなわち判別トリガ受信後）の１５０ｍｓから２５０ｍｓまでの脳波信号が必要となるためである。経過していれば処理はステップＳ３２３に進み、経過していなければ処理はステップＳ３２０に戻る。

ステップＳ３２３において、起動判定部４は脳波計測部３からの脳波信号から、判定トリガの受信時刻を起点としたＰ２００成分を含む範囲の事象関連電位を切り出す。そして起動判定部４は、その基点から約２００ｍｓの前後５０ｍｓの区間において、陽性の極大値を検索し、その振幅をＰ２００成分として抽出する。

ステップＳ３２４において、起動判定部４は、Ｐ２００成分が予め設定された閾値を超えているか否かを判定する。超えている場合には処理はステップＳ３２５に進み、超えていない場合には処理はステップＳ３２０に戻る。

ステップＳ３２５において、起動判定部４は、ステップＳ３１０において蓄積された判定トリガ情報に基づいて、その判定トリガが出力されたときに点灯していた機器を決定する。たとえば、点滅タイミング制御部８による判定トリガの出力と起動判定部４による判定トリガの受信とが実質的に同時に行われるとすると、起動判定部４は、その判定トリガの受信時刻をキーとして判定トリガ情報を検索し、その時刻に点灯していた機器を特定する。

ステップＳ３２６において、起動判定部４は決定された機器の制御データをメモリ（図示せず）から読み出す。その結果、ステップＳ３２７において、起動判定部４は、ユーザ２が操作を所望していると特定された各機器の機能制御部５に対し起動トリガを出力する。この起動トリガの受信に応答して、その機器は起動を開始することができる。

例えば、ユーザ２の事象関連電位のＰ２００成分の出現タイミングが電子レンジ１４１ｂのＬＥＤ１４２ｂの点灯タイミングと一致した場合、起動判定部４は、図２４に示す制御データから、電子レンジ１４１ｂが選択された場合の機器動作を読み出し、電子レンジ１４１ｂが保持する機能制御部５ｂに対し、「あたため開始」という起動トリガを出力する。起動トリガを受信した電子レンジ１４１ｂの機能制御部５ｂは、出力部６ｂを制御してあたため機能を実行する。

上述のような構成により、制御対象の機器が数十数個と多い場合でも、アイコン点灯を長時間待つことなく、ユーザ所望のタイミングで脳波の事象関連電位を利用した制御をすることが可能になる。

なお、上述の例では、起動装置２２は、脳波計７１や各機器とは別の構成として説明を行ったが、脳波計７１または各機器に内蔵された構成でも本発明の範疇である。

また、本実施形態では、操作の対象を電子レンジや電磁調理器などの機器とし、機器のＬＥＤの点滅を利用して機器の電源をＯｎ／Ｏｆｆするような起動インタフェースの例の説明を行ったが、必ずしも制御の対象は機器とする必要はなく、単一の機器の中に含まれる複数の機能を制御の対象としてもよい。例えば、ＰＣのように１つの機器で多くの機能を保持している場合においても、本実施形態の構成が適用できる。

なお、１回のアイコン点灯で起動する機器を特定する場合は、すべての機器のＬＥＤ点灯タイミングを異なるタイミングにする必要がある。また、ＬＥＤ点灯タイミングが重複する可能性がある場合には、各機器のＬＥＤ点灯タイミングごとに加算平均した事象関連電位を利用することで、Ｐ２００成分の出現に基づいた機器の特定を行ってもよい。

図２７は、本実施形態の各機器のＬＥＤの点灯を、ＰＣのディスプレイに表示されたバナーの点灯に置き換えた例を示す。

ユーザがＰＣディスプレイ１８１上に表示されたインターネッとホームページを閲覧していると、さまざまな画像広告を目にする。これらはバナーと呼ばれている。バナーをクリックすることにより、より詳細な情報が記述されたページへと画面を遷移させることが可能であるため、バナーは他画面への遷移を意味するサインとして利用されている。

バナーは同一ページ上に複数表示されることが多い。たとえば図２７では、３つのバナー１８２ａ、バナー１８２ｂ、バナー１８２ｃが示されている。また、バナーに対しては、ユーザの目にとまるよう画像を点滅させるなどの加工が行われている。

上述した本実施形態の各機器のＬＥＤの点灯は、ＰＣのディスプレイに表示されたバナーの点灯に置き換えることができる。

たとえば閲覧中のページに詳細を知りたいバナーが存在した場合、ユーザは起動意思をもってバナーの点滅を注視する。ＰＣ内に内蔵された脳波インタフェースシステムは、ユーザの頭部で計測した脳波をもとに、Ｐ２００成分を利用して起動意思の判定を行い、起動意思の出現タイミングとバナーの点滅タイミングを比較することにより、ユーザがどのバナーを、起動意思をもって注視していたか判定することができる。ユーザが詳細を知りたがっているバナーを特定することで、バナーの詳細情報が記載されたページに遷移することができる。

このようにバナーの点滅を利用することで、マウス等のデバイスがなくても所望のバナーを選択し、詳細表示ページへ遷移できるインタフェースを実現できる。

本発明の脳波インタフェースシステムおよび起動装置によれば、物理的な操作を行わずに、脳波インタフェースの起動が可能となり、脳波インタフェース起動後におけるメニューの選択と決定などのすべての段階で、ユーザの脳波を利用して脳波インタフェースによる操作が可能になる。このシステムは、機器制御が必要とされる場面において幅広く利用可能である。このシステムをたとえば情報機器に適用することにより、車の運転中や乳児を抱きかかえている時などの手を離せない状況においても、脳波のみによってその情報機器の制御を行うことができる。また、物理的な操作を行わずにインタフェース操作が可能になるため、ウェアラブル機器など、ハンズフリーを特徴とする機器に有用である。

脳波起動インタフェースのＴＶ画面の例を示す図である。条件（ａ）（ｂ）（ｃ）のもとで測定された事象関連電位の波形の比較結果を示す図である。条件（ａ）（ｂ）（ｃ）の事象関連電位の波形を示す図である。図３Ａの被験者とは異なる被験者による条件（ａ）（ｂ）（ｃ）の事象関連電位の波形を示す図である。本実施形態による脳波インタフェースシステム１の構成および利用環境を示す図である。脳波インタフェースシステム１および起動装置２０の機能ブロックの構成を示す図である。ＴＶ画面１２に表示されたメニュー画面６１を示す図である。実施形態１による脳波インタフェースシステム１および起動装置２０のハードウェア構成を示す図である。脳波インタフェースシステム１の処理の流れを示すフローチャートである。（ａ）〜（ｄ）は、脳波インタフェースシステム１においてＴＶ１１を操作し、ユーザ２が視聴したいジャンルの番組を見るときの例を示す図である。機能制御部５の脳波インタフェースの起動後の処理手順を示すフローチャートである。実施形態２による脳波インタフェースの起動に関連する処理手順を示すフローチャートである。ＴＶ１１の画面の外のフレーム部分に、起動用の視覚刺激を提示する光源であるＬＥＤ９１を設けた例を示す図である。カーナビゲーションシステム操作時の画面表示例を示す図である。電子掲示板１１１の画面上に表示された、点滅する広告画像１１２を示す図である。（ａ）はユーザ２がアイコン１３を注視していないと判定されたときのアイコン１３を示す図であり、（ｂ）はユーザ２がアイコン１３を注視していると判定されたときの、より大きく表示されたアイコン１３を示す図である。実施形態３による脳波インタフェースシステム１および起動装置２１の機能ブロックの構成を示す図である。実施形態３による脳波インタフェースの起動に関連する処理手順を示すフローチャートである。実施形態３による脳波インタフェースシステム１および起動判定部４の利用環境を示す図である。実施形態３による脳波インタフェースシステム１および起動装置１９５の機能ブロックの構成を示す図である。実施形態３による脳波インタフェースの起動に関連する処理手順を示すフローチャートである。店・物体情報と動作機能との対応関係を規定したデータベースの一例を示す図である。実施形態４による脳波インタフェースシステム１および起動装置２２の利用環境を示す図である。各機器のＬＥＤ１４２ａ〜１４２ｎの点灯タイミングの関係を示す図である。図２２に示す各機器の機器名と、各機器に設けられた点滅装置の点灯タイミングと、対応する機器動作との対応の例である図である。実施形態４による脳波インタフェースシステム１および起動装置２２の機能ブロックの構成を示す図である。実施形態４による脳波インタフェースの起動に関連する処理手順を示すフローチャートである。実施形態４の各機器のＬＥＤの点灯を、ＰＣのディスプレイに表示されたバナーの点灯に置き換えた変形例を示す図である。

１脳波インタフェースシステム
２ユーザ
３脳波計測部
４起動判定部
５機能制御部
６出力部
７刺激注目判定部
８点滅タイミング制御部
９点滅検出部
２０、２１、２２、１９５起動装置

Claims

脳波インタフェースシステムを起動するための起動装置であって、
前記脳波インタフェースシステムは、
ユーザの脳波信号を計測する脳波計測部と、
前記脳波信号に含まれる事象関連電位を解析し、解析結果に基づいて機器の機能を制御するための機能制御信号を出力する機能制御部と、
前記機能制御信号を出力する出力部と
を有しており、
前記起動装置は、
前記脳波インタフェースシステムが機能していないときにおいて、前記出力部に対して、前記出力部における単一項目の視覚刺激の提示および消滅を制御するための刺激制御信号を送信し、かつ、前記脳波計測部から取得した前記脳波信号のうち、前記視覚刺激の提示タイミングを起点とした事象関連電位のＰ２００成分の値と所定の閾値とを比較することにより、比較結果に応じて前記機能制御部に対して起動トリガを出力するか否かを決定する起動判定部と、
前記視覚刺激の提示タイミングを起点とした前記事象関連電位のＮ１００成分に基づいて前記視覚刺激をユーザが注目しているか否かを判定し、判定結果に応じて、前記起動判定部の処理を開始させる刺激注目判定部と
を備えており、
前記起動トリガを出力することにより、前記脳波インタフェースシステムを起動させる、起動装置。
前記起動判定部は、前記視覚刺激の提示タイミングを起点として２００±５０ｍｓの区間における事象関連電位の値を前記Ｐ２００成分の値として、前記所定の閾値と比較する、請求項１に記載の起動装置。
前記起動判定部は、前記視覚刺激の提示タイミングを起点として２００±５０ｍｓの区間における事象関連電位の極大値、最大値、区間平均値のいずれかを前記Ｐ２００成分の値として、前記所定の閾値と比較する、請求項１に記載の起動装置。
前記刺激注目判定部は、前記視覚刺激をユーザが注目している前記判定結果に応じて、前記起動判定部に対して前記視覚刺激の提示方法を変化させるよう指示する、請求項１に記載の起動装置。
前記脳波インタフェースシステムは、映像を撮影して映像信号を出力する撮像装置を備えており、
前記起動装置は、
前記映像信号に基づいて、前記映像内において点滅している被写体を検出する点滅検出部であって、前記被写体の特徴量に基づいて、前記機能制御部に実行させる機能を指示する機能制御情報を生成し、前記被写体の点灯タイミングを示す情報および前記機能制御情報を出力する点滅検出部をさらに備え、
前記起動判定部は、前記点灯タイミングを示す情報に基づいて前記視覚刺激の提示タイミングを特定し、前記機能制御部に対して起動トリガを出力する際には、前記機能制御情報に基づく制御信号を出力し、
前記脳波インタフェースシステムの前記機能制御部は、前記起動トリガおよび前記機能制御情報に基づいて、特定の機能を実行する、請求項１に記載の起動装置。
前記点滅検出部は、被写体の特徴量と前記機能制御部に実行させる機能との対応関係を規定したデータベースを保持しており、
前記被写体の特徴量を認識して前記特徴量に基づいて前記データベースを参照することにより、前記機能制御部に実行させる機能を特定し、前記機能制御情報を出力する、請求項５に記載の起動装置。
脳波インタフェースシステムを起動するための起動方法であって、
前記脳波インタフェースシステムは、
ユーザの脳波信号を計測する脳波計測部と、
前記脳波信号に含まれる事象関連電位を解析し、解析結果に基づいて機器の機能を制御するための機能制御信号を出力する機能制御部と、
前記機能制御信号を出力する出力部と
を有しており、
前記起動方法は、
前記脳波インタフェースシステムが機能していないときにおいて、前記出力部に対して、前記出力部における単一項目の視覚刺激の提示および消滅を制御するための刺激制御信号を送信するステップと、
前記視覚刺激の提示タイミングを起点とした前記事象関連電位のＮ１００成分に基づいて前記視覚刺激をユーザが注目しているか否かを判定するステップと、
判定結果に応じて、前記脳波計測部から取得した前記脳波信号のうち、前記視覚刺激の提示タイミングを起点とした事象関連電位のＰ２００成分の値と所定の閾値とを比較するステップと、
比較結果に応じて前記機能制御部に対して起動トリガを出力するか否かを決定するステップと、
起動トリガを出力することが決定されたときにおいて、前記起動トリガを出力することにより、前記脳波インタフェースシステムを起動させるステップと
を包含する起動方法。
脳波インタフェースシステムに組み込まれた起動装置において実行されるコンピュータプログラムであって、
前記脳波インタフェースシステムは、
ユーザの脳波信号を計測する脳波計測部と、
前記脳波信号に含まれる事象関連電位を解析し、解析結果に基づいて機器の機能を制御するための機能制御信号を出力する機能制御部と、
前記機能制御信号を出力する出力部と
を有しており、
前記コンピュータプログラムは、前記起動装置のコンピュータに対し、
前記脳波インタフェースシステムが機能していないときにおいて、前記出力部に対して、前記出力部における単一項目の視覚刺激の提示および消滅を制御するための刺激制御信号を送信するステップと、
前記視覚刺激の提示タイミングを起点とした前記事象関連電位のＮ１００成分に基づいて前記視覚刺激をユーザが注目しているか否かを判定するステップと、
判定結果に応じて、前記脳波計測部から取得した前記脳波信号のうち、前記視覚刺激の提示タイミングを起点とした事象関連電位のＰ２００成分の値と所定の閾値とを比較するステップと、
比較結果に応じて前記機能制御部に対して起動トリガを出力するか否かを決定するステップと、
起動トリガを出力することが決定されたときにおいて、前記起動トリガを出力することにより、前記脳波インタフェースシステムを起動させるステップと
を実行させる、コンピュータプログラム。