JP4385576B2

JP4385576B2 - 物体制御装置、物体制御方法、物体制御プログラムおよびコンピュータ読み取り可能な記録媒体

Info

Publication number: JP4385576B2
Application number: JP2002249561A
Authority: JP
Inventors: 基文福井
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-08-28
Filing date: 2002-08-28
Publication date: 2009-12-16
Anticipated expiration: 2022-08-28
Also published as: JP2004086768A

Description

【０００１】
【発明の属する技術分野】
本発明は、脳波データにより物体の動作を制御する物体制御装置、物体制御方法、物体制御プログラムおよびコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
脳波などの生体信号から操作者の意図および意志を読み取り物体の制御を行う手法としては、眼球運動に付随した信号を検出する手法および脳波を用いる手法等が考えられている。眼球運動に付随した信号を検出する手法として、特開２００１−２２８９４９号公報には、額部分に複数の電極を取り付け、それらの電極から眼球運動に付随した信号を取り出し、その信号に基づき機械の制御を行う発明が記載されている。また、特開平６−９５７９７号公報には、眼球運動や筋肉の収縮に付随した信号に基づきビデオゲーム等のカーソル位置の制御を行う発明が記載されている。また、脳波を用いる手法として、特開平１０−２４４４８０号公報には、脳波データのスペクトルパワーに基づき操作者の意志を読み取り、ロボットの制御を実施する手法が提案されている。特開平１１−２０３０２２号公報には筋電信号、眼電信号および脳波のベータ波の組み合わせにより機器の制御を行う発明が記載されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、眼球運動に付随した信号を検出する手法では、実際の眼球運動を伴うので長時間使用すると操作者に疲労が蓄積されるという欠点を持つ。また、脳波を用いる手法では、多数の電極を配置する必要があるという課題を有する。
【０００４】
本発明は、上記問題点を解消する為になされたものであり、眼球運動を伴う必要が無くかつ少ない電極数で実現することが可能な脳波データにより物体の動作を制御する物体制御装置、物体制御方法、物体制御プログラムおよびコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明に係る物体制御装置は、被制御物体に設置され、被制御物体の移動方向の画像を取り込む画像取込手段と、画像取込手段により取り込まれた画像を表示する視覚呈示手段と、視覚呈示手段により表示された画像を操作者が視認したときに生じる操作者の脳波データを取得する脳波データ取得手段と、脳波データ取得手段により取得された脳波データに基づいて被制御物体を制御するための制御情報を生成し出力する脳波データ判定手段と、脳波データ判定手段により生成され出力された制御情報に基づき被制御物体の動作を制御する制御手段とを備えることを特徴とする。
また、脳波データ取得手段は、操作者の左後頭部に設けられる第１電極と操作者の右後頭部に設けられる第２電極とを有し、第１電極及び第２電極それぞれにより操作者の後頭部から脳波データを取得することを特徴とする。
さらに、脳波データ判定手段は、操作者が画像の中心に対して左側に注目したときに第１電極より取得される複数の脳波の第１加算平均値、操作者が画像の中心に対して左側に注目したときに第２電極より取得される複数の脳波の第２加算平均値、操作者が画像の中心に対して右側に注目したときに第１電極より取得される複数の脳波の第３加算平均値、及び、操作者が画像の中心に対して右側に注目したときに第２電極より取得される複数の脳波の第４加算平均値、の何れかに基づいて操作者が画像の左側に注目したという事象および画像の右側に注目したという事象それぞれに関連した第１の事象関連的なデータを算出して記憶し、第１加算平均値と第１電極より取得される脳波データとの第１加重平均値、第２加算平均値と第２電極より取得される脳波データとの第２加重平均値、第３加算平均値と第１電極より取得される脳波データとの第３加重平均値、及び、第４加算平均値と第２電極より取得される脳波データとの第４加重平均値、の何れかに基づいて第２の事象関連的なデータを算出し、第１の事象関連的なデータと第２の事象関連的なデータとの比較に基づいて制御情報を作成し出力することを特徴とする。
【０００６】
本発明に係る物体制御方法は、被制御物体の移動方向の画像を取り込む画像取込ステップと、画像取込ステップで取り込まれた画像を表示する視覚呈示ステップと、視覚呈示ステップで表示された画像を操作者が視認したときに生じる操作者の脳波データを取得する脳波データ取得ステップと、脳波データ取得ステップで取得された脳波データに基づいて被制御物体を制御するための制御情報を生成し出力する脳波データ判定ステップと、脳波データ判定ステップで生成され出力された制御情報に基づき被制御物体の動作を制御する制御ステップとを備えることを特徴とする。
また、脳波データ取得ステップでは、操作者の左後頭部に設けられた第１電極、及び、前記操作者の右後頭部に設けられた第２電極、それぞれから脳波データを取得することを特徴とする。
さらに、脳波データ判定ステップでは、操作者が画像の中心に対して左側に注目したときに第１電極より取得される複数の脳波の第１加算平均値、操作者が画像の中心に対して左側に注目したときに第２電極より取得される複数の脳波の第２の加算平均値、操作者が画像の中心に対して右側に注目したときに第１電極より取得される複数の脳波の第３加算平均値、及び、操作者が画像の中心に対して右側に注目したときに第２電極より取得される複数の脳波の第４加算平均値、の何れかに基づいて操作者が画像の左側に注目したという事象および画像の右側に注目したという事象それぞれに関連した第１の事象関連的なデータを算出して記憶し、第１加算平均値と第１電極より取得される脳波データとの第１加重平均値、第２加算平均値と第２電極より取得される脳波データとの第２加重平均値、第３加算平均値と第１電極より取得される脳波データとの第３加重平均値、及び、第４加算平均値と第２電極より取得される脳波データとの第４加重平均値、の何れかに基づいて第２の事象関連的なデータを算出し、第１の事象関連的なデータと第２の事象関連的なデータとの比較に基づいて前記制御情報を作成し出力することを特徴とする。
【０００７】
本発明に係る物体制御装置または物体制御方法によれば、被制御物体の移動方向の画像が、画像取込手段により（画像取込ステップで）取り込まれ、画像取込手段により（画像取込ステップで）取り込まれた画像が、視覚呈示手段により（視覚呈示ステップで）表示される。次に、視覚呈示手段により（視覚呈示ステップで）表示された画像を操作者が視認したときに生じる操作者の脳波データが、脳波データ取得手段により（脳波データ取得ステップで）取得される。そして、被制御物体を制御するための制御情報が、取得された脳波データに基づき、脳波データ判定手段により（脳波データ判定ステップで）生成され出力され、この制御情報に基づいて制御手段により（制御ステップで）被制御物体の動作が制御される。
特に、脳波データ判定手段により（脳波データ判定ステップで）、第３加算平均値が第３加重平均値より大きく、第４加算平均値が第４加重平均値より小さいときには、操作者が画像の中心に対して左側に注目していると判定され、第１加算平均値が第１加重平均値より小さく、第２加算平均値が第２加重平均値より大きいときには、操作者が画像の中心に対して右側に注目していると判定される。そして、この判定結果に基づいた制御情報が出力される。
【０００８】
また、制御情報は、被制御物体の移動方向に関する制御情報であることが好適である。この場合は、脳波データにより被制御物体の移動方向を制御することができる。
【０００９】
また、画像取込手段は画像をリアルタイムで取り込み、視覚呈示手段は画像をリアルタイムで表示し、脳波データ取得手段は脳波データをリアルタイムで取得し、脳波データ判定手段は制御情報をリアルタイムで生成し出力し、制御手段はリアルタイムで被制御物体の動作を制御することが好適である。
【００１０】
また、画像取込ステップでは画像をリアルタイムで取り込み、視覚呈示ステップでは画像をリアルタイムで表示し、脳波データ取得ステップでは脳波データをリアルタイムで取得し、脳波データ判定ステップでは制御情報をリアルタイムで生成し出力し、制御ステップではリアルタイムで被制御物体の動作を制御することが好適である。
【００１１】
また、脳波データ判定手段は、操作者が視覚呈示手段により表示された画像の中心に対して左側に注目したときの脳波パターンおよび画像の中心に対して右側に注目したときの脳波パターンを記憶しており、それぞれの脳波パターンと脳波データとの比較を行い、その比較結果に基づいた制御情報を出力することが好適である。
【００１２】
また、脳波データ判定ステップでは、操作者が視覚呈示ステップにより表示された画像の中心に対して左側に注目したときの脳波パターンおよび画像の中心に対して右側に注目したときの脳波パターンと脳波データとを比較し、その比較結果に基づいた制御情報を出力することが好適である。
【００１３】
この場合は、脳波パターンと脳波データとの比較により、脳波データが画像の中心に対して左側に注目したときの脳波パターンと一致するときには操作者は左側に注目していると判定され、脳波データが画像の中心に対して右側に注目したときの脳波パターンと一致するときには操作者は右側に注目していると判定される。そして、この判定結果に基づいた制御情報が出力される。
【００１９】
また、脳波データ判定手段は、第１加算平均値と第１加重平均値との差の絶対値と、第２加算平均値と第２加重平均値との差の絶対値と、を加算した第１判定データを算出し、第３加算平均値と第３加重平均値との差の絶対値と、第４加算平均値と第４加重平均値との差の絶対値と、を加算した第２判定データを算出し、第１判定データと第２判定データとの比較に基づいて制御情報を作成し出力することが好適である。
【００２０】
また、脳波データ判定ステップでは、第１加算平均値と第１加重平均値との差の絶対値と、第２加算平均値と第２加重平均値との差の絶対値と、を加算した第１判定データを算出し、第３加算平均値と第３加重平均値との差の絶対値と、第４加算平均値と第４加重平均値との差の絶対値と、を加算した第２判定データを算出し、第１判定データと第２判定データとの比較に基づいて制御情報を作成し出力することが好適である。
【００２１】
この場合、第１判定データが第２判定データより小さいときには操作者が画像の左側に注目していると判定され、第１判定データが第２判定データより大きいときには操作者が画像の右側に注目していると判定される。そして、この判定結果に基づいた制御情報が出力される。
【００２２】
また、脳波データ判定手段は、第２加算平均値と第２加重平均値との差の絶対値と、第３加算平均値と第３加重平均値との差の絶対値と、の比較に基づいて制御情報を作成し出力することが好適である。
【００２３】
また、脳波データ判定ステップでは、第２加算平均値と第２加重平均値との差の絶対値と、第３加算平均値と第３加重平均値との差の絶対値と、の比較に基づいて制御情報を作成し出力することが好適である。
【００２４】
この場合、第２加算平均値と第２加重平均値との差の絶対値が第３加算平均値と第３加重平均値との差の絶対値より小さいときには操作者が画像の左側を注目していると判定され、第２加算平均値と第２加重平均値との差の絶対値が第３加算平均値と第３加重平均値との差の絶対値より大きいときには操作者が画像の右側を注目していると判定される。そして、この判定結果に基づいた制御情報が出力される。
【００２５】
また、脳波データ判定手段は、第１、第３加算平均値より成る第１の事象関連的なデータと第１、第３加重平均値より成る第２の事象関連的なデータとから成る第１判定データ群、第２、第４加算平均値より成る第１の事象関連的なデータと第２、第４加重平均値より成る第２の事象関連的なデータとから成る第２判定データ群、の何れかのデータ群において第１の事象関連的なデータと第２の事象関連的なデータとの比較に基づいて制御情報を作成し出力することが好適である。
【００２６】
また、脳波データ判定ステップでは、第１、第３加算平均値より成る第１の事象関連的なデータと第１、第３加重平均値より成る第２の事象関連的なデータとから成る第１判定データ群、第２、第４加算平均値より成る第１の事象関連的なデータと前記第２、第４加重平均値より成る第２の事象関連的なデータとから成る第２判定データ群、の何れかのデータ群において第１の事象関連的なデータと第２の事象関連的なデータとの比較に基づいて前記制御情報を作成し出力することが好適である。
【００２７】
この場合、第１判定データ群において、第３加算平均値が第３加重平均値より大きいときには、操作者が画像の中心に対して左側に注目していると判定され、第１加算平均値が第１加重平均値より小さいときには、操作者が画像の中心に対して右側に注目していると判定される。第２判定データ群において、第４加算平均値が第４加重平均値より小さいときには、操作者が画像の中心に対して左側に注目していると判定され、第２加算平均値が第２加重平均値より大きいときには、操作者が画像の中心に対して右側に注目していると判定される。そして、何れかの判定結果に基づいた制御情報が出力される。
【００２８】
また、脳波データ判定手段は、第１の事象関連的なデータにおける特徴的な部分についての第１の事象関連的なデータと第２の事象関連的なデータとの差に基づいて制御情報を作成し出力することが好適である。
【００２９】
また、脳波データ判定ステップでは、第１の事象関連的なデータにおける特徴的な部分についての第１の事象関連的なデータと第２の事象関連的なデータとの差に基づいて制御情報を作成し出力することが好適である。
【００３０】
この場合は、第１の事象関連的なデータにおける特徴的な部分において、第１の事象関連的なデータと第２の事象関連的なデータとの差に基づいて操作者が画像の中心に対して左側に注目しているか右側に注目しているかが判定される。そして、この判定結果に基づいた制御情報が出力される。
【００３１】
また、脳波データ判定手段は、第１の事象関連的なデータにおいて、画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１１とし、画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１１とし、第２の事象関連的なデータにおいて、画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１２とし、画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１２とし、Ｐ１１とＰ１２との電位差およびＮ１１とＮ１２との電位差に基づいた制御情報を出力することが好適である。
【００３２】
また、脳波データ判定ステップでは、第１の事象関連的なデータにおいて、画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１１とし、画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１１とし、第２の事象関連的なデータにおいて、画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１２とし、画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１２とし、Ｐ１１とＰ１２との電位差およびＮ１１とＮ１２との電位差に基づいた制御情報を出力する、ことが好適である。
【００３３】
この場合は、第１加算平均値と第１加重平均値及び第２加算平均値と第２加重平均値、それぞれにおいてＰ１１とＰ１２との電位差及びＮ１１とＮ１２との電位差が小さいときに画像の中心に対して左側に注目していると判定され、第３加算平均値と第３加重平均値及び第４加算平均値と第４加重平均値、それぞれにおいてＰ１１とＰ１２との電位差及びＮ１１とＮ１２との電位差が小さいときに画像の中心に対して右側に注目していると判定される。そして、この判定結果に基づいた制御情報が出力される。
【００３４】
また、脳波データ判定手段は、第１の事象関連的なデータにおいて、画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１１とし、画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１１とし、第２の事象関連的なデータにおいて、画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１２とし、画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１２とし、画像を注目開始後Ｐ１１が生じるまでの時間と画像を注目開始後Ｐ１２が生じるまでの時間との時間差、および、画像を注目開始後Ｎ１１が生じるまでの時間と画像を注目開始後Ｎ１２が生じるまでの時間との時間差に基づいた制御情報を出力することが好適である。
【００３５】
また、脳波データ判定ステップでは、第１の事象関連的なデータにおいて、画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１１とし、画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１１とし、第２の事象関連的なデータにおいて、画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１２とし、画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１２とし、画像を注目開始後Ｐ１１が生じるまでの時間と画像を注目開始後Ｐ１２が生じるまでの時間との時間差、および、画像を注目開始後Ｎ１１が生じるまでの時間と画像を注目開始後Ｎ１２が生じるまでの時間との時間差に基づいた制御情報を出力することが好適である。
【００３６】
この場合は、第１加算平均値と第１加重平均値及び第２加算平均値と第２加重平均値、それぞれにおいて画像を注目開始後Ｐ１１が生じるまでの時間とＰ１２が生じるまでの時間との時間差、及び、画像を注目開始後Ｎ１１が生じるまでの時間とＮ１２が生じるまでの時間との時間差が小さいときに画像の中心に対して左側に注目していると判定され、第３加算平均値と第３加重平均値及び第４加算平均値と第４加重平均値、それぞれにおいて画像を注目開始後Ｐ１１が生じるまでの時間とＰ１２が生じるまでの時間との時間差、及び、画像を注目開始後Ｎ１１が生じるまでの時間とＮ１２が生じるまでの時間との時間差が小さいときに画像の中心に対して右側に注目していると判定される。そして、この判定結果に基づいた制御情報が出力される。
【００３７】
また、脳波データ判定手段は、画像の中心に対して左側を注目したときに取得される脳波に基づく第１の事象関連的なデータと画像の中心に対して右側を注目したときに取得される脳波に基づく第１の事象関連的なデータとの差が閾値以下であったときに、視覚呈示手段により表示される画像の特徴を調整し、調整された画像の中心に対して左側を注目したときに取得される脳波、及び、調整された画像の中心に対して右側を注目したときに取得される脳波、それぞれに基づいて再度前記第１の事象関連的なデータを算出することが好適である。
【００３８】
また、脳波データ判定ステップでは、画像の中心に対して左側を注目したときに取得される脳波に基づく第１の事象関連的なデータと画像の中心に対して右側を注目したときに取得される脳波に基づく第１の事象関連的なデータとの差が閾値以下であったときに、視覚呈示ステップで表示される画像の特徴を調整し、調整された画像の中心に対して左側を注目したときに取得される脳波、及び、調整された画像の中心に対して右側を注目したときに取得される脳波、それぞれに基づいて再度前記第１の事象関連的なデータを算出することが好適である。
【００３９】
また、脳波データ判定手段は、脳波データに基づく被制御物体の移動方向の判定ができなかった場合には、現状の移動方向を維持する制御情報を出力することが好適である。
【００４０】
また、脳波データ判定ステップでは、脳波データに基づく被制御物体の移動方向の判定ができなかった場合には、現状の移動方向を維持する制御情報を出力する、ことが好適である。
【００４１】
この場合は、進行方向が画像の中心に表示されており、操作者は画像の中心を注目していると判定される。
【００４２】
本発明に係る物体制御プログラムは、上記いずれかの物体制御方法をコンピュータに実行させることを特徴とする。
【００４３】
本発明に係るコンピュータ読み取り可能な記録媒体は、上記の物体制御プログラムを記録していることを特徴とする。
【００４４】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００４５】
まず、本実施形態に係る物体制御装置１について説明する。図１は、本実施形態に係る物体制御装置１の全体構成を示すブロック図である。物体制御装置１は、被制御物体１１、画像取込手段１２、視覚呈示手段１３、脳波データ取得手段１４、脳波データ判定手段１５、及び、制御手段１６を備えている。
【００４６】
画像取込手段１２は、被制御物体１１に設置され、被制御物体１１の移動方向の画像を取り込むものであり、例えば、カメラ等が好適に用いられる。
【００４７】
視覚呈示手段１３は、画像取込手段１２により取り込まれた画像を表示するものであり、例えば、ＣＲＴディスプレイやＬＣＤディスプレイ等が好適に用いられる。
【００４８】
脳波データ取得手段１４は、操作者の左後頭部に設けられた第１電極１００と操作者の右後頭部に設けられた第２電極１０１とを有し、視覚呈示手段１３により表示された画像を操作者が視認したときに生じる操作者の脳波データをそれぞれの電極から取得する。
【００４９】
脳波データ判定手段１５は、脳波データ取得手段１４により取得された脳波データに基づいて被制御物体１１を制御するための制御情報を生成し出力する。
【００５０】
制御手段１６は、脳波データ判定手段１５により生成され出力された制御情報に基づき被制御物体１１の動作を制御する。
【００５１】
次に本実施形態に係る物体制御装置１の動作について説明するとともに、物体制御方法についても説明する。
【００５２】
本実施形態に係る物体制御装置１または物体制御方法によれば、被制御物体１１の移動方向の画像が画像取込手段１２により取り込まれ、画像取込手段１２により取り込まれた画像が視覚呈示手段１３により表示される。次に、視覚呈示手段１３により表示された画像を操作者が視認したときに生じる操作者の脳波データが脳波データ取得手段１４により取得される。そして、被制御物体１１を制御するための制御情報が取得された脳波データに基づき脳波データ判定手段１５により生成され出力され、この制御情報に基づいて制御手段１６により被制御物体１１の動作が制御される。
【００５３】
図２は、本実施形態に係る物体制御方法の全体処理を示す流れ図である。図２のステップＳ１００では、被制御物体１１の移動方向の画像が画像取込手段１２により取り込まれ、ステップＳ１０１では、ステップＳ１００で取り込まれた画像が視覚呈示手段１３により表示され、ステップＳ１０２では、ステップＳ１０１で表示された画像を操作者が視認したときに生じる操作者の脳波データが脳波データ取得手段１４により取得され、ステップＳ１０３では、ステップＳ１０２で取得された脳波データに基づいて被制御物体１１を制御するための制御情報が脳波データ判定手段１５により生成され出力される。そして、ステップ１０４では、ステップＳ１０３で出力された制御情報に基づいて被制御物体１１の動作が制御手段１６により制御される。
【００５４】
本実施形態に係る物体制御装置１において、制御情報は、被制御物体１１の移動方向に関する制御情報である。この場合は、脳波データにより被制御物体１１の移動方向を制御することができる。
【００５５】
本実施形態に係る物体制御装置１に含まれる画像取込手段１２は（ステップＳ１００では）画像をリアルタイムで取り込み、視覚呈示手段１３は（ステップＳ１０１では）画像をリアルタイムで表示し、脳波データ取得手段１４は（ステップＳ１０２では）脳波データをリアルタイムで取得し、脳波データ判定手段１５は（ステップＳ１０３では）制御情報をリアルタイムで生成し出力し、制御手段１６は（ステップＳ１０４では）リアルタイムで被制御物体１１の動作を制御する。この場合は、被制御物体１１の動作をリアルタイムで制御する事ができる。
【００５６】
また、本実施形態に係る物体制御装置１に含まれる脳波データ判定手段１５は、操作者が視覚呈示手段１３により表示された画像の中心に対して左側に注目したときの脳波パターンおよび画像の中心に対して右側に注目したときの脳波パターンを記憶しており、それぞれの脳波パターンと脳波データとの比較を行い、その比較結果に基づいた制御情報を出力する。
【００５７】
この場合は、脳波パターンと脳波データとの比較により、脳波データが画像の中心に対して左側に注目したときの脳波パターンと一致するときには操作者は左側に注目していると判定され、脳波データが画像の中心に対して右側に注目したときの脳波パターンと一致するときには操作者は右側に注目していると判定される。そして、この判定結果に基づいた制御情報が出力される。
【００５８】
図３は、本実施形態に係る物体制御装置１に含まれる電極の位置を示す図である。第1電極１００は、操作者の左後頭部に設けられ、第２電極１０１は、操作者の右後頭部に設けられる。また、脳波データ取得手段１４は、第１電極１００及び第２電極１０１それぞれにより操作者の後頭部から脳波データを取得する。この場合は、1対の電極によって操作者の脳波データを取得し、この脳波データに基づいて被制御物体１１の動作を制御することが可能である。
【００５９】
図４は、本実施形態に係る物体制御方法に含まれる脳波データ取得処理、及び、脳波データ判定処理の概要を示す流れ図である。まず、ステップＳ２００では、第１の事象関連的データが既に算出済みか否かが判断される。ここで、まだ第１の事象関連的なデータの算出が終了していない時には、ステップＳ２０１で操作者の脳波を脳波データ取得手段１４により取得し、ステップＳ２０２でステップＳ２０１で取得した脳波に基づいて脳波データ判定手段１５により第１の事象関連的なデータの算出を行う。一方、既に第１の事象関連的なデータの算出が既に終っている場合には、ステップＳ２０３に処理が移る。
【００６０】
ステップＳ２０１では、操作者が画像の中心に対して左側に注目したときに第１電極１００、及び、第２電極１０１、それぞれから複数の脳波を脳波データ取得手段１４により取得し、操作者が画像の中心に対して右側に注目したときに第１電極１００、及び、第２電極１０１、それぞれから複数の脳波を脳波データ取得手段１４により取得する。
【００６１】
次に、ステップＳ２０２では、操作者が画像の中心に対して左側に注目したときに第１電極１００より取得された複数の脳波の第１加算平均値、操作者が画像の中心に対して左側に注目したときに第２電極１０１より取得された複数の脳波の第２の加算平均値、操作者が画像の中心に対して右側に注目したときに第１電極１００より取得された複数の脳波の第３加算平均値、及び、操作者が画像の中心に対して右側に注目したときに第２電極１０１より取得された複数の脳波の第４加算平均値、の何れかに基づいて操作者が画像の左側に注目したという事象および画像の右側に注目したという事象それぞれに関連した第１の事象関連的なデータを脳波データ判定手段１６により算出して記憶する。
【００６２】
さらに、ステップＳ２０３では、第１電極１００、及び、第２電極１０１それぞれから脳波データを脳波データ取得手段１４により取得する。
【００６３】
ステップＳ２０４では、第１加算平均値と第１電極１００より取得された脳波データとの第１加重平均値、第２加算平均値と第２電極１０１より取得される脳波データとの第２加重平均値、第３加算平均値と第１電極１００より取得される脳波データとの第３加重平均値、及び、第４加算平均値と第２電極１０１より取得される脳波データとの第４加重平均値、の何れかに基づいて第２の事象関連的なデータを脳波データ判定手段１６により算出する。
【００６４】
ステップＳ２０５では、ステップＳ２０２で算出した第１の事象関連的なデータとステップＳ２０５で算出した第２の事象関連的なデータとの比較に基づいて制御情報を脳波データ判定手段１６により作成する。
【００６５】
そして、ステップＳ２０６では、ステップＳ２０５で作成された制御情報を制御手段１６へ出力する。
【００６６】
さらに、各処理ステップそれぞれについて詳細に説明する。まず、ステップＳ２０１での脳波の取得処理について説明する。ステップＳ２０１では、（１）画像の中心に注目点が表示された画像を呈示する。（２）画像の中心の左側または右側にフリッカーを点滅させ（約５００ｍｓ）、操作者をそちら側に注目させる。そして、フリッカーを点滅させている間第１電極１００、及び、第２電極１０１、それぞれより脳波を取得する。（３）画像の中心に対して左側及び右側それぞれの向きに注目した場合の脳波がそれぞれ５０データ以上取得されるまで上記（１）及び（２）の処理を繰り返し行うことにより脳波の取得を行う。ここで、５０データ以上という数字は脳波を加算平均することによって作成する第１の事象関連的なデータを得るために必要な値であり、取得する脳波の数は大きい方が安定した第１の事象関連的なデータを取得することができる。脳波取得中、操作者は、フリッカーを注目し続ける必要がある。フリッカーを点滅させる場所は、中心点に対して左側または右側に位置していればどこに存在してもよい。また、フリッカーの輝度は、画像の中心に対して左側または右側の方向に自然と注目される程度であれば変動してもよい。
【００６７】
以上の様に、第１電極１００及び第２電極１０１それぞれより画像の中心に対して左側に注目した場合の脳波、及び、右側に注目した場合の脳波をそれぞれ５０データ以上取得する。そして、操作者が画像の中心に対して左側に注目したときに第１電極１００より取得される複数の脳波をL＿O₁＿i（ｉ＝０、１、２、・・・、４９）、操作者が画像の中心に対して左側に注目したときに第２電極１０１より取得される複数の脳波をL＿O₂＿i（ｉ＝０、１、２、・・・、４９）、操作者が画像の中心に対して右側に注目したときに第１電極１００より取得される複数の脳波をR＿O₁＿j（ｊ＝０、１、２、・・・、４９）、及び、操作者が画像の中心に対して右側に注目したときに第２電極１０１より取得される複数の脳波をR＿O₂＿j（ｊ＝０、１、２、・・・、４９）とする。例えば、L＿O₂＿30は、左側に注目した場合の第２電極１０１より取得される第３１番目の脳波を意味する。なお脳波を取得する際、筋電位などのアーチファクトが含まれる試行は取り除くことが好ましい。
【００６８】
ステップＳ２０２では、第１の事象関連的なデータを作成する。次に、この第１の事象関連的なデータの作成方法を説明する。まず、L＿O₁＿i、L＿O₂＿i、R＿O₁＿j、及び、R＿O₂＿jそれぞれを次式により加算平均し、操作者が画像の中心に対して左側に注目したときに第１電極１００より取得された複数の脳波の第１加算平均値L＿O₁、操作者が画像の中心に対して左側に注目したときに第２電極１０１より取得された複数の脳波の第２の加算平均値L＿O₂、操作者が画像の中心に対して右側に注目したときに第１電極１００より取得された複数の脳波の第３加算平均値R＿O₁、及び、操作者が画像の中心に対して右側に注目したときに第２電極１０１より取得された複数の脳波の加算平均値R＿O₂、をそれぞれ算出し、これらの加算平均値の何れかに基づいて操作者が画像の左側に注目したという事象、及び、画像の右側に注目したという事象、それぞれに関連した第１の事象関連的なデータを算出する。
【００６９】
【数１】

ここで、脳波データ判定手段１５は、画像の中心に対して左側を注目したときに取得される脳波に基づく第１の事象関連的なデータと画像の中心に対して右側を注目したときに取得される脳波に基づく第１の事象関連的なデータとの差異が閾値以下であったときに、視覚呈示手段１３により表示される画像のフリッカーの輝度や点滅周期等を調整し、脳波データ判定手段１５は、調整された画像の中心に対して左側を注目したときに取得される脳波、及び、調整された画像の中心に対して左側を注目したときに取得される脳波、それぞれに基づいて再度前記第１の事象関連的なデータを算出する。
【００７０】
次に、ステップＳ２０３では、第１電極１００及び第２電極１０１それぞれから脳波データNOW＿O₁、NOW＿O₂をそれぞれ５００ｍｓ間取得する。この間、操作者は、頭を画像に対して水平に配置して表示された画像中の目標に注目する。脳波データを取得する間は頭や体を動かしたり瞬きをしてはならない。
【００７１】
次に、ステップＳ２０４について説明する。このステップＳ２０４では新たに取得した脳波データに基づき第２の事象関連的なデータを算出する。以下、第２の事象関連的データの算出について説明する。第１加算平均値L＿O₁と第１電極より取得される脳波データNOW＿O₁との第１加重平均値NOW＿L＿O₁、第２加算平均値L＿O₂と第２電極より取得される脳波データNOW＿O₂との第２加重平均値NOW＿L＿O₂、第３加算平均値R＿O₁と第１電極より取得される脳波データNOW＿O₁との第３加重平均値NOW＿R＿O₁、第４加算平均値R＿O₂と第２電極より取得される脳波データNOW＿O₂との第４加重平均値NOW＿R＿O₂、それぞれを次式により算出し、これらの加重平均値の何れかに基づいて第２の事象関連的なデータを算出する。
【００７２】
【数２】

ステップＳ２０５では、第１の事象関連的なデータと第２の事象関連的なデータとの差に基づいて操作者の注目している方向を判定する。この場合は、第１の事象関連的なデータと第２の事象関連的なデータとの差に基づいて操作者が画像の中心に対して左側に注目しているかまたは画像の中心に対して右側に注目しているかを判定することができる。例えば、第３加算平均値R＿O₁が第３加重平均値NOW＿R＿O₁より大きいとき、又は、第４加算平均値R＿O₂が第４加重平均値NOW＿R＿O₂より小さいときは操作者が画像の中心に対して左側に注目していると脳波データ判定手段１５において判定される。また、第１加算平均値L＿O₁が第１加重平均値NOW＿L＿O₁より小さいとき、又は、第２加算平均値L＿O₂が第２加重平均値NOW＿L＿O₂より大きいときは操作者が画像の中心に対して右側に注目していると脳波データ判定手段１５において判定される。そして、この判定結果に基づいた制御情報がステップＳ２０６で制御手段１６へ出力される。
【００７３】
また、ステップＳ２０５では、第１加算平均値L＿O₁と第１加重平均値NOW＿L＿O₁との差の絶対値と、第２加算平均値L＿O₂と第２加重平均値NOW＿L＿O₂との差の絶対値と、を加算した第１判定データＪＵＤ＿Ｌを次式により算出し、第３加算平均値R＿O₁と第３加重平均値NOW＿R＿O₁との差の絶対値と、第４加算平均値R＿O₂と第４加重平均値NOW＿R＿O₂との差の絶対値と、を加算した第２判定データＪＵＤ＿Ｒを次式により算出し、第１判定データＪＵＤ＿Ｌと第２判定データＪＵＤ＿Ｒとの比較に基づいて操作者の注目している方向を判定することができる。
【００７４】
【数３】

この場合は、第１判定データＪＵＤ＿Ｌが第２判定データＪＵＤ＿Ｒより小さいときには操作者が画像の中心に対して左側に注目していると脳波データ判定手段１５において判定される。また、第１判定データＪＵＤ＿Ｌが第２判定データＪＵＤ＿Ｒより大きいときには操作者が画像の中心に対して右側に注目していると脳波データ判定手段１５において判定される。そして、この判定結果に基づいた制御情報がステップＳ２０６で制御手段１６へ出力される。
【００７５】
さらに、ステップＳ２０５では、片側の電極のみを用いて操作者の注目している方向を判定することもできる。この場合は、第１、第３加算平均値より成る第１の事象関連的なデータと第１、第３加重平均値より成る第２の事象関連的なデータとから成る第１判定データ群、第２、第４加算平均値より成る第１の事象関連的なデータと前記第２、第４加重平均値より成る第２の事象関連的なデータとから成る第２判定データ群、の何れかのデータ群において第１の事象関連的なデータと第２の事象関連的なデータとの比較に基づいて操作者の注目している方向を判定する。具体的には、第１判定データ群において、第３加算平均値R＿O₁が第３加重平均値NOW＿R＿O₁より大きいときには、操作者が画像の中心に対して左側に注目していると脳波データ判定手段１５において判定され、第１加算平均値L＿O₁が第１加重平均値NOW＿L＿O₁より小さいときには、操作者が画像の中心に対して右側に注目していると判定される。一方、第２判定データ群において、第４加算平均値R＿O₂が第４加重平均値NOW＿R＿O₂より小さいときには、操作者が画像の中心に対して左側に注目していると脳波データ判定手段１５において判定され、第２加算平均値L＿O₂が第２加重平均値NOW＿L＿O₂より大きいときには、操作者が画像の中心に対して右側に注目していると判定される。そして、何れかの判定結果に基づいた制御情報がステップＳ２０６で制御手段１６へ出力される。
ステップＳ２０５では、注目していると予想される方向の反対側の電極のみで判定を行う手法も考えられる。この場合、脳波データ判定手段は、第２加算平均値と第２加重平均値との差の絶対値|L＿O₂−NOW＿L＿O₂|と、第３加算平均値と第３加重平均値との差の絶対値|R＿O₁−NOW＿R＿O₁|と、の比較に基づいて操作者の注目している方向を判定する。具体的には、第２加算平均値と第２加重平均値との差の絶対値|L＿O₂−NOW＿L＿O₂|が第３加算平均値と第３加重平均値との差の絶対値|R＿O₁−NOW＿R＿O₁|より小さいときには操作者が画像の中心に対して左側に注目していると脳波データ判定手段１５において判定され、第２加算平均値と第２加重平均値との差の絶対値|L＿O₂−NOW＿L＿O₂|が第３加算平均値と第３加重平均値との差の絶対値|R＿O₁−NOW＿R＿O₁|より大きいときには操作者が画像の中心に対して右側に注目していると脳波データ判定手段１５において判定される。そして、この判定結果に基づいた制御情報がステップＳ２０６で制御手段１６へ出力される。
【００７６】
一方、ステップＳ２０５では、第１の事象関連的なデータにおける特徴的な部分についての第１の事象関連的なデータと第２の事象関連的なデータとの差に基づいて操作者が画像の中心に対して左側に注目しているかまたは画像の中心に対して右側に注目しているかを判定することができる。
【００７７】
ここで、第１電極１００から取得された画像の中心に対して左側に注目した場合、及び、右側に注目した場合、それぞれに得られる脳波の波形を比較すると、図５に示されるように、Ｐ１１（フリッカー呈示後約１００ｍｓ程度で生じる陽性の電位であり、以下この電位を「極大陽性電位」という）及びＮ１１（フリッカー呈示後１５０ｍｓ〜２００ｍｓ程度で生じる陰性の電位であり、以下この電位を「極大陰性電位」という）において差が生じる。具体的には画像の中心に対し右側に注目した方が左側に注目したときより極大値が大きいＰ１１及びＮ１１が得られる。
【００７８】
また、第２電極１０１から取得された画像の中心に対して左側に注目した場合、及び、右側に注目した場合、それぞれに得られる脳波の波形を比較すると、図６に示されるように、Ｐ１２（フリッカー呈示後約１００ｍｓ程度で生じる陽性の電位であり、以下この電位を「極大陽性電位」という）及びＮ１２（フリッカー呈示後１５０ｍｓ〜２００ｍｓ程度で生じる陰性の電位であり、以下この電位を「極大陰性電位」という）において差が生じる。具体的には画像の中心に対し左側に注目した方が右側に注目したときより極大値が大きいＰ１２及びＮ１２が得られる。
【００７９】
Ｐ１１、Ｐ１２、Ｎ１１、及び、Ｎ１２、それぞれで差が発生するかどうかは知覚的負荷（注意の向けやすさ）に依存する。差が生じる場合は、与えられた課題が注意を向けやすい場合であり、差が生じない場合は与えられた課題が注意を向けにくい課題であることを意味する。この事実は、後頭部の左側および右側において注目した側とは反対の領域（左側なら右後頭部、右側なら左後頭部）が強く活動することを意味する。
【００８０】
よって、ステップＳ２０５では、第１の事象関連的なデータにおいて、画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１１とし、画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１１とし、第２の事象関連的なデータにおいて、画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１２とし、画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１２とし、Ｐ１１とＰ１２との電位差およびＮ１１とＮ１２との電位差に基づいて操作者の注目している方向を判定することができる。
【００８１】
この場合、第１加算平均値L＿O₁と第１加重平均値NOW＿L＿O₁、及び、第２加算平均値L＿O₂と第２加重平均値NOW＿L＿O₂、それぞれにおいてＰ１１とＰ１２との電位差及びＮ１１とＮ１２との電位差が小さいときに画像の中心に対して左側に注目していると脳波データ判定手段１５において判定され、第３加算平均値R＿O₁と第３加重平均値NOW＿R＿O₁および第４加算平均値R＿O₂と第４加重平均値NOW＿R＿O₂、それぞれにおいてＰ１１とＰ１２との電位差及びＮ１１とＮ１２との電位差が小さいときに画像の中心に対して右側に注目していると脳波データ判定手段１５において判定される。そして、この判定結果に基づいた制御情報がステップＳ２０６で制御手段１６へ出力される。
【００８２】
また、ステップＳ２０５では、第１の事象関連的なデータにおいて、画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１１とし、画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１１とし、第２の事象関連的なデータにおいて、画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１２とし、画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１２とし、画像を注目開始後Ｐ１１が生じるまでの時間と画像を注目開始後Ｐ１２が生じるまでの時間との時間差、および、画像を注目開始後Ｎ１１が生じるまでの時間と画像を注目開始後Ｎ１２が生じるまでの時間との時間差に基づいて操作者の注目している方向を判定することができる。
【００８３】
この場合、第１加算平均値L＿O₁と第１加重平均値NOW＿L＿O₁および第２加算平均値L＿O₂と第２加重平均値NOW＿L＿O₂、それぞれにおいて画像を注目開始後Ｐ１１が生じるまでの時間と画像を注目開始後Ｐ１２が生じるまでの時間との時間差、および、画像を注目開始後Ｎ１１が生じるまでの時間と画像を注目開始後Ｎ１２が生じるまでの時間との時間差が小さいときに画像の中心に対して左側に注目していると脳波データ判定手段１５において判定され、第３加算平均値R＿O₁と第３加重平均値NOW＿R＿O₁および第４加算平均値R＿O₂と第４加重平均値NOW＿R＿O₂、それぞれにおいて画像を注目開始後Ｐ１１が生じるまでの時間と画像を注目開始後Ｐ１２が生じるまでの時間との時間差、および、画像を注目開始後Ｎ１１が生じるまでの時間と画像を注目開始後Ｎ１２が生じるまでの時間との時間差が小さいときに画像の中心に対して右側に注目していると脳波データ判定手段１５において判定される。そして、この判定結果に基づいた制御情報がステップＳ２０６で制御手段１６へ出力される。
【００８４】
図８は、本実施形態に係る物体制御装置に含まれる制御手段１６を示す図である。制御手段１６は、信号入力手段４００、偏差算出手段４０１、ＤＡコンバータ４０２、モータ駆動手段４０３、モータ４０４およびロータリーエンコーダ４０５を備え、閉ループ制御の構成をとっている。偏差算出手段４０１では、脳波データ判定手段１５より出力された左右いずれにステアリングを駆動するかを示す制御信号と、モータ４０４に取り付けられたロータリーエンコーダ４０５からのモータ位置情報との差を算出し、この差に応じた駆動方向制御信号を主力する。この駆動方向制御信号はＤＡコンバータ４０２によりディジタルデータからアナログデータに変換され、モータ駆動手段４０３に出力される。モータ駆動手段４０３は駆動方向制御信号に応じた駆動電流をモータ４０４に出力することによりモータ４０４を駆動する。
図７は、本実施形態に係る物体制御装置における被制御物体１１を示す図である。被制御物体１１の前輪に制御手段１６を取り付けることにより、被制御物体１１の前輪を目標物の方向に駆動することが可能となる。さらにモータ３０１を回転させ続ければ後輪は等速で回り続けるので、目標に対して被制御物体１１を近づけることができる。
【００８５】
視覚呈示手段１３により表示される画像に対して、進行方向が画像の中心付近にある場合は、進行方向の変更を行う必要がない。進行方向が画像の中心に対して左右いずれかにずれた場合、進行方向を変更する制御を行えば、被制御物体１１を目標に近づけるように制御することができる。従って、脳波データ判定手段１５は、脳波データに基づく被制御物体１１の移動方向の判定ができなかった場合には、現状の進行方向を維持する制御情報を出力することが好ましい。この場合は、進行方向が画像の中心に表示されており、操作者は画像の中心を注目していると判定されるためである。
【００８６】
以上、本実施形態に係る前輪の制御方法について説明したが、後輪に関しては回転するか、停止するかの制御が出来ればよいので、瞬き等を利用することによって、後輪モータの動作の切り替えが可能となる。
【００８７】
次に、本実施形態に係る物体制御方法をコンピュータ２に実行させるための物体制御プログラム５０２、及び当該物体制御プログラム５０２を記録したコンピュータ読み取り可能な記録媒体５００（以下、単に記録媒体という）について説明する。
【００８８】
ここで、記録媒体とは、コンピュータのハードウェア資源に備えられている読み取り装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読み取り装置にプログラムの記述内容を伝達できるものである。かかる記録媒体としては、例えば、磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、コンピュータに内蔵されるメモリなどが該当する。
【００８９】
図９は、本発明の実施形態に係る記録媒体５００の構成図である。記録媒体５００は、図９に示すように、プログラムを記録するプログラム領域５０１を備えている。このプログラム領域５０１には、物体制御プログラム５０２が記録されている。
【００９０】
この物体制御プログラム５０２は、前述した物体制御を実行するプログラムであって、図９に示すように、処理を統括するメインモジュール５０２ａと、画像を表示させる視覚呈示モジュール５０２ｂと、表示された画像を操作者が視認したときに生じる操作者の脳波データを取得する脳波データ取得モジュール５０２ｃと、取得された操作者の脳波データに基づいて被制御物体１１を制御するための動作方向を判定する脳波データ判定モジュール５０２ｄと、動作方向に応じた制御情報を算出する制御モジュール５０２eと、制御情報を出力する出力モジュール５０２ｆとを備えて構成される。
【００９１】
図１０は、上記記録媒体５００に記録された物体制御プログラム５０２を実行するためのコンピュータ２のシステム構成図である。コンピュータ２は、物体制御プログラム５０２の実行等を制御するＣＰＵ２０と、記録媒体５００に記録された物体制御プログラム５０２を読み取り可能な読み取り装置２２と、メモリ（ＲＡＭ）２１と、ディスプレイ等より成る視覚呈示手段１３と、画像取込手段１２と、制御手段１６と、脳波データ取得手段１４と、を備えている。ここで、記録媒体５００が読み取り装置２２に挿入されると、記録媒体５００に記録された情報が読み取り装置２２からアクセス可能となり、図９に示す記録媒体５００のプログラム領域５０１に記録された物体制御プログラム５０２が、コンピュータ２によって実行可能となる。
【００９２】
上記読み取り装置２２としては、記録媒体５００に対応して、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、あるいは磁気テープドライブ装置などが用いられる。
【００９３】
【発明の効果】
以上、詳細に説明したとおり、本発明によれば、眼球運動を伴う必要が無くかつ少ない電極数で実現することが可能な脳波データにより物体の動作を制御する物体制御装置、物体制御方法、物体制御プログラムおよびコンピュータ読み取り可能な記録媒体を提供することができる。
【図面の簡単な説明】
【図１】本実施形態に係る物体制御装置の全体構成を示すブロック図である。
【図２】本実施形態に係る物体制御方法の全体処理を示す流れ図である。
【図３】本実施形態に係る物体制御装置に含まれる電極の位置を示す図である。
【図４】本実施形態に係る物体制御方法に含まれる脳波取込処理、及び、脳波データ判定処理の概要を示す流れ図である。
【図５】本実施形態に係る物体制御装置に含まれる第１電極より取得された脳波に基づく第１の事象関連的なデータを示す図である。
【図６】本実施形態に係る物体制御装置に含まれる第２電極より取得された脳波に基づく第１の事象関連的なデータを示す図である。
【図７】本実施形態に係る物体制御装置における被制御物体を示す図である。
【図８】本実施形態に係る物体制御装置に含まれる制御手段を示す図である。
【図９】本実施形態に係る記録媒体の構成図である。
【図１０】本実施形態に係るコンピュータのシステム構成図である。
【符号の説明】
１…物体制御装置、１１…被制御物体、１２…画像取込手段、１３…視覚呈示手段、１４…脳波データ取得手段、１５…脳波データ判定手段、１６…制御手段、１００…第１電極、１０１…第２電極、Ｐ１１、Ｐ１２…極大陽性電位、Ｎ１１、Ｎ１２…極大陰性電位。

Claims

被制御物体に設置され、前記被制御物体の移動方向の画像を取り込む画像取込手段と、
前記画像取込手段により取り込まれた画像を表示する視覚呈示手段と、
前記視覚呈示手段により表示された前記画像を操作者が視認したときに生じる前記操作者の脳波データを取得する脳波データ取得手段と、
前記脳波データ取得手段により取得された前記脳波データに基づいて前記被制御物体を制御するための制御情報を生成し出力する脳波データ判定手段と、
前記脳波データ判定手段により生成され出力された前記制御情報に基づき前記被制御物体の動作を制御する制御手段と、
を備え、
前記脳波データ取得手段は、前記操作者の左後頭部に設けられる第１電極と前記操作者の右後頭部に設けられる第２電極とを有し、前記第１電極及び前記第２電極それぞれにより前記操作者の後頭部から前記脳波データを取得し、
前記脳波データ判定手段は、
前記操作者が画像の中心に対して左側に注目したときに前記第１電極より取得される複数の脳波の第１加算平均値、前記操作者が前記画像の中心に対して左側に注目したときに前記第２電極より取得される複数の脳波の第２加算平均値、前記操作者が前記画像の中心に対して右側に注目したときに前記第１電極より取得される複数の脳波の第３加算平均値、及び、前記操作者が前記画像の中心に対して右側に注目したときに前記第２電極より取得される複数の脳波の第４加算平均値、の何れかに基づいて前記操作者が前記画像の左側に注目したという事象および前記画像の右側に注目したという事象それぞれに関連した第１の事象関連的なデータを算出して記憶し、
前記第１加算平均値と前記第１電極より取得される脳波データとの第１加重平均値、前記第２加算平均値と前記第２電極より取得される脳波データとの第２加重平均値、前記第３加算平均値と前記第１電極より取得される脳波データとの第３加重平均値、及び、前記第４加算平均値と前記第２電極より取得される脳波データとの第４加重平均値、の何れかに基づいて第２の事象関連的なデータを算出し、
前記第１の事象関連的なデータと前記第２の事象関連的なデータとの比較に基づいて前記制御情報を作成し出力する、
ことを特徴とする物体制御装置。
前記制御情報は、前記被制御物体の移動方向に関する制御情報である、ことを特徴とする請求項１に記載の物体制御装置。
前記画像取込手段は前記画像をリアルタイムで取り込み、
前記視覚呈示手段は前記画像をリアルタイムで表示し、
前記脳波データ取得手段は前記脳波データをリアルタイムで取得し、
前記脳波データ判定手段は前記制御情報をリアルタイムで生成し出力し、
前記制御手段は前記被制御物体の動作をリアルタイムで制御する、
ことを特徴とする請求項１に記載の物体制御装置。
前記脳波データ判定手段は、前記操作者が前記視覚呈示手段により表示された画像の中心に対して左側に注目したときの脳波パターンおよび画像の中心に対して右側に注目したときの脳波パターンを記憶しており、
それぞれの前記脳波パターンと前記脳波データとの比較を行い、その比較結果に基づいた前記制御情報を出力する、ことを特徴とする請求項１に記載の物体制御装置。
前記脳波データ判定手段は、
前記第１加算平均値と前記第１加重平均値との差の絶対値と、前記第２加算平均値と前記第２加重平均値との差の絶対値と、を加算した第１判定データを算出し、
前記第３加算平均値と前記第３加重平均値との差の絶対値と、前記第４加算平均値と前記第４加重平均値との差の絶対値と、を加算した第２判定データを算出し、
前記第１判定データと前記第２判定データとの比較に基づいて前記制御情報を作成し出力する、ことを特徴とする請求項１に記載の物体制御装置。
前記脳波データ判定手段は、
前記第２加算平均値と前記第２加重平均値との差の絶対値と、前記第３加算平均値と前記第３加重平均値との差の絶対値と、の比較に基づいて前記制御情報を作成し出力する、ことを特徴とする請求項１に記載の物体制御装置。
前記脳波データ判定手段は、
前記第１、第３加算平均値より成る第１の事象関連的なデータと前記第１、第３加重平均値より成る第２の事象関連的なデータとから成る第１判定データ群、前記第２、第４加算平均値より成る第１の事象関連的なデータと前記第２、第４加重平均値より成る第２の事象関連的なデータとから成る第２判定データ群、の何れかのデータ群において前記第１の事象関連的なデータと前記第２の事象関連的なデータとの比較に基づいて前記制御情報を作成し出力する、ことを特徴とする請求項１に記載の物体制御装置。
前記脳波データ判定手段は、
前記第１の事象関連的なデータにおける特徴的な部分についての前記第１の事象関連的なデータと前記第２の事象関連的なデータとの差に基づいて前記制御情報を作成し出力する、ことを特徴とする請求項１に記載の物体制御装置。
前記脳波データ判定手段は、
前記第１の事象関連的なデータにおいて、前記画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１１とし、前記画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１１とし、
前記第２の事象関連的なデータにおいて、前記画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１２とし、前記画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１２とし、
前記Ｐ１１と前記Ｐ１２との電位差および前記Ｎ１１と前記Ｎ１２との電位差に基づいた前記制御情報を出力する、ことを特徴とする請求項１に記載の物体制御装置。
前記脳波データ判定手段は、
前記第１の事象関連的なデータにおいて、前記画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１１とし、前記画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１１とし、
前記第２の事象関連的なデータにおいて、前記画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１２とし、前記画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１２とし、
前記画像を注目開始後Ｐ１１が生じるまでの時間と前記画像を注目開始後Ｐ１２が生じるまでの時間との時間差、および、前記画像を注目開始後Ｎ１１が生じるまでの時間と前記画像を注目開始後Ｎ１２が生じるまでの時間との時間差に基づいた前記制御情報を出力する、ことを特徴とする請求項１に記載の物体制御装置。
前記脳波データ判定手段は、
画像の中心に対して左側を注目したときに取得される脳波に基づく前記第１の事象関連的なデータと画像の中心に対して右側を注目したときに取得される脳波に基づく前記第１の事象関連的なデータとの差が閾値以下であったときに、前記視覚呈示手段により表示される画像の特徴を調整し、調整された画像の中心に対して左側を注目したときに取得される脳波、及び、調整された画像の中心に対して右側を注目したときに取得される脳波、それぞれに基づいて再度前記第１の事象関連的なデータを算出する、ことを特徴とする請求項１に記載の物体制御装置。
前記脳波データ判定手段は、前記脳波データに基づく前記被制御物体の移動方向の判定ができなかった場合には、現状の移動方向を維持する前記制御情報を出力する、ことを特徴とする請求項２に記載の物体制御装置。
前記被制御物体の移動方向の画像を取り込む画像取込ステップと、
前記画像取込ステップで取り込まれた画像を表示する視覚呈示ステップと、
前記視覚呈示ステップで表示された前記画像を操作者が視認したときに生じる前記操作者の脳波データを取得する脳波データ取得ステップと、
前記脳波データ取得ステップで取得された前記脳波データに基づいて前記被制御物体を制御するための制御情報を生成し出力する脳波データ判定ステップと、前記脳波データ判定ステップで生成され出力された前記制御情報に基づき前記被制御物体の動作を制御する制御ステップと、
を備え、
前記脳波データ取得ステップでは、前記操作者の左後頭部に設けられた第１電極、及び、前記操作者の右後頭部に設けられた第２電極、それぞれから前記脳波データを取得し、
前記脳波データ判定ステップでは、
前記操作者が画像の中心に対して左側に注目したときに前記第１電極より取得される複数の脳波の第１加算平均値、前記操作者が前記画像の中心に対して左側に注目したときに前記第２電極より取得される複数の脳波の第２加算平均値、前記操作者が前記画像の中心に対して右側に注目したときに前記第１電極より取得される複数の脳波の第３加算平均値、及び、前記操作者が前記画像の中心に対して右側に注目したときに前記第２電極より取得される複数の脳波の第４加算平均値、の何れかに基づいて前記操作者が前記画像の左側に注目したという事象および前記画像の右側に注目したという事象それぞれに関連した第１の事象関連的なデータを算出して記憶しており、
前記第１加算平均値と前記第１電極より取得される脳波データとの第１加重平均値、前記第２加算平均値と前記第２電極より取得される脳波データとの第２加重平均値、前記第３加算平均値と前記第１電極より取得される脳波データとの第３加重平均値、及び、前記第４加算平均値と前記第２電極より取得される脳波データとの第４加重平均値、の何れかに基づいて第２の事象関連的なデータを算出し、
前記第１の事象関連的なデータと前記第２の事象関連的なデータとの比較に基づいて前記制御情報を作成し出力する、
ことを特徴とする物体制御方法。
前記制御情報は、前記被制御物体の移動方向に関する制御情報である、ことを特徴とする請求項１３に記載の物体制御方法。
前記画像取込ステップでは前記画像をリアルタイムで取り込み、
前記視覚呈示ステップでは前記画像をリアルタイムで表示し、
前記脳波データ取得ステップでは前記脳波データをリアルタイムで取得し、
前記脳波データ判定ステップでは前記制御情報をリアルタイムで生成し出力し、
前記制御ステップでは前記被制御物体の動作をリアルタイムで制御する、
ことを特徴とする請求項１３に記載の物体制御方法。
前記脳波データ判定ステップでは、
前記操作者が前記視覚呈示ステップにより表示された画像の中心に対して左側に注目したときの脳波パターンおよび画像の中心に対して右側に注目したときの脳波パターンと前記脳波データとを比較し、
その比較結果に基づいた前記制御情報を出力する、
ことを特徴とする請求項１３に記載の物体制御方法。
前記脳波データ判定ステップでは、
前記第１加算平均値と前記第１加重平均値との差の絶対値と、前記第２加算平均値と前記第２加重平均値との差の絶対値と、を加算した第１判定データを算出し、
前記第３加算平均値と前記第３加重平均値との差の絶対値と、前記第４加算平均値と前記第４加重平均値との差の絶対値と、を加算した第２判定データを算出し、
前記第１判定データと前記第２判定データとの比較に基づいて前記制御情報を作成し出力する、ことを特徴とする請求項１３に記載の物体制御方法。
前記脳波データ判定ステップでは、
前記第２加算平均値と前記第２加重平均値との差の絶対値と、前記第３加算平均値と前記第３加重平均値との差の絶対値と、の比較に基づいて前記制御情報を作成し出力する、ことを特徴とする請求項１３に記載の物体制御方法。
前記脳波データ判定ステップでは、
前記第１、第３加算平均値より成る第１の事象関連的なデータと前記第１、第３加重平均値より成る第２の事象関連的なデータとから成る第１判定データ群、前記第２、第４加算平均値より成る第１の事象関連的なデータと前記第２、第４加重平均値より成る第２の事象関連的なデータとから成る第２判定データ群、の何れかのデータ群において前記第１の事象関連的なデータと前記第２の事象関連的なデータとの比較に基づいて前記制御情報を作成し出力する、ことを特徴とする請求項１３に記載の物体制御方法。
前記脳波データ判定ステップでは、
前記第１の事象関連的なデータにおける特徴的な部分についての前記第１の事象関連的なデータと前記第２の事象関連的なデータとの差に基づいて前記制御情報を作成し出力する、ことを特徴とする請求項１３に記載の物体制御方法。
前記脳波データ判定ステップでは、
前記第１の事象関連的なデータにおいて、前記画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１１とし、前記画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１１とし、
前記第２の事象関連的なデータにおいて、前記画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１２とし、前記画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１２とし、
前記Ｐ１１と前記Ｐ１２との電位差および前記Ｎ１１と前記Ｎ１２との電位差に基づいた前記制御情報を出力する、ことを特徴とする請求項１３に記載の物体制御方法。
前記脳波データ判定ステップでは、
前記第１の事象関連的なデータにおいて、前記画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１１とし、前記画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１１とし、
前記第２の事象関連的なデータにおいて、前記画像を注目開始後約１００ｍｓで生じる極大陽性電位をＰ１２とし、前記画像を注目開始後約１５０〜２００ｍｓで生じる極大陰性電位をＮ１２とし、
前記画像を注目開始後Ｐ１１が生じるまでの時間と前記画像を注目開始後Ｐ１２が生じるまでの時間との時間差、および、前記画像を注目開始後Ｎ１１が生じるまでの時間と前記画像を注目開始後Ｎ１２が生じるまでの時間との時間差に基づいた前記制御情報を出力する、ことを特徴とする請求項１３に記載の物体制御方法。
前記脳波データ判定ステップでは、
画像の中心に対して左側を注目したときに取得される脳波に基づく前記第１の事象関連的なデータと画像の中心に対して右側を注目したときに取得される脳波に基づく前記第１の事象関連的なデータとの差が閾値以下であったときに、前記視覚呈示ステップで表示される画像の特徴を調整し、調整された画像の中心に対して左側を注目したときに取得される脳波、及び、調整された画像の中心に対して右側を注目したときに取得される脳波、それぞれに基づいて再度前記第１の事象関連的なデータを算出する、ことを特徴とする請求項１３に記載の物体制御方法。
前記脳波データ判定ステップでは、前記脳波データに基づく前記被制御物体の移動方向の判定ができなかった場合には、現状の移動方向を維持する前記制御情報を出力する、ことを特徴とする請求項１４に記載の物体制御方法。
請求項１３〜２４のいずれか１項に記載の物体制御方法をコンピュータに実行させるための物体制御プログラム。
請求項２５に記載の物体制御プログラムを記録したコンピュータ読み取り可能な記録媒体。