JP7101696B2 - 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステムおよびプロジェクタシステム - Google Patents

Description

本発明は、脳波を表示装置のインタフェースに用いる技術に関する。

近年、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）／仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）／複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、ＭＲ；ＭＲは、ＡＲとＶＲを融合した新たな空間表現を実現するための映像技術の総称）装置が普及しつつある。これらの主な入力／操作インタフェース（Ｉ／Ｆ）は、外部接続リモコン、ジェスチャ、音声、視線追跡などによるものである。例えば、ジェスチャや音声による操作インタフェースを使用したＭＲ製品に、Ｍｉｃｒｏｓｏｆｔ社のＨｏｌｏＬｅｎｓがある。この製品のインタラクションデザインに、ジェスチャや音声等よる操作インタフェースが記載されている（例えば、非特許文献１参照。）。また、このインタラクションデザインのジェスチャデザインの項目には、３つのキーコンポーネントジェスチャとして“２．１ Ｂｌｏｏｍ、２．２ Ａｉｒ ｔａｐ、２．３ Ｔａｐ ａｎｄ Ｈｏｌｄ”が記載されている（例えば、非特許文献２参照。）。また、このインタラクションデザインのボイスデザインの項目には、操作コマンドとしての音声の使用方法が記載されている（例えば、非特許文献３参照。）。

脳波の定常状態視覚誘発電位（Ｓｔｅａｄｙ－Ｓｔａｔｅ Ｖｉｓｕａｌ Ｅｖｏｋｅｄ Ｐｏｔｅｎｔｉａｌ、以下ＳＳＶＥＰ）を使用したブレイン・コンピュータ・インタフェース（以下ＢＣＩ：Ｂｒａｉｎ Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ）技術がある。例えば、特許文献１には、「脳波信号を発生させる視覚刺激信号及び基本視覚情報を表示するディスプレイ部と、前記視覚刺激信号を、前記基本視覚情報に予め設定された周波数に応じて挿入する制御部と、前記発生した脳波信号が有する周波数を把握する脳波分析部と、を含む」ディスプレイ装置が開示されている。

"Ｉｎｔｅｒａｃｔｉｏｎ ｄｅｓｉｇｎ"、［ｏｎｌｉｎｅ］、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｄｅｖ Ｃｅｎｔｅｒ、［平成２９年７月６日検索］、インターネット＜ＵＲＬ： ｈｔｔｐｓ：／／ｄｅｖｅｌｏｐｅｒ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｅｎ－ｕｓ／ｗｉｎｄｏｗｓ／ｍｉｘｅｄ－ｒｅａｌｉｔｙ／ｃａｔｅｇｏｒｙ／ｉｎｔｅｒａｃｔｉｏｎ＿ｄｅｓｉｇｎ＞ "Ｇｅｓｔｕｒｅ ｄｅｓｉｇｎ"、［ｏｎｌｉｎｅ］、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｄｅｖ Ｃｅｎｔｅｒ、［平成２９年７月６日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｄｅｖｅｌｏｐｅｒ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｅｎ－ｕｓ／ｗｉｎｄｏｗｓ／ｍｉｘｅｄ－ｒｅａｌｉｔｙ／ｇｅｓｔｕｒｅ＿ｄｅｓｉｇｎ＞ "Ｖｏｉｃｅ ｄｅｓｉｇｎ"、［ｏｎｌｉｎｅ］、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｄｅｖ Ｃｅｎｔｅｒ、［平成２９年７月６日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｄｅｖｅｌｏｐｅｒ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｒｕ－ｒｕ／ｗｉｎｄｏｗｓ／ｍｉｘｅｄ－ｒｅａｌｉｔｙ／ｖｏｉｃｅ＿ｄｅｓｉｇｎ＞

特開２０１６－１７９１６４号公報

ＡＲ／ＶＲ／ＭＲ装置を用いるにあたり、外部接続リモコンやジェスチャは、操作時にユーザの負担が大きい。また、ジェスチャや音声は、乗り物の中やカフェなどの公共の場所では使用が難しく、使用場所が制限される。このため、ユーザの負担が少なく、使用場所を制限しないインタフェースが望まれている。

使用場所を制限しないインタフェースとして、例えば、特許文献１に記載のＳＳＶＥＰを用いたＢＣＩ等が考えられる。しかしながら、ＳＳＶＥＰによる入力／操作の対象ごとに異なる周波数を割り当てる必要がある。そして、ＳＳＶＥＰを誘発可能な周波数が４～７５Ｈｚに限定されていることからその活用には工夫が必要である。例えば、上記の特許文献１では、ＳＳＶＥＰを誘発するための視覚刺激信号をあらかじめ設定された周波数に応じて基本視覚情報（映像）に挿入する。このとき、ＳＳＶＥＰを誘発するための視覚刺激信号を、フレーム間に挿入する。このため、基本視覚情報のフレームレートに依存して挿入可能な視覚刺激信号の数が制限され、使用可能な周波数が限定される。従って、複雑な操作のインタフェースには用いることができない。

本発明は、上記事情に鑑みてなされたもので、ＡＲ／ＶＲ／ＭＲ装置に、ユーザへの負担が少なく、使用環境に制約の少ないインタフェースを提供することを目的とする。

本発明は、入力操作インタフェースとして、ＢＣＩ（Ｂｒａｉｎ Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ）を備え、拡張現実、仮想現実、および／または複合現実表示を行う表示装置を提供する。

そして、そのＢＣＩ装置には、例えば、視覚刺激信号の周波数に応じた周波数を有する脳波信号を検出し、機器の制御を行う脳波インタフェース装置であって、取得した各映像フレーム上の予め定めた領域である操作領域に、特定の周波数である特定周波数を割り当て、前記特定周波数の逆数の周期で、予め定めた最大値と最小値との間で前記操作領域に対応する領域の色情報を変化させることにより、当該特定周波数を有する前記視覚刺激信号を作成する操作インタフェース作成部と、前記特定周波数を有する前記視覚刺激信号を表示デバイスに出力する演算部と、前記特定周波数に、制御指示を対応づけて保持する対応データベースと、検出した脳波信号から前記特定周波数を抽出する脳波分析部と、抽出した前記特定周波数に対応する前記制御指示を前記対応データベースから取得し、当該制御指示に従って制御を行う制御部と、を備えることを特徴とする脳波インタフェース装置を用いる。

ＡＲ／ＶＲ／ＭＲ装置に、使用環境に制約の少ないインタフェースを提供できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第一の実施形態の表示装置の機能ブロック図である。 第一の実施形態の表示装置のハードウェア構成図である。 第一の実施形態の表示装置の実装例を説明するための説明図である。 （ａ）および（ｂ）は、第一の実施形態のＳＳＶＥＰ用の視覚刺激信号挿入手法を説明するための説明図である。 第一の実施形態のＳＳＶＥＰ用の視覚刺激信号重畳手法を説明するための説明図である。 （ａ）は、第一の実施形態のマッピングテーブルの一例を、（ｂ）は、第一の実施形態の機能テーブルの一例を、それぞれ、説明するための説明図である。 （ａ）および（ｂ）は、それぞれ、第一の実施形態のオブジェクトテーブルの一例を説明するための説明図である。 （ａ）および（ｂ）は、それぞれ、第一の実施形態の操作Ｉ／Ｆテーブルの一例を説明するための説明図である。 （ａ）および（ｂ）は、第一の実施形態のアイコン挿入時のレイアウト例を説明するための説明図である。 第一の実施形態の割当周波数決定処理のフローチャートである。 第一の実施形態の割当周波数決定処理の変形例のフローチャートである。 （ａ）は、第一の実施形態の表示画像作成処理の、（ｂ）は、操作インタフェーステーブル更新処理の、フローチャートである。 第一の実施形態の表示フレーム作成処理のフローチャートである。 （ａ）は、第一の実施形態の視線周波数検出処理の、（ｂ）は、第一の実施形態の機能判定処理の、フローチャートである。 第一の実施形態の変形例１の、ＳＳＶＥＰ用の視覚刺激信号重畳手法を説明するための説明図である。 （ａ）は、第一の実施形態の変形例２の表示装置を説明するための説明図であり、（ｂ）は、第一の実施形態の変形例２の表示装置の機能ブロック図である。 第一の実施形態の表示装置の変形例３の機能ブロック図である。 第一の実施形態の表示装置の変形例４の機能ブロック図である。 第一の実施形態の表示装置の変形例５の機能ブロック図である。 （ａ）および（ｂ）は、それぞれ、第二の実施形態の概要を説明するための説明図である。 （ａ）および（ｂ）は、それぞれ、第二の実施形態の他の例の概要を説明するための説明図である。 第二の実施形態の注意喚起処理のフローチャートである。 第三の実施形態の脳波分析部の機能ブロック図である。 第三の実施形態の概要を説明するための説明図である。 （ａ）は、第三の実施形態のマッピングテーブルの一例を、（ｂ）は、第三の実施形態の機能テーブルの一例を、（ｃ）は、第三の実施形態のモード管理テーブル６６０の一例を、それぞれ説明するための説明図である。 第三の実施形態の処理のフローチャートである。 本発明の変形例のインタフェース設定処理のフローチャートである。

以下、図面を用いて、本発明の実施形態を説明する。以下、本明細書において、同一機能を有するものは、特に断らない限り同一の符号を付し、繰り返しの説明は省略する。なお、本発明はここで説明する実施形態に限定されるものではない。

＜＜第一の実施形態＞＞
本実施形態では、ＡＲ装置（以下、表示装置と呼ぶ。）に、ＳＳＶＥＰ（定常状態視覚誘発電位）を用いたＢＣＩを利用する。すなわち、本実施形態では、映像にＳＳＶＥＰ誘発用の視覚刺激（以下、視覚刺激信号と呼ぶ。）を呈示してそれらをＡＲやＶＲなどの映像表示装置の操作用インタフェースとして使用する。このとき、使用可能な視覚刺激信号の周波数の数を増加させるため、基本視覚情報（映像）そのものに視覚刺激信号を挿入あるいは重畳する。ＳＳＶＥＰを誘発する視覚刺激（以下、視覚刺激信号と呼ぶ）の挿入あるいは重畳は、表示領域の所定領域の輝度値の変化により実現する。

まず、本実施形態の表示装置の機能ブロック図を説明する。図１は、本実施形態の表示装置１０１の機能ブロック図である。

本図に示すように、本実施形態の表示装置１０１は、脳波インタフェース（Ｉ／Ｆ）部１０２と、表示部１０３と、マイク／スピーカ１０４と、通信部１０５と、映像生成部１０６と、操作部１０７と、実行部１０９と、記憶部１１０と、制御部１１２と、を備える。

通信部１０５は、有線あるいは無線で外部の機器と通信を行うための１つ以上の通信モジュール（ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＨＤＭＩ（登録商標）等）を備える。

映像生成部１０６は、入力された映像を用いて、表示部１０３に表示する映像の全てあるいは一部を生成する。映像は、内蔵あるいは外付けのカメラから、予め記録済みの記録媒体から、または、通信部１０５経由で他の機器から、映像生成部１０６に入力される。

操作部１０７は、マウスやリモコン、操作ボタン、キーボード、タッチパネル等を備え、ユーザ１３０による操作指示を受け付ける。

実行部１０９は、脳波Ｉ／Ｆ部１０２や操作部１０７を介して受け付けたユーザ１３０からの操作指示に応じた処理を実行する。

記憶部１１０は、映像データ、表示装置１０１全体の制御プログラムや設定情報などを記憶する。

制御部１１２は、表示装置１０１の各コンポーネントの動作を制御する。

脳波Ｉ／Ｆ部１０２は、脳波を検出し、制御指示を抽出する。これを実現するため、本実施形態の脳波Ｉ／Ｆ部１０２は、脳波検出部１１３と、脳波分析部１１４と、操作Ｉ／Ｆ作成部１１５と、操作Ｉ／Ｆ格納部１１６と、マッピング部１１７と、マッピングデータ格納部１１８と、機能判定部１１９と、脳波制御部１２０とを備える。

脳波検出部１１３は、脳波信号を検出する。

脳波分析部１１４は、脳波検出部１１３で検出した脳波を分析する。ここでは、検出した脳波信号から前記特定周波数を抽出する。本実施形態では、これを実現するため、前処理部１２１と、特徴抽出部１２２と、視線周波数検出部１２３と、を備える。

前処理部１２１は、脳波検出部１１３で検出した脳波信号からノイズ等を取り除き、信号を増幅する。特徴抽出部１２２は、前処理した脳波信号の特徴量を抽出する。本実施形態では、例えば、脳波信号をフーリエ変換し、周波数ごとの電位の大きさを分析する周波数分析部として機能する。視線周波数検出部１２３は、特徴抽出部１２２で抽出した特徴量を分類し、ユーザ１３０が注視した視覚刺激信号の周波数を検出する。

操作Ｉ／Ｆ作成部１１５は、視覚刺激信号を用いてユーザ１３０が操作入力するためのＩ／Ｆデータ（以下、ＳＳＶＥＰ操作Ｉ／Ｆ）を作成する。ここでは、取得した各映像フレーム上の予め定めた領域である操作領域に、特定の周波数である特定周波数を有する視覚刺激信号を割り当てる。そして、例えば、特定周波数の逆数の周期で、予め定めた最大値と最小値との間、または色情報の差分変化量で、操作領域に対応する領域の色情報を変化させることにより視覚刺激信号を作成する。

なお、ＳＳＶＥＰ操作Ｉ／Ｆには、操作ボタン、直接映像フレーム内のオブジェクトに重畳する、などがある。また、操作Ｉ／Ｆ格納部１１６には、操作Ｉ／Ｆ作成部１１５で作成したＳＳＶＥＰ操作Ｉ／Ｆが格納される。このとき、マッピングデータ格納部１１８は、特定周波数に、制御指示を対応づけて保持する。

マッピング部１１７は、実行機能とＳＳＶＥＰ操作Ｉ／Ｆとをマッピングする。例えば、矢印ボタンを選択した場合の実行機能と、ＳＳＶＥＰ操作Ｉ／Ｆとをマッピングする。マッピングデータ格納部１１８は、マッピング部１１７がマッピングした対応データベースを格納する。また、機能の一覧テーブルを格納する。

機能判定部１１９は、脳波分析部１１４で分析した結果に基づき、ユーザ１３０により選択された機能を判定する。本実施形態では、脳波分析部１１４が抽出した視線周波数に対応づけてマッピングデータ格納部１１８に格納される機能を特定する。すなわち、脳波から抽出した特定周波数に対応する制御指示を対応データベースから取得する。

脳波制御部１２０は、脳波Ｉ／Ｆ部１０２の各コンポーネントの動作を制御する。また、制御部１１２の指示により、機能登録に関する処理も統括して実行する。さらに、制御部１１２を介して、演算部１２４の演算実行のＯＮ、ＯＦＦを制御する。

表示部１０３は、映像及びＳＳＶＥＰを誘発するための視覚刺激を表示する。本実施形態の表示部１０３は、演算部１２４と、表示デバイス部１２５と、投射レンズ１２７と、照明器１２６とを備える。

演算部１２４は、操作Ｉ／Ｆ作成部１１５が作成したＳＳＶＥＰ操作Ｉ／Ｆに従って、視覚刺激信号を挿入あるいは、重畳した各映像フレームを生成し、表示デバイス部１２５に表示させるための演算を行う。

表示デバイス部１２５は、演算部１２４の演算結果に基づき、映像を表示する。照明器１２６は、表示デバイス部１２５に光を提供する。投射レンズ１２７は、表示デバイス部１２５で作成された映像を投射する。

なお、本実施形態の表示装置１０１は、例えば、計時用タイマ等、上記以外のコンポーネントを備えてもよい。

本実施形態の表示装置１０１のハードウェア構成を図２に示す。本実施形態の表示装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２と、脳波計２０３と、表示装置２０４と、カメラ２０５と、マイク／スピーカ２０６と、記憶装置２０８と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０９と、通信モジュール２１１と、入力Ｉ／Ｆ２１２と、操作装置２１３と、システムバス２１４と、を備える。

表示装置２０４は、映像を表示する。カメラ２０５は、映像を生成する。入力Ｉ／Ｆ２１２は、外部からのデータ入力を受け付ける。操作装置２１３は、表示装置１０１本体へのタッピングなどによる入力操作を可能にする。

記憶装置２０８は、各種プログラム、データ等を記憶する。例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク等を備える。例えば、表示装置１０１の各種の機能を実現する基本プログラムは、ＲＯＭに格納される。また、プログラムの実行に用いられるデータ、プログラム実行中に生成されるデータ等は、ハードディスク等に格納される。なお、上述の操作Ｉ／Ｆ格納部１１６やマッピングデータ格納部１１８は、記憶装置２０８に設けられる。

ＲＡＭ２０９は、キャッシュやワークメモリとして使用される。

ＣＰＵ２０２は、表示装置１０１全体の動作を制御する。制御にあたっては、例えば、記憶装置２０８に格納されるプログラム及び各種データを、ＲＡＭ２０９にロードして実行する。

システムバス２１４は、ＣＰＵ２０２と、表示装置１０１の各コンポーネントとの間で、データの送受信を行うためのデータ通信路である。

脳波計２０３は、脳波信号を検出する。本実施形態では、脳波計２０３は、脳波検出用の電極と、ノイズなどを除去して信号を増幅する信号処理装置と、アナログ信号をディジタル信号に変換するアナログディジタルコンバータとを備える。

通信モジュール２１１は、外部機器と通信するインタフェースである。通信モジュール２１１は、３Ｇや４Ｇ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＨＤＭＩ（登録商標）、赤外線通信、放送サービス用通信などの無線通信機能と有線ＬＡＮなどの有線通信機能とを備える。

脳波計２０３と、ＣＰＵ２０２と、ＲＡＭ２０９と、システムバス２１４とは、機能ブロックの脳波Ｉ／Ｆ部１０２と制御部１１２とに対応する。また、マイク／スピーカ２０６はマイク／スピーカ１０４に、カメラ２０５は映像生成部１０６に、表示装置２０４は表示部１０３に、通信モジュール２１１は通信部１０５に、入力Ｉ／Ｆ２１２は映像生成部１０６に、操作装置２１３は操作部１０７に、記憶装置２０８は記憶部１１０に、それぞれ、対応する。

［実装例］
次に、本実施形態の表示装置１０１における、電極の実装例を説明する。図３は、本実施形態の表示装置１０１の一実施形態である、メガネタイプの脳波制御によるＡＲ装置３０１の例である。

ＡＲ装置３０１では、後頭部のバンド部分３０２とテンプル部分（３０３，３０４）とに、２つ以上の電極（３０５，３０６，３０７，３０８，３０９，３１０，３１１）が配置される。

ＡＲ装置３０１における脳波の誘導方法には双極誘導を用いる。ＡＲ装置３０１では、２つの電極から導出した電位差により脳波を測定する。図３のＡＲ装置３０１の電極配置によれば、最大６チャンネルの脳波を検出できる。ＡＲ装置３０１では双極誘導を用いたが脳波の誘導方法はこれに限定されない。例えば、単極誘導を使用してもよい。単極誘導を使用する場合は、基準の電位を測定するための電極を耳たぶに装着可能な構成とする。

ＳＳＶＥＰは、視覚野のある後頭部で測定することが望ましい。このため、すべての電極から脳波を検出できた場合は、後頭部の電極（３０７，３０８，３０９）から測定した脳波を優先して使用する。後頭部のバンド部分では２チャンネル（３０７と３０８で１チャンネル、３０８と３０９で１チャンネル）の脳波の測定が可能である。使用する脳波は、電極の接触状態に応じて変更してもよい。

ＳＳＶＥＰの視覚刺激は高周波になるほど検出される電位が低下する傾向にある。このため、特に高周波の視覚刺激を使用する場合は、可能な限り後頭部で脳波を測定するようにする。例えば、左向き矢印の操作ボタンに視覚刺激として高周波を、右向き矢印の操作ボタンに低周波を、それぞれ割り当てた場合、前者については後頭部で測定した脳波を優先させる。具体的には、前者については、脳波分析部１１４での分析時に、後頭部以外の部分で測定した脳波を使用しない等の処理を行う。

なお、ＡＲ装置３０１では、表示デバイス部１２５は、メガネレンズ部分（３１２、３１３）に配置される。また、その他の機能は、フレーム本体３１４に設けられる。

［視覚刺激信号挿入手法］
次に、本実施形態の視覚刺激信号の挿入手法を説明する。

ＳＳＶＥＰを誘発する刺激には、フラッシュ刺激（ＬＥＤライトの点滅）、白と黒のチェッカーパタン、色刺激（異なる色による）、画像の輝度変化などがある。これらの刺激を使用して、周期的刺激を呈示することで、ＳＳＶＥＰを誘発する。本実施形態では、これらの手法のうち、画像の輝度変化を用いる。

具体的には、本実施形態では、予め定めた形状を有するアイコン等を挿入し、当該アイコンの輝度値を、予め定めた周波数で変化させる第一の手法と、映像フレームの特定の領域の輝度値を、予め定めた周波数で変化させる第二の手法とがある。なお、特定の領域は、固定であってもよいし、フレーム毎に異なってもよい。

まず、第一の手法を、図４（ａ）を用いて説明する。ここでは、映像フレームとして、飛行機の計器類が表示された画像を用いる場合を例示する。表示される映像は、ＶＲ装置の仮想映像であってもよいし、ＡＲ装置のカメラを通して表示さてる現実世界の映像であってもよい。また、映像フレームにボタンＡ４０１を挿入し、ボタンＡ４０１の輝度値（色）を、色１と色２との間で、視覚刺激信号の周波数（特定周波数ＦｓＨｚ）で変化させる場合を例にあげて説明する。なお、挿入するアイコンは、ボタン等の図形に限定されず、各種の形状を有するものであってよい。なお、アイコンのサイズは、固定であってもよいし、映像フレーム中のオブジェクト等のサイズに応じて変化してもよい。

図中のボタンＡ４０１は、映像中の計器に対する操作を実行するためのボタンである。ここでは、ボタンＡ４０１がフリッカーとなる。フリッカーとは、ＳＳＶＥＰを誘発するための異なる２種類の刺激を周期的に繰り返し呈示するための機能を持つものの総称とする。

演算部１２４は、映像フレームを、予め定めたフレームレートＦＯＨｚで表示させる。このとき、映像フレームにおいて、予め定めた位置（操作領域）に、ボタンＡ４０１を挿入する。そして、特定周波数ＦｓＨｚで輝度値が変化するよう、各映像フレームの、ボタンＡ４０１の領域の色（ＲＧＢを用いて算出した輝度値）を変化させて表示する。ボタンＡ４０１の挿入位置や表示色は、操作Ｉ／Ｆテーブル６２０を参照し、決定する。

このようにして、各映像フレームのボタンＡ４０１の色を、時間軸に沿って、色１（４０２）と色２（４０３）との間で、予め設定した視覚刺激信号の周波数（特定周波数；ＦｓＨｚ）で周期的に変化させることにより刺激を呈示する。

図４（ａ）下部のグラフの横軸は時間、縦軸は輝度値を示す。また、グラフ４０５の実線は、ボタンＡ４０１の輝度値の変化を示す。ボタンＡ４０１で使用する２色（色１及び色２）は、操作Ｉ／Ｆ作成部１１５で予め設定する。本実施形態では、このボタンＡ４０１の輝度値を、グラフ４０５の実線で示すように周期的に変化させることにより、フリッカーを実現する。

なお、ボタンＡ４０１の色は、色１（４０２）と色２（４０３）との間で周期的に変化する。映像のフレームレートと、特定周波数との関係によっては、色１（４０２）と、色２（４０３）と、それらの中間色４０４と、で示される。ここで、中間色とは、色１と色２との間の輝度値を有する色である。

本図の例では、ボタンＡ４０１の色を、特定周波数ＦｓＨｚで、色１［Ｒ：１２８、Ｇ：２５５、Ｂ：２５５］４０２と、色２［Ｒ：０、Ｇ：２５５、Ｂ：２５５］４０３との間で変化させる。すなわち、ＦＯ／（２×Ｆｓ）フレーム毎に、交互に色１、色２とし、その間のフレームには、色１と色２との中間色４０４を設定する。

例えば、映像のフレームレートＦＯが１２０Ｈｚ、視覚刺激信号の特定周波数Ｆｓが３０Ｈｚである場合を、図４（ｂ）に示す。本図に示すように、この場合、フレーム番号（＃）が１には、色１が、同２には、色１と色２の中間色である色３が、同３には、色２が、同４には、色１と色２の中間色である色３が、設定され、その後、４フレーム毎に、同様の設定が繰り返される。すなわち、１秒間に１２０枚の映像フレームを用いて、色１、色２、色１という変化を４枚の映像フレームを１サイクルとし、色１と色２間で徐々に色が変化するよう、ボタンＡ４０１の輝度値が調整される。

なお、上述したように、各映像フレームのボタンＡ４０１の色を、色１（４０２）から色２（４０３）へ周期的に変化させる輝度値の演算や、各映像フレームに割り当てる輝度値の設定は、操作Ｉ／Ｆ作成部１１５で行う。

また、ここでは、輝度を周期的に変化させることによりボタンＡ４０１の色を変化させているが、変化の軸はこれに限定されない。例えば、色相や彩度、明度等の輝度値以外の色情報を変更してもよい。この場合、色の変化が、ユーザ１３０に識別可能でなくてもよい。以下、本明細書では、輝度を調整軸として説明するが、これに限定されない。

次に、視覚刺激信号挿入の、第二の手法を、図５を用いて説明する。図４（ａ）で説明した第一の手法では、映像に操作用のボタンＡを配置する。しかし、図５で説明する第二の手法では、映像そのものに含まれるオブジェクトに視覚刺激信号を重畳する。なお、重畳するオブジェクト（重畳対象オブジェクト）は、予め定められているものとする。

本図においても、映像フレームとして、飛行機の計器類が表示された画像を用いる場合を例示する。第二の手法では、映像フレームの、予め定めた領域（操作領域；重畳エリアＡＡ）５０２内の輝度値（画素の色）を、特定周波数ＦｓＨｚで変化させる。本図の例では、映像内の各計器５０１を視覚刺激信号の重畳対象オブジェクトとする。すなわち、重畳対象オブジェクトである計器５０１の画素の色を、特定周波数ＦｓＨｚで変化させる。

なお、重畳対象オブジェクトの、映像内位置（重畳エリアＡＡ）は、映像フレーム毎に変化する。本実施形態では、後述するように、映像フレームを取得する毎に、操作Ｉ／Ｆ作成部１１５が重畳エリアＡＡを算出し、操作Ｉ／Ｆテーブルに格納する。

第二の手法では、重畳エリアＡＡの画像をそのまま使用し、その重畳エリアＡＡ内の画素の色を変化させることでフリッカーを実現する。

図５下部のグラフの横軸は時間、縦軸は輝度値を示す。元の映像の重畳エリアＡＡ５０２を構成する各画素のベース色は、例えば、実線のグラフ５０３のように任意に変化するものとする。

ＳＳＶＥＰ用の視覚刺激として使用するフリッカーは、周波数曲線５０４に示すように、ベース色を周期的に変化させることにより実現する。

具体的には、操作Ｉ／Ｆ作成部１１５は、映像フレーム毎に、重畳エリアＡＡ５０２内の画素の色の変化をベースに、重畳エリアに設定した特定周波数に応じて、画素ごとのベース色からの輝度値の変化量５１２を算出する。そして、映像フレーム毎に、視覚刺激信号重畳後の画素値（ＲＧＢ値、５０５、５０６、５０７）を求める。演算部１２４は、操作Ｉ／Ｆ作成部１１５の決定に従って、表示フレームを作成する。

なお、本図において、５１１は、映像の画素の元のＲＧＢ値を示し、５１２は、フリッカー用の刺激を作成するために追加された輝度値（追加変化量）を反映したＲＧＢ値の変化量である。

重畳対象オブジェクトは、以下で説明するようにフリッカー機能を持つオブジェクトとしてユーザ１３０に認識されない場合もある。このため映像中のオブジェトをフリッカーとする場合には、それらがフリッカー機能を保持していることがわかるようにそのエリアを示しても良い。

例えば、図５に示すように、重畳エリアＡＡ５０２を破線等で囲んでもよい。この各計器を取り囲む破線で示された長方形のエリアが重畳エリアＡＡ、すなわち、フリッカー機能を持つエリアである。このような工夫により、ユーザ１３０は映像中の計器が脳波による操作の対象であることを知ることができる。

［マッピングテーブル／機能テーブル／オブジェクトテーブル］
次に、マッピング部１１７が作成するテーブルについて説明する。図６（ａ）、図６（ｂ）、図７（ａ）および図７（ｂ）は、マッピング部１１７が生成するマッピングテーブル６０１と、機能テーブル６１０と、オブジェクトテーブル６７０と、オブジェクトテーブル６８０、の一例を説明するための図である。これらの各テーブル６０１、６１０、６７０、６８０は、マッピングデータ格納部１１８に格納される。

マッピングテーブル６０１は、表示装置１０１が提供する機能と、脳波Ｉ／Ｆ部１０２が提供するＳＳＶＥＰ操作Ｉ／Ｆとを対応づけたテーブルである。

図６（ａ）に示すように、マッピングテーブル６０１は、マッピングテーブル内の要素を一意に識別する識別番号（Ｎｏ．）６０２と、表示装置１０１が提供する機能を一意に識別する機能ＩＤ６０３と、脳波Ｉ／Ｆ部１０２が提供するＳＳＶＥＰ操作Ｉ／Ｆを一意に識別するＳＳＶＥＰ＿ＩＤ６０４とを備える。

なお、ＳＳＶＥＰ＿ＩＤ６０４は、機能ＩＤ６０３とは独立に設定できる。すなわち、１つの画面で同時に呈示されない機能であれば、異なる機能ＩＤ６０３に、同一のＳＳＶＥＰ＿ＩＤ６０４を対応づけてもよい。

なお、機能とＳＳＶＥＰ操作Ｉ／Ｆとのマッピングは、初期設定時に一度だけ実施されてもよいし使用状況に応じて再実行されてもよい。マッピングテーブル６０１への登録は、例えば、後述する操作Ｉ／Ｆテーブル６２０において、割り当て周波数の登録が実施された時点で行う。

機能テーブル６１０は、機能ＩＤ６０３毎の機能の詳細を格納するテーブルである。

図６（ｂ）に示すように、機能テーブル６１０は、表示装置１０１が提供する機能を一意に識別する機能ＩＤ６０３と、機能名６１３と、機能ＩＤ６０３が示す機能の概要である機能概要６１４と、視覚刺激信号を映像中のオブジェクトに重畳して呈示するか否かを示す重畳フラグ６１５と、オブジェクトを一意に識別するオブジェクトＩＤ６１６と、を備える。

重畳フラグ６１５は、映像中のオブジェクトに重畳して提示する場合は、ＯＮ６１７に、その他の場合は、ＯＦＦ６１８に設定される。重畳して提示する手法の一例は、例えば、図５で説明した第二の手法である。また、もう一方の手法の一例は、例えば、図４で説明した第一の手法のように、アイコン（ボタン）を挿入し、当該アイコンで視覚刺激信号を実現する手法である。

オブジェクトテーブル６７０およびオブジェクトテーブル６８０は、各機能を重畳するオブジェクトを特定する情報を格納するテーブルである。それぞれ、オブジェクトＩＤ６１６に対応づけて、オブジェクトが登録される。

オブジェクトテーブル６７０の一例を図７（ａ）に示す。オブジェクトテーブル６７０は、重畳フラグ６１５がＯＦＦの場合に参照されるテーブルである。オブジェクトテーブル６７０には、オブジェクトＩＤ６１６毎に、オブジェクト６７２として、画像に挿入するオブジェクトが登録される。図４（ａ）に示す映像フレームの例では、ボタンＡである。画像に重畳するオブジェクト６７２の他の例は、例えば、右向き矢印ボタン、左向き矢印ボタン、特定の数字のボタン、等である。

オブジェクトテーブル６８０の一例を図７（ｂ）に示す。オブジェクトテーブル６８０は、重畳フラグ６１５がＯＮの場合に参照されるテーブルである。オブジェクトテーブル６８０には、オブジェクトＩＤ６１６毎に、重畳対象オブジェクトがオブジェクト６８２として登録される。登録されるオブジェクト６８２は、例えば、図５に示す映像フレームの例では、燃料メータ、速度メータ等である。

なお、マッピングテーブル６０１、機能テーブル６１０、オブジェクトテーブル６７０およびオブジェクトテーブル６８０は、表示装置１０１が提供する機能に対して、脳波制御部１２０がマッピング部１１７に指示を出すことにより作成され、マッピングデータ格納部１１８に登録される。

各テーブル６０１、６１０、６７０、６８０は、予め登録されても良いし、映像生成部１０６の扱う映像の種類に合わせて、必要に応じて作成、あるいは、更新されてもよい。また、表示装置１０１は、自身が提供するサービスやアプリの全機能に関する機能テーブル６１０の全部あるいは一部を、記憶部１１０に格納し、脳波制御部１２０またはマッピング部１１７がそれらの機能の中から脳波で操作可能な機能のみを抽出し、機能テーブル６１０を作成し、マッピングデータ格納部１１８に登録しても良い。

［操作Ｉ／Ｆテーブル］
次に、操作Ｉ／Ｆ作成部１１５が作成し、操作Ｉ／Ｆ格納部１１６に格納する操作Ｉ／Ｆテーブルについて説明する。図８（ａ）および図８（ｂ）は、それぞれ、操作Ｉ／Ｆテーブル６２０および操作Ｉ／Ｆテーブル６３０の一例である。

操作Ｉ／Ｆテーブル６２０は、重畳フラグがＯＦＦの場合に参照されるテーブルである。本図に示すように、操作Ｉ／Ｆテーブル６２０は、脳波Ｉ／Ｆ部１０２が提供するＳＳＶＥＰ操作Ｉ／Ｆを一意に識別するＳＳＶＥＰ＿ＩＤ６０４毎に、当該ＳＳＶＥＰ操作Ｉ／Ｆに割り当てた、視覚刺激信号の周波数６２３と、映像に付加するために必要な情報とを備える。

本実施形態では、ＳＳＶＥＰ＿ＩＤ６０４毎に、任意の１つの周波数６２３が割り当てられる。ただし、１つの画面（映像）で同時に呈示されない機能であって、呈示される場合、一定時間以上間をあけて呈示される機能に対応づけられたＳＳＶＥＰ操作Ｉ／Ｆ（ＳＳＶＥＰ＿ＩＤ６０４）であれば、異なるＳＳＶＥＰ＿ＩＤ６０４に、同一の周波数を対応づけてもよい。

映像に付加するために必要な情報として、操作Ｉ／Ｆテーブル６２０には、各ＳＳＶＥＰ＿ＩＤ６０４に対応づけて、視覚刺激信号を挿入する映像フレームの位置であるエリア６２５、視覚刺激信号に用いる色情報（使用色１（６２６）、使用色２（６２７））、形状（サイズ）６２４、重畳色６２８等が登録される。

形状（サイズ）６２４は、視覚刺激信号の挿入対象となる画像（ボタンなど）の形状とサイズとである。例えば、長方形の場合は、縦と横との大きさが形状（サイズ）として登録される。円の場合は、半径の大きさが記述される。

エリア６２５は、視覚刺激信号を挿入する画像を配置する位置の情報である。本実施形態では、映像フレーム内の位置情報（画素位置）が登録される。例えば、形状（サイズ）６２４が長方形の場合は、特定の頂点の位置が登録される。また、円の場合は、中心位置が登録される。位置情報として、映像画面の左上角を原点（０，０）とした時の各頂点の位置情報を記述する。エリア６２５を記述するデータは数値で記述してもよいし、変数で記述してもよい。

使用色１（６２６）と使用色２（６２７）とは、視覚刺激信号に用いる画像の色（２色）のＲＧＢ値である。すなわち、視覚刺激信号を生じさせる輝度値の最大値と最小値とが登録される。

重畳色６２８は、重畳時に用いられる色のＲＧＢ値である。この値は、映像生成部１０６が生成した映像のフレームレートと周波数６２３とに応じて、フレーム毎に算出され、決定される。例えば、周波数６２３の逆数の周期で、予め定めた最大値と最小値との間で挿入対象となる画像領域の色情報が変化するよう、フレームレートに応じて各フレームの当該領域の重畳色６２８を決定する。

操作Ｉ／Ｆテーブル６３０は、重畳フラグがＯＮの場合に参照されるテーブルである。基本的に、操作Ｉ／Ｆテーブル６２０と同様に、脳波Ｉ／Ｆ部１０２が提供するＳＳＶＥＰ操作Ｉ／Ｆを一意に識別するＳＳＶＥＰ＿ＩＤ６０４毎に、当該ＳＳＶＥＰ操作Ｉ／Ｆに割り当てた、視覚刺激信号の周波数６３１と、映像に付加するために必要な情報とを備える。

操作Ｉ／Ｆテーブル６３０においても、操作Ｉ／Ｆテーブル６２０同様、ＳＳＶＥＰ＿ＩＤ６０４毎に、任意の１つの周波数６３１が割り当てられる。また、映像に付加するために必要な情報として、各ＳＳＶＥＰ＿ＩＤ６０４に対応づけて、形状６３２と、挿入エリア６３３と、オリジナル色６３４と、重畳時の色６３５と、が登録される。

形状６３２は、視覚刺激信号の重畳対象となるオブジェクトの形状である。重畳フラグがＯＮの場合、映像中の重畳対象オブジェクトに視覚刺激信号を重畳する。このため、形状６３２は、例えば、当該重畳対象オブジェクトを取り囲む長方形とする。映像中のオブジェクトは様々な形状を持つためである。

挿入エリア６３３は、視覚刺激信号を挿入する位置の情報である。本実施形態では、映像フレーム内の位置情報（画素位置）が登録される。例えば、形状として、オブジェクトを取り囲む長方形が登録される場合、エリア６２５には、当該長方形の左上頂点の位置を記述する。円の場合は中心座標の位置を記述する。

オリジナル色６３４は、重畳対象のオブジェクトの重畳前の色情報であり、重畳時の色６３５は、重畳時の色情報である。それぞれ、ＲＧＢ値が登録される。

なお、上述のように、重畳フラグがＯＮの場合、映像中の重畳対象オブジェクトに視覚刺激信号を重畳する。従って、形状６３２、挿入エリア６３３、オリジナル色６３４および重畳時の色６３５は、フレームを取得する毎に、フレーム単位で、決定する。例えば、操作Ｉ／Ｆ作成部１１５は、フレーム毎に、オブジェクト抽出プログラムを実行し、重畳対象オブジェクトを抽出し、これらの各情報を決定する。重畳時の色６３５は、映像生成部１０６が生成した映像のフレームレート、周波数６３１およびオリジナル色６３４により決定される。

［レイアウト］
次に、アイコンを挿入する場合のレイアウト例を説明する。図９（ａ）は、操作ボタンをアイコンとして挿入する場合の例であり、図９（ｂ）は、テンキーの例である。

アイコンを挿入する場合、利便性等を考慮して、予めＳＳＶＥＰ用の視覚刺激信号を呈示する操作領域の挿入箇所を決めておく。操作領域は、アプリケーションごとに予め定めたテンプレートを使用してもよいし、脳波Ｉ／Ｆ部１０２内に、予め作成して保持してもよい。

まず、操作ボタンを複数用意し、それぞれに、異なる周波数を割り当てる場合のレイアウト例を、図９（ａ）を用いて説明する。本図の例では、４つの長方形のボタンを、それぞれ、エリアＢ７１１，エリアＣ７１２、エリアＤ７１３、エリアＥ７１４に、それぞれ、挿入する例である。エリアＢ７１１は画面左上のエリア、エリアＣ７１２は画面中央のエリア、エリアＤ７１３は画面右上のエリア、エリアＥ７１４は画面右中央のエリアである。

本実施形態では、各ボタン（エリアＢ～Ｅ ７１１～７１４にそれぞれ挿入）に、視覚刺激信号に使用する２色と、それらの色を繰り返し周期的に呈示するための周波数と、を割り当てる。

各エリアは、長方形の頂点を示す座標値（映像の画素の位置情報）で表現される。例えば、エリアＢ７１１は、（Ｂ１，ａ）７１５、（Ｂ２，ｂ）７１６、（Ｂ３，ｃ）７１７、（Ｂ４，ｄ）７１８の４つの座標値で表現される。残りのエリアＣ７１２、エリアＤ７１３、エリアＥ７１４についても同様である。

なお、操作Ｉ／Ｆテーブル６２０のエリア６２５には、図９（ａ）の各エリアの左上の頂点が登録される。例えば、エリアＢ７１１の場合は（Ｂ１，ａ）７１５が登録される。すなわち、エリア６２５には、アイコンを挿入するエリアとそのエリア内における、左上頂点からの相対的な位置（＋数値で記述）を明示したデータが記述される。

なお、エリア６２５は、表示装置１０１の表示方式などにより具体的な場所が調整できる方がよいため、表示装置１０１の表示能力にあわせて、具体的な数値を入力することが望ましい。エリア６２５には、エリア情報として変数（たとえばエリアＢ７１１の（Ｂ１，ａ）７１５を基準にした値）を入力してもよいし、具体的な配置データを入れてもよい。ただし、変数を入力する場合には、映像を出力する前に具体的な位置データに変換する必要がある。

図９（ｂ）に、テンキー７２１を用意し、それぞれに、異なる周波数を割り当てる場合を例示する。なお、テンキー７２１は、数値を入力するためのボタン（数値入力ボタン０～ボタン９；７２２～７３１）と、数値入力ボタン７２２～７３１を介して入力された数値を表示すための数字表示パッド７３２と、入力した数値データを確定するためのリターンキーボタン７３３と、入力された数値データをクリアするためのクリアボタン７３４とを備える。

本例では、例えば、数字表示パッド７３２以外のボタンに、視覚刺激信号として使用する２色と、それらの色を繰り返し周期的に呈示するための周波数と、を割り当てる。なお、数字表示パッド７３２には、数値の表示桁の位置それぞれに異なる周波数を割り当ててもよい。これにより、入力した数値の中から所定の位置を選択することも可能となる。

［周波数決定処理］
次に、操作Ｉ／Ｆ作成部１１５による、操作Ｉ／Ｆテーブル６２０および操作Ｉ／Ｆテーブル６３０作成処理のうち、割当周波数決定処理の流れを、図１０を用いて説明する。

なお、本実施形態では、制御部１１２は、予め、脳波制御部１２０を介してマッピング部１１７と操作Ｉ／Ｆ格納部１１６とに対して、マッピングテーブル６０１と、機能テーブル６１０と、操作Ｉ／Ｆテーブル６２０と、操作Ｉ／Ｆテーブル６３０と、オブジェクトテーブル６７０と、オブジェクトテーブル６８０との作成を指示する。

ここで、周波数決定処理実施時には、操作Ｉ／Ｆテーブル６２０および操作Ｉ／Ｆテーブル６３０以外のテーブルは既に作成されているものとする。また、操作Ｉ／Ｆテーブル６２０については、ＳＳＶＥＰ＿ＩＤ６０４、形状、サイズ６２４、エリア６２５、使用色１（６２６）、使用色２（６２７）は、登録されていてもよい。一方、操作Ｉ／Ｆテーブル６３０については、ＳＳＶＥＰ＿ＩＤ６０４のみ登録されているものとする。

まず、操作Ｉ／Ｆ作成部１１５は、機能テーブル６１０を参照し、重畳フラグ６１５がＯＮの機能を抽出する（ステップ１１０１）。なお、重畳フラグ６１５がＯＮの機能は、映像に直接、視覚刺激信号を重畳する機能である。

次に、操作Ｉ／Ｆ作成部１１５は、抽出した機能に、視覚刺激信号の周波数として、３４Ｈｚ以上７５Ｈｚ以下の範囲で、任意の周波数を割り当てる（ステップ１１０２）。そして、その結果を、操作Ｉ／Ｆテーブル６３０に登録する。ここでは、まず、当該機能（機能ＩＤ６０３）に対応づけられているＳＳＶＥＰ＿ＩＤ６０４を、マッピングテーブル６０１で特定する。そして、操作Ｉ／Ｆテーブル６３０の当該ＳＳＶＥＰ＿ＩＤ６０４のレコードの周波数６３１に、割り当てた値を登録する。

これを、操作Ｉ／Ｆ作成部１１５は、機能テーブル６１０の重畳フラグ６１５がＯＮの全ての機能ＩＤ６０３について、繰り返す。ただし、機能ＩＤ６０３毎に、異なる周波数を割り当てる（ステップＳ１１０３）。

重畳フラグ６１５がＯＮの全ての機能ＩＤ６０３について、上記処理を終えると、次に、操作Ｉ／Ｆ作成部１１５は、機能テーブル６１０の重畳フラグ６１５を参照し、重畳フラグがＯＦＦの機能を抽出する（ステップ１１０４）。なお、重畳フラグがＯＦＦの機能は、映像にボタン等のアイコンを挿入し、当該アイコンに直接視覚刺激信号を重畳する機能である。

次に、操作Ｉ／Ｆ作成部１１５は、抽出した機能に、視覚刺激信号の周波数として、３４Ｈｚ以上７５Ｈｚ以下の範囲の周波数を割り当てる（ステップ１１０５）。このとき、未使用の周波数を割り当てる。そして、その結果を、上記手法で、操作Ｉ／Ｆテーブル６２０に登録する。

これを、操作Ｉ／Ｆ作成部１１５は、機能テーブル６１０の重畳フラグ６１５がＯＦＦの全ての機能ＩＤ６０３について、繰り返し（ステップＳ１１０６）、処理を終了する。ここでも、機能ＩＤ６０３毎に、異なる周波数を割り当てる。

ここで、視覚刺激信号の周波数は、４～７５Ｈｚである。ステップＳ１１０２において、各機能に、３４Ｈｚ以上の周波数の視覚刺激信号を割り当てるのは、３４Ｈｚ以上の周波数の信号が、人間にちらつきを感じさせないためである。このちらつきを感じなくなる境界となる周波数を臨界融合周波数（閾値周波数）と呼び、通常約３４Ｈｚがこの閾値周波数に当たる。

なお、ステップＳ１１０２では、例えば３４Ｈｚ以上７５Ｈｚ以下の範囲で小さい周波数から割り当てる。周波数が高くなるほどＳＳＶＥＰとして検出される電位が小さくなる傾向があるため、重要な機能あるいは使用頻度の高い機能に対して優先的に小さい周波数を割り当てるようにしても良い。

また、ステップＳ１１０５では、３４Ｈｚより下の周波数では、人の目にちらつきが感じられるため、例えば、残りの周波数の中から、大きい周波数から割り当てる。重要な機能に対しては意図的に優先して大きい周波数を割り当てるようにしても良い。

さらに、ステップＳ１１０５では、操作ボタン等に視覚刺激信号を重畳する。この場合、３４Ｈｚより小さい周波数であっても、ちらつきを感じさせない２色の色（マクアダムの楕円内の２色の色）を選択することにより、ちらつきの回避が可能である。これを利用した、周波数決定処理は、後述する。

一方、ステップＳ１１０２では、元の映像に直接視覚刺激信号を重畳する。この場合、色をマクアダムの楕円内の２色に限定できない。このため、ステップＳ１１０２では、３４Ｈｚ以上の周波数から優先的に割り当てる。

ここで、視覚刺激信号の周波数は、上述のように４～７５Ｈｚである。しかしながら、ＳＳＶＥＰは、設定された周波数およびその整数倍の周波数で発生する。このため、４～７５Ｈｚの全ての周波数を使用できるわけではない。例えば、使用する周波数を整数に限定する場合、４～７５Ｈｚの周波数の中で、奇数周波数と一部の偶数周波数しか使用することができない。

このため、周波数決定処理では、予め使用可能な周波数の組み合わせを登録しておき、それらの登録内容を参照しながら周波数を割り当てる。この組み合わせは、製品出荷時に最初から記憶部１１０に保存しておいてもよいし、制御部１１２が、記憶部１１０に保存されたアプリケーションプログラムの指示を受けて、記憶部１１０に登録するようにしてもよい。

なお、使用する周波数を整数に限定する場合、使用可能な周波数の組み合わせには、以下の２つのパタンがある。
・第一のパタン）高い周波数から順に偶数の周波数を割り当てる組み合わせパタン。以下にこのパタンの周波数の数値を列挙する。
４，１０，１１，１２，１３，１４，１５，１６，１７，１８，３８，３９，４０，４１，４２，４３，４４，４５，４６，４７，４８，４９，５０，５１，５２，５３，５４，５５，５６，５７，５８，５９，６０，６１，６２，６３，６４，６５，６６，６７，６８，６９，７０，７１，７２，７３，７４，７５
・第二のパタン）低い周波数から順に偶数の周波数を割り当てる組み合わせパタン。以下にこのパタンの周波数の数値を列挙する。
４，５，６，７，９，１１，１３，１５，１６，１７，１９，２０，２１，２３，２４，２５，２７，２８，２９，３１，３３，３５，３６，３７，３９，４１，４３，４４，４５，４７，４９，５１，５２，５３，５５，５７，５９，６０，６１，６３，６４，６５，６７，６８，６９，７１，７３，７５

なお、本実施形態では、ＳＳＶＥＰを誘発する周波数が４～７５Ｈｚであることを前提に説明している。しかしながら、これに限定されない。ＳＳＶＥＰを誘発する周波数の範囲は今後の研究成果で変わりうるため、範囲が変わった場合においても同様の方法で使用する周波数を割り当てるものとする。また、本実施形態では、ＳＳＶＥＰを誘発する周波数として、上述のように整数の周波数を使用している。しかしながら、小数点以下の周波数（例えば、４．５Ｈｚ、４．７７Ｈｚ等）も使用可能な周波数に含めてもよい。なお、周波数を、小数点以下まで許容する場合、組み合わせパタン数は、さらに増加する。

重畳フラグＯＮの数が多い場合は、第一のパタンを使用する方が望ましい。これは、第一のパタンの方が、偶数の周波数を高周波数から割り当てるため、３４Ｈｚ以上のちらつきを感じさせない周波数の数が多いためである。

周波数決定処理では、以上の周波数の特性を考慮して、例えば、使用頻度の高い機能は、高い電位が測定でき、ちらつきを感じない周波数を割り当てることが望ましい。また、正確性や信頼性が必要となる機能に関しては、安定した電位が測定できる周波数を選択することが望ましい。

ここで、ボタン等のアイコンに、低周波数の視覚刺激信号を重畳する場合、マクアダムの楕円を利用してもよい。この場合の、周波数決定処理の変形例を、図１１に沿って説明する。

マクアダムの楕円とは、光の色特性の違いを、人が認識できない範囲であり、所定色を中心（楕円の中心の色）として、人が、その所定色と区別することができない色の範囲を、色度図上に表現したものである。すなわち、マクアダムの楕円の範囲内で、ＳＳＶＥＰ誘発可能な周波数で色相または彩度を変化させた場合、観察者自身は、色特性の変化に気づかないが、脳波においては、ＳＳＶＥＰが検出される。なお、マクアダムの楕円の範囲は、基準とする点（上記所定色）毎に異なる。

操作Ｉ／Ｆ作成部１１５は、まず、図１０と同様に、重畳フラグ６１５がＯＮの機能ＩＤ６０３について、周波数を割り当てる（ステップＳ１１０１～Ｓ１１０３）。

そして、重畳フラグ６１５がＯＦＦの機能ＩＤ６０３、すなわち、ボタン等のアイコンを挿入する機能については、操作Ｉ／Ｆ作成部１１５は、以下の処理を行う。

まず、重畳フラグ６１５がＯＦＦの機能を抽出する（ステップＳ１１０４）。次に、３４Ｈｚ以上の周波数で割り当て可能な周波数が残っているかを判別する（ステップＳ１２０５）。残っている場合は、図１０で説明した処理同様、当該機能ＩＤ６０３に、周波数を割り当てる（ステップＳ１１０５）、ステップＳ１１０６へ移行する。

一方、残っていない場合は、３４Ｈｚ以下の周波数を割り当てる必要がある。前述した通り、３４Ｈｚより下の周波数では人の目にちらつきが感じられる。そこで、ちらつきを感じさせない２色の色（マクアダムの楕円内の２色の色）を選択することにより回避する。

この場合、操作Ｉ／Ｆ作成部１１５は、まず、抽出した機能ＩＤ６０３に対応するＳＳＶＥＰ＿ＩＤ６０４に対応づけて、操作Ｉ／Ｆテーブル６２０に登録されている使用色１（６２６）および使用色２（６２７）を抽出する（ステップＳ１２０６）。

そして、抽出した使用色１（６２６）および使用色２（６２７）が、同一のマクアダムの楕円内の色であるか否かを判別する。このため、まず、使用色１（６２６）および使用色２（６２７）の色領域を決定する（ステップ１２０７）。ここで、色領域とは、通常使用する色の名前に相当し、数値的な幅を持つ。本実施形態では、例えば、ＲＧＢ系の各値を決定する。

使用色１（６２６）および使用色２（６２７）は、例えば、青と緑というように、別な色が使用されている場合もあるし、青と青、というように、ともに、同系色の色が使用されている場合もある。マクアダムの楕円を活用してちらつきを解消するためには、使用色１（６２６）および使用色２（６２７）が同系色の色であり、かつ、それらが、同一楕円内の色である必要がある。

決定した色領域を用い、使用色１（６２６）および使用色２（６２７）が、同一のマクアダム楕円内であるか否かを判別する（ステップＳ１２０８）。使用色１（６２６）および使用色２（６２７）のＲＧＢ系の各値とマクアダムの楕円を示すＸＹＺ値との間の相互変換は、所定の変換式を使用する。

そして、使用色が２色とも同一楕円内の色であれば、そのまま、設定された色を用い、残りの周波数の中から、周波数を割り当てる（ステップＳ１２１０）。

一方、使用色１（６２６）および使用色２（６２７）が、同一のマクアダム楕円内でなければ、使用色１（６２６）または使用色２（６２７）に最も近いマクアダム楕円を決定し、使用色１（６２６）および使用色２（６２７）を、当該楕円内の色に調整する（ステップＳ１２０９）。そして、ステップＳ１２１０へ移行する。

ステップＳ１２０９では、使用色のいずれか一方のみが、マクアダムの楕円内の色である場合、他方の使用色を、当該マクアダムの楕円内の色から任意に選定し、再登録する。また、両使用色ともマクアダム楕円内にない場合は、いずれかの使用色に一番近いマクアダム楕円の中から１色を選択し、他方の使用色も、その楕円内の任意の色に設定する。

以上の処理を、操作Ｉ／Ｆ作成部１１５は、機能テーブル６１０の重畳フラグ６１５がＯＦＦの全ての機能ＩＤ６０３について、繰り返し（ステップＳ１１０６）、処理を終了する。

上記の処理により、視覚刺激信号に３４Ｈｚ以下の周波数を割り当てる場合、２色の使用色を同一のマクアダムの楕円内の色で設定できる。このため、挿入するボタン等のアイコンに低周波数を割り当てたとしても、ユーザ１３０にちらつきを感じさせない。

［表示画像作成処理］
次に、操作Ｉ／Ｆテーブルに登録されているデータに従って表示デバイス部１２５に表示する表示画像を作成する、表示画像作成処理の流れを説明する。

上述のように、演算部１２４は、操作Ｉ／Ｆテーブル６２０および／または操作Ｉ／Ｆテーブル６３０に従って、各映像フレーム内の画素値を調整し、表示フレームを作成する。

操作Ｉ／Ｆテーブル６２０は、機能テーブル６１０の重畳フラグ６１５がＯＦＦの場合の操作Ｉ／Ｆの例である。この場合、ボタン等のアイコンを挿入し、当該アイコンに視覚刺激信号を重畳する。操作Ｉ／Ｆテーブル６３０は、機能テーブル６１０の重畳フラグ６１５がＯＮの場合の操作Ｉ／Ｆの例である。この場合、映像フレーム内のオブジェクトに視覚刺激信号を重畳する。

ボタン等のアイコンを挿入する場合（操作Ｉ／Ｆテーブル６２０）は、当該アイコンに視覚刺激信号を重畳する際のアイコンの配置位置やサイズは、操作Ｉ／Ｆテーブル６２０に予め登録される。しかしながら、映像フレーム中のオブジェクトに直接重畳する場合（操作Ｉ／Ｆテーブル６３０）の視覚刺激信号の配置位置やサイズは、実際の映像フレームを取得してからでないと、判断できない。

本実施形態では、まず、映像生成部１０６が映像フレームを生成する毎に、操作Ｉ／Ｆ作成部１５５が、操作Ｉ／Ｆテーブル６２０や操作Ｉ／Ｆテーブル６３０を更新する。具体的には、重畳フラグ６１５がＯＦＦの場合用の操作Ｉ／Ｆテーブル６２０においては、重畳色６２８を決定する。また、重畳フラグ６１５がＯＮの場合の操作Ｉ／Ｆテーブル６３０においては、形状６３２、挿入エリア６３３、オリジナル色６３４および重畳時の色６３５を決定する。

そして、その後、演算部１２４が、最新の操作Ｉ／Ｆテーブル６２０および操作Ｉ／Ｆテーブル６３０を参照し、表示フレームを生成する。

なお、操作Ｉ／Ｆテーブル６２０は、重畳色６２８を除く項目が登録されているものとする。ただし、各アイコンの挿入位置や形状を変化させる場合は、操作Ｉ／Ｆテーブル６２０の形状、サイズ６２４とエリア６２５とをフレーム毎に決定してもよい。

なお、アイコンの非表示／表示は、操作Ｉ／Ｆテーブル６２０から登録されている情報を削除したり登録したりすることにより実現する。具体的には、エリアや６２５や重畳色６２８などに関するデータを削除したり、登録したりし、アイコンを非表示／表示する。

従って、表示画像作成処理は、図１２（ａ）に示すように、操作Ｉ／Ｆテーブル６３０を更新し、完成させる操作Ｉ／Ｆテーブル更新処理（ステップＳ１３０１）と、表示フレームを作成する表示フレーム作成処理（ステップＳ１３０２）と、を備える。なお、図１２（ａ）に示す表示画像作成処理は、映像フレームを取得する毎に実行される。

［操作Ｉ／Ｆテーブル更新処理］
図１２（ｂ）に、映像フレームを取得する毎に、操作Ｉ／Ｆ作成部１１５が実行する操作Ｉ／Ｆテーブル更新処理の流れを示す。まず、操作Ｉ／Ｆ作成部１１５は、当該映像フレーム（処理対象フレーム）の画素情報を取得する（ステップＳ１４０１）。

そして、操作Ｉ／Ｆ作成部１１５は、操作Ｉ／Ｆテーブル６２０の全てのレコードについて、処理対象フレームの、重畳色６２８を、それぞれ決定する（ステップＳ１４０２）。この時、登録されているボタンなどのオブジェクトを非表示にする場合は、重畳色を決定しない（したがって空欄にする）ようにする。

操作Ｉ／Ｆテーブル６２０の全てのレコードについて、上記処理を終えると（ステップＳ１４０３）、次に、操作Ｉ／Ｆ作成部１１５は、操作Ｉ／Ｆテーブル６３０の全てのレコードについて、以下のステップＳ１４０４～Ｓ１４０８の処理を行う。

まず、操作Ｉ／Ｆ作成部１１５は、重畳対象オブジェクトを特定する（ステップＳ１４０４）。ここでは、マッピングテーブル６０１と、機能テーブル６１０と、オブジェクトテーブル６８０と、を参照する。そして、処理対象のレコードのＳＳＶＥＰ＿ＩＤ６０４に対応づけられた機能ＩＤ６０３を特定する。そして、機能ＩＤ６０３に対応づけられたオブジェクトＩＤ６１６を特定する。そして、オブジェクトＩＤ６１６に対応づけられたオブジェクト６８２を、重畳対象オブジェクトとして特定する。

次に、操作Ｉ／Ｆ作成部１１５は、処理対象フレームの重畳対象オブジェクトを抽出する（ステップＳ１４０５）。ここでは、予め記憶部１１０に登録されている専用プログラムを用い、処理対象フレームの、オブジェクト６８２の画素領域を抽出する。抽出時は、取得した画素情報を用いる。例えば、オブジェクト６８２が燃料メータであれば、画素情報の中から、燃料メータに対応する画素領域を重畳対象オブジェクトとして抽出する。

そして、操作Ｉ／Ｆ作成部１１５は、抽出した重畳対象オブジェクトの形状と、当該映像フレーム内の画素位置と、色情報とを特定し、それぞれ、操作Ｉ／Ｆテーブル６３０の形状６３２と、挿入エリア６３３と、オリジナル色６３４と、に登録する（ステップＳ１４０６）。

なお、形状が複雑であると視認性が悪いため、オブジェクトの形状をそのまま重畳対象とせずに、図５の重畳エリアＡＡ５０２のようにオブジェクトを取り囲む図形をオブジェクトの形状としてもよい。

最後に操作Ｉ／Ｆ作成部１１５は、映像のフレームレートと周波数６２３とオリジナル色６３４とに応じて、重畳時の色６３５を決定する（ステップＳ１４０７）。全てのレコードについて、ステップＳ１４０４～Ｓ１４０７の処理を終えると、本処理を終了する（ステップＳ１４０８）。

［表示フレーム作成処理］
次に、演算部１２４による表示フレーム作成処理を説明する。図１３は、本実施形態の表示フレーム作成処理の処理フローである。本処理は、映像生成部１０６が映像フレームを生成する毎に、操作Ｉ／Ｆ作成部１１５が、操作Ｉ／Ｆテーブル更新処理を終えたことを受け、実行される。

演算部１２４は、最新の映像フレームの画素情報を取得する（ステップＳ１５０１）。そして、操作Ｉ／Ｆテーブル６２０および操作Ｉ／Ｆテーブル６３０を参照し、各レコードについて、以下の処理を行う。以下では、操作Ｉ／Ｆテーブル６２０、操作Ｉ／Ｆテーブル６３０の順に処理を行うものとする。なお、この順は逆であってもよい。

まず、処理対象レコードの、形状、サイズ６２４、エリア６２５により、ボタン等のアイコンの挿入画素位置を特定する（ステップＳ１５０２）。そして、重畳色６２８を参照し、当該画素位置の、表示色を決定し（ステップＳ１５０３）、表示フレームに反映する（ステップＳ１５０４）。このとき、表示色は、表示デバイス部１２５の特性に応じて規格化した値とする。

以上の処理を、操作Ｉ／Ｆテーブル６２０の、形状、サイズ６２４、エリア６２５、重畳色６２８の、登録のある全てのレコードについて行うと（ステップＳ１５０５）、次に、操作Ｉ／Ｆテーブル６３０の各レコードの処理に移行する。なお、ここで、図１２のステップ１４０２において重畳色６２８を決定しなかった場合には、重畳色６２８には値が入力されていない。

操作Ｉ／Ｆテーブル６３０の形状６３２、挿入エリア６３３より、重畳対象オブジェクトの画素領域を特定する（ステップＳ１５０６）。そして、重畳時の色６３５により、当該重畳画素領域の表示色を決定し（ステップＳ１５０７）、表示フレームに反映する（ステップＳ１５０８）。このときも、表示色は、表示デバイス部１２５の特性に応じて規格化した値とする。

以上の処理を、操作Ｉ／Ｆテーブル６３０の、形状６３２、挿入エリア６３３の登録のある全てのレコードについて行うと（ステップＳ１５０９）、処理を終了する。なお、ここで、図１２のステップ１４０４において重畳対象オブジェクトを特定できなかった場合には、操作Ｉ／Ｆテーブル６３０の挿入エリア６３３のデータは少なくとも空欄にする。

［視線周波数検出処理］
次に、脳波Ｉ／Ｆ部１０２における脳波分析部１１４による視線周波数検出処理の流れを説明する。図１４（ａ）は、本実施形態の視線周波数検出処理の処理フローである。本処理は、視線周波数検出部１２３が、表示装置１０１の装着者であるユーザ１３０が注視している視覚対象の周波数を検出するために行う。

まず、前処理部１２１が、測定した脳波の前処理（ノイズ除去）を実行し（ステップ１６０１）、信号の増幅を行う（ステップ１６０２）。

次に、特徴抽出部１２２が、処理後の脳波をフーリエ変換し、周波数系列パワースペクトルを算出し（ステップ１６０３）、ピークのある周波数を検出する（ステップ１６０４）。最後に、視線周波数検出部１２３が、検出した周波数のうちでも最も小さい周波数を注視対象周波数として検出する（ステップ１６０５）。

［機能判定処理］
次に、本実施形態の機能判定部１１９による、機能判定処理の流れを説明する。図１４（ｂ）は、本実施形態の機能判定処理の処理フローである。機能判定部１１９は、ユーザ１３０が注視している対象の周波数の検出結果から、それに対応づけられている機能を判定する。

機能判定部１１９は、脳波分析部１１４から測定脳波の分析結果である注視対象周波数を取得する（ステップ１７０１）。

そして、機能判定部１１９は、当該注視対象周波数に対応する機能を判定する（ステップＳ１７０２）。ここでは、まず、操作Ｉ／Ｆテーブル６２０を参照し、前記注視対象周波数が周波数６２３として割り当てられたＳＳＶＥＰ＿ＩＤ６０４を特定する。そして、マッピングテーブル６０１を参照し、対応する機能ＩＤ６０３を特定する。最後に機能テーブル６１０を参照し、当該機能ＩＤ６０３の機能概要６１４を抽出する。

機能判定部１１９は、ステップ１７０２で判定した機能ＩＤ６０３および機能概要６１４を、脳波制御部１２０に通知する。脳波制御部１２０は、実行部１０９で当該機能を実行するよう制御部１１２に要求する。

以上説明したように、本実施形態の表示装置１０１は、入力操作インタフェースとして、ＢＣＩ（Ｂｒａｉｎ Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ）を備え、拡張現実、仮想現実および／または複合現実表示を行う。そして、ＢＣＩとして、視覚刺激信号の周波数に応じた周波数を有する脳波信号を検出し、機器の制御を行う脳波インタフェース装置であって、取得した各映像フレーム上の予め定めた領域である操作領域に、特定の周波数である特定周波数を有する前記視覚刺激信号を割り当て、特定周波数の逆数の周期で、予め定めた最大値と最小値との間、または色情報の差分変化量で、操作領域に対応する領域の色情報を変化させることにより当該特定周波数を有する前記視覚刺激信号を作成する操作Ｉ／Ｆ作成部１１５と、前記特定周波数を有する前記視覚刺激信号を表示デバイスに出力する演算部１２４と、前記特定周波数に、制御指示を対応づけて保持する対応データベースと、検出した脳波信号から前記特定周波数を抽出する脳波分析部１１４と、抽出した前記特定周波数に対応する前記制御指示を前記対応データベースから取得し、当該制御指示に従って制御を行う制御部１１２と、を備えることを特徴とする脳波インタフェース装置を用いる。

本実施形態の表示装置１０１は、映像フレーム上の、所定の操作領域の色情報を、４～７５Ｈｚの範囲で予め割り当てた周波数で、周期的に変化させ、ＳＳＶＥＰ用の誘発刺激として機能させる。すなわち、本実施形態によれば、映像フレームそのものの所定の領域に、視覚刺激信号を挿入する。

所定の操作領域として、例えば、操作ボタンや文字入力キー等であれば、予め定めた２つの輝度値の間で、変化させる。また、映像そのものを変化させる場合、予め定めた輝度値変化量を用い、当該領域の画素値を変化させる。

ユーザ１３０が画面上の操作領域となる所定のボタンやキー、あるいは、映像領域を凝視することにより、当該領域に割り当てられた周波数の脳波が誘発される。そして、脳波検出部１１３で検出した測定脳波の中から、脳波分析部１１４でそのボタンやキーに割り当てた周波数を検出する。そして、検出された周波数により、ユーザ１３０が選択した操作、あるいはキーが判別でき、それぞれのボタンやキーに割り当てられた機能を実行できる。これにより、ユーザ１３０は、操作のためのボタンやキー、あるいは、領域を見つめるだけで、ユーザ１３０が意図した操作を実行できる。

このように、本実施形態によれば、注視による操作のみで、所望の機能を実行できる。注視による操作以外の操作が不要であるため、公共の場所であっても、問題なく使用できる。従って、使用場所に制約の少ない、Ｉ／Ｆを実現できる。

脳波を用いたＢＣＩ技術には、脳波の波形成分の特徴、Ｐ３００や眼球停留関連電位を活用したものや、脳波の周波数成分の特徴である、事象関連同期（Ｅｖｅｎｔ Ｒｅｌａｔｅｄ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ、以下ＥＲＳ）、事象関連脱同期（Ｅｖｅｎｔ Ｒｅｌａｔｅｄ Ｄｅ－ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ、以下ＥＲＤ）、ＳＳＶＥＰを活用したものがある。このうち、ＳＳＶＥＰは性能、データ転送速度、必要となるトレーニング期間などの観点から見て最も優れた特徴を備える。しかし、従来のＳＳＶＥＰを活用したＢＣＩ技術では、上述のように、ＳＳＶＥＰを誘発するための視覚刺激信号をフレーム間に挿入するため、基本視覚情報のフレームレートに依存して挿入可能な視覚刺激信号の数が制限され、利用可能な周波数が限定される。

しかしながら、本実施形態によれば、上述のように、ＳＳＶＥＰを用いたＢＣＩにおいて、視覚刺激信号を、各映像フレーム上に直接挿入する。従って、フレームレートに依存せず、選択可能な周波数の範囲で、所望の周波数を、自由に挿入できる。従って、フレーム間に視覚刺激信号を挿入する従来手法に比べ、さらに、自由度の高いＳＳＶＥＰを用いたＢＣＩを実現できる。また、所望の周波数を自由に挿入できるため、視覚刺激信号を、入力キーや操作画面に効果的に割り当てることができる。

＜変形例１＞
なお、上記実施形態では、映像生成部１０６が生成した映像フレームに、視覚刺激信号を重畳し、映像フレームとともに表示デバイス部１２５に表示する場合を例にあげて説明したが、本実施形態は、これに限定されない。例えば、映像フレームではなく、ユーザが視覚的に認識している現実世界の操作領域に相当する領域に、視覚刺激信号のみを表示させてもよい。この場合、表示位置および表示画素値は、上記同様の手法で算出する。

＜変形例２＞
また、上記実施形態では、直接映像フレームに視覚刺激信号を重畳する場合、輝度値の変化量を、元の映像フレームのＲＧＢ値に加えている。しかし、この手法に限定されない。例えば、図１５に示すように、元の映像フレームのＲＧＢ値は調整せず、新たに１つの色（輝度用の色、以下ＬＣ）を追加し、Ｒ，Ｇ，Ｂ，ＬＣの４つの色チャンネルを使用して実現してもよい。

追加する色ＬＣは、Ｒ、Ｇ、Ｂのいずれかを用いてよい。また、それらをミックスした色（例えばグレースケール）であってもよい。この追加する色ＬＣに対して、ＳＳＶＥＰ用の誘発刺激のための輝度値の変化量を調整する。

図１５は、図５と同様に、飛行機の計器の映像（フレーム）に重畳する場合の例である。各計器が重畳対象オブジェクトである。本図の例においても、計器５０１を取り囲む長方形のエリアが重畳エリアＡＡ５０２である。

重畳エリアＡＡ５０２内の各画素のベース色は、実線のグラフ５０３のように変化する。本変形例においても、周波数曲線５０４をベースに、重畳エリアＡＡ５０２に設定した特定周波数に応じて、画素ごとの輝度の変化量５１２を算出し、ＳＳＶＥＰ用の刺激周波数重畳後の画素値（ＲＧＢＬＣ値、５０５、５０６、５０７）を求める。

映像フレームごとに求めた重畳エリアＡＡ５０２内の画素の輝度の変化量（５０８、５０９、５１０）と、重畳エリアＡＡ５０２内の画素値とに基づいて重畳エリアＡＡ５０２内の各画素のＬＣ値５３３、５３４、５３５を算出する。その結果に基づいてフレームの画像を編集して表示し、ＳＳＶＥＰを誘発するための視覚刺激をユーザ１３０に呈示する。

なお、本変形例では、表示装置２０４は、図１６（ａ）に示すように、映像表示用のＬｉｑｕｉｄ Ｄｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）２２１（第一の表示デバイス）と、ＳＳＶＥＰ誘発用の視覚刺激調整用のＬＣＤ２２２（第二の表示デバイス）とを備える。すなわち、映像用のＬＣＤ２２１とＳＳＶＥＰ誘発のための視覚刺激を作成するための輝度調整用のＬＣＤ２２２との２重構成で表示装置２０４は、構成される。

本変形例では、まず初めに入力光を輝度調整用のＬＣＤ２２２に入光させ、視覚刺激用の輝度調整を行った後、輝度調整した入力光を映像用のＬＣＤ２２１に入力する。この場合、ユーザは、最終的に映像用のＬＣＤ２２１からの映像を見ることになる。これにより、輝度調整後の映像を見る（知覚する）。

なお、本変形例の表示部１０３ａの機能ブロックを図１６（ｂ）に示す。本変形例の表示部１０３ａは、ＳＳＶＥＰ誘発するための輝度調整を行うためのＬＣＤ２２２に対応する空間調光器１３１をさらに備える。空間調光器１３１は、操作Ｉ／Ｆ格納部１１６の結果（ＳＳＶＥＰ誘発のための刺激を作成するために必要な画素の位置情報や輝度の変化量など）に基づき、変調に必要なＲＢＧ値を算出して出力を調整する。

この空間調光器１３１は、入力光を出射する照明器１２６と映像用のＬＣＤ２２１に該当する表示デバイス部１２５との間に配置される。

なお、図１６（ｂ）では、空間調光器１３１を独立して示しているが、これに限定されない。照明器１２６あるいは表示デバイス部１２５の中に組み込まれてもよい。

また、ＳＳＶＥＰ誘発用の視覚刺激調整用のＬＣＤ２２２は、輝度だけではなく、色相や彩度も調整可能である。

なお、本変形例は、ボタン等のアイコンにより、視覚刺激信号を挿入する場合にも適用可能である。ボタン等のアイコンをＬＣＤ２２２に表示させる。

本変形例によれば、さらに、１つの追加色あるいは１つの追加機材（ＬＣＤ２２２）を用いて、輝度を調整する。このため演算が少なくて済み、高速に処理できる。

＜変形例３＞
なお、上記実施形態では、表示装置１０１の各機能は、１つのハードウェアで実現しているが、これに限定されない。各機能を複数のハードウェアに分散して、表示装置を実現してもよい。

上記実施形態とは異なる構成を、図１７に示す。図１７に示す表示装置１０１ａは、脳波Ｉ／Ｆ装置１４１と、制御装置１４３と、映像生成装置１４５と、表示装置１４６とを備える。

脳波Ｉ／Ｆ装置１４１は、脳波Ｉ／Ｆ部１０２と、通信部１４２とを備える。通信部１４２は、他装置、ここでは、制御装置１４３と通信（データの送受信）を行う。なお、脳波Ｉ／Ｆ部１０２の構成は、上記実施形態の同名の構成と同様である。

また、制御装置１４３は、制御部１１２と、記憶部１１０と、実行部１０９と、操作部１０７と、通信部１０５と、マイク／スピーカ１０４とを備える。各構成は、基本的に上記実施形態の同名の構成と同様の機能を実現する。ただし、通信部１０５は、脳波Ｉ／Ｆ装置１４１の通信部１４２と、映像生成装置１４５の通信部１５１と、表示装置１４６の通信部１６１とも、通信を行う。また、映像生成部１０６および表示部１０３は備えない。

映像生成装置１４５は、映像生成部１０６と、通信部１５１と、映像出力Ｉ／Ｆ部１５３と、映像生成制御部１５２とを備える。映像出力Ｉ／Ｆ部１５３は、表示装置１４６の映像入力Ｉ／Ｆ部１６３に接続され、映像および映像に関するデータの送受信を行う。映像生成制御部１５２は、映像生成装置１４５の全体および各コンポーネントの動作を制御する。

表示装置１４６は、表示部１０３と、通信部１６１と、表示制御部１６２と、映像入力Ｉ／Ｆ部１６３とを備える。表示制御部１６２は、表示装置１４６の全体および各コンポーネントの動作を制御する。なお、表示部１０３の構成は、上記実施形態の表示部１０３または１０３ａの構成と同様である。

各装置１４１、１４３、１４５、１４６は、それぞれ通信部１４２、１０５、１５１、１６１を介して連結され、１つのシステムとして動作する。

図１７に示すシステム構成において、脳波Ｉ／Ｆ装置１４１は、例えば、脳波計で実現できる。また、制御装置１４３は、例えば、ＰＣやスマートフォンで実現できる。映像生成装置１４５は、例えば、カメラで実現できる。また、表示装置１４６は、例えば、ディスプレイで実現できる。

脳波Ｉ／Ｆ装置１４１の機能判定部１１９による判定結果は、通信部１４２、１０５を介して制御装置１４３に送信される。そして、制御装置１４３では、受信した判定結果に基づいて、映像生成装置１４５や表示装置１４６を制御する。

本変形例のように、脳波Ｉ／Ｆ装置１４１、制御装置１４３、映像生成装置１４５、表示装置１４６を、それぞれ独立した装置とすることにより、ヘッドマウントディスプレイやヘッドアップディスプレイ、プロジェクタなどの製品にも、表示装置１０１を適用可能である。

＜変形例４＞
［ヘッドアップディスプレイシステム］
また、上記実施形態の表示装置を、ヘッドアップディスプレイシステム（ＨＵＤシステム）に適用する場合の構成例を図１８に示す。ＨＵＤシステム１０１ｂは、脳波Ｉ／Ｆ装置１４１と、映像装置１４７と、を備える。

脳波Ｉ／Ｆ装置１４１は、上記変形例３と同様の構成を有する。

映像装置１４７は、制御部１１２と、記憶部１１０と、実行部１０９と、操作部１０７と、映像生成部１０６と、通信部１０５と、マイク／スピーカ１０４と、表示部１０３とを備える。各構成は、基本的に上記実施形態の同名の構成と同様の機能を実現する。ただし、通信部１０５は、脳波Ｉ／Ｆ装置１４１の通信部１４２とも通信を行う。なお、表示部１０３は、上記実施形態の表示部１０３または１０３ａと同様の構成を有する。

このように、ＨＵＤシステム１０１ｂは、上記実施形態の表示装置１０１から、脳波Ｉ／Ｆ部１０２が独立した構成を有する。

ＨＵＤシステム１０１ｂの脳波Ｉ／Ｆ装置１４１は、例えば、ヘッドセットタイプの脳波計、非接触の脳波計を実装したヘッドレスト、手の皮膚表面から脳波を測定可能な技術を実装したステアリングホイール、腕時計タイプの脳波測定装置等により、実現される。

なお、非接触で脳波を計測可能なセンサには、電界からの電位検出する光電界センサ、磁界から電位を検出するＭａｇｎｅｔｏ Ｉｍｐｅｄａｎｃｅセンサ（以下ＭＩセンサ）などがある。これらの技術をヘッドレスト部分などに組み込むことで脳波Ｉ／Ｆ装置１４１とすることができる。この場合、脳波検出部１１３は、電極ではなく、光ファイバやＭＩセンサを使用する。

脳波Ｉ／Ｆ装置１４１の機能判定部１１９の判定結果は、通信部１４２、１０５を介して、映像装置１４７に送信される。

映像装置１４７の制御部１１２は、脳波Ｉ／Ｆ装置１４１から受信した判定結果に基づいて映像生成部１０６と表示部１０３とを制御する。

なお、脳波Ｉ／Ｆ装置１４１の機能判定部１１９の判定結果は、映像装置１４７の制御に限定されるわけではなく、通信機能をもつステアリグホイールや座席等の車内の他の機器と連携するために使用してもよい。

＜変形例５＞
［プロジェクタシステム］
また、上記実施形態の表示装置を、プロジェクタシステムに適用する場合の構成例を図１９に示す。プロジェクタシステム１０１ｃは、脳波Ｉ／Ｆ装置１４１と、制御装置１４８と、表示装置１４６と、を備える。

脳波Ｉ／Ｆ装置１４１および表示装置１４６は、上記変形例３と同様の構成を有する。

制御装置１４８は、制御部１１２と、記憶部１１０と、実行部１０９と、操作部１０７と、映像生成部１０６と、通信部１０５と、マイク／スピーカ１０４と、映像出力Ｉ／Ｆ部１５３と、を備える。各構成は、基本的に上記実施形態の同名の構成と同様の機能を実現する。

ただし、表示部１０３は備えない。また、通信部１０５は、脳波Ｉ／Ｆ装置１４１の通信部１４２および表示装置１４６の通信部１６１とも通信を行う。また、映像出力Ｉ／Ｆ部１５３は、表示装置１４６の映像入力Ｉ／Ｆ部１６３に接続され、映像および映像に関するデータの送受信を行う。

このように、プロジェクタシステム１０１ｃは、上記実施形態の表示装置１０１から、脳波Ｉ／Ｆ部１０２および表示部１０３が独立した構成を有する。

プロジェクタシステム１０１ｃの脳波Ｉ／Ｆ装置１４１は、例えば、ヘッドセットタイプの脳波計、手から脳波を検出する腕時計タイプの脳波計、椅子やソファーなどのヘッドレストタイプの脳波計等により、実現される。

プロジェクタシステム１０１ｃの制御装置１４８は、例えばＰＣやスマートフォン等で実現される。また、プロジェクタシステム１０１ｃの表示装置１４６は、プロジェクタで実現される。

なお、表示装置１４６を実現するプロジェクタは、演算部１２４を持たなくてもよい。この場合、制御装置１４８が、代わりに演算部１２４を備えるよう構成する。

＜＜第二の実施形態＞＞
次に、本発明を適用する第二の実施形態を説明する。本実施形態においても、第一の実施形態同様、視覚刺激信号を表示する。第一の実施形態では、当該映像フレームを見たユーザ１３０の脳波の検出結果を用いて操作指示を行う。一方、本実施形態では、検出結果を、ユーザ１３０がオブジェクトを注視したか否かの判断に用いる。

本実施形態の概要を、図２０（ａ）および図２０（ｂ）を用いて説明する。ここでは、図１８に示すヘッドアップディスプレイ（以下ＨＵＤ）システム１０１ｂを用いる場合を例にあげて説明する。

夜間や悪天候時に運転者に見えにくいオブジェクト５４１がある。たとえば、道路上を横切る人、車、障害物等である。このようなオブジェクト５４１を撮像した二次元あるいは三次元の画像を解析し、車に装備するＨＵＤにおいて強調表示する技術がある。撮像は、例えば、車載の可視光カメラ、遠赤外カメラ、ステレオカメラ等によって行われる。また、オブジェクトは、例えば、動体検出プログラム（動体検出部）等により検出される。

本実施形態では、図２０（ａ）に示すように、強調表示として、ＨＵＤの表示デバイス部１２５上に、マーカ５４２を表示するとともに、この強調表示部分（マーカ５４２）に、視覚刺激信号を重畳する。マーカ５４２の表示位置は、透過性の表示デバイス部１２５上の、ユーザ１３０がオブジェクト５４１の実像を見る領域（以下、オブジェクト５４１の実像に対応する領域と呼ぶ。）の近傍とする。ここでは、検出された道路横断中の高齢者（オブジェクト５４１）の実像の足元に対応する領域に、半円形の図形（強調表示用のマーカ５４２）を重畳する例を示す。なお、視覚刺激信号は、第一の実施形態の手法を用いて重畳する。ユーザが認識する映像の例を図２０（ｂ）に示す。

本実施形態のＨＵＤシステム１０１ｂの構成は、基本的に第一の実施形態と同様の構成を有する。ただし、本実施形態では、記憶部１１０が、動体検出プログラムを備える。また、機能判定部１１９は、操作Ｉ／Ｆ格納部１１６も参照する。

本実施形態では、操作Ｉ／Ｆテーブル６２０に、周波数６２３と、形状、サイズ６２４と、使用色１（６２６）と、使用色２（６２７）と、重畳色６２８と、マーカ表示位置として、検出された動体に対する相対位置であるエリア６２５とが、予め、登録される。

ただし、本実施形態では、マーカ５４２の表示位置がフレーム毎に変化する。このため、本実施形態の操作Ｉ／Ｆ作成部１１５は、映像生成部１０６が映像フレームを生成する毎に、動体検出プログラムにて動体としてオブジェクト５４１を検出し、エリア６２５を登録する。なお、動体が複数ある場合は、異なる周波数６２３に対応づけて、それぞれ、登録する。また、映像フレーム毎に、同一の動体と考えられるものに対しては、同一の周波数６２３に対応づけて、エリア６２５を登録する。

演算部１２４は、映像生成部１０６が映像フレームを生成し、操作Ｉ／Ｆ作成部１１５が、操作Ｉ／Ｆテーブル６２０のエリア６２５を登録し、重畳色６２８を決定する毎に、操作Ｉ／Ｆテーブル６２０に従って、表示フレームを生成する。

なお、本実施形態では、マッピングテーブル６０１および機能テーブル６１０は、備えなくてもよい。

例えば、動体が複数検出された場合、脳波Ｉ／Ｆ装置１４１の機能判定部１１９は、ＳＳＶＥＰ用の周波数が検出されると、操作Ｉ／Ｆ格納部１１６の操作Ｉ／Ｆテーブル６２０を参照し、検出したＳＳＶＥＰ用の周波数に対応するレコードの有無を判定する。

なお、本実施形態では、脳波Ｉ／Ｆ装置１４１として、脳波検出部１１３に、例えば、磁気センサや光電界センサを用いたヘッドレスト、手の表面から脳波測定するセンサを用いたステアリングホイール、植毛などのインプラント形態のセンサ等を用いたモバイル機器等を使用する。

次に、本実施形態のＨＵＤシステム１０１ｂにおける注意喚起処理の流れを説明する。図２２は、本実施形態の注意喚起処理フローである。以下の処理は、映像生成部１０６が、映像フレームを生成する毎に行われる。

映像装置１４７は、視野内のオブジェクト５４１を検出する（ステップＳ４１０１）。オブジェクト５４１は、路上周辺で動きのあるもの、障害となるオブジェクト５４１（例えば樹木の一部）などである。

次に、脳波Ｉ／Ｆ装置１４１と映像装置１４７とにより、ＨＵＤの表示デバイス部１２５上の、検出したオブジェクト５４１の近傍に特定周波数の視覚刺激信号が重畳される（ステップＳ４１０２）。上述のように、脳波Ｉ／Ｆ装置１４１の操作Ｉ／Ｆ作成部１１５が、操作Ｉ／Ｆテーブル６２０を作成する。そして、それに従って、演算部１２４が、表示フレームを生成する。これにより、表示デバイス部１２５上の、検出したオブジェクト５４１の近傍に当該マーカが表示されるとともに、当該マーカに特定周波数の視覚刺激信号が重畳される。

脳波Ｉ／Ｆ装置１４１は、脳波を測定する（ステップＳ４１０３）と、分析を行う（ステップＳ４１１０４）。そして、機能判定部１１９は、操作Ｉ／Ｆテーブル６２０を参照し、重畳した特定周波数が、ＳＳＶＥＰ用の周波数として検出されたか否かを判別する（ステップＳ４１０５）。

検出されていない場合は、映像装置１４７は、警告を出力する（ステップＳ４１０６）。警告は、例えば、マイク／スピーカ１０４を使用して音声で出力する。そして、映像装置１４７は、処理経過を、ドライブログとして、映像装置１４７の記憶部１１０に記録し（ステップ４１０７）、処理を終了する。

なお、ステップＳ４１０５で検出されている場合、そのままステップＳ４１０７へ移行する。

また、操作Ｉ／Ｆテーブル６２０に、複数のレコードが登録されている場合は、ステップＳ４１０５、ステップＳ４１０６の処理を、レコードの数分、繰り返す。

また、上記実施形態では、表示デバイス部１２５上の、検出したオブジェクト５４１の実像の近傍となる位置に、注意喚起のマーカ５４２を挿入し、そのマーカ５４２に視覚刺激信号を重畳する場合を例にあげて説明した。しかしながら、この手法に限定されない。例えば、表示デバイス部１２５上の、抽出したオブジェクト５４１の実像に対応する領域に、マーカを表示し、そのマーカに視覚刺激信号を重畳してもよい。重畳手法は、第一の実施形態と同様とする。

この場合の表示例を、図２１（ａ）および図２１（ｂ）に示す。本図に示すように、表示デバイス部１２５上の、オブジェクト５４１に対応する領域にオブジェクト像５４３を配置し、当該オブジェクト像５４３に視覚刺激信号を重畳する。この場合も、第一の実施形態同様、操作Ｉ／Ｆ作成部１１５が、フレーム毎に、動体検出プログラムにて動体としてオブジェクト５４１を検出し、操作Ｉ／Ｆテーブル６３０を完成させる。そして、演算部１２４が、操作Ｉ／Ｆテーブル６３０に従って、表示フレームを生成する。

また、第一の実施形態同様、映像生成部１０６が生成した映像フレーム上にマーカ５４２を挿入してもよい。また、映像フレーム上のオブジェクト５４１の画像（オブジェクト像５４３）上に、視覚刺激信号を重畳してもよい。

また、本実施形態においては、視覚刺激信号の重畳方法を選択可能に構成してもよい。例えば、目的、ユーザの年齢、状況に応じて、選択可能とする。また、注意喚起用マーカの表示／非表示を切り替え可能に構成してもよい。

例えば、高齢者が運転している場合、あるいは長時間運転している場合には、注意力の低下が見込まれる。従って、このような状況では、ユーザの指示に従って、注意喚起用のマーカを付与する。また、記録したドライブログから、ユーザの注意の継続性や、注意が散漫になるような状況を学習できるように構成してもよい。そして、この学習結果に応じて、自動的に注意喚起用のマーカの表示／非表示を切り替えるよう構成してもよい。

このように、本実施形態では、検出された動体に対して、予め設定された位置（例えば、動体の直下、真上等）に、予め設定したマーカ用の図形（アイコン）等を挿入する。そして、当該マーカの表示色を、予め定めた２色の間で周期的に変化させることにより、視覚刺激信号を実現する。

本実施形態は、このような構成を有するため、運転者が、この半円形の強調表示のマーカ５４２を注視すると、脳波Ｉ／Ｆ装置１４１により重畳された周波数が検出される。これにより、運転者がこの強調表示部分を認知、すなわち注意を払っているかを把握できる。

本実施形態によれば、ＨＵＤ上のオブジェクト５４１の近傍に、ＳＳＶＥＰ誘発信号を表示することにより、運転者がオブジェクト５４１を注視しているかを確認でき、注視していない場合、警告を与えることができる。

なお、本実施形態では、ＨＵＤを例にマーカの重畳方法について説明した。しかしながら、第一の実施形態におけるＡＲ装置やＭＲ装置においても同様に、現実世界に本実施形態のマーカの重畳方法を適用し、マーカに視覚刺激信号を重畳することができる。具体的には、図５の重畳エリアＡＡ５０２をマーカにしてそのマーカに視覚刺激を重畳できる。この場合は、実世界中の特定オブジェクトに重なるようにマーカが表示される。

＜＜第三の実施形態＞＞
次に、本発明の第三の実施形態を説明する。本実施形態では、脳波Ｉ／Ｆとして、上記各実施形態で説明したＳＳＶＥＰを活用した方式に加え、事象関連脱同期（ＥＲＤ：Ｅｖｅｎｔ Ｒｅｌａｔｅｄ Ｄｅ－ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）方式を併用する。

ＥＲＤは、所定の周波数成分が、事象の前後で減少する現象のことをいう。ＥＲＤ方式では、ＥＲＤという脳波の特徴により、体の動作あるいは動作イメージの種類を検出する。ＥＲＤが発生した脳の部位（主に運動野付近）を特定することにより、当該運動野が司る身体部位の動作あるいは動作イメージがなされた、と判定できる。動作あるいは動作イメージによりＥＲＤが検出される身体部位は、左手、右手、足などである。

分析の対象となる周波数は、たとえば、μ波（８～１２Ｈｚ）やβ波（１８～２５Ｈｚ）である。ただし、これらの周波数に限定されるわけではない。以下、本実施形態では、μ波を例に説明する。

例えば、ユーザが右手を動作させることをイメージした場合、右手に関連する運動野（頭頂部左側の運動野）で測定した脳波をフーリエ変換すると、μ波（８～１２Ｈｚ）の周波数の電位の大きさが、運動あるいは運動イメージ直後に減少する。この現象はたとえば、リラクゼーション時の脳波と比較することによって検出可能である。同様にして、左手の動作あるいは動作イメージ想起時の電位の変化が検出できる。

ＳＳＶＥＰ方式では視覚刺激信号を表示するための表示装置が必要である。しかしながら、ＥＲＤ方式では、体の動作のみ、あるいは、動作をイメージするだけでよいため、脳波による制御を実現するために脳波Ｉ／Ｆ装置以外の装置を必要としない。また、動作イメージだけでも操作できるので、操作時の制約が少ない。

以下、本実施形態では、上述のように、ＳＳＶＥＰ方式とＥＲＤ方式とを併用する場合を例にあげて説明する。

本実施形態の表示装置（ＡＲ装置）は、基本的に第一の実施形態の表示装置１０１と同様の構成を有する。ただし、上述のように、ＳＳＶＥＰだけでなく、ＥＲＤも併用する。このため、脳波分析部１１４ａの構成が異なる。また、マッピング部１１７や操作Ｉ／Ｆ作成部１１５が作成し、対応する格納部に保持するテーブルも異なる。さらに、機能判定部１１９の処理も異なる。以下、第一の実施形態と異なる構成に主眼をおいて説明する。

まず、本実施形態の脳波分析部１１４ａの構成を説明する。図２３は、本実施形態の脳波分析部１１４ａの機能ブロック図である。本図に示すように、本実施形態の脳波分析部１１４ａは、第一の実施形態の各構成に加え、ＥＲＤ検出部１７１をさらに備える。

ＥＲＤ検出部１７１は、脳波検出部１１３が検出し、前処理部１２１を経て特徴抽出部１２２が抽出した特徴量を分析し、μ波の電位が減少した脳の部位（主に運動野付近）を特定する。そして、ユーザが身体のどの部位を動作させたか、あるいは身体のどの部位を動かすことをイメージしたかを検出する。そして、検出結果として、当該部位の動作あるいは動作イメージ実施を検出したことを出力する。ここでは、なお、ＥＲＤ検出部１７１は、脳波検出部１１３から脳波が検出されている間、リアルタイムに周波数の変化を分析する。

なお、ＥＲＤ検出部１７１が上記分析を行うため、複数箇所の電極から脳波を検出する。特に、前記周波数の変化を検出するのに適した電極の設置場所は、頭頂部付近の運動野（左脳から右脳わたる広範囲の領域）である。身体の部位によって電位に変化の出る場所が異なるため（例えば右手の動作は、左脳の運動野、左手の動作は右脳の運動野付近となる）、電極は運動野全般に配置する必要がある。ここで、全般とは、左脳だけ、右脳だけというように一部の領域に偏らないという意味である。なお、前記周波数の変化を検出するための電極の設置場所は頭頂部付近の運動野に限定されるわけではない。

また、マッピング部１１７が生成するテーブル、および、機能判定部１１９の処理の違いについて、以下の実例に沿って説明する。

ＳＳＶＥＰ方式とＥＲＤ方式とによる制御の実例を、図２４を用いて説明する。ここでは、検出用の電極を、登頂部の３箇所（８１５、８１６、８１７）と、後頭部８１４とに配置する場合を例にあげて説明する。

ここでは、ＥＲＤ方式による制御により、ＳＳＶＥＰ方式のモードをＯＮ／ＯＦＦする場合の例を示す。すなわち、左手による実際の動作、あるいは、動作イメージ８１８をＥＲＤにより検出し、表示装置１０１の画面上に、ＳＳＶＥＰ用の視覚刺激信号を表示（ＳＳＶＥＰ ＯＮ）／非表示（ＳＳＥＶＰ ＯＦＦ）する場合の例である。

具体的には、表示装置１０１の画面上に、ＳＳＶＥＰ用の視覚刺激信号が表示されている状態（ＳＳＶＥＰ機能ＯＮ）８１１で、ユーザが左手を動作させた場合あるいは動作イメージを想起した場合は、ＳＳＶＥＰ用の視覚刺激信号を非表示（ＳＳＶＥＰ機能ＯＦＦ）８１２にする。また、ＳＳＶＥＰ機能ＯＦＦ８１２の状態で、ユーザが左手を動作させた場合あるいは動作イメージを想起した場合は、ＳＳＶＥＰ機能ＯＮ８１１にする。

ここでは、機能判定部１１９は、上述のように、脳波分析部１１４で分析した結果に基づき、機能テーブルを参照し、ユーザにより選択された機能を判定する。ここでは、機能判定部１１９は、ＳＳＶＥＰ機能ＯＦＦ８１２の状態でＥＲＤ検出部１７１から左手の動き有りとの出力を受け取ると、ユーザにより選択された機能は、ＳＳＶＥＰ機能をＯＮにするものであると判定する。一方、ＳＳＶＥＰ機能ＯＮ８１１の状態で、ＥＲＤ検出部１７１から左手の動き有りとの出力を受け取ると、ユーザにより選択された機能は、ＳＳＶＥＰ機能をＯＦＦにするものであると判定する。

これを実現するため、マッピング部１１７は、ＥＲＤ用のマッピングテーブル６４０、機能テーブル６５０を、操作Ｉ／Ｆ作成部１１５は、モード管理テーブル６６０を、作成する。これらの一例を、それぞれ、図２５（ａ）、図２５（ｂ）、図２５（ｃ）に示す。

図２５（ａ）に示すように、本実施形態では、ＥＲＤ用のマッピングテーブル６４０には、例えば、機能ＩＤ６４３に対応づけて、ＥＲＤ＿ＩＤ６４４が登録される。マッピングテーブル６４０は、初期設定時に、ユーザが、操作部１０７を介して、制御部１１２、脳波制御部１２０、マッピング部１１７を制御することによって、マッピングデータ格納部１１８に保存する。

また、ＥＲＤ用の機能テーブル６５０には、図２５（ｂ）に示すように、各機能ＩＤ６４３の、機能名６５３と、機能概要６５４とが登録される。なお、ＥＲＤ用の機能テーブル６５０は、アプリケーションごとに用意されている機能を、脳波制御部１２０が受け取り、マッピング部１１７に指示を出して作成し、マッピングデータ格納部１１８に登録する。

ＥＲＤ用のモード管理テーブル６６０は、ＳＳＶＥＰ方式などの制御方式のＯＮ、ＯＦＦ状態を管理する。このため、モード管理テーブル６６０には、図２５（ｃ）に示すように、各ＥＲＤ＿ＩＤ６４４の、モード種類６６３と状態６６４とが登録される。モード管理テーブル６６０は、脳波制御部１２０の指示により操作Ｉ／Ｆ作成部１１５が作成し、操作Ｉ／Ｆ格納部１１６に登録する。状態６６４には、ＯＮとＯＦＦの状態があり、それぞれ、例えば、１、０が割り当てられる。

本実施形態の機能判定部１１９は、まず、ＥＲＤ検出部１７１から、ＥＲＤを検出した部位の情報を受け取ると、ＥＲＤ用のマッピングテーブル６４０にアクセスし、当該部位の情報を示すＥＲＤ＿ＩＤ６４４に対応づけられている機能ＩＤ６４３を特定する。そして、その後、機能テーブル６５０にアクセスし、当該機能ＩＤ６４３に対応づけられている機能を特定する。また、併せてＥＲＤ用のモード管理テーブル６６０にアクセスし、ＥＲＤ＿ＩＤ６４４から状態６６４を抽出し、行う処理を決定する。

次に、ＳＳＶＥＰ方式の脳波制御にＥＲＤ方式による制御を追加して、ＳＳＶＥＰ方式のモードをＯＮ／ＯＦＦする場合の処理の流れを説明する。図２６は、図２４で説明した操作を実行する場合の処理のフローである。すなわち、左手の動作あるいは、動作イメージにより、ＳＳＶＥＰ用の視覚刺激を表示（ＯＮ）／非表示（ＯＦＦ）する。また、それ以外の運動や運動イメージには機能が割り当てられていない。

なお、右頭部の運動野のμ波帯の電位が減少した場合、左手の動作あるいは動作イメージが実行されたと判定され、左頭部の運動野のμ波帯の電位が減少した場合、右手の動作あるいは動作イメージが実行されたと判定される。

ＥＲＤ検出部１７１は、運動野の複数の電極（８１４、８１５、８１６、８１７）で測定した脳波を、それぞれ、フーリエ変換し、μ波を検出する（ステップＳ５１０１）。

なお、図２４の表示装置１０１では、右側と中央の電極のみ図示しているが、左側にも同様に電極８１７を備える。これにより、右側の脳の電位が変化したのか、左側の脳の電位が変化したのかがわかる。

次に、ＥＲＤ検出部１７１は、左手に対応する運動野の電極８１５で測定した脳波のμ波が低下しているかを調べ（ステップＳ５１０２）、低下していれば左手の動作あるいは動作イメージを実行したものと判定する。ここでは、マッピングテーブル６４０のＥＲＤ＿ＩＤ６４４を、機能判定部１１９に伝達する。

機能判定部１１９は、ＥＲＤ＿ＩＤ６４４を、脳波制御部１２０に伝達する。また、機能テーブル６５０を参照して、ＥＲＤ＿ＩＤ６４４に対応する機能名や機能の概要を調べ、対応機能を特定しその結果を脳波制御部１２０に送信する（ステップＳ５１０３）。また、脳波制御部１２０は、受け取ったＥＲＤ＿ＩＤ６４４に基づき、モード管理テーブル６６０を参照し、状態６６４がＯＮであるか否かを判別する（ステップＳ５１０４）。

ここで、状態６６４がＯＮである場合、脳波制御部１２０は、ＳＳＶＥＰ機能をＯＦＦし（ステップＳ５１０５）、モード管理テーブル６６０の状態６６４に０を設定し（ステップＳ５１０６）、処理を終了する。

一方、ステップＳ５１０４において、状態６６４がＯＦＦの場合、脳波制御部１２０は、ＳＳＶＥＰ機能をＯＮし（ステップＳ５１０７）、状態６６４に１を設定し（ステップＳ５１０８）、処理を終了する。

また、ステップＳ５１０２において、左手に対応する運動野の電極８１５で測定した脳波のμ波が低下していない場合、ＥＲＤ検出部１７１は、右手に対応する運動野の電極８１５で測定した脳波のμ波が低下しているか調べ（ステップＳ５１０９）、その結果を、機能判定部１１９に伝達する。

機能判定部１１９は、対応するマッピングテーブル６４０のＥＲＤ＿ＩＤ６４４を脳波制御部１２０に伝達する。また、機能テーブル６５０を参照して、ＥＲＤ＿ＩＤ６４４に対応する機能名や機能の概要を調べ、対応機能を特定しその結果を脳波制御部１２０に送信する（ステップＳ５１１０）。その結果、対応する機能が割り当てられていないため、脳波制御部１２０は、操作ミスメッセージを表示部１０３に表示するよう指示を行う。表示部１０３は、それを受け、操作ミスメッセージを出力し（ステップＳ５１１１）、処理を終了する。

なお、ステップＳ５１０９で、右手に対応する運動野の電極８１７で測定した脳波のμ波が低下していなければ、ステップＳ５１０１に戻り、処理を繰り返す。

なお、本処理フローでは、左手の動作や動作イメージにモードＯＮ／ＯＦＦ機能を割り当てているが、右手の動作や右手の動作イメージに割り当てることも可能である。また、右手と左手の動作あるいは動作イメージにそれぞれ異なる機能を割り当てることも可能である。

また、ＥＲＤによる操作として、ＳＳＶＥＰのＯＮ／ＯＦＦを割り当てているが、これに限定されない。例えば、表示装置１０１の電源のＯＮ／ＯＦＦに使用してもよい。また、複数のＩ／Ｆが用意されている場合、Ｉ／Ｆの切り替えに用いてもよい。

以上説明したように、本実施形態によれば、ＥＲＤ方式を併用するため、手足を動作させたり、手足の動作をイメージしたりすることで、ＳＳＶＥＰモードのＯＮ／ＯＦＦだけではなく、表示装置の電源のＯＮ／ＯＦＦ、Ｉ／Ｆの切り替えなどの操作制御ができる。これによりＳＳＶＥＰ方式が機能していない状態における表示装置の、脳波による制御が可能となる。

なお、本実施形態では、ＥＲＤ方式を併用する場合を例にあげて説明したが、これに限定されない。例えば、さらに事象関連同期（ＥＲＳ）を利用するＥＲＳ方式を併用してもよい。また、ＥＲＤ方式の代わりにＥＲＳ方式を併用してもよい。

＜変形例＞
なお、上記各実施形態では、ＡＲ装置（表示装置）の操作部１０７の操作Ｉ／Ｆとして、ＳＳＶＥＰやＥＲＤ等の脳波を用いたＩ／Ｆを利用する場合を例にあげて説明したが、表示装置の操作Ｉ／Ｆの種類は、１つに限定されない。例えば、複数種類のＩ／Ｆを備え、ユーザにより選択可能に構成してもよい。

以下では、脳波を用いたＩ／Ｆ（脳波インタフェース）と、ジェスチャインタフェース（ジェスチャＩ／Ｆ）と、音声インタフェース（音声Ｉ／Ｆ）と、を備える表示装置を例にあげて、ユーザによるＩ／Ｆの選択を受け付けた場合のＩ／Ｆ設定処理を説明する。

この場合、表示装置は、例えば、図１８に示すＨＵＤシステム１０１ｂのように、映像装置１４７と、脳波Ｉ／Ｆ装置１４１と、を備える。さらに、ジェスチャＩＦを実現するジェスチャＩ／Ｆ装置と、音声Ｉ／Ｆを実現する音声Ｉ／Ｆ装置と、を備える。また、映像装置１４７の制御部１１２は、Ｉ／Ｆの選択を受け付ける受付部として機能する。そして、制御部１１２は、選択されたＩ／Ｆを操作部１０７として設定する設定部として機能する。ここでは、選択されたインタフェースを有効にする。すなわち、選択されたＩ／Ｆからの指示のみを受け付ける。

なお、制御部１１２は、例えば、表示部１０３に、選択可能なＩ／Ｆ種を表示し、当該表示を介してユーザからの選択を受け付けるよう構成してもよい。

以下、図２７に従って、Ｉ／Ｆ設定処理の流れを説明する。

制御部１１２は、表示部１０３に、選択可能なＩ／Ｆ種を表示し、操作部１０７を介したユーザからの選択指示を待つ。

制御部１１２は、脳波Ｉ／Ｆが選択されたか否かを判別し（ステップＳ６１０１）、選択された場合、脳波Ｉ／Ｆを、操作部１０７として設定し（ステップＳ６１０２）、処理を終了する。ここでは、脳波Ｉ／Ｆからの指示のみを操作指示として受け付けるよう設定する。例えば、他のＩ／Ｆ装置の通信部からのデータを受け付けない。

次に、制御部１１２は、脳波Ｉ／Ｆが選択されない場合、ジェスチャＩ／Ｆが選択されたか否かを判別し（ステップＳ６１０３）、選択された場合、ジェスチャＩ／Ｆを、操作部１０７として設定し（ステップＳ６１０４）、処理を終了する。

次に、制御部１１２は、ステップＳ６１０３において、ジェスチャＩ／Ｆが選択されない場合、音声Ｉ／Ｆが選択されたか否かを判別し（ステップＳ６１０５）、選択された場合、音声Ｉ／Ｆを、操作部１０７として設定し（ステップＳ６１０６）、処理を終了する。

ステップＳ６１０５において、音声Ｉ／Ｆが選択されない場合、制御部１１２は、設定可能なＩ／Ｆがないことをユーザに通知し、ステップＳ６１０１に戻り、処理を繰り返す。

なお、上記例では、ステップＳ６１０２、Ｓ６１０４、Ｓ６０１６において、それぞれのインタフェースを設定した後に処理を終了している。しかしながら、これに限定されない。例えば、Ｓ６１０２の後にＳ６１０３に、Ｓ６１０４の後にＳ６０１５に、それぞれ戻り、複数種類のＩ／Ｆを設定するよう構成してもよい。

複数種類のＩ／Ｆを設定可能に構成する場合、ユーザは複数のＩ／Ｆを同時に利用する可能性があるため、操作に対する各インタフェースの優先度を設定しておく。

また、上記Ｉ／Ｆの選択は、基本的に初期設定時に行う。しかしながら、Ｉ／Ｆを、機器の使用中に変更可能に構成してもよい。このように構成することで、例えば、ユーザは、使用環境によってＩ／Ｆを変更できる。例えば、乗り物の中などの公共の場所では、脳波Ｉ／Ｆを選択し、自宅に一人でいる場合には、音声Ｉ／Ｆを選択し、オフィス等の限られた空間では、ジェスチャＩ／Ｆを選択する。例えば、Ｉ／Ｆ変更指示を受け付けるボタンを表示装置に配置し、当該ボタンを介して選択指示を受け付ける。

また、これらのＩ／Ｆの選択を自動で行うよう構成してもよい。ユーザのいる空間は、例えば、空間ごとに設置されているセンサで取得した信号等を用いて判別する。

なお、上記各実施形態は、主にＡＲ装置を例に説明しているが、本発明の適用先は、ＡＲ装置に限定されない。例えば、ＶＲ装置、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、ＭＲ）装置等にも同様に適用可能である。

１０１：表示装置、１０１ａ：表示装置、１０１ｂ：ヘッドアップディスプレイシステム、１０１ｃ：プロジェクタシステム、１０２：脳波Ｉ／Ｆ部、１０３：表示部、１０３ａ：表示部、１０４：マイク／スピーカ、１０５：通信部、１０６：映像生成部、１０７：操作部、１０９：実行部、１１０：記憶部、１１２：制御部、１１３：脳波検出部、１１４：脳波分析部、１１４ａ：脳波分析部、１１５：操作Ｉ／Ｆ作成部、１１６：操作Ｉ／Ｆ格納部、１１７：マッピング部、１１８：マッピングデータ格納部、１１９：機能判定部、１２０：脳波制御部、１２１：前処理部、１２２：特徴抽出部、１２３：視線周波数検出部、１２４：演算部、１２５：表示デバイス部、１２６：照明器、１２７：投射レンズ、１３０：ユーザ、１３１：空間調光器、１４１：脳波Ｉ／Ｆ装置、１４２：通信部、１４３：制御装置、１４５：映像生成装置、１４６：表示装置、１４７：映像装置、１４８：制御装置、１５１：通信部、１５２：映像生成制御部、１５３：映像出力Ｉ／Ｆ部、１５５：操作Ｉ／Ｆ作成部、１６１：通信部、１６２：表示制御部、１６３：映像入力Ｉ／Ｆ部、１７１：ＥＲＤ検出部、
２０２：ＣＰＵ、２０３：脳波計、２０４：表示装置、２０５：カメラ、２０６：マイク／スピーカ、２０８：記憶装置、２０９：ＲＡＭ、２１１：通信モジュール、２１２：入力Ｉ／Ｆ、２１３：操作装置、２１４：システムバス、２２１：ＬＣＤ、２２２：ＬＣＤ、
３０１：ＡＲ装置、３０２：バンド部分、３０３、３０４：テンプル部分、３０５～３１１：電極、３１２、３１３：メガネレンズ部分、３１４：フレーム本体、
４０１：ボタンＡ、４０２：色１、４０３：色２、４０４：中間色、４０５：実線、
５０１：計器、５０２：重畳エリアＡＡ、５０３：グラフ、５０４：周波数曲線、５０５～５０７：ＲＧＢ値、５１１：元のＲＧＢ値、５１２：変化量、５３３～５３５：ＬＣ値、５４１：オブジェクト、５４２：マーカ、５４３：オブジェクト像
６０１：マッピングテーブル、６０２：識別番号、６０３：機能ＩＤ、６０４：ＳＳＶＥＰ＿ＩＤ、６１０：機能テーブル、６１３：機能名、６１４：機能概要、６１５：重畳フラグ、６１６：オブジェクトＩＤ、６２０：操作Ｉ／Ｆテーブル、６２３：周波数、６２４：形状、サイズ、６２５：エリア、６２６：使用色１、６２７：使用色２、６２８：重畳色、６３０：操作Ｉ／Ｆテーブル、６３１：周波数、６３２：形状、６３３：挿入エリア、６３４：オリジナル色、６３５：重畳時の色、６４０：マッピングテーブル、６４３：機能ＩＤ、６４４：ＥＲＤ＿ＩＤ、６５０：機能テーブル、６５３：機能名、６５４：機能概要、６６０：モード管理テーブル、６６３：モード種類、６６４：状態、６７０：オブジェクトテーブル、６７２：オブジェクト、６８０：オブジェクトテーブル、６８２：オブジェクト、
７１１：エリアＢ、７１２：エリアＣ、７１３：エリアＤ、７１４：エリアＥ、７２１：テンキー、７２２：数値入力ボタン、７２３：数値入力ボタン、７２４：数値入力ボタン、７２５：数値入力ボタン、７２６：数値入力ボタン、７２７：数値入力ボタン、７２８：数値入力ボタン、７２９：数値入力ボタン、７３０：数値入力ボタン、７３１：数値入力ボタン、７３２：数字表示パッド、７３３：リターンキーボタン、７３４：クリアボタン、
８１１：ＳＳＶＥＰ機能ＯＮ、８１２：ＳＳＶＥＰ機能ＯＦＦ、８１４：後頭部、８１５：電極、８１６：電極、８１７：電極、８１８：動作イメージ

Claims (12)

1. 視覚刺激信号の周波数に応じた周波数を有する脳波信号を検出し、機器の制御を行う脳波インタフェース装置であって、
   取得した各映像フレームの、ユーザが視認するオブジェクト上の予め定めた領域である操作領域に、特定の周波数である特定周波数を割り当て、前記特定周波数の逆数の周期で、前記操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する前記視覚刺激信号を作成する操作インタフェース作成部と、
   前記特定周波数を有する前記視覚刺激信号または前記特定周波数を有する前記視覚刺激信号を含む映像データを表示デバイスに出力する演算部と、
   前記特定周波数に、制御指示を対応づけて保持する対応データベースと、
   検出した脳波信号から前記特定周波数を抽出する脳波分析部と、
   抽出した前記特定周波数に対応する前記制御指示を前記対応データベースから取得し、当該制御指示に従って制御を行う制御部と、を備え、
   前記所定手法は、前記操作領域に対応する領域の、前記視覚刺激信号を作成前の画素の前記色情報の値である元色情報値を、予め定めた範囲で変化させる手法であり、
   前記対応データベースでは、前記特定周波数の中で、臨界融合周波数以上の周波数が割当周波数として前記制御指示に優先的に割り当てられ、当該割当周波数の中では、小さい周波数から優先的に使用頻度の高い機能の前記制御指示に割り当てられること
   を特徴とする脳波インタフェース装置。
2. 請求項１記載の脳波インタフェース装置であって、
   前記所定手法では、
   前記映像フレームの前記操作領域に対応する領域の前記色情報の値として、前記元色情報値と、前記元色情報値に予め定めた変化量を加えた値とを、前記特定周波数に２を乗じた周波数の逆数である周期で交互に設定し、
   当該周期の間の前記映像フレームについては、
   前記操作領域に対応する領域の前記色情報の値として、前記元色情報値に前記変化量未満の値を加えた値を設定すること
   を特徴とする脳波インタフェース装置。
3. 請求項１記載の脳波インタフェース装置であって、
   前記演算部は、各前記映像フレーム上の前記操作領域に前記視覚刺激信号を出力すること
   を特徴とする脳波インタフェース装置。
4. 請求項１記載の脳波インタフェース装置であって、
   前記演算部は、前記表示デバイス上の、前記各映像フレームの前記操作領域に対応する領域に前記視覚刺激信号を出力すること
   を特徴とする脳波インタフェース装置。
5. 請求項１記載の脳波インタフェース装置であって、
   前記色情報は輝度値であり、
   前記操作インタフェース作成部は、ＲＧＢ値を変化させることにより、前記操作領域に対応する領域の前記輝度値を変化させること
   を特徴とする脳波インタフェース装置。
6. 請求項１記載の脳波インタフェース装置であって、
   前記色情報は輝度値であり、
   前記操作インタフェース作成部は、ＲＧＢ値は維持し、新たな輝度用色を変化させることにより、前記操作領域に対応する領域の前記輝度値を変化させること
   を特徴とする脳波インタフェース装置。
7. 請求項１記載の脳波インタフェース装置であって、
   前記表示デバイスの、ユーザと反対側に第二の表示デバイスを備え、
   前記操作インタフェース作成部は、前記第二の表示デバイスの前記操作領域に対応する領域の前記色情報を変化させること
   を特徴とする脳波インタフェース装置。
8. 請求項１記載の脳波インタフェース装置であって、
   前記各映像フレームから動体を検出する動体検出部をさらに備え、
   前記操作領域は、検出された前記動体に対する相対位置で定められること
   を特徴とする脳波インタフェース装置。
9. 請求項１記載の脳波インタフェース装置であって、
   前記制御部は、前記脳波分析部が前記特定周波数を抽出しない場合、警告を出力すること
   を特徴とする脳波インタフェース装置。
10. 請求項１記載の脳波インタフェース装置と、
    前記各映像フレームを取得するカメラと、を備え、
    前記視覚刺激信号に基づいて、拡張現実、仮想現実、および／または複合現実表示を行うこと
    を特徴とする表示装置。
11. 請求項１記載の脳波インタフェース装置を備えるヘッドアップディスプレイシステム。
12. 請求項１記載の脳波インタフェース装置を備えるプロジェクタシステム。

Images