JP3949469B2

JP3949469B2 - 脳波信号を用いた制御装置及び制御方法

Info

Publication number: JP3949469B2
Application number: JP2002046617A
Authority: JP
Inventors: 達巳陰山
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-02-22
Filing date: 2002-02-22
Publication date: 2007-07-25
Anticipated expiration: 2022-02-22
Also published as: JP2003248541A

Description

【０００１】
【発明の属する技術分野】
この発明は、脳波信号を用いた制御装置及び脳波信号を用いた制御方法に関するものである。
【０００２】
【従来の技術】
制御装置の中には、車両走行をガイドするナビゲーション装置がある。従来のナビゲーション装置においては、車両の位置を検出するＧＰＳ（全地球測位システム）や速度センサ、地図データを記憶するデータ記憶部、操作に応じて制御信号を入力する各種のキーからなるキー入力部、地図を表示する表示部などを備えている。ユーザは入力部のスイッチを操作して、目的地を設定したり、走行中に経路や車両位置を確認することができる。しかし、運転中にナビゲーション装置のキーを操作するためには、視線を道路からナビゲーション装置の入力部に移動しなければならず、交通量が多い場合や交差点の付近を走行している場合などにおいては、操作のために事故が発生するおそれがある。このため、近年においては、直接キー操作する代わりに、音声認識によってナビゲーション装置を操作する提案がなされている。
【０００３】
【発明が解決しようとする課題】
しかしながら、音声認識の認識率は精度が十分に高くない上、自分の車両のエンジン音や他車の排気音及びクラクションなどによる雑音のために音声が正確に入力できないことも多い。このため、音声認識方式を採用したナビゲーション装置でありながら、結局は直接キー操作するのを強いられるという問題があった。
【０００４】
この発明は上記のような問題点を解消するためになされたもので、直接キー操作して制御信号を入力することなく、また、精度が十分に高くない音声認識だけに依存することなく、脳波を用いてナビゲーション装置やその他の制御対象を制御することのできる脳波信号を用いた制御装置及び制御方法を得ることを目的とする。
【０００５】
【課題を解決するための手段】
この発明に係る脳波信号を用いた制御装置は、少なくとも１種類以上の特定の制御信号にそれぞれ対応する脳波信号のパターンをあらかじめ記憶している記憶手段と、脳波信号を検出する検出手段と、音声信号を認識する音声認識手段と、検出手段によって検出された脳波信号のパターンと記憶手段に記憶されている脳波信号のパターンとが対応するか否かを判別し、対応する場合には音声信号を検出し、音声認識手段により音声信号に対応する音声認識信号を認識し、音声認識信号が脳波信号のパターンに対応する制御信号にさらに対応する場合には制御承認信号を発生する判別手段と、判別手段によって制御承認信号が発生されたときは、その対応する制御信号が所定の入力手段の操作に応じて入力された場合と同様に、その対応する制御信号を所定の表示手段に出力して表示内容を制御する表示制御手段とを有するものである。
【０００６】
この発明に係る脳波信号を用いた制御装置は、記憶手段が、脳波信号の検出対象となるユーザごとの脳波信号のパターンをあらかじめ記憶しているものである。
【０００７】
この発明に係る脳波信号を用いた制御装置は、入力手段の操作に応じて入力された制御信号と入力手段の操作の際に検出手段によって検出された脳波信号のパターンとを対応して記憶手段に記憶する記憶制御手段をさらに有するものである。
【０００８】
この発明に係る脳波信号を用いた制御装置は、記憶制御手段が、入力された所定回数の制御信号と検出された所定回数の脳波信号のパターンとを対応して、所定回数の脳波信号のパターンに一定のパターンを認識したときに入力された制御信号と脳波信号のパターンとを対応して記憶手段に記憶するものである。
【０００９】
この発明に係る脳波信号を用いた制御装置は、表示手段に特定の動作指令を示す表示内容が表示された場合において、その動作指令を肯定する旨の脳波信号が検出手段によって検出されたときは、所定の制御対象にその動作指令を出力する出力手段をさらに有するものである。
【００１１】
この発明に係る脳波信号を用いた制御装置は、記憶手段に記憶されている脳波信号のパターンが、車両走行のナビゲーション処理に関する表示内容を制御する制御信号に対応しているものである。
【００１２】
この発明に係る脳波信号を用いた制御装置は、記憶手段に記憶されている脳波信号のパターンが、地図情報の表示内容を制御する制御信号に対応しているものである。
【００１３】
この発明に係る脳波信号を用いた制御装置は、記憶手段に記憶されている脳波信号のパターンが、表示手段に順次表示される複数のアイコンから特定のアイコンを選択する制御信号に対応しているものである。
【００１４】
この発明に係る脳波信号を用いた制御装置は、記憶手段に記憶されている脳波信号のパターンが、表示手段に同時に表示される複数のアイコンの表示状態が各アイコンごとに順次変化する際に特定のアイコンを選択する制御信号に対応しているものである。
【００１５】
この発明に係る脳波信号を用いた制御方法は、少なくとも１種類以上の特定の制御信号にそれぞれ対応する脳波信号のパターンを記憶手段にあらかじめ記憶する第１のステップと、脳波信号を検出する第２のステップと、音声信号を認識する第３のステップと、第２のステップによって検出された脳波信号のパターンと記憶手段に記憶されている脳波信号のパターンとが対応するか否かを判別し、対応する場合には音声信号を検出し、第３のステップから得られる音声信号に対応する音声認識信号を認識し、音声認識信号が脳波信号のパターンに対応する制御信号にさらに対応する場合には制御承認信号を発生する第４のステップと、第４のステップによって制御承認信号が発生されたときは、その対応する制御信号が所定の入力手段の操作に応じて入力された場合と同様に、その対応する制御信号を所定の表示手段に出力して表示内容を制御する第５のステップとを有するものである。
【００１６】
この発明に係る脳波信号を用いた制御方法は、第１のステップが、脳波信号の検出対象となるユーザごとの脳波信号のパターンを記憶手段にあらかじめ記憶するものである。
【００１７】
この発明に係る脳波信号を用いた制御方法は、入力手段の操作に応じて入力された制御信号と入力手段の操作の際に第２のステップによって検出された脳波信号のパターンとを対応して記憶手段に記憶する第６のステップをさらに有するものである。
【００１８】
この発明に係る脳波信号を用いた制御方法は、第６のステップが、入力された所定回数の制御信号と検出された所定回数の脳波信号のパターンとを対応して、所定回数の脳波信号のパターンに一定のパターンを認識したときに入力された制御信号と脳波信号のパターンとを対応して記憶手段に記憶するものである。
【００１９】
この発明に係る脳波信号を用いた制御方法は、表示手段に特定の動作指令を示す表示内容が表示された場合において、その動作指令を肯定する旨の脳波信号が第１のステップによって検出されたときは、所定の制御対象にその動作指令を出力する第７のステップをさらに有するものである。
【００２１】
この発明に係る脳波信号を用いた制御方法は、記憶手段に記憶されている脳波信号のパターンが、車両走行のナビゲーション処理に関する表示内容を制御する制御信号に対応しているものである。
【００２２】
この発明に係る脳波信号を用いた制御方法は、記憶手段に記憶されている脳波信号のパターンが、地図情報の表示内容を制御する制御信号に対応しているものである。
【００２３】
この発明に係る脳波信号を用いた制御方法は、記憶手段に記憶されている脳波信号のパターンが、表示手段に順次表示される複数のアイコンから特定のアイコンを選択する制御信号に対応しているものである。
【００２４】
この発明に係る脳波信号を用いた制御方法は、記憶手段に記憶されている脳波信号のパターンが、表示手段に同時に表示される複数のアイコンの表示状態が各アイコンごとに順次変化する際に特定のアイコンを選択する制御信号に対応しているものである。
【００２５】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
一般に、人間の脳波は、０Ｈｚから数百Ｈｚに至る周波数帯域で構成されている。田垣内博一氏著の論文「感性によるソフトウェアのユーザビリティの評価」（ＵＮＩＳＹＳＴＥＣＨＮＯＬＯＧＹＲＥＶＩＥＷ第６４号，ＦＥＢ．２０００）によれば、感性スペクトル解析方法によって、５〜８Ｈｚのθ波、８〜１３Ｈｚのα波、１３〜２０Ｈｚのβ波として脳波を計測することができる。この論文に記載された感性スペクトル解析方法による計測において、１０個の電極を頭部に接触させて、任意の２個の電極における電位を脳波信号として検出して、増幅器でその脳波信号を増幅して計測する。したがって、４５通りの電極対を選択することができる。これを三つの周波数帯域のθ波、α波、β波それぞれについて求める。この結果、１３５個の相互関係係数の値が得られる。この中から人間の四つの感性要素（「怒り／ストレス」「喜び」「悲しみ」「リラックス」）に関する特徴量を捉えることで、５４０個の係数を求めて脳波の解析を行なっている。
以下に記述する実施の形態１，２においては、上記論文やその他すでに公知になっている脳波の研究発表資料に基づいて、脳波信号を用いて車両走行のナビゲーション処理を行なう場合を例に採ってこの発明を説明するものである。
【００２６】
実施の形態１．
図１において、１はキー入力部（入力手段）、２はセンサ入力部、３はデータ記憶部、４はデータ処理部、５は脳波検出部（検出手段）、６は脳波インタフェース（Ｉ／Ｆ）、７はデータ処理部４内の演算処理部、８はデータ処理部４内の描画処理部及び描画ＲＡＭ（表示制御手段）、９は表示部（表示手段）、７１は演算処理部７内の脳波処理部、７２は位置検出処理部、７３は信号処理部（出力手段）である。また、図２において、８１は図１における脳波処理部７１内の脳波信号のパターン記憶部、８２は脳波処理部７１内の操作情報（制御信号）対脳波パターン記憶部（記憶手段）、８３は脳波処理部７１内の比較処理部（判別手段）である。
なお、図には示していないが、データ処理部４内には処理するデータを一時的に記憶するレジスタや、データ処理に必要なポインタのエリアが設けられている。
【００２７】
次に、動作について説明する。
図３は、図１のデータ処理部４によって実行される脳波登録処理（又は、脳波学習処理）の動作を示すフローチャートである。まず、登録メニューを表示部９に表示する（ステップＳＴ１）。この登録メニューには、脳波信号のパターンを登録するかどうかをユーザに尋ねるメッセージと、登録する場合に登録指令を入力するキー及び登録しない場合に拒否指令を入力するキーを指定するメッセージが表示される。そして、登録指令がキー入力部１から入力されたか否かを判別する（ステップＳＴ２）。キー入力部１から登録指令が入力されたときは、表示内容を特定したり変更するためのいずれかのキーを指定するポインタｍ及び操作回数（最大操作回数を例えば「１０」とする）を指定するポインタｎをともに「０」にセットする（ステップＳＴ３）。登録指令が入力されない場合、すなわち、キー入力部から拒否指令が入力されたときは、このフローを終了してメインフロー（図示せず）に戻る。
【００２８】
ステップＳＴ３においてポインタｍ及びｎをセットした後は、これらのポインタをインクリメントしながら、ステップＳＴ４からステップＳＴ１４までのループを繰り返し実行する。ループの起点であるステップＳＴ４において、ポインタｍで指定するキー（ｍ）操作のメッセージ、すなわち、キー（ｍ）に対応するキー名称を操作する旨のメッセージを表示部９に表示する。この後、脳波信号Ｓを検出する（ステップＳＴ５）。具体的には、脳波検出部５で検出されて脳波Ｉ／Ｆ６で信号処理（例えば、アナログ信号からディジタル信号への変換処理）された脳波信号Ｓを脳波処理部７１に取り込み、脳波信号のパターン記憶部８１に一時的に記憶する。
【００２９】
次に、キー（ｍ）が操作されたか否かを判別し（ステップＳＴ６）、操作されたときは、脳波信号のパターン記憶部８１に一時的に記憶した脳波信号のパターンをキー（ｍ）に対応するレジスタの配列Ｓ（ｍ，ｎ）に転送する（ステップＳＴ７）。次に、ｎの値を「１」だけインクリメントし（ステップＳＴ８）、そのｎの値が最大値（この場合は「９」）より大きくなったか否かを判別する（ステップＳＴ９）。ｎの値が最大値以下である場合には、ループの起点であるステップＳＴ４に移行して、再び同じキー（ｍ）の操作を促すメッセージを表示する。
【００３０】
ステップＳＴ９においてｎの値が最大値より大きくなった場合、すなわち同じキー（ｍ）の操作回数が最大値（所定回数）に達した場合は、そのキー（ｍ）に対応するレジスタの配列Ｓ（ｍ，０）〜Ｓ（ｍ，ｎ）に記憶した脳波信号のパターン（脳波パターン）を照合して解析する（ステップＳＴ１０）。その解析の結果、記憶した（ｎ＋１）個（この場合は１０個）の脳波パターンが一定のパターンになっているか否かを判別する（ステップＳＴ１１）。一定のパターンになっている場合には、その脳波パターンをキー（ｍ）操作の制御信号として操作情報対脳波パターン記憶部８２に登録する（ステップＳＴ１２）。
【００３１】
ステップＳＴ１２の登録処理の後、又はステップＳＴ１１において脳波パターンが一定のパターンになっていない場合には、ｍの値を「１」だけインクリメントして次のキーを指定する（ステップＳＴ１３）。すなわち、脳波パターンが一定のパターンになっていない場合には、そのキー（ｍ）の登録をせずに次のキーを指定する。次に、インクリメントしたｍの値が最大値（登録予定のキーの総数）より大きくなったか否かを判別する（ステップＳＴ１４）。ｍの値が最大値以下である場合には、ループの起点であるステップＳＴ４に移行して、登録する次のキー（ｍ）の操作を促すメッセージを表示する。
【００３２】
ステップＳＴ１４においてｍの値が最大値より大きくなった場合、すなわち、登録予定のすべてのキーについて（ｎ＋１）回の操作が終了した場合は、この登録処理のフローを終了してメインフローに戻る。この結果、各キーの操作情報である制御信号とそのキーを操作する場合の脳波パターンとが対応して操作情報対脳波パターン記憶部８２に登録（記憶）される。このように、脳波信号の検出対象となるユーザごとの脳波信号のパターンをあらかじめ記憶する脳波学習処理を行って、実際のナビゲーション処理に関する表示内容をそのユーザの脳波信号を用いて制御する。
【００３３】
なお、この登録処理の前処理として、キー操作に対応する平均的な人間の脳波パターンをデフォルトとして操作情報対脳波パターン記憶部８２にあらかじめ記憶し、そのデフォルトの脳波パターンと、ユーザがキー操作した際の脳波パターンとを照合して解析するようにしてもよい。
【００３４】
あるいはまた、この実施の形態の変形例として、任意のキーを操作するメッセージを表示し、そのキーが操作された後に複数のキーを順次表示して、又は、複数のキーを同時に表示してその表示状態（表示色、表示形状等）を各キーごとに順次変更して表示して、操作したキーと異なるキーが表示されたときの「否定」の脳波パターン（例えば「悲しみ」の脳波パターン）、操作したキーが表示されたときの「肯定」の脳波パターン（例えば、「喜び」の脳波パターン）、現在の表示画面とは異なる画面を要求する「表示変更」の脳波パターン（例えば「怒り／ストレス」の脳波パターン）、現在の表示画面に満足している「満足」の脳波パターン（例えば「リラックス」の脳波パターン）などを解析して、一定の脳波パターンを操作情報対脳波パターン記憶部８２に登録するようにしてもよい。
【００３５】
図１のデータ処理部４は、キー入力部１の操作の場合も、脳波検出部５によって検出した脳波信号の場合も、同様のナビゲーション処理を行う。いずれの場合も、センサ入力部２からＧＰＳによる車両位置情報、速度センサによる車両速度情報を常時又は定期的に演算処理部７に入力する。また、データ記憶部３に記憶されている様々な縮尺の地図データを選択的に読み出して演算処理部７に入力する。そして、車両位置情報、車両速度情報、及び地図データに基づいて、位置検出処理部７２において車両の走行状態を示すデータを演算する。キー入力部１の操作でなく、脳波信号を用いてナビゲーション処理を実行する場合には、以下に記述するように、脳波処理部７１の処理がさらに演算処理に加わることになる。
【００３６】
図４は、図１のデータ処理部４によって実行される脳波信号を用いたナビゲーション処理の動作を示すフローチャートである。まず、ステップＳＴ２１において脳波信号を検出したか否かを判別する。すなわち、脳波検出部５で検出された脳波信号が脳波Ｉ／Ｆ６によって信号処理されて脳波処理部７１に入力されたか否かを判別する。脳波信号を検出したときは、脳波処理部７１の脳波信号のパターン記憶部８１に一時的に記憶する。
【００３７】
次に、脳波信号のパターン記憶部８１に記憶した脳波信号で認識パターンすなわち認識した脳波パターンを作成する（ステップＳＴ２２）。次に、比較処理部８３において、脳波信号のパターン記憶部８１で作成して記憶した認識パターンと、図３の脳波登録処理によって操作情報対脳波パターン記憶部８２にあらかじめ記憶した脳波パターンと比較する（ステップＳＴ２３）。そして、記憶した脳波パターンの中に認識パターンと同じものがあるか否かを判別する（ステップＳＴ２４）。同じものがあったときは、その記憶した脳波パターンに対応する制御信号によって表示内容を制御することを承認する制御承認信号を信号処理部７３に送出する。信号処理部７３はその制御信号に基づいて表示内容を変更するための表示変更信号を生成する信号処理を行う（ステップＳＴ２５）。次に、操作キー表示機能選択を行なう（ステップＳＴ２６）。すなわち、描画処理部及び描画ＲＡＭ８において、信号処理部７３で生成された表示変更信号に基づく表示画像を作成する。そして、作成した表示画像を表示部９に表示する（ステップＳＴ２７）。この後は、ステップＳＴ２１に移行して次の脳波信号の検出処理を行う。
【００３８】
例えば、検出した脳波信号で作成した認識パターンと同じパターンの脳波パターンが、操作キーアイコンを表示する制御信号に対応している場合には、図５に示すように、表示部９に操作キーアイコン９１を表示する。さらに、この表示された複数の操作キーアイコンのうち「交差点表示」を示す操作キーアイコンを選択する脳波信号を検出したときは、図６に示すように、交差点の地図を表示する。
【００３９】
上記した変形例のように、「否定」の脳波パターン、「肯定」の脳波パターン、「表示変更」の脳波パターン、「満足」の脳波パターンなどを操作情報対脳波パターン記憶部８２に登録した場合に、検出した認識パターンが「怒り／ストレス」の脳波パターンすなわち「表示変更」の脳波パターンに該当するときは、図５に示したように、複数の操作キーアイコン９１を表示する。そして、図７に示すように、各操作キーアイコンごとに順次表示し、例えば、「拡大」の操作キーアイコンを表示したときに、「肯定」の脳波パターンを検出したときは、図８に示すように、拡大（この場合は縮尺を１０倍に拡大）した画面を表示する。このとき「リラックス」の脳波パターンすなわち「満足」の脳波パターンと同じ認識パターンを検出したときは、背景９５の表示色をユーザ好みのものに変えてもよいし、図９に示すように、操作キーアイコンの形状を大きく表示するようにしてもよい。一方、拡大した画面を表示した後に「否定」の脳波パターンを検出したときは、さらに拡大率を高くした画面を表示する。
【００４０】
以上のように、この実施の形態１によれば、検出した脳波パターンに対応する制御信号すなわち操作情報によって表示内容を制御するので、直接キー操作して制御信号を入力することなく、脳波を用いて制御対象であるナビゲーション装置の表示内容を制御できるという効果がある。
【００４１】
この場合において、データ処理部４における操作情報対脳波パターン記憶部８２は、ナビゲーション装置を使用するユーザ、すなわち脳波信号の検出対象であるユーザごとの脳波信号のパターンをあらかじめ記憶しているので、そのユーザに最適な状態でナビゲーション装置の表示内容を制御できるという効果がある。
【００４２】
またこの場合において、操作情報対脳波パターン記憶部８２は、キー入力部１の操作に応じて入力された制御信号と、キー入力部１の操作の際に脳波検出部５によって検出した脳波信号のパターンとを対応して記憶するので、脳波信号のパターンによってあたかもキー操作をしたかのように、ナビゲーション装置の表示内容を制御できるという効果がある。
【００４３】
またこの場合において、操作情報対脳波パターン記憶部８２は、入力された所定回数の制御信号と検出した所定回数の脳波信号のパターンとを対応して、所定回数の脳波信号のパターンに一定のパターンを認識したときに入力された制御信号と脳波信号のパターンとを対応して記憶するので、脳波信号のパターンと制御信号とを高い精度で対応させることができるという効果がある。
【００４４】
また上記変形例のように、表示部９に特定の動作指令を示す表示内容である操作キーアイコン（例えば、「交差点表示」アイコン）が表示された場合において、その動作指令を肯定する旨の脳波信号（「肯定」の脳波パターン）が脳波検出部５によって検出されたときは、表示部９にその動作指令を出力するので、比較的検出が容易な脳波信号でナビゲーション装置の表示内容を制御できるという効果がある。
【００４５】
この変形例の場合において、操作情報対脳波パターン記憶部８２に記憶している脳波信号のパターンは、表示部９に順次表示される複数のアイコンから特定のアイコンを選択する制御信号に対応しているので、ユーザが要求する表示内容を確実に制御できるという効果がある。
【００４６】
さらにこの場合において、操作情報対脳波パターン記憶部８２に記憶している脳波信号のパターンは、表示部９に同時に表示される複数のアイコンの表示状態（表示色、表示形状等）が各アイコンごとに順次変化する際に、特定のアイコンを選択する制御信号に対応しているので、ユーザが要求する表示内容を確実に制御できるという効果がある。
【００４７】
実施の形態２．
図１０において、１０は音声認識処理部（音声認識手段）である。他の構成要素は図１に示した実施の形態１における構成要素と同じであるので、同一の符号で表すとともに、説明は省略する。また、図１１において、８４は図１０の信号処理部７３内の音声認識信号処理部、８５は信号処理部７３内の比較信号処理部である。他の構成要素は図２に示した実施の形態１における構成要素と同じであるので、同一の符号で表すとともに、説明は省略する。
【００４８】
次に動作について説明する。
実施の形態２において、データ処理部４による脳波登録処理（脳波学習処理）は、図３に示した実施の形態１における処理と同じである。また、変形例についても実施の形態１における処理と同じである。図１２は、図１０のデータ処理部４によって実行される脳波信号を用いたナビゲーション処理の動作を示すフローチャートである。図において、ステップＳＴ２８及びステップＳＴ２９以外の各ステップは、図４に示した実施の形態１における各ステップと同じである。
【００４９】
すなわち、実施の形態２におけるナビゲーション処理の動作は、実施の形態１におけるナビゲーション処理の動作において、ステップＳＴ２４とステップＳＴ２５との間に、ステップＳＴ２８及びステップＳＴ２９の処理が追加された構成になっている。したがって、ステップＳＴ２８及びステップＳＴ２９の動作を中心に説明し、実施の形態１と重複する説明は省略する。図１０の音声認識処理部１０は、公知技術によって音声認識処理を行う。例えば、ユーザによって入力された音声信号のパターンと、内部のメモリにあらかじめ記憶している標準の音声信号のパターンとを比較して、最も整合性の高い標準の音声信号を選択してデータ処理部４に入力する。
【００５０】
データ処理部４は、ステップＳＴ２４において脳波信号に基づく認識パターンが記憶している脳波パターンと同じ場合に、その音声信号を検出し（ステップＳＴ２８）、図１１の音声認識信号処理部８４においてその音声信号を音声パターンの形式に変換して比較処理部８３に入力する。比較処理部８３は、その音声パターンが脳波信号に基づく認識パターンとを比較して、２つのパターンが同じ制御信号（操作情報）であるか否かを判別する（ステップＳＴ２９）。同じである場合には、制御承認信号を比較信号処理部８５に送出する。比較信号処理部８５は、その制御承認信号を受け取ると、操作信号対脳波パターン記憶部８２に記憶されている脳波パターンに対応する制御信号（操作情報）を描画処理部及び描画ＲＡＭ８に送出する。描画処理部及び描画ＲＡＭ８は、その制御信号によって表示画像を作成して、その表示画像を表示部９に表示する（ステップＳＴ２７）。
【００５１】
以上のように、この実施の形態２によれば、データ処理部４の比較処理部８３は、脳波検出部５によって脳波信号のパターンが検出された際に、検出された脳波信号のパターンと記憶されている制御信号とが対応する場合において、音声認識処理部１０から得られる音声認識信号が脳波信号のパターンに対応する制御信号にさらに対応する場合に制御承認信号を発生するので、ユーザの脳波による指令を音声による指令で補完することにより、極めて確実にナビゲーション装置の表示内容を制御することができるという効果がある。
【００５２】
なお、上記各実施の形態においては、脳波信号を用いた制御装置の制御対象としてナビゲーション処理に関する表示を行なう表示部を例に採ってこの発明を説明したが、それ以外の他のあらゆる制御対処を制御する制御装置においてもこの発明を適用することができる。例えば、車両内にはナビゲーション装置だけでなく、エアコン装置やオーディオ装置などの制御対象が搭載されている。したがって、脳波信号を用いてこれらの制御対象を制御することも可能である。エアコン装置やオーディオ装置を制御する行為は、車両の運転操作には直接関係しないので、上記各実施の形態のように表示内容の制御にとどまらず、エアコン装置による温度調整、オーディオ装置における放送チャンネルの選択、ＣＤなどの演奏曲の選択、音量調整などのように、脳波信号を用いてかなり積極的な制御を行なうことが可能になる。
【００５３】
あるいは他の例として、キーボードを操作することなく、脳波信号を用いてコンピュータを制御することも可能になる。例えば、メインメニューが表示されている場合に、インターネットのアクセスソフトやその他の所望のアプリケーションソフトを起動する場合に、キーボードを操作する代わりに脳波信号を用いてそのアクセス制御を行なうことも可能になる。
【００５４】
あるいはまた、他の例として、病気やけがなどで両手を使うことができないユーザの場合には、枕元に設置された通信機能をもつ制御装置に対して脳波信号を送って、離れた場所の介助者に対して自分の要求を送信することも可能になる。
【００５５】
【発明の効果】
以上のように、この発明によれば、脳波信号を用いた制御装置を、少なくとも１種類以上の特定の制御信号にそれぞれ対応する脳波信号のパターンをあらかじめ記憶している記憶手段と、脳波信号を検出する検出手段と、音声信号を認識する音声認識手段と、検出手段によって検出された脳波信号のパターンと記憶手段に記憶されている脳波信号のパターンとが対応するか否かを判別し、対応する場合には音声信号を検出し、音声認識手段により音声信号に対応する音声認識信号を認識し、音声認識信号が脳波信号のパターンに対応する制御信号にさらに対応する場合には制御承認信号を発生する判別手段と、判別手段によって制御承認信号が発生されたときは、その対応する制御信号が所定の入力手段の操作に応じて入力された場合と同様に、その対応する制御信号を所定の表示手段に出力して表示内容を制御する表示制御手段とを有するように構成したので、直接キー操作して制御信号を入力することなく、脳波を用いて制御装置の表示内容を制御できるという効果がある。また、ユーザの脳波による指令を音声による指令で補完することにより、極めて確実に制御装置の表示内容を制御することができるという効果がある。
【００５６】
この発明によれば、脳波信号を用いた制御装置を、記憶手段が、脳波信号の検出対象となるユーザごとの脳波信号のパターンをあらかじめ記憶しているように構成したので、ユーザに最適な状態で制御装置の表示内容を制御できるという効果がある。
【００５７】
この発明によれば、脳波信号を用いた制御装置を、入力手段の操作に応じて入力された制御信号と入力手段の操作の際に検出手段によって検出された脳波信号のパターンとを対応して記憶手段に記憶する記憶制御手段をさらに有するように構成したので、脳波信号のパターンによってあたかもキー操作をしたかのように、制御装置の表示内容を制御できるという効果がある。
【００５８】
この発明によれば、脳波信号を用いた制御装置を、記憶制御手段が、入力された所定回数の制御信号と検出された所定回数の脳波信号のパターンとを対応して、所定回数の脳波信号のパターンに一定のパターンを認識したときに入力された制御信号と脳波信号のパターンとを対応して記憶手段に記憶するように構成したので、脳波信号のパターンと制御信号とを高い精度で対応させることができるという効果がある。
【００５９】
この発明によれば、脳波信号を用いた制御装置を、表示手段に特定の動作指令を示す表示内容が表示された場合において、その動作指令を肯定する旨の脳波信号が検出手段によって検出されたときは、所定の制御対象にその動作指令を出力する出力手段をさらに有するように構成したので、比較的検出が容易な脳波を用いて制御装置の表示内容を制御できるという効果がある。
【００６１】
この発明によれば、脳波信号を用いた制御装置を、記憶手段に記憶されている脳波信号のパターンが、車両走行のナビゲーション処理に関する表示内容を制御する制御信号に対応しているように構成したので、直接キー操作して制御信号を入力することなく、脳波を用いてナビゲーション装置の表示内容を制御できるという効果がある。
【００６２】
この発明によれば、脳波信号を用いた制御装置を、記憶手段に記憶されている脳波信号のパターンが、地図情報の表示内容を制御する制御信号に対応しているように構成したので、脳波を用いてナビゲーション装置の地図の表示内容を制御できるという効果がある。
【００６３】
この発明によれば、脳波信号を用いた制御装置を、記憶手段に記憶されている脳波信号のパターンが、表示手段に順次表示される複数のアイコンから特定のアイコンを選択する制御信号に対応しているように構成したので、ユーザが要求する表示内容を確実に制御できるという効果がある。
【００６４】
この発明によれば、脳波信号を用いた制御装置を、記憶手段に記憶されている脳波信号のパターンが、表示手段に同時に表示される複数のアイコンの表示状態が各アイコンごとに順次変化する際に特定のアイコンを選択する制御信号に対応しているように構成したので、ユーザが要求する表示内容を確実に制御できるという効果がある。
【００６５】
この発明によれば、脳波信号を用いた制御方法を、少なくとも１種類以上の特定の制御信号にそれぞれ対応する脳波信号のパターンを記憶手段にあらかじめ記憶する第１のステップと、脳波信号を検出する第２のステップと、音声信号を認識する第３のステップと、第２のステップによって検出された脳波信号のパターンと記憶手段に記憶されている脳波信号のパターンとが対応するか否かを判別し、対応する場合には音声信号を検出し、第３のステップから得られる音声信号に対応する音声認識信号を認識し、音声認識信号が脳波信号のパターンに対応する制御信号にさらに対応する場合には制御承認信号を発生する第４のステップと、第４のステップによって制御承認信号が発生されたときは、その対応する制御信号が所定の入力手段の操作に応じて入力された場合と同様に、その対応する制御信号を所定の表示手段に出力して表示内容を制御する第５のステップとを有するように構成したので、直接キー操作して制御信号を入力することなく、脳波を用いて制御装置の表示内容を制御できるという効果がある。また、ユーザの脳波による指令を音声による指令で補完することにより、極めて確実に制御装置の表示内容を制御することができるという効果がある。
【００６６】
この発明によれば、脳波信号を用いた制御方法を、第１のステップが、脳波信号の検出対象となるユーザごとの脳波信号のパターンを記憶手段にあらかじめ記憶しているように構成したので、ユーザに最適な状態で制御装置の表示内容を制御できるという効果がある。
【００６７】
この発明によれば、脳波信号を用いた制御方法を、入力手段の操作に応じて入力された制御信号と入力手段の操作の際に第２のステップによって検出された脳波信号のパターンとを対応して記憶手段に記憶する第６のステップをさらに有するように構成したので、脳波信号のパターンによってあたかもキー操作をしたかのように、制御装置の表示内容を制御できるという効果がある。
【００６８】
この発明によれば、脳波信号を用いた制御方法を、第６のステップが、入力された所定回数の制御信号と検出された所定回数の脳波信号のパターンとを対応して、所定回数の脳波信号のパターンに一定のパターンを認識したときに入力された制御信号と脳波信号のパターンとを対応して記憶手段に記憶するように構成したので、脳波信号のパターンと制御信号とを高い精度で対応させることができるという効果がある。
【００６９】
この発明によれば、脳波信号を用いた制御方法を、表示手段に特定の動作指令を示す表示内容が表示された場合において、その動作指令を肯定する旨の脳波信号が第１のステップによって検出されたときは、所定の制御対象にその動作指令を出力する第７のステップをさらに有するように構成したので、比較的検出が容易な脳波を用いて制御装置の表示内容を制御できるという効果がある。
【００７１】
この発明によれば、脳波信号を用いた制御方法を、記憶手段に記憶されている脳波信号のパターンが、車両走行のナビゲーション処理に関する表示内容を制御する制御信号に対応しているように構成したので、直接キー操作して制御信号を入力することなく、脳波を用いてナビゲーション装置の表示内容を制御できるという効果がある。
【００７２】
この発明によれば、脳波信号を用いた制御方法を、記憶手段に記憶されている脳波信号のパターンが、地図情報の表示内容を制御する制御信号に対応しているように構成したので、脳波を用いてナビゲーション装置の地図の表示内容を制御できるという効果がある。
【００７３】
この発明によれば、脳波信号を用いた制御方法を、記憶手段に記憶されている脳波信号のパターンが、表示手段に順次表示される複数のアイコンから特定のアイコンを選択する制御信号に対応しているように構成したので、ユーザが要求する表示内容を確実に制御できるという効果がある。
【００７４】
この発明によれば、脳波信号を用いた制御方法を、記憶手段に記憶されている脳波信号のパターンが、表示手段に同時に表示される複数のアイコンの表示状態が各アイコンごとに順次変化する際に特定のアイコンを選択する制御信号に対応しているように構成したので、ユーザが要求する表示内容を確実に制御できるという効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１におけるナビゲーション装置の構成を示すブロック図である。
【図２】図１における脳波処理部の内部構成を示すブロック図である。
【図３】この発明の実施の形態１における脳波登録処理の動作を示すフローチャートである。
【図４】この発明の実施の形態１における脳波信号を用いた制御方法の動作を示すフローチャートである。
【図５】この発明の実施の形態１において表示部の表示内容の画面を示す図である。
【図６】この発明の実施の形態１において脳波信号により制御された表示内容の画面を示す図である。
【図７】この発明の実施の形態１において脳波信号により制御された他の表示内容の画面を示す図である。
【図８】この発明の実施の形態１において脳波信号により拡大された表示内容の画面を示す図である。
【図９】この発明の実施の形態１において脳波信号により拡大された他の表示内容の画面を示す図である。
【図１０】この発明の実施の形態２におけるナビゲーション装置の構成を示すブロック図である。
【図１１】図１０における脳波処理部の内部構成を示すブロック図である。
【図１２】この発明の実施の形態２における脳波信号を用いた制御方法の動作を示すフローチャートである。
【符号の説明】
１キー入力部（入力手段）、２センサ入力部、３データ記憶部、４データ処理部、５脳波検出部（検出手段）、６脳波インタフェース、７演算処理部、８描画処理部及び描画ＲＡＭ（表示制御手段）、９表示部（表示手段）、１０音声認識処理部（音声認識手段）、７１脳波処理部、７２位置検出処理部、７３信号処理部（出力手段）、８１脳波信号のパターン記憶部、８２操作情報対脳波パターン記憶部（記憶手段）、８３比較処理部（判別手段）、８４音声認識信号処理部、８５比較信号処理部。

Claims

少なくとも１種類以上の特定の制御信号にそれぞれ対応する脳波信号のパターンをあらかじめ記憶している記憶手段と、
脳波信号を検出する検出手段と、
音声信号を認識する音声認識手段と、
前記検出手段によって検出された脳波信号のパターンと前記記憶手段に記憶されている脳波信号のパターンとが対応するか否かを判別し、対応する場合には前記音声信号を検出し、前記音声認識手段により前記音声信号に対応する音声認識信号を認識し、前記音声認識信号が前記脳波信号のパターンに対応する制御信号にさらに対応する場合には制御承認信号を発生する判別手段と、
前記判別手段によって前記制御承認信号が発生されたときは、その対応する制御信号が所定の入力手段の操作に応じて入力された場合と同様に、その対応する制御信号を所定の表示手段に出力して表示内容を制御する表示制御手段と
を有する脳波信号を用いた制御装置。
記憶手段は、脳波信号の検出対象となるユーザごとの脳波信号のパターンをあらかじめ記憶していることを特徴とする請求項１記載の脳波信号を用いた制御装置。
入力手段の操作に応じて入力された制御信号と前記入力手段の操作の際に検出手段によって検出された脳波信号のパターンとを対応して記憶手段に記憶する記憶制御手段をさらに有することを特徴とする請求項１又は請求項２記載の脳波信号を用いた制御装置。
記憶制御手段は、入力された所定回数の制御信号と検出された所定回数の脳波信号のパターンとを対応して、前記所定回数の脳波信号のパターンに一定のパターンを認識したときに前記入力された制御信号と前記脳波信号のパターンとを対応して記憶手段に記憶することを特徴とする請求項３記載の脳波信号を用いた制御装置。
表示手段に特定の動作指令を示す表示内容が表示された場合において、その動作指令を肯定する旨の脳波信号が検出手段によって検出されたときは、所定の制御対象にその動作指令を出力する出力手段をさらに有することを特徴とする請求項１から請求項４のうちのいずれか１項記載の脳波信号を用いた制御装置。
記憶手段に記憶されている脳波信号のパターンは、車両走行のナビゲーション処理に関する表示内容を制御する制御信号に対応していることを特徴とする請求項１から請求項５のうちのいずれか１項記載の脳波信号を用いた制御装置。
記憶手段に記憶されている脳波信号のパターンは、地図情報の表示内容を制御する制御信号に対応していることを特徴とする請求項６記載の脳波信号を用いた制御装置。
記憶手段に記憶されている脳波信号のパターンは、表示手段に順次表示される複数のアイコンから特定のアイコンを選択する制御信号に対応していることを特徴とする請求項１から請求項７のうちのいずれか１項記載の脳波信号を用いた制御装置。
記憶手段に記憶されている脳波信号のパターンは、表示手段に同時に表示される複数のアイコンの表示状態が各アイコンごとに順次変化する際に特定のアイコンを選択する制御信号に対応していることを特徴とする請求項１から請求項７のうちのいずれか１項記載の脳波信号を用いた制御装置。
少なくとも１種類以上の特定の制御信号にそれぞれ対応する脳波信号のパターンを記憶手段にあらかじめ記憶する第１のステップと、
脳波信号を検出する第２のステップと、
音声信号を認識する第３のステップと、
前記第２のステップによって検出された脳波信号のパターンと前記記憶手段に記憶されている脳波信号のパターンとが対応するか否かを判別し、対応する場合には前記音声信号を検出し、前記第３のステップから得られる前記音声信号に対応する音声認識信号を認識し、前記音声認識信号が前記脳波信号のパターンに対応する制御信号にさらに対応する場合には制御承認信号を発生する第４のステップと、
前記第４のステップによって前記制御承認信号が発生されたときは、その対応する制御信号が所定の入力手段の操作に応じて入力された場合と同様に、その対応する制御信号を所定の表示手段に出力して表示内容を制御する第５のステップと
を有する脳波信号を用いた制御方法。
第１のステップは、脳波信号の検出対象となるユーザごとの脳波信号のパターンを所定の記憶手段にあらかじめ記憶することを特徴とする請求項１０記載の脳波信号を用いた制御方法。
入力手段の操作に応じて入力された制御信号と前記入力手段の操作の際に第２のステップによって検出された脳波信号のパターンとを対応して記憶手段に記憶する第６のステップをさらに有することを特徴とする請求項１０又は請求項１１記載の脳波信号を用いた制御方法。
第６のステップは、入力された所定回数の制御信号と検出された所定回数の脳波信号のパターンとを対応して、前記所定回数の脳波信号のパターンに一定のパターンを認識したときに前記入力された制御信号と前記脳波信号のパターンとを対応して記憶手段に記憶することを特徴とする請求項１２記載の脳波信号を用いた制御方法。
表示手段に特定の動作指令を示す表示内容が表示された場合において、その動作指令を肯定する旨の脳波信号が第１のステップによって検出されたときは、所定の制御対象にその動作指令を出力する第７のステップをさらに有することを特徴とする請求項１０から請求項１３のうちのいずれか１項記載の脳波信号を用いた制御方法。
記憶手段に記憶されている脳波信号のパターンは、車両走行のナビゲーション処理に関する表示内容を制御する制御信号に対応していることを特徴とする請求項１０から請求項１４のうちのいずれか１項記載の脳波信号を用いた制御方法。
記憶手段に記憶されている脳波信号のパターンは、地図情報の表示内容を制御する制御信号に対応していることを特徴とする請求項１５記載の脳波信号を用いた制御方法。
記憶手段に記憶されている脳波信号のパターンは、表示手段に順次表示される複数のアイコンから特定のアイコンを選択する制御信号に対応していることを特徴とする請求項１０から請求項１６のうちのいずれか１項記載の脳波信号を用いた制御方法。
記憶手段に記憶されている脳波信号のパターンは、表示手段に同時に表示される複数のアイコンの表示状態が各アイコンごとに順次変化する際に特定のアイコンを選択する制御信号に対応していることを特徴とする請求項１０から請求項１６のうちのいずれか１項記載の脳波信号を用いた制御方法。