JP5938780B2 - 動作指令装置、動作指令方法及び動作パターン作成装置 - Google Patents

Description

本発明は、ヒトの脳波から取得された随伴陰性変動を利用して予め作成した行動分節単位の動作パターンを基に、操縦者の行動意図に沿って制御対象を動作させる動作指令の技術に関する。

近年、工場内において、あるいは人間にとって厳しい環境下において、さらには遠隔地からロボットを操縦して所要の作業を効果的に行わせることが一般に知られている。上記において、多自由度を持つロボットをレバーやボタンなどのコントローラによって随意に操縦する場合、追従特性の優れたフィードバック系を採用したり、ロボットと同等以上の自由度を持ったコントローラを利用したり、操縦のためのコマンドに対するロボットの動きの対応関係を記憶及び学習したりする必要があった。例えばi-sobot（タカラトミー社製）を操縦するためには、１７７個のコマンドを覚える必要があり、そのための学習は容易ではない。一方、人型ロボットを操縦する手法であるテレイグジスタンスでは、完全な身体性一致を基盤とした感覚と運動対応による臨場感と随意性を確保することで、上述したような困難な学習を不要としているが、ロボットと同一自由度で等身大の装置、かつ操縦者ごとにある程度サイズを合わせる必要性があるため実装が容易ではなかった。

そこで、人間の離散的な行動意図をロボット側に伝送することによって、この行動意図単位に沿ってロボットを操縦する手法が提案されている。ここに、非特許文献１に示すように、人間の行動意図の離散性は、熟練者の動作の映像を見た被験者が、その動作を他者に伝達する際に伝える最低限の数の姿勢を、映像を見た後に熟練者の動作の映像から選ばせる実験などにより確認されている。かかる実験によって、人間の行動意図の単位を抽出することが可能であることが判る。尤も、上記手法は、動作を見ている場合にしか利用できず、また動作を見た後に選ぶ作業を伴うため、リアルタイムで抽出することができないといった問題がある。

また、非特許文献２，３には、操縦者が入力装置を介してロボットを操縦する場合の手法が記載されている。図９は、この手法の概要を説明するための図である。図９に従って説明すると、通常のコマンドによるロボット操縦手法では、「こう動かしたい」という人間の行動分節xをロボットの動作zに反映させるために、人間側が運動生成部Fmにて、予め決められたコマンドに変換して操縦桿入力yを行う。このとき、テレイグジスタンスの場合であれは、時間的連続的に直接計測が可能な人間の操縦桿入力yをロボットの動作zと相同な構造にすることによって直接対応させることでロボットを操縦する。この場合、操縦桿入力yとロボットの動作zとをリアルタイムに一致させ続けるだけの追従特性を持ったロボット制御系と通信経路の構築が実装技術上の難題となる。一方、「つもり」制御では、このような条件を以下の設定によって緩和し得る。なお、「つもり」は、意識上にて離散化されながら言語段階のシンボル化まではされていない行動分節単位での具象的な行動意図と定義し、これが自己（操縦者）と制御対象（ロボット）との間で正しく対応付けられている状態を「つもりの伝達に成功した状態＝つもりコミュニケーションの成立」とみなしている。かかる「つもり」制御と図９とにおいて、まず、ロボットに、ヒトの全ての随意運動に該当する操縦桿入力yに追従可能な高特性の制御系を持たせるのではなく、ヒトの随意運動を、ロボットの動作zの制御が容易な範疇で実行できる時間単位で離散分節化する。そして、この離散化された行動分節ｘ’の組み合わせによって記述された行動系列のみを分節運動制御手段Ｇｒによって時間連続的に実行する半自律型の制御系を想定することができる。

さらに、非特許文献４、５には、時間方向に予測可能な刺激に対して脳波中に見られる反応として、事象関連電位ＥＲＰｓ（Event-Related Potentials:）の１つである随伴陰性変動ＣＮＶ（Contingent Negative Variation）に関する記載がある。

麻生紘巳、岡本信、川崎宏記、飯塚博幸、安藤英由樹、前田太郎、時間的に離散／連続な映像提示による動作伝達と再現、日本バーチャルリアリティ学会第１３大会論文集、３Ａ５−４、２００８年９月 前田太郎、「つもり」の検出と伝送：遠隔伝送における随意性の拡張可能性の検討、第１４回日本バーチャルリアリティ学会大会論文集、２００９年９月 岡田慎矢、坂口翔太、丹羽真隆、飯塚博幸、安藤英由樹、前田太郎、ロボット操縦における「つもり」の伝送と検出の検討、第１４回日本バーチャルリアリティ学会大会論文集、２００９年９月 Yasuhiro X. Kato, Member, IEEE,Tomoko Yonemura, Kazuyuki Samejima, Taro Maeda, Hideyuki Ando、Developmentof a BCI Master Switch Based on Single-trial Detection of Contingent NegativeVariation Related Potentials、proceeding of the 33rd AnnualInternational Conference of the IEEE Engineering in Medicine and Biology Society(EMBC);p.4629-4632,2011. 津田明憲、加藤康広、米村朋子、寺屋秀紀、前田太郎、安藤英由樹、随伴陰性変動を利用した誤作動の無い脳波スイッチの提案、第１４回日本バーチャルリアリティ学会大会論文集、２００９年９月

ところで、人間の随意運動を所要の時間単位で離散的にロボット側に伝送するに際しては、この随意運動を人間の行動意図に沿った単位で離散化（分散化）して抽出する必要がある。しかしながら、時間連続的に実行されるロボットへの行動指令に対する人間の行動意図の単位を、如何なる方法で設定するかは必ずしも容易ではない。

本発明は、動作中の特徴姿勢の予測性に起因して得られる脳波の随伴陰性変動を利用して人間の離散的な行動意図を取得（分節化）し、この行動分節の区切りに対応させて、制御対象に対する操縦を含む動作指令をリアルタイムで制御（随伴陰性変動を利用した「つもり」制御を）可能にする動作指令装置、動作指令方法及び動作パターン作成装置を提供することを目的とする。

請求項１に記載の動作指令装置は、操縦者の操作に応じた操作信号を生成する操作信号生成器と、ヒトの脳波から取得された随伴陰性変動に基づいて作成した、操縦者の行動分節単位の動作パターンと前記動作パターンに対応する信号であって制御対象を駆動するための指令信号とが複数種類の動作パターン分、記憶された動作パターン記憶部と、前記操作信号生成器からの前記操作信号と前記動作パターン記憶部の各動作パターンとのパターンマッチングを行うパターンマッチング判定処理手段と、パターンマッチングしたと判断された動作パターンに対応する指令信号を前記制御対象に出力する指令処理手段とを備え、前記動作パターンは、予め取得した前記ヒトの前記随伴陰性変動のテンプレートと、前記制御対象が行う複数の基本動作を含む動作系列を前記操縦者に視覚入力させつつ、対応する操作を行わせて操作信号を生成し、かつ同時に脳波検出器で測定された前記操縦者の脳波信号とのテンプレートマッチングによって、前記動作系列中から前記基本動作に対応した前記操作信号が行動分節単位に区切られて抽出されたものであることを特徴とするものである。

また、請求項６に記載の動作指令方法は、ヒトの脳波から取得された随伴陰性変動に基づいて作成した、操縦者の行動分節単位の動作パターンと前記動作パターンに対応する信号であって制御対象を駆動するための指令信号とが複数種類の動作パターン分、動作パターン記憶部に記憶する動作パターン記録工程と、操縦者の操作に応じた操作信号を生成する操作信号生成工程と、前記操作信号生成工程で生成された前記操作信号と前記動作パターン記憶部の各動作パターンとのパターンマッチングを行うパターンマッチング判定処理工程と、パターンマッチングしたと判断された動作パターンに対応する指令信号を前記制御対象に出力する指令処理工程とを備え、動作パターン記録工程において前記動作パターン記憶部に記憶される前記動作パターンを、予め取得した前記ヒトの前記随伴陰性変動のテンプレートと、前記制御対象が行う複数の基本動作を含む動作系列を前記操縦者に視覚入力させつつ、対応する操作を行わせて操作信号を生成し、かつ同時に脳波検出器で測定された前記操縦者の脳波信号とのテンプレートマッチングによって、前記動作系列中から前記基本動作に対応した前記操作信号を行動分節単位に区切って抽出することで作成する動作パターン作成工程とを含むことを特徴とするものである。

これらの発明によれば、制御対象に対する動作指令に、ヒトの脳波から取得された随伴陰性変動が利用される。すなわち、予め取得された随伴陰性変動に基づいて、操縦者の行動意図（操縦意図）の１単位である行動分節単位に区切られた動作パターンが作成される。次いで、動作パターンとこの動作パターンに対応する信号であって、ロボット等の制御対象を駆動するための指令信号とが複数種類の動作パターン分、動作パターン記憶部に記憶される。そして、実際の操縦時において、操縦者の操作に応じた操作信号が操作信号生成器で生成され、出力されてくると、この操作信号と前記動作パターン記憶部の各動作パターンとのパターンマッチングが行われる。次いで、パターンマッチングしたと判断された動作パターンに対応する指令信号が前記制御対象に出力され、これによって制御対象は、操縦者の行動意図が反映された区切りの動作パターンに沿った指令信号に従って動作される。

このように、随伴陰性変動に基づいて生成された、行動分節単位に区切られた動作パターンを介して、操作信号生成器からの操作信号が対応した指令信号に置き換えられて制御対象の動作制御を行うようにしたから、操縦者の行動意図の単位で制御対象を動作させることが可能となる。すなわち、制御対象の一連の動き乃至は連続的な動きに対して、その動きから適宜に操縦者からの操作信号を区切って離散的な操作信号を各動作パターンとして事前に抽出した場合を考慮しても、実際の操縦時においては、操作信号と事前抽出の動作パターンとのパターンマッチングにおいて、互いの位相がずれた状態で、つまり別の動作パターンとマッチングが取れる可能性もあり、このような場合、制御対象は、操縦者の意図する動きと全く異なる動きをしてしまうことになる。これに対し、随伴陰性変動に基づくテンプレートを基に動作パターンを抽出するようにしたことで、操縦者の行動意図の区切りを高い精度で抽出することが可能となっている。すなわち、制御対象に行わせる種々の動作（基本動作）を含めた動作系列が行われ、その動きが操縦者（実際の操縦時での操縦予定者）に視覚入力されつつ、直感的な操作を行わして操作信号を得、かつ脳波信号を取得する。そして、脳波信号に対する行動分節単位の区切りがテンプレートマッチングで取得されて、対応する操作信号の行動分節単位を取得することで、行動分節単位の動作パターンが作成される。従って、動作パターンは操縦者の随伴陰性変動に沿った、すなわち行動意図に沿った分節単位で作成される。

また、制御対象の自由度と操作信号の次元数との間に直接的な関連は不要となることから、操作容易で、フィードバック系の応答性も高度さが格別要求されることなく、随意性が維持された動作指令を行うことが可能となる。さらに、操作系（操作信号生成器）側と被制御系（制御対象）側との間での自由度の制約がないことから、高い汎用性が得られる。なお、操作信号には、操縦者が何等かの操作部材を把持したり身に着けたりして操作することで生成される操作信号の他、操縦者の身体（一部を含む）の動きをモニタ（監視）し、モニタ結果から動きに対応して作成される操作信号も含めてもよい。

請求項２記載の動作指令装置は、請求項１に記載の動作指令装置において、前記ヒトと前記操縦者とが同一人であることを特徴とする。この構成によれば、操縦者自身の随伴陰性変動のテンプレートを使用するので、作成される動作パターンの行動分節の区切りが高精度で抽出される。ヒトの随伴陰性変動の波形パターンは本来的に類似性を有するが、適用用途によっては高い精度が要求される場合があり、かかる場合には操縦者本人の脳波が用いられることが好ましい。この場合、実際の操縦時におけるパターンマッチングの精度が高くなる（操縦者の意図が制御対象に伝達され易くなる。）
請求項３記載の動作指令装置は、請求項１又は２に記載の動作指令装置において、前記制御対象は、複数の自由度を有して動く可動部と、前記可動部を動かす１又は複数の駆動源とを備え、前記操作信号生成器は、外部から操作可能で、かつ操作に応じた信号を前記操作信号として生成する操作部を備えていることを特徴とする。この構成によれば、操作部に対する操縦者の直感的な操作から得られる操作信号を、パターンマッチングを介して指令信号に置き換えるようにしたので、操作系側と無関係な自由度を有する可動部に操縦者の意図を効果的に伝えることが可能となる。

請求項４記載の動作指令装置は、請求項３に記載の動作指令装置において、前記制御対象は、多関節アームを備え、各関節アームが前記可動部によって動かされるロボットであることを特徴とする。この構成によれば、制御対象が高次元の自由度を有する複雑な、例えば高度なロボットであっても、相対的に簡易な操作で操縦することが可能となる。

請求項５記載の動作指令装置は、請求項１〜４のいずれかに記載の動作指令装置において、前記制御対象を撮像する撮像手段と、撮像された画像を前記操縦者に提示するべく表示する表示部とを備えたことを特徴とする。この構成によれば、表示部を介して遠隔的に制御対象を操縦することが可能となる。

請求項７記載の動作パターン作成装置は、操縦者の操作に応じた操作信号を生成する操作信号生成器と、ヒトの脳波から取得された随伴陰性変動に基づいて作成した、操縦者の行動分節単位の動作パターンと前記動作パターンに対応する信号であって制御対象を駆動するための指令信号とが複数種類の動作パターン分、記憶された動作パターン記憶部と、前記操作信号生成器からの前記操作信号と前記動作パターン記憶部の各動作パターンとのパターンマッチングを行うパターンマッチング判定処理手段と、パターンマッチングしたと判断された動作パターンに対応する指令信号を前記制御対象に出力する指令処理手段とを備えた動作指令装置で用いられる、前記動作パターン記憶部に記憶された前記動作パターンを作成する動作パターン作成装置であって、予め取得した前記ヒトの前記随伴陰性変動のテンプレートと、前記制御対象が行う複数の基本動作を含む動作系列を前記操縦者に視覚入力させつつ、対応する操作を行わせて操作信号を生成し、かつ同時に脳波検出器で測定された前記操縦者の脳波信号とのテンプレートマッチングによって、前記動作系列中から前記基本動作に対応した前記操作信号を行動分節単位に区切って抽出する動作パターン作成手段を備えたものである。

これらの構成によれば、制御対象に行わせる種々の動作（基本動作）を含めた動作系列が行われ、その動きが操縦者（実際の操縦時での操縦予定者）に視覚入力されつつ、直感的な操作を行わして操作信号を得、かつ脳波信号を取得する。脳波信号に対する行動分節単位の区切りがテンプレートマッチングで取得されて、対応する操作信号の行動分節単位を取得することで、行動分節単位の動作パターンが作成される。従って、動作パターンは操縦者の随伴陰性変動に沿った、すなわち行動意図に沿った分節単位で作成される。

本発明によれば、脳波の随伴陰性変動を利用して人間の離散的な行動意図に沿った行動分節の区切りで制御対象に対する動作指令をリアルタイムで行うことができる。

事前処理となる動作パターンの作成を行う構成のブロック図である。 脳波を利用した「つもり」制御を実行する動作指令装置の一実施形態を示す構成図である。 制御部３０によって実行されるテンプレート作成処理の手順を説明するフローチャートである。 制御部３０によって実行される動作パターン作成処理の手順を説明するフローチャートである。 制御部３７によって実行される「つもり」制御処理の手順を説明するフローチャートである。 制御部３７によって実行される「つもり」制御IIの処理の手順を説明するフローチャートである。 随伴陰性変動ＣＮＶの波形図である。 テンプレートマッチングによる類似度を示す類似線を表す図である。 「つもり」制御の概要を説明する概要図である。

まず、図９を用いて「つもり」制御の概要を説明する。操縦者が操縦桿を介してロボットを操縦する場合、通常のコマンドによるロボット操縦手法では、「こう動かしたい」という人間の行動分節xをロボットの動作zに反映させるために、人間側が運動生成部Fmにて、予め決められたコマンドに変換して操縦桿入力yを行う。すなわち、主観的な随意操縦では、人間の行動分節xが操縦桿入力ｙに変換して出力され、学習制御手段Ｇｃ、分節運動制御手段Ｇｒを介して行動分節ｘ’が指令され、これに基づいてロボットは動作ｚを行う。

「つもり」制御では、ロボットの動作zの制御が容易な範疇で実行できる時間単位で、行動を離散分節化する。この離散化された行動分節ｘ’の組み合わせによって記述された行動系列のみを分節運動制御手段Ｇｒによって時間方向に連続的に実行する半自律型の制御系を想定する。そして、人間の行動意図をロボット側に伝送する必要があるが、この場合、従来技術で述べたように離散化されている行動意図の単位をリアルタイムで抽出する必要がある。

本発明では、離散化されている行動意図の単位をリアルタイムで抽出するために脳波を利用している。すなわち、動作中における離散化されている行動意図の区切りに相当する位置の姿勢は、重要な意味を持つ姿勢である。また、動作中における行動の連続性から、動作中の特徴姿勢はその出現が時刻的に予測可能である。そして、予測可能な刺激に対して脳波中に見られる反応として、事象関連電位ＥＲＰｓ（Event-Related Potentials:）の１つである随伴陰性変動ＣＮＶが知られている（前述した非特許文献４、５参照）。非特許文献４によれば、随伴陰性変動ＣＮＶは９９％検出可能であることが示されており、予測可能な動きにおいてもこれに類する刺激によって、動きの区切りに相当する箇所を脳波から推定することができる。このように脳波から推定することによって、行動意図の区切り（行動分節の区切り）に相当する位置を取得することができる。そして、かかる手法によるロボット操縦手法を脳波を利用した「つもり」制御と呼ぶ。

ロボットの離散化された行動分節ｘ’の時間単位は、操縦者の脳波から取得される、操縦者の行動生成の単位に基づいて取得される。具体的な取得手法については後述する。なお、これらによって、操縦者の行動分節ｘはロボットの行動分節ｘ’と同程度の自由度に誘導される。また、操縦桿は、時間連続系で計測できるため、行動意図の１単位の時間分の積算データをもって操縦者の行動分節ｘとロボットの行動分節ｘ’との対応付けが可能なだけの自由度数のコントローラ（行動指令装置）があればよい。

これらの設定によって時間的に連続な人間の操縦桿入力yとロボットの動作zとは、１対１に対応しないものの、操縦者は、操縦桿を介してロボットを操縦する場合に、人間の行動意図を持つため、離散時間系での人間の行動意図（行動分節ｘ）とロボットの行動分節ｘ’とを対応させることによって随意性が維持できる。人間の行動分節ｘは、運動生成部Fmによって連続化された操縦桿への操作から得られる入力yとなる。この入力yはロボット側の学習制御手段Ｇｃによって行動分節ｘ’に変換される。さらに、この行動分節ｘ’を基に、ロボットは分節運動生成手段Ｇｒにて連続化されたロボットの動作zを実行する。操縦者は、ロボットの動作zを観測（視覚入力）しつつ、運動知覚Ｆｐによってこれを分節化することで最初の行動意図xと等価であるかを判断し、次の行動意図にフィードバックしていくことでロボットの操縦が継続されることになる。

脳波を利用した「つもり」制御の実施のためには、概略、以下の手順が必要となる。

（１）テンプレートの取得
まず、事前に、テスト、すなわち所定の刺激を付与することによって操縦者の随伴陰性変動ＣＮＶのテンプレートを取得する。

（２）行動分節単位の行動パターンの取得
次いで、事前処理として、制御対象であるロボットに１又は複数の基本動作を含む行動系列の動きを作成する。そして、これを実際に実行させると共に、この動作を操縦者に視覚入力させつつ、恰もロボットを操縦しているつもりでの操縦桿の操作を行わせる。なお、行動系列の作成は操縦対象者以外の者が行うことが、随伴陰性変動ＣＮＶの顕われ方の点から好ましい。この時、操縦者の脳波を同時に計測しており、計測された脳波波形と予め取得した随伴陰性変動ＣＮＶのテンプレートとを照合する。両者が最も一致（テンプレートマッチング）するときの脳波波形上の１単位となる区切りに対応させて、操縦桿から出力される操作信号に対する区切りを設定する。すなわち、行動分節の単位となる操作信号を取得する。そして、取得された行動分節単位となる操作信号（動作パターン）と、その時のロボットに出力していた指令信号とを対応付けて記憶し、準備が終了する。

（３）脳波を利用した「つもり」制御の実行
操縦者は、操縦桿を操作してロボットを操縦する。操縦桿から出力される操作信号と各動作パターンとをリアルタイムで比較することで、操作信号がいずれの動作パターンに対応（パターンマッチング）するかを判断して、対応する指令信号をロボットに出力する。

このように、随伴陰性変動ＣＮＶを利用した人間の行動意図を伝送してロボットを操縦することが可能となり、さらにロボットの動作は人間の意図レベルと一致する。これは、例えばコップを掴む動作を考えた場合、従来のテレイグジスタンスのような操縦方法であれば、コップを掴みに行くための手の角度や腕の軌跡なども一致させていた。しかし、本手法（「つもり」制御）では、ロボットがどの様にコップを掴むかどうかは制御せず、コップを掴むという結果だけを一致させる。本手法により、感覚と運動の対応関係において物理的には完全な一致は見ないものの、随意性を損なわない整合性を保つ遠隔制御が実現される。

図１は、事前処理となる動作パターンの作成を行う構成のブロック図である。図１において、操縦桿１１は、操縦者による操作を介して操作信号を出力するものである。ロボット２は、制御対象であり、所要の動きを可能にする１又は複数の駆動源２１，…２２を備えている。情報処理部３は、好ましくはＣＰＵ（Central Processing Unit）を有するマイクロコンピュタを備えている。脳波検出器４は、例えば、国際10-20法に基づく個数及び配列で設置された電極を備えたヘッドセットタイプ等の装置で、ヒトの脳波を計測するものである。

先ず、ロボット２としては種々の態様が採用可能である。本実施形態では、ロボット２の一例として、基体の上部に配置される多関節アーム部を備えた周知の産業ロボットを想定する。ロボット２の詳細構成は示していないが、ロボット２は、順次シリアルに連結されるアームの内、連続する２本のアーム間の連設箇所にモータ（サーボモータ）等の駆動源２１，…２２が設けられ、先端側のアームを所要の回転面で相対的に旋回可能に構成している。この結果、多関節アーム部は、３次元空間内での動きが可能となる。そして、最先端のアームには、周知のようにワークをすくい取って所持する構造が備えられている。ロボット２の動作としては、種々の態様が想定されるが、一例として、動作系列中の、多関節アーム部の全体が旋回しつつワークの位置に近づくような動き、ワークの位置まで先端アームを移動させる動き、ワークをすくい取る動き、ワークを持ち上げて移動させる動き、所定箇所まで移送して次工程位置に移載させる動きなどが、基本動作の候補として想定される。なお、ロボット２の態様として、ワークをすくい取る構成に代えて、最先端のアームに工具が取り付けられている態様でもよい。そして、これらの各動きの時間方向に、操縦者の脳波から見て、ロボット２の特徴姿勢が複数存在すると想定される。

操縦部１は、例えばジョイスティックなどで構成され、操縦者が把持して全方向に傾倒可能に操作される操縦桿１１を備えている。操縦部１は、操縦桿１１の傾倒方向及び傾倒角度に応じた２種類の電圧を出力する検知回路を内蔵している。傾倒方向及び傾倒角度に対応した検知信号は情報処理部３の検出部３１に出力される。

情報処理部３は、ＣＰＵから構成される制御部３０を備える。制御部３０には、検出部３１、処理プログラム記憶部３２、データ記憶部３３、ロボット２を動かすための駆動信号を指令信号として駆動源２１，…２２に出力する指令信号生成部３４、画像を表示するモニタ３５、及びマウスやキーボード、タッチパネル等からなり、種々の指示や情報入力を行うための操作部３６が接続されている。

制御部３０は、処理プログラム記憶部３２に記憶されている処理プログラムが実行されることで、テンプレート作成部３０Ａと動作パターン作成部３０Ｂとして機能する。テンプレート作成部３０Ａは、テスト用信号出力処理部３０１、情報処理部３０２及びテンプレート設定部３０３を備えている。

テスト用信号出力処理部３０１は、操縦者の随伴陰性変動ＣＮＶのテンプレートを取得するためのテスト画像をモニタ３５の画面に出力するものである。なお、テンプレートは操縦者本人に限定されず、少なくとも代表的なヒトのテンプレートであってもよいが、好ましくは個々人の特異性も考慮し、より精度を上げるべく個別に取得するようにしている。本実施形態では、操縦者が集中した時に顕れる随伴陰性変動ＣＮＶのテンプレートを次のような手順で作成する。すなわち、所定の短い時間間隔で連続的に出現する、時間的に予測可能な刺激に対して、集中した状態で脳波の随伴陰性変動を規定するべく、一定時間（例えば１．５秒）間隔で所定の画像、例えばアルファベットなどの文字をモニタ３５の画面に画像として表示し、記憶させるといった課題を行い、その間の脳波を脳波検出器４で測定する。文字は異なる文字が好ましく、さらに、画像は文字に限定されず、図形その他でもよい。

かかる刺激付与テストは、テスト用信号出力処理部３０１によって所定回実行され、さらに、情報処理部３０２によって、各回の測定脳波信号を加算（あるいは加算平均）することでノイズ除去処理を行っている。得られた波形中で、記憶するべきアルファベット画像の提示時刻前からみられる陰性への変動、および提示後の陽性への変動（陰性からの復帰）までを陰性変動と規定する。具体的には記憶するべきアルファベット画像の提示後５００msec内の最大陽性変動点を区切りとし、各区切り間（区間）の変動を随伴陰性変動ＣＮＶとみなす。区間内の最大陽性変動値を基準として各区間の随伴陰性変動ＣＮＶの振幅を規定し、振幅の時間平均が最大である区間を随伴陰性変動ＣＮＶのテンプレートとする。かかる判定処理はテンプレート設定部３０３で実行される。

図７は、上述の随伴陰性変動ＣＮＶの波形図である。矢印で示す第１刺激、第２刺激は、連続する２つのアルファベット画像をモニタ３５に表示する時点を示している。そして、第１、第２刺激の間の区間を、随伴陰性変動ＣＮＶの区切り、すなわち取得すべきテンプレートとしている。取得されたテンプレート信号は、データ記憶部３３に記憶される。

なお、テンプレートの作成方法は、上記以外にも種々の刺激付与テストの方法が考えられる。例えば、ブザー等の第１刺激を与えた後の所定の予測可能な時間後にフラッシュ点灯させるような第２刺激を付与する方法でもよい。この場合には、フラッシュ光源、ブザー、タイマ等のテスト用部材を備えた構成部を採用すればよい。

動作パターン作成部３０Ｂは、基本動作出力指示部３０４、情報処理部３０５及びマッチング処理部３０６を備えている。

基本動作出力指示部３０４は、行動分節単位の行動パターン信号の取得を行うべく、制御対象であるロボットに１又は複数の各動作（基本動作）を含む行動系列の動きを事前に行わすための信号を出力し、指令信号生成器３４を介して対応する指令信号を所定の駆動源２１，…２２に出力するものである。このとき、操縦者には、操縦桿１１を把持させた状態で、ロボット２の動きを視覚入力させつつ、操縦桿１１を、恰もロボット２を操縦しているつもりで操作を行わせ、出力される操作信号を取得する。また、この時に脳波検出器４によって操縦者の脳波が同時に計測される。すなわち、つもり操縦であっても、ロボット２の動きを観察しながら操縦を行う場合においては、操縦者はロボット２の動作を知っている、もしくは操縦者が動かしたいロボット２の行動意図があるため、行動意図の区切りの時間で集中が生じる。従って、各動作に関連して随伴陰性変動が発生する。

かかる事前操作処理は、基本動作出力指示部３０４によって所定回実行され、さらに、情報処理部３０５によって、各回で測定された脳波信号を加算（あるいは加算平均）することでノイズ除去処理を行っている。同様に、情報処理部３０５は、操縦者が操作した操作信号も取得し、加算平均処理を行う。得られた脳波信号及び操作信号は対応付けられてデータ記憶部３３に記憶される。

マッチング処理部３０６は、事前操作で取得され、データ記憶部３３に記憶された脳波信号を読み出し、この脳波信号の波形と、データ記憶部３３に記憶されている随伴陰性変動ＣＮＶのテンプレート信号とを読み出して、両信号を照合し、両者が最も一致（テンプレートマッチング）するときの随伴陰性変動時点について、前記事前操作で取得された操縦桿１１から出力される操作信号に対する区切りを設定する。すなわち、行動分節の単位となる操作信号が設定される。

マッチング処理部３０６は、操作信号とテンプレート信号との類似度を、例えば正規化相互相関値により計算する。類似度のピーク点が特徴姿勢時刻となるよう、テンプレート中の刺激付与時刻に対して類似度を計算する（テンプレートの波形とマッチングした場合、類似度１の時刻が刺激付与時刻と一致する）。特徴姿勢（特徴位置）は、類似度が０．３以上の区間の類似度最大時刻であると推定される。なお、最大の類似度が所定の閾値に達しない場合、例えば類似度０．３未満の場合、照合対象となる脳波信号に随伴陰性変動ＣＮＶとしての特徴的な波形が得られておらず、操縦者の行動意図の存否を誤って判断してしまうことから、この間に随伴陰性変動は生じていないとして処理される。

図８は、テンプレートマッチングによる類似度を示す類似線（１）を表しており、従来の主観的な手法（単なる「つもり」制御）によって得られた行動分節の区切り時点（３）と、脳波を利用した「つもり」制御手法によって得られた時点（２）がおおよそ一致しており、脳波を利用した「つもり」制御手法が行動分節の単位を取得できていることが判る。

なお、図８の類似線（１）上に示される時点（２），（３）が設定された際の実験内容は以下の通りである。まず、アルファベットを表す画像を画面上に、１．５秒間隔で５つ表示した。この表示処理を１５回繰り返し行った。被験者は脳波検出器を装着した状態で、その間、画面を注視しながら、表示されたアルファベットを記憶し、書き出した。脳波検出器はその間の脳波を検出し、検出結果を回数分で加算平均した。次いで、各アルファベットについて、画面への表示時点の５００ｍｓ以内の最大陽性変動を算出し、振幅の時間平均を求めた。その内から、平均値が最大となる、被験者の随伴陰性変動の波形をテンプレートとして選出した。続いて、１００ｍｓ毎の値を用いて５０点について、各アルファベットの表示時点を基準にしてそれぞれ正規化相互相関処理を施して、選出したテンプレートとの相関を算出し、各アルファベットに対応して、区切り時点（２）を算出した。同様に、従来の主観的な手法に基づいて、１００ｍｓ毎の値を用いて５０点について、各アルファベットの表示時点を基準にしてそれぞれ正規化相互相関処理を施して、区切り時点（３）を算出した。

ここに、正規化相互相関は、類似度を算出する公知の手法で、テンプレート信号に対する類似度算出対象となる脳波信号に対して、短い単位時間毎の信号レベルの差分の絶対値の合計と差分の２乗の合計とを用いて両信号の類似度を算出するものである。かかる処理を時間軸方向に相対的に順次ずらしながら繰り返すことで、類似度が最大となる場合の随伴陰性変動ＣＮＶの区切りを見いだすことが可能となる。また、類似度の算出方法は、正規化相互相関に限定されず、種々の公知の方法が採用可能である。

マッチング処理部３０６は、かかる計算を、両信号を時間方向に相対的に所定量ずつ順次移動させつつ計算を繰り返して類似度が値１に近い時の相対移動量を取得し、この取得値から、この時の脳波信号に対応した、操縦桿１１に対する操作から得られた操作信号の行動分節の区切りを得る。

そして、マッチング処理部３０６は、設定された行動分節単位となる操作信号（動作パターン）と、その間にロボットを動作させていた信号である指令信号とを対応付けて、データ記憶部３３に記憶する。これによって事前準備が終了する。

図２は、脳波を利用した「つもり」制御を実行する動作指令装置の一実施形態を示す構成図である。図２の情報処理部３はマイクロコンピュタで構成されたもので、本実施形態のように図１の情報処理部３と兼用する態様でもよいし、あるいは別の部材でもよい。処理プログラム記憶部３２１は、脳波を利用した「つもり」制御を実行するためのプログラムが記憶されている。データ記憶部３３１は、脳波を利用した「つもり」制御の実行に必要な各種データの他、前記事前処理で得た前記加算平均した入力信号である動作パターンと指令信号とが対応付けされて記憶されている。また、カメラ５は、ロボット２の画像を撮像するもので、撮像された画像は有線あるいは無線で通信されてモニタ３５に表示される。これにより操縦者はロボット２の動作を確認しつつ遠隔操縦させることが可能となる。なお、指令信号であって駆動源２１，…２２を駆動するための駆動電力信号を出力する指令信号生成器３４は、情報処理部３側に配置されてもよいし、ロボット２側に配置されてもよい。また、操縦者側には、操縦部１、（遠隔制御時の）モニタ３５、及び（脳波を利用した「つもり」制御IIの場合の）脳波検出器４が少なくとも備えられていればよい。

図２において、制御部３７は、処理プログラム記憶部３２１に記憶されている処理プログラムが実行されることで、マッチング処理部３７１、判定部３７２、指令処理部３７３及び表示処理部３７４として機能する。

マッチング処理部３７１は、脳波を利用した「つもり」制御が開始されると、操縦部１からの操縦信号が検出部３１を介して入力され、この入力された操縦信号と、データ記憶部３３１から読み出した各動作パターン信号とのマッチング処理（パターンマッチング処理）をリアルタイムで実行するものである。このマッチング処理は、例えば、入力中の操縦信号に各動作パターン信号を順次時間方向において照合して、すなわち、前述の正規化相互相関と同様な処理方法を利用したり、あるいは同様な差分の合計算出手法を利用したりする類似度算出処理を繰り返し行うものである。

判定部３７２は、算出処理が繰り返し行われる都度、算出された類似度を参照して、所定の類似度以上に早く達した動作パターンを該当する動作パターンとして選出するものである。

指令処理部３７３は、選出された動作パターンに対応する信号として、データ記憶部３３１に記憶されている指令信号を読み出すものである。制御部３７は、入力された指令信号を指令信号生成器３４を介して駆動電力信号に変換してロボット２に送出するものである。

表示処理部３７４は、ロボット２を遠隔操縦する態様において、カメラ５で撮像されたロボット２の動作状況をモニタ３５に表示して操縦者の視覚入力に供するものである。カメラ５は、ロボット２の全体が観察可能な適所に備えられていてもよいし、さらに作業環境全域も見渡せる位置に設置された態様でもよい。

脳波検出器４は、必要に応じて採用されるもので、脳波を利用した「つもり」制御において、同時に脳波を測定し、測定された脳波を利用して、行動分節の区分に対する別視点からの情報を提供するものである。具体的には、操縦信号に対するマッチング処理状況と、脳波から随伴陰性変動ＣＮＶの区切りの出現状況とを同時的に観察することで、仮に操縦信号に対するパターンマッチンが取れない場合にも、適切に対応可能となる。

図３は、制御部３０によって実行されるテンプレート作成処理の手順を説明するフローチャートである。まず、一定時間（区間）毎に異なるアルファベットが順次、所定区間数だけモニタ３５に表示され、その間継続して対象者（操縦対象者）の脳波が測定され、記録される（ステップＳ１）。次いで、このテストがｎ回行われたか否かが判断され（ステップＳ３）、否定されれば、ステップＳ１に戻って同様なテストが実行される。一方、ステップＳ３の判断が肯定されると、記録されたｎ回分の脳波信号に対して、同時間軸上で加算平均が施されてノイズが除去された信号が生成される（ステップＳ５）。続いて、最も随伴陰性変動の高い区間の脳波信号の波形が抽出されて、テンプレートとして決定され、記憶（保管）される（ステップＳ７）。

図４は、制御部３０によって実行される動作パターン作成処理の手順を説明するフローチャートである。まず、予め作成された複数の基本動作を含む動作系列の指令信号をロボットに出力する処理が繰り返し実行される（ステップＳ１１）。次いで、対象者の脳波信号及び操縦桿１１を介して操縦部１からの入力信号（操作信号）が時間方向に検出されて、記録される（ステップＳ１３）。続いて、脳波信号、操作信号が安定したか否かが判断される（ステップＳ１５）。信号が安定していない例としては、振幅方向の振れノイズ成分が大きいとか、信号の振幅が所要レベルまで達しないなどが想定される。

安定していなければ、適正な動作パターンが取得できない可能性が高いことから、ステップＳ１１に戻って、同様な処理を行う。一方、入力が安定している場合、かかる処理がｍ回行われたか否かが判断され（ステップＳ１７）、否定されれば、ステップＳ１１に戻って同様なテストが実行される。一方、ステップＳ１７の判断が肯定されると、記録されたｍ回分の操作信号と脳波信号とに対して、それぞれ加算平均が施されてノイズが除去された信号が生成される（ステップＳ１９）。続いて、加算平均された脳波信号とテンプレートとのマッチングが実行され、分節の区切りが取得される（ステップＳ２１）。そして、取得された分節の区切りを基に、加算平均された操作信号を動作パターンとして、及びこの動作パターンに対応した指令信号が決定され、これらが保管される（ステップＳ２３）。なお、ステップＳ１９〜ステップＳ２３は各基本動作に対応して顕われるであろう随伴陰性変動ＣＮＶについて、同様の処理が行われ、各随伴陰性変動ＣＮＶに対応して行動分節された動作パターンが取得されることになる。また、かかる動作パターン作成処理は、動作系列でまとめて行う他、基本動作単位で処理する態様でもよい。

図５は、制御部３７によって実行される、脳波を利用した「つもり」制御の処理の手順を説明するフローチャートである。まず、操縦桿１１からの操縦信号が検出され（ステップＳ３１）、検出された操縦信号と各動作パターンとのパターンマッチング処理が実行される（ステップＳ３３）。そして、マッチングが取れたか否かが判断され（ステップＳ３５）、この判断が否定されると、ステップＳ３３に戻って、同様なマッチング処理が繰り返される。一方、いずれかの動作パターンに対してマッチング条件がクリアされて、マッチングが取れたと判断されると、マッチングしたと判定された動作パターンに対応した指令信号の出力が指示される（ステップＳ３７）。次いで、操縦桿１１からの入力信号が継続しているか否かが判断され、継続していれば、ステップＳ３１に戻り、逆に入信号がなく、操縦終了と判断されると、本フローを抜ける。

図６は、制御部３７によって実行される、脳波を利用した「つもり」制御IIの処理の手順を説明するフローチャートである。この処理は、図５に示す、脳波を利用した「つもり」制御をベースにしている一方、脳波検出器４を併用する点おいて相違している。ステップＳ３３で操縦信号と各動作パターンとのマッチングのための処理が実行された結果、ステップＳ３５でマッチングが得られなかったと判定された場合、随伴陰性変動ＣＮＶが検出されたか否かが判断され（ステップＳ４１）、検出されなければ、ステップＳ３３に戻る。一方、ステップＳ４１で随伴陰性変動ＣＮＶが検出された場合、ステップＳ３７に進んで新たな指令信号が出力される。このように、操縦信号と動作パターンとのマッチングが取れなかった場合であって、脳波信号を監視しておくことで、行動分節の区切りを取得することが可能となる。なお、図６において、脳波検出器４は、操縦制御が開始された時点から操縦終了まで、脳波を継続的に検出し（ステップＳ５１）、検出毎に、予め取得しておいた操縦者のテンプレートとの間で前述したテンプレートマッチングが施されて随伴陰性変動ＣＮＶの取得処理が実行される（ステップＳ５３）。そして、制御部３７は、ステップＳ４１において、ステップＳ５３の結果を参照し、判断するようにしている。なお、随伴陰性変動ＣＮＶの検出は、１つが検出されると、時間方向における次の随伴陰性変動の検出に進む。

以上のように、本実施形態では、人間の行動意図を伝送することにより、自由度に無関係にロボットを操縦することができる。そのため、ロボットの動作は人間の意図レベルと一致したものとなる。これは、例えばコップを掴む動作を考えた場合、従来のテレイグジスタンスのような操縦方法であれば、コップを掴みに行くための手の角度や腕の軌跡なども一致させていたが、脳波を利用した「つもり」制御では、ロボットがどの様にコップを掴むかどうかは制御せず、コップを掴むという結果だけを一致させることができる。これにより、感覚と運動の対応関係において物理的には完全な一致は見ないものの、随意性を損なわない整合性を保つ遠隔制御が実現される。

なお、本発明は、以下の態様が採用可能である。

（１）本実施形態では、ジョイスティックの自由度に対して、前記ロボット２は多関節駆動のための所要数の駆動源２１，…２２によって、自由度２、３又はそれ以上の所要の自由度を持つことが可能である。このように、操作部１の自由度よりも多い自由度を有するロボット１に対しても、操縦部１に対する操縦者のつもり乃至は直感的な操縦に対応した指令信号を出力してロボット２を動かすようにしたので装置の小型化、汎用化が図れる。また、両者の自由度数が一致している必然性はないから、操作性、汎用性の高い動作指令装置を提供することが可能となる。また、操縦部１はジョイスティックに限定されず、操作に応じた信号を生成し、出力するものであればよい。

（２）本実施形態では、操縦者のテンプレートを取得してマッチング処理を行うことで高いマッチング精度を得るようにしたが、ヒトのテンプレートの類似性を考慮して、さらに適用対象のロボットの動作精度の程度を考慮すれば、一般的なヒトのテンプレートを基準としてもよい場合がある。

（３）本実施形態では、ロボット２の態様としてワーク移送用や、工具で所定の作業を行う産業ロボットを想定したが、これに限定されず、ゲームでのロボット、ヒトが乗り込んで操縦するタイプの作業ロボット、その他の種々の操作目的のロボットに適用可能である。

（４）本実施形態では、テンプレート作成及び動作パターン作成を情報処理部３で行う態様としたが、これらは別々に処理される態様であってもよい。例えば、テンプレートの作成を専用の装置で取得し、取得結果を動作パターン作成処理に利用できるようにすればよい。

（５）本実施形態では、図１の情報処理部３と図２の情報処理部３とを兼用する態様で説明したが、これに限定されず個別の処理部を用いてもよい。例えば、図１の情報処理部３で取得されたデータ記憶部３３の内容を図２の情報処理部３のデータ記憶部３３１に書き込むようにすればよい。これにより、図２の操縦部１と情報処理部３とで動作指令装置が構築される。なお、本実施形態では、図１、図２に示すように、ＣＰＵを備えてソフトウエアで処理部を構成したが、これに限定されず、ハードウエア回路やシーケンス回路で構成された部分を備えたものでもよい。

（６）本実施形態では、ロボットや可動体を操縦するもので説明したが、本発明はこれに限定されない。例えば、制御対象がスイッチ類で、操縦信号が操作者の身体乃至はその一部の動きを検知した検知信号である場合である。検知信号の一例としては、固定されたカメラで撮影した画像から操縦者の動きを検知した信号である。以下、適用例を説明する。

操作者が脳波検出器４を頭部にセットして、所定の種々の動作を行う。各動作はカメラで撮像されている。所定の種々の動作としては、例えば、（ａ）屋内の所定の壁に向かって一方の手（又は腕）を上から下へ動かす、（ｂ）逆に下から上に動かす、また、（ｃ）ソファーに向かって歩く等が想定される。指令者のかかる行動をカメラで監視しつつ、操作者の脳波を測定する。操作者の各行動に対応して、（ａ）の場合、照明器具の電源スイッチをオンにして照明器具を点灯させる。（ｂ）の場合には消灯する。（ｃ）の場合にはテレビをオンにする。かかる種々の動作の内、それぞれスイッチが動作して変化（時間的に予想可能な刺激）が発生することで一つの行動単位について随伴陰性変動ＣＮＶが取得されることが想定される。そこで、操縦者の随伴陰性変動のテンプレートを予め取得しておき、この事前抽出処理の時点で、テンプレートと各行動時の脳波信号とを照合して脳波信号の行動分節の区切りを取得し、この区切り時点に対応するカメラで撮像された行動を抽出し、これを１つの動作パターンとして取得する。取得された動作パターンに対応する指令信号を対応づける。例えば、（ａ）に対する行動分節である行動パターンに対しては照明器具の電源スイッチを点灯させる指令信号である。なお、照明器具の電源スイッチのオンオフ、テレビの電源オンオフなどはリモートコントロールで動作させるよう、予め屋内制御ネットワークシステムなどを構築しておけばよい。同様にして、各行動についての動作パターンを取得し、指令信号を対応づける。以上の事前抽出処理の後、カメラが操縦者の動きを検知し、対応する動作パターンを選出すると、対応する指令信号が出力される。かかる適用例では、操作者は操縦部を直接操作する必要がない点で好適である。このように、操縦部を直接所持せず、身体操作（操作者の意向単位）に対応して制御対象の動作を追従させるような操縦も実現することが可能となる。制御対象は家電等のオンオフに限定されず、窓とかシャッターの開閉、空調システムの調整などにも適用可能である。

１ 操縦部（操作信号生成器）
１１ 操縦桿（操作部）
２ ロボット（制御対象）
２１，…２２ 駆動源（駆動源）
３ 情報処理部（動作指令装置の一部）
３０，３７ 制御部（指令処理手段の一部）
３０Ａ テンプレート作成部（動作パターン作成手段の一部）
３０Ｂ 動作パターン作成部（動作パターン作成手段の一部）
３３，３３１ データ記憶部（動作パターン記憶部）
３４ 指令信号生成器（指令処理手段の一部）
３７１ マッチング処理部（パターンマッチング判定処理手段の一部）
３７２ 判定部（パターンマッチング判定処理手段の一部）
３５ モニタ（表示部）
４ 脳波検出器
５ カメラ（撮像手段）

Claims (7)

1. 操縦者の操作に応じた操作信号を生成する操作信号生成器と、
   ヒトの脳波から取得された随伴陰性変動に基づいて作成した、操縦者の行動分節単位の動作パターンと前記動作パターンに対応する信号であって制御対象を駆動するための指令信号とが複数種類の動作パターン分、記憶された動作パターン記憶部と、
   前記操作信号生成器からの前記操作信号と前記動作パターン記憶部の各動作パターンとのパターンマッチングを行うパターンマッチング判定処理手段と、
   パターンマッチングしたと判断された動作パターンに対応する指令信号を前記制御対象に出力する指令処理手段とを備え、
   前記動作パターンは、予め取得した前記ヒトの前記随伴陰性変動のテンプレートと、前記制御対象が行う複数の基本動作を含む動作系列を前記操縦者に視覚入力させつつ、対応する操作を行わせて操作信号を生成し、かつ同時に脳波検出器で測定された前記操縦者の脳波信号とのテンプレートマッチングによって、前記動作系列中から前記基本動作に対応した前記操作信号が行動分節単位に区切られて抽出されたものであることを特徴とする動作指令装置。
2. 前記ヒトと前記操縦者とは同一人であることを特徴とする請求項１に記載の動作指令装置。
3. 前記制御対象は、複数の自由度を有して動く可動部と、前記可動部を動かす１又は複数の駆動源とを備え、
   前記操作信号生成器は、外部から操作可能で、かつ操作に応じた信号を前記操作信号として生成する操作部を備えていることを特徴とする請求項１又は２に記載の動作指令装置。
4. 前記制御対象は、多関節アームを備え、各関節アームが前記可動部によって動かされるロボットであることを特徴とする請求項３に記載の動作指令装置。
5. 前記制御対象を撮像する撮像手段と、撮像された画像を前記操縦者に提示するべく表示する表示部とを備えたことを特徴とする請求項１〜４のいずれかに記載の動作指令装置。
6. ヒトの脳波から取得された随伴陰性変動に基づいて作成した、操縦者の行動分節単位の動作パターンと前記動作パターンに対応する信号であって制御対象を駆動するための指令信号とが複数種類の動作パターン分、動作パターン記憶部に記憶する動作パターン記録工程と、
   操縦者の操作に応じた操作信号を生成する操作信号生成工程と、
   前記操作信号生成工程で生成された前記操作信号と前記動作パターン記憶部の各動作パターンとのパターンマッチングを行うパターンマッチング判定処理工程と、
   パターンマッチングしたと判断された動作パターンに対応する指令信号を前記制御対象に出力する指令処理工程とを備え、
   動作パターン記録工程において前記動作パターン記憶部に記憶される前記動作パターンを、予め取得した前記ヒトの前記随伴陰性変動のテンプレートと、前記制御対象が行う複数の基本動作を含む動作系列を前記操縦者に視覚入力させつつ、対応する操作を行わせて操作信号を生成し、かつ同時に脳波検出器で測定された前記操縦者の脳波信号とのテンプレートマッチングによって、前記動作系列中から前記基本動作に対応した前記操作信号を行動分節単位に区切って抽出することで作成する動作パターン作成工程とを含むことを特徴とする動作指令方法。
7. 操縦者の操作に応じた操作信号を生成する操作信号生成器と、ヒトの脳波から取得された随伴陰性変動に基づいて作成した、操縦者の行動分節単位の動作パターンと前記動作パターンに対応する信号であって制御対象を駆動するための指令信号とが複数種類の動作パターン分、記憶された動作パターン記憶部と、前記操作信号生成器からの前記操作信号と前記動作パターン記憶部の各動作パターンとのパターンマッチングを行うパターンマッチング判定処理手段と、パターンマッチングしたと判断された動作パターンに対応する指令信号を前記制御対象に出力する指令処理手段とを備えた動作指令装置で用いられる、前記動作パターン記憶部に記憶された前記動作パターンを作成する動作パターン作成装置であって、
   予め取得した前記ヒトの前記随伴陰性変動のテンプレートと、前記制御対象が行う複数の基本動作を含む動作系列を前記操縦者に視覚入力させつつ、対応する操作を行わせて操作信号を生成し、かつ同時に脳波検出器で測定された前記操縦者の脳波信号とのテンプレートマッチングによって、前記動作系列中から前記基本動作に対応した前記操作信号を行動分節単位に区切って抽出する動作パターン作成手段を備えた動作パターン作成装置。

Images