JP6087786B2 - 随意運動識別装置 - Google Patents

Description

本発明は、随意運動識別装置に関し、特に、脳波信号に基づいて識別器によって随意運動の有無を識別する技術に関する。

特許文献１には、随意運動をタイミングよく補助するためのリハビリテーション用脳波信号処理装置が開示されている。このリハビリテーション用脳波信号処理装置は、脳のリハビリ対象部位に対応する運動野付近から採取した脳波信号について、所定周波数成分の信号強度の時間変化が検出されると、身体の随意運動を補助するリハビリテーション用運動補助装置の動作を制御する。

随意運動は、事象関連脱同期（ＥＲＤ：Event-Related Desynchronization）という現象に着目して脳波から検出できることが知られている。ＥＲＤとは、実運動および運動イメージを実行時に、脳波振幅が変化する現象である。ＥＲＤでは、特に特定周波数帯域で脳波振幅の減少が顕著となるが、どこの周波数が変化するかは、個人差によって異なる。多くの研究がμリズムやβリズム等の特定周波数の信号強度の変化に着目してＥＲＤを利用して随意運動を検出するようにしているが、この周波数は個人差が大きいため、事前に計測する必要がある。

それに対して、特許文献１に開示のリハビリテーション用脳波信号処理装置では、所定周波数成分の信号強度の時間変化に着目して随意運動を検出するようにしているため、個人差に対応することができないという問題がある。

特開２０１２−２１７７２１号公報

本発明は、上述した知見に基づいてなされたものであり、個人差に強い随意運動の識別を可能とすることができる随意運動識別装置を提供することを目的とする。

本発明の第１の態様に係る随意運動識別装置は、ユーザの頭部の複数点の脳波をそれぞれ示す複数の脳波信号に基づいて、識別器によって随意運動の有無を識別する随意運動識別装置であって、前記複数の脳波信号に対して、所定の帯域を通過させる時間フィルタと、随意運動の識別対象の部位に対応する脳波信号に関するハイライト信号を抽出する空間フィルタをかける前処理部と、前記前処理部によって抽出されたハイライト信号のＡＲモデルの係数と予測誤差の分散を、特徴ベクトルとして算出するＡＲモデル推定部と、前記ＡＲモデルによって算出された特徴ベクトルに基づいて、前記識別器のパラメータを学習する識別部と、前記識別器が随意運動の有無として導出するバイナリー値をスムージングして、リハビリ支援ロボットの制御に利用可能な連続値に変換する後処理部と、を備えたものである。

上述した本発明の態様によれば、個人差に強い随意運動の識別を可能とすることができる随意運動識別装置を提供することができる。

実施の形態に係る随意運動識別システムの構成図である。 国際１０−２０法の電極配置図である。 実施の形態に係る実験のタイムシーケンス、及び実験のタイムシーケンスに応じて表示装置１４に表示される画像例を示す図である。 実施の形態に係る随意運動識別システムの信号処理系の全体構成図である。 実施の形態に係るマスキング用の窓関数を示す図である。 実施の形態に係る特徴ベクトルの計算結果例を示す図である。 実施の形態に係るバイナリー値及びスムージング後の連続値の計算結果例を示す図である。 実施の形態に係るマスキング後の連続値の計算結果例を示す図である。 実施の形態に係る識別器の識別性能を示す図である。 実施の形態に係るリハビリ支援ロボットの構成図である。

＜本発明の実施の形態＞
図１を参照して、本発明の実施の形態に係る随意運動識別システム１の構成について説明する。図１は、本発明の実施の形態に係る随意運動識別システム１の構成図である。

以下、本実施の形態では、ユーザの左手首関節の屈曲運動についてリハビリテーションをする例について説明するが、ユーザの体における他の部位のリハビリテーションに用いてもよい。

随意運動識別システム１は、脳波計（キャップ又はヘッドセット）１１、アンプ１２、ホストコンピュータ１３、及び表示装置１４を有している。

脳波計１１は、脳波を測定し、測定した脳波を示す脳波信号をアンプ１２に送信する。具体的には、脳波計１１は、複数の電極を有しており、その複数の電極によってユーザの頭部の複数点における脳波を測定する。そして、脳波計１１は、測定した複数点の脳波をそれぞれ示す複数の脳波信号を生成し、アンプ１２に送信する。

アンプ１２は、脳波計１１から送信された脳波信号を増幅し、ホストコンピュータ１３に送信する。

ホストコンピュータ１３は、アンプ１２から送信された脳波信号を信号処理する。具体的には、ホストコンピュータ１３は、ＣＰＵ（Central Processing Unit）及び記憶装置（図示せず）を有するＰＣ（Personal Computer）であり、ＣＰＵによって記憶装置に格納されたプログラムを実行することで、後述の各種処理を実現する。すなわち、このプログラムは、後述の各種処理をＣＰＵに実行させるためのコードを含んでいる。記憶装置として、例えばメモリ及びハードディスク等の記憶装置のうち、任意の１つ以上の記憶装置を用いるようにしてよい。ホストコンピュータ１３は、随意運動識別装置として機能する。

表示装置１４は、実験のタイムシーケンスに応じて、ホストコンピュータ１３によって画像が表示される。表示装置１４として、例えばＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、及び有機ＥＬディスプレイ等の表示装置のうち、任意の表示装置を用いるようにしてよい。

脳波計の複数の電極をユーザの頭部に取り付ける位置は、随意運動を識別する体の部位に依存する。本実施の形態では、上述したように左手首の随意運動を識別するため、図２に示す国際１０−２０法におけるＣ４位置を中心として、複数点数（例えば１３点）で取り囲むように電極を頭部に取り付けることにより、運動野の左手の領域を重点的に計測するようにする。よって、総計で１４点（１４チャンネル）の脳波信号を計測することになる。

続いて、図３を参照して、実験のタイムシーケンスについて説明する。図３は、実験のタイムシーケンス、及び実験のタイムシーケンスに応じて表示装置１４に表示される画像例を示す図である。

図３に示すように、最初の３[sec]間はクロス画像を表示して、ユーザの目の動きを固定させる。クロス画像は、画面の中央に十字型の注視視標を示す画像である。具体的には、ホストコンピュータ１３は、クロス画像を示す画像情報を表示装置１４に送信し、表示装置１４は、ホストコンピュータ１３から送信された画像情報が示すクロス画像を表示する。

次の１[sec]間はビジュアルキューを表示する。ビジュアルキューは、運動イメージの想起を助けるために、対象運動を模擬した静止画又は動画となる。本実施の形態では、左手首の屈曲運動を模擬した静止画又は動画となる。この静止画又は動画は、実写であってもＣＧ（Computer Graphics）であってもよい。具体的には、ホストコンピュータ１３は、ビジュアルキューを示す画像情報を表示装置１４に送信し、表示装置１４は、ホストコンピュータ１３から送信された画像情報が示すビジュアルキューを表示する。

ビジュアルキューの表示終了後の次の４[sec]間で、ユーザには、左手首の屈曲運動の実運動の実行、又は、左手首の屈曲運動の運動イメージの実行をしてもらう。この４[sec]間は、図３に示すように、表示装置１４には、クロス画像及びビジュアルキューを表示しないようにしてよい。

本実施の形態では、識別器の学習段階（オフライン）では、上記の８[sec]間のタイムシーケンスを３５回繰り返し、計測したデータに基づき、ユーザに好適な識別器のパラメータを導出する。そして、導出したパラメータに基づいて、リアルタイムで随意運動のオンライン識別を実施する。すなわち、次に記載する流れで処理が行われる。

１） 眼球運動の固定
２） ビジュアルキュー終了後、実運動あるいは運動イメージを実施
３） 上記を多数回（例えば３５回）繰り返し、オフラインで学習
４） 学習後の識別器を用いて、オンラインで識別実施

続いて、図４を参照して、本発明の実施の形態に係る随意運動識別システム１の信号処理の流れについて説明する。図４は、本発明の実施の形態に係る随意運動識別システム１の信号処理系の全体構成図である。

詳細は後述するが、信号処理系は、
１．時間フィルタと空間フィルタからなる前処理部２１、
２．ＡＲモデルの係数と予測誤差の分散を計算するＡＲモデル推定部２２、
３．随意の有無を計算する識別部２３、
４．随意のバイナリー値を連続値に変換する後処理部２４、
を有している。

具体的には、ホストコンピュータ１３のＣＰＵが前処理部２１、ＡＲモデル推定部２２、識別部２３、及び後処理部２４として機能する。以下、前処理部２１、ＡＲモデル推定部２２、識別部２３、及び後処理部２４の処理について説明する。

（１．前処理部２１）
ホストコンピュータ１３では、脳波計１１からアンプ１２を介して送信された１４チャンネル分の脳波信号がＥＥＧデータuⁱ _eegとして取得される。ＥＥＧデータuⁱ _eegは、例えば、ホストコンピュータ１３の記憶装置に格納される。前処理部２１は、１４チャンネルのＥＥＧデータuⁱ _eegに対して、時間フィルタと空間フィルタの両方をかけて、国際１０−２０法におけるＣ４近傍の信号を強調させる。

まず、前処理部２１は、時間フィルタとして、２次のバンドパスフィルタG_BPF(s)を各チャンネルのＥＥＧデータuⁱ _eegに対して適用し、３Ｈｚから３０Ｈｚの帯域を通過させる。すなわち、前処理部２１は、ＥＥＧデータuⁱ _eegにバンドパスフィルタG_BPF(s)をかけた後のＥＥＧデータuⁱ _{eeg_f}を、次式（１）によって算出する。

なお、ここでは、時間フィルタによって、３Ｈｚから３０Ｈｚの帯域を通過させる例について説明したが、通過帯域はこれに限られず、予め任意の帯域を通過帯域として定めるようにしてよい。しかしながら、好ましくは、ここでの例のように、μリズム（８Ｈｚ〜１３Ｈｚ）及びβリズム（１３Ｈｚ〜３０Ｈｚ）等の随意運動の検出に好ましい周波数帯域を通過させるようにするとよい。

次に、前処理部２１は、空間フィルタとして、Common Average Reference（ＣＡＲ）フィルタを適用し、Ｃ４ハイライト信号x_c4hを生成する。すなわち、前処理部２１は、式（１）で算出したＥＥＧデータuⁱ _{eeg_f}にＣＡＲフィルタをかけた後のＣ４ハイライト信号x_c4hを、次式（２）によって算出する。式（２）を適用することで、空間的な不鮮明さを除去することができる。なお、式（２）では、ｉ＝３のＥＥＧデータuⁱ _{eeg_f}がＣ４のＥＥＧデータである場合について例示している。

（２．ＡＲモデル推定部２２）
次に、ＡＲモデル推定部２２は、前処理部２１によって算出されたＣ４ハイライト信号x_c4hから識別器の入力となる特徴ベクトルｄを算出する。本実施の形態では、ＡＲモデル推定部２２は、最大エントロピー法を用いて、次式（３）で示すＡＲモデルの予測誤差e(t)の分散が最小となるようなＡＲ係数a_kと予測誤差e(t)の分散σ² _nを推定する。

ＡＲ係数a_kと予測誤差e(t)の分散σ² _nは、次式（４）で示されるYule-Walker方程式をLevinsonのアルゴリズムで解くことで得られる。なお、式（４）におけるR(0)〜R(M-1)は、時系列順のＣ４ハイライト信号x_c4h(t-k)から算出された自己共分散関数となる。なお、Ｍは任意の正整数である。

ＡＲモデル推定部２２は、最終的な特徴ベクトルｄを次式（５）として得る。

ここで、Ｍとして、予め任意の正整数を定めてよい。例えば、Ｍ＝２とする。また、本実施の形態では、時系列順の複数の特徴ベクトルｄに対して、ハイパスフィルタ（折点周波数１[Ｈｚ]）をかけることでバイアス成分を除去するものとする。

（３．識別部２３）
識別部２３は、オフラインによる学習時には、ＡＲモデル推定部２２が算出した特徴ベクトルｄに基づいて識別器を学習させ、オンラインによる識別時には、ＡＲモデル推定部２２が算出した特徴ベクトルｄに基づいて学習後の識別器によって随意運動の有無を識別する。なお、識別器として、線形識別器と非線形識別器のうち、任意の識別器を採用するようにしてよい。以下、線形識別器として、FisherのLinear Discriminant Analysis（ＬＤＡ）を採用した例と、非線形識別器として、カーネル関数を用いたSupport Vector Machine（ＳＶＭ）を採用した例のそれぞれについて説明する。

ここでは、負クラスのデータとして、キュー表示時（３〜４[sec]）に算出した特徴ベクトルｄを用い、正クラスのデータとして、動作実行時の前半（５〜６[sec]）で算出した特徴ベクトルｄを用いるものとして説明する。また、上述の８[sec]のトライアルを３５回繰り返した全データのうち、５回分のデータを訓練データとして使用し、残りの３０回分のデータをテストデータとして使用して、交差検証を行うことで識別器を学習させるものとして説明する。しかしながら、訓練データとテストデータの割合は、これに限られず、任意の割合を予め定めるようにしてよい。

最初に、識別器として、線形識別器（ＬＤＡ）を採用した場合について説明する。この場合、正クラス、負クラスの分散共分散行列が等しいと仮定すると、ＬＤＡに基づく識別結果は、次式（６）で表される。この識別器は、データが正クラスの場合は出力y_bが＋１となり、データが負クラスの場合は出力y_bが−１となる。

そして、識別部２３は、訓練データ及びテストデータに基づいて、式（６）で示される識別器のパラメータを学習する。これにより、訓練データ及びテストデータの基となる脳波を測定したユーザに対して好適な識別器が生成される。

続いて、識別器として、非線形識別器（ＳＶＭ）を採用した場合について説明する。ＳＶＭは、訓練段階での教師データが必要なため、識別部２３はクラスラベルyⁱを設定する。正クラスの場合はyⁱ＝＋１を設定し、負クラスの場合はyⁱ＝−１を設定する。そして、次式（７）（８）で示す制約付き最適化問題を解くことで、ＳＶＭの識別境界のパラメータが得られる。

ここで、K_poly(dⁱ,d^j)は、カーネル関数である。ここでは、次式（９）に示す２次の多項式カーネルを使用するものとする。

上記の各式に基づいて、ＳＶＭによる非線形識別器は、次式（１０）として得られる。

識別部２３は、訓練データ及びテストデータに基づいて、式（１０）で示される識別器のパラメータを学習する。これにより、訓練データ及びテストデータの基となる脳波を測定したユーザに対して好適な識別器が生成される。

そして、識別部２３は、オンラインによる識別時には、ＡＲモデル推定部２２が算出した特徴ベクトルｄを、学習後の識別器に入力することで、識別器からの二値の出力＋１又は−１が随意運動の有無として得られる。識別部２３は、取得した二値の出力を後処理部２４に渡す。

（４．後処理部２４）
後処理部２４は、オンラインでの識別時に、二値（＋１、−１）のデータからなる識別器の出力を、リハビリ支援ロボットの制御で使用可能な連続値y_cに変換する。基本的には、後処理部２４は、識別器の出力に対してローパスフィルタ（折点周波数：１[Ｈｚ]）をかけてスムージングを行う。その後、後処理部２４は、スムージング後の値を、随意運動の識別の有効対象区間のみを取り出すウインドウ（４〜７[ｓｅｃ]の区間で１、それ以外の区間で０となるような窓関数であり、例えばTukey Window関数で設計）を乗じることでマスキングを行う。例えば、後処理部２４は、図５に示すようなマスキング用の窓関数をスムージング後の値に乗じる。このマスキング後の値として、連続値y_cが生成される。

すなわち、オンラインでの識別時においても、図３を参照して説明したタイムシーケンスに従って、ユーザに左手首の屈曲運動の実運動の実行、又は、左手首の屈曲運動の運動イメージの実行をしてもらう。そして、タイムシーケンスにおける実運動又は運動イメージ区間において、ユーザの脳波信号に従ってリハビリ支援ロボットの制御で使用可能な連続値y_cが生成される。これにより、運動随意のある時に、リハビリ支援ロボットを動作させ、ユーザに対して外部刺激を与えて神経ネットワークの再構成を促進できるような、リハビリ支援ロボットの制御データ（連続値y_c）を生成することが可能となる。

以上に説明したように、本実施形態では、図６Ａに示すように、測定した脳波から事象関連脱同期をＡＲモデルのパラメータの変化としてとらえ、そのパラメータに基づいてＬＤＡ及びＳＶＭ等の識別器を学習するようにしている。これにより、個人差によって異なる事象関連脱同期の特定周波数を事前検出不要としつつ、個人差に強いロバストな識別器を生成することを可能とした。

また、本実施の形態では、識別器の出力が随意運動の有無を示すバイナリー値となっていることに対し、図６Ｂ及び図６Ｃに示すように、その値をスムージング及びマスキングすることで、リハビリ支援ロボットを制御可能な連続量として取り出すことを可能としている。

また、図７に、本実施の形態を動作させて計測した識別性能を示している。図７では、識別器として、ＬＤＡ及びＳＶＭのそれぞれを用いた場合における識別性能を示している。図７に示すように、実運動で８４％、運動イメージで８１〜８３％の正解率で随意運動を識別することができ、非常に高い正解率での随意運動の識別が可能となっていることが分かる。

続いて、図８を参照して、本実施の形態に係るリハビリ支援ロボット２について説明する。図８は、本実施の形態に係るリハビリ支援ロボット２の構成図である。

リハビリ支援ロボット２は、ターゲットコンピュータ３１、グリップ３２を有するハンドル３３、ＡＣサーボモータ３４、サーボアンプ３５、及び力センサ３６を有する。ターゲットコンピュータ３１は、ホストコンピュータ１３と任意の有線又は無線通信を行い、ホストコンピュータ１３から送信された連続値y_cを受信する。

ターゲットコンピュータ３１は、ホストコンピュータ１３から受信した連続値y_cに基づいて、位置制御あるいは力制御によりＡＣサーボモータ３４を動作させ、ハンドル３３を回転させる。これによって、左手でグリップ３２を把持するユーザに対して、随意運動のある時にユーザの左手首の屈曲運動を促す。具体的には、ターゲットコンピュータ３１は、ＣＰＵ及び記憶装置（図示せず）を有するＰＣであり、ＣＰＵによって記憶装置に格納されたプログラムを実行することで、後述の各種処理を実現する。すなわち、このプログラムは、後述の各種処理をＣＰＵに実行させるためのコードを含んでいる。記憶装置として、任意の１つ以上の記憶装置を用いるようにしてよい。

位置制御を行う場合、ターゲットコンピュータ３１は、ＡＣサーボモータ３４のエンコーダで検出されたＡＣサーボモータ３４（ハンドル３３）の回転角度θを、サーボアンプ３５を介して、ターゲットコンピュータ３１に実装されたカウンタボードによって取得する。そして、ターゲットコンピュータ３１は、取得したＡＣサーボモータ３４の回転角度θに基づいて、ＡＣサーボモータ３４をフィードバック制御する。

また、力制御を行う場合は、ターゲットコンピュータ３１は、力センサ３６によって検出されたグリップ３２にかかる力を、ターゲットコンピュータ３１に実装されたＡ／Ｄ変換ボードによって取得する。そして、ターゲットコンピュータ３１は、取得したグリップ３２にかかる力に基づいて、ＡＣサーボモータ３４をフィードバック制御する。

なお、ターゲットコンピュータ３１は、ターゲットコンピュータ３１に実装されたＤ／Ａ変換ボードを介して、ＡＣサーボモータ３４を制御する指令値をサーボアンプ３５に送信する。サーボアンプ３５は、ターゲットコンピュータ３１から送信された指令値に従って、ＡＣサーボモータ３４を駆動する。

ここで、連続値y_cは、図６Ｃに示すように、ユーザによって随意運動があるとき増加していき、随意運動がなくなったときに減少していく連続値となっている。よって、ターゲットコンピュータ３１は、連続値y_cが大きくなるほどＡＣサーボモータ３４（ハンドル３３）の回転角度θが大きくなるようにＡＣサーボモータ３４を制御する。これによって、随意運動のある時にユーザの左手首を屈曲運動させるように外部刺激を与えることができ、神経ネットワークの再構成を促進することができる。

＜発明の他の実施形態＞
上記の実施の形態では、左手の随意運動を識別する例について説明したが、他の部位の動作を識別する場合には、脳波計１１の主要な電極位置（ハイライト信号の位置）を運動野の該当部位に応じて変化させることで、他の部位の動作にも幅広く適用することができる。

例えば、右手の運動を識別する場合には、図２に示す国際１０−２０法におけるＣ３位置を中心として（ハイライト信号の位置として）、複数点数で取り囲むように電極を頭部に取り付けるようにすればよい。また、例えば、脚の運動を識別する場合には、図２に示す国際１０−２０法におけるＣＺ位置を中心として（ハイライト信号の位置として）、複数点数で取り囲むように電極を頭部に取り付けるようにすればよい。このような部位に対応する位置関係は、周知の運動野のホムンクルスによって特定することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、タイムシーケンスにおけるクロス画像の表示区間、ビジュアルキューの表示区間、及び実運動又は運動イメージの実行区間のそれぞれの時間は、上記の例に限られず、他の時間を設定するようにしてよい。また、タイムシーケンスの施行回数も、上記の例（３５回）に限られず、他の回数としてもよい。

１ 随意運動識別システム
２ リハビリ支援ロボット
１１ 脳波計
１２ アンプ
１３ ホストコンピュータ
１４ 表示装置
２１ 前処理部
２２ ＡＲモデル推定部
２３ 識別部
２４ 後処理部
３１ ターゲットコンピュータ
３２ グリップ
３３ ハンドル
３４ ＡＣサーボモータ
３５ サーボアンプ

Claims (1)

1. ユーザの頭部の複数点の脳波をそれぞれ示す複数の脳波信号に基づいて、識別器によって随意運動の有無を識別する随意運動識別装置であって、
   前記複数の脳波信号に対して、所定の帯域を通過させる時間フィルタと、随意運動の識別対象の部位に対応する脳波信号に関するハイライト信号を抽出する空間フィルタをかける前処理部と、
   前記前処理部によって抽出されたハイライト信号のＡＲモデルの係数と予測誤差の分散を、特徴ベクトルとして算出するＡＲモデル推定部と、
   前記ＡＲモデルによって算出された特徴ベクトルに基づいて、前記識別器のパラメータを学習する識別部と、
   前記識別器が随意運動の有無として導出するバイナリー値をスムージングして、リハビリ支援ロボットの制御に利用可能な連続値に変換する後処理部と、
   を備えた随意運動識別装置。