JPH07248873A - 筋電信号を用いた制御装置 - Google Patents

Abstract

(57)【要約】 【目的】 筋電信号によって検出された体の各部位の動
作と力に基づいて制御対象を制御する。 【構成】 腕時計タイプの筋電信号検出装置６を構成す
る信号検出部１および信号増幅部２は、筋電信号を検出
して増幅する。この増幅された筋電信号ｂに基づいて、
動作検出部３は指の動作を検出する一方、力検出部４は
手を握る力を検出する。制御部５は、検出された指の動
作と手を握る力とに基づいて認識した命令に従って、制
御対象を制御する。こうして、筋電信号に基づいて体の
ある部位の動作と他の部位における筋肉の張力(例え
ば、指の動作と手を握る力)を検出することによって、
指の動作と手を握る力との組み合わせに複雑な命令を割
り当てて、キーボード操作を熟知していないユーザであ
ってもキーボードに因らずに手のジェスチャのみによっ
て制御対象を簡単に制御できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、皮膚表面電極から検
出された筋電信号を用いて体の各部における動作や力に
応じて制御対象を制御する筋電信号を用いた制御装置に
関する。

【０００２】

【従来の技術】初期のコンピュータは主に計算を高速に
行うことを目的としていた。したがって、特定の人のみ
が使用できればよく、使い勝手はそれほど問題にはなら
なかった。しかしながら、今日におけるコンピュータの
役割は多岐に亘り、深く人々の生活にまで入り込むよう
になってきている。その結果、現代においては、従来の
コンピュータのように人間が機械に合わせるのではな
く、機械が人間に合わせる人間主体の新しいヒューマン
・インターフェースが必要とされつつある。上述のよう
な新しいヒューマン・インターフェースの１つとして、
人間のジェスチャを利用したインターフェースの研究が
行われている。ボディ・ランゲージという言葉があるよ
うに、ジェスチャは人間同士の会話において非常に重要
な役目を果しており、ジェスチャを人間とコンピュータ
との会話に使用できれば非常に便利なものとなり得る。

【０００３】人間のジェスチャを検出する方法として
は、筋電信号を用いる方法や画像処理による方法やデー
タグローブを用いる方法等がある。 (１) 筋電信号を用いる方法 上記筋電信号を用いたジェスチャ検出方法については、
義手およびロボットハンド等の開発を目的として多くの
研究がなされている。皮膚の表面で観測される筋電信号
は、筋線維上を伝搬する電気的興奮の重ね合わせであ
り、筋張力と密接な関係があることが知られている。筋
電信号の評価パラメータとしては、積分値平均電位(Ｉ
ＥＭＧ：Integrated ElectroMyoGram)，平均周波数(Ｍ
ＰＦ：Mean Power Frequency),中心周波数,実効値(ＲＭ
Ｓ：RootMean Square value),周波数分布の標準偏差(Ｓ
ＤＦＤ：Standard Diviation ofFrequency Distributio
n),周波数スペルトル等があり、このうち、比較的よく
用いられている評価パラメータは積分値平均電位と周波
数スペルトルである。

【０００４】上記積分値平均電位は、皮膚表面電極から
検出された筋電信号を整流,平均化したものであり、筋
力が大きいほど筋活動が活発になって大きな値をとる。
したがって、積分値平均電位を用いたジェスチャ検出方
法は、指などの細かい動作を検出するよりは力を検出す
るのに適していると言える。積分値平均電位によって検
出された力の強弱を利用して義手の手指の開閉等を制御
する研究例があるが、細かい動作の認識が必要なジェス
チャの検出には一般的には積分値平均電位は用いられて
いない。これに対して、上記周波数スペルトルを用いた
ジェスチャ検出方法は、同一部位からの筋電信号が動作
によって相異なる周波数特性を示すという特性を利用し
ているので細かい動作の検出が可能である。例えば、筋
電信号を高速フーリエ変換処理し、ニューラルネットワ
ークを利用して指の角度を認識し、ロボットハンドを制
御する方法が提案されている(特開平５−１１１８８１
号公報)。この周波数スペルトルを用いたジェスチャ検
出方法は、筋電信号の周波数特性が筋収縮力の強弱及び
筋疲労による変化が小さいので再現性がよいという利点
がある。しかしながら、逆に言えば、周波数特性は筋張
力の強弱に対して変動が少ないので、基本的には力を検
出するのには適していないといえる。

【０００５】(２) 画像処理による方法 上記画像処理によるジェスチャ検出方法は、ジェスチャ
を認識するための手段として多く研究されている。この
方法は、１台あるいは複数台のカメラによって撮影され
た人間の画像の輪郭情報および色情報等から人間の体の
部位を検出し、人間の動作を認識するのである。したが
って、体には何も装着しなくてよいというメリットがあ
り、人間の動作を検出するのには適している。ところ
が、この画像処理による方法では、力を検出することは
できないのである。

【０００６】(３) データグローブを用いる方法 上記データグローブを用いるジェスチャ検出方法は、最
近盛んに研究が行われているバーチャルリアリティ等で
広く利用されている。データグローブは指曲げ角度認識
センサ付き手袋であり、各指に沿って表面に配置された
光ファイバに光を通して光ファイバの曲げに伴う光量の
減衰から指の間接曲げ角度を認識して、手首近くに位置
した磁気センサによって手全体の位置と向きを検出する
ものである。このデータグローブを用いる方法の場合に
も、細かい指の動作等を検出することはできるが、力を
検出することは困難である。

【０００７】

【発明が解決しようとする課題】上述したように、上記
各ジェスチャ検出方法では、基本的には体の各部位の動
作あるいは力の何れか一方しか検出できず、人間のジェ
スチャに伴う動作と力とを同時に検出できないという問
題がある。すなわち、上記筋電信号の周波数スペクトル
を用いる方法,画像処理による方法,データグローブを用
いる方法等の従来のジェスチャ検出方法の多くは、体の
各部位の動作を検出するのに適している。これに対し
て、筋電信号の積分値平均電位を用いる方法は、体の各
部位の力を検出するのに適しているといえる。そこで、
体の各部位の動作と力とを同時に認識することができれ
ば、人間のジェスチャによる各種制御の自由度が大きく
なって応用分野が拡大するのである。

【０００８】例えば、コンピュータ機器やプレゼンテー
ション・システムにおけるポインティングを考えた場
合、マウスの移動に相当する空間位置指定手段とマウス
のクリックに相当する選択決定手段が必要である。した
がって、このようなポインティングを体の各部位の動作
の認識のみによって実施しようとすれば、２本の指の動
作の夫々を空間位置指定あるいは選択決定の何れかに割
り当てたり、空間位置指定に指の動作を割り当てる一方
選択決定にキーボード操作や音声を割り当てる必要があ
り、ポインティング操作が繁雑となる。

【０００９】そこで、上記空間位置指定に指の動作を割
り当てる一方、選択決定に手の握力を割り当てれば、上
記ポインティング操作が簡素化される。すなわち、例え
ば、図５(a)に示すように、人差し指先端の移動によっ
て空間位置指定を行う。そして、図５(b)に示すよう
に、人差し指を立てたまま手を強く握ることによって指
定位置の選択決定を行うのである。こうすることによっ
て、片手のみでポインティング操作を実施でき、ポイン
ティング操作が誰でもできる簡単な操作となるのであ
る。

【００１０】そこで、この発明の目的は、筋電信号によ
って検出された体の各部位の動作と力に基づいて制御対
象を制御する筋電信号を用いた制御装置を提供すること
にある。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、請求項１に係る発明の筋電信号を用いた制御装置
は、皮膚表面電極によって筋電信号を検出する信号検出
部と、上記信号検出部によって検出された筋電信号を増
幅する信号増幅部と、上記信号増幅部によって増幅され
た信号に基づいて関連部位の動作を検出する動作検出部
と、上記信号増幅部によって増幅された信号に基づいて
他の関連部位における筋肉の張力を検出する力検出部
と、上記関連部位の動作情報および上記他の関連部位に
おける筋肉の張力情報の組み合わせと各種制御命令とを
対応付けて成る命令情報を用いて,上記動作検出部によ
って検出された関連部位の動作と上記力検出部によって
検出された他の関連部位における筋肉の張力とに基づい
て制御命令を認識し,この認識結果に応じて制御対象を
制御する制御部を備えたことを特徴としている。

【００１２】また、請求項２に係る発明は、請求項１に
係る発明の筋電信号を用いた制御装置において、上記信
号検出部,信号増幅部および送信部によって腕に装着可
能な筋電信号検出装置を構成し、上記動作検出部,力検
出部,制御部および受信部によって上記制御対象に設置
される制御装置を構成し、上記筋電信号検出装置を構成
する信号増幅部からの上記増幅された信号を無線によっ
て上記制御装置に伝送することを特徴としている。

【００１３】また、請求項３に係る発明は、請求項１ま
たは請求項２に係る発明の筋電信号を用いた制御装置に
おいて、上記動作検出部は、上記信号増幅部によって増
幅された信号を周波数変換する周波数変換手段と,上記
周波数変換手段によって得られた周波数情報に基づいて
関連部位の動作を検出する動作解析手段を有し、上記力
検出部は、上記信号増幅部によって増幅された信号を積
分する積分手段と,上記積分手段によって得られた積分
情報に基づいて他の関連部位の筋肉の張力を検出する力
解析手段を有することを特徴としている。

【００１４】また、請求項４に係る発明は、請求項１ま
たは請求項２に係る発明の筋電信号を用いた制御装置に
おいて、上記動作検出部は、上記信号増幅部によって増
幅された信号を周波数変換する周波数変換手段と,上記
周波数変換手段によって得られた周波数情報に基づいて
関連部位の動作を検出する動作解析手段を有し、上記力
検出部は、上記信号増幅部によって増幅された信号を周
波数変換する周波数変換手段と,上記周波数変換手段に
よって得られた周波数情報に基づいて他の関連部位の筋
肉の張力を検出する力解析手段を有することを特徴とし
ている。

【００１５】また、請求項５に係る発明は、皮膚表面電
極によって筋電信号を検出する信号検出部と、上記信号
検出部によって検出された上記筋電信号を増幅する信号
増幅部と、上記信号増幅部によって増幅された信号に基
づいて,関連部位の動作を検出すると共に,上記関連部位
の動作を表す信号を出力する動作検出部と、上記動作検
出部からの信号に基づいて上記関連部位の動作に伴う力
を検出する力検出部と、上記動作検出部と力検出部によ
る検出結果に基づいて制御条件を認識し,この認識結果
に応じて制御対象を制御する制御部を備えたことを特徴
としている。

【００１６】また、請求項６に係る発明は、請求項５に
係る発明の筋電信号を用いた制御装置において、上記信
号検出部,信号増幅部および送信部によって腕に装着可
能な筋電信号検出装置を構成し、上記動作検出部,力検
出部,制御部および受信部によって上記制御対象に設置
される制御装置を構成し、上記筋電信号検出装置を構成
する信号増幅部からの上記増幅された信号を無線によっ
て上記制御装置に伝送することを特徴としている。

【００１７】また、請求項７に係る発明は、請求項５あ
るいは請求項６に係る発明の筋電信号を用いた制御装置
において、上記動作検出部は、上記信号増幅部によって
増幅された信号を周波数変換すると共に,得られた周波
数情報を表す信号を出力する周波数変換手段と,上記周
波数変換手段によって得られた周波数情報に基づいて関
連部位の動作を検出する動作解析手段を有し、上記力検
出部は、上記動作検出部からの周波数情報を表す信号に
基づいて上記周波数情報の変化速度を上記関連部位の動
作に伴う力として検出する力解析手段を有することを特
徴としている。

【００１８】

【作用】請求項１に係る発明では、信号検出部における
皮膚表面電極によって検出された筋電信号が信号増幅部
によって増幅される。そして、この増幅された信号に基
づいて、動作検出部によって関連部位の動作が検出され
る一方、力検出部によって他の関連部位の筋肉の張力が
検出される。そうすると、制御部によって、上記関連部
位の動作情報および上記他の関連部位における筋肉の張
力情報の組み合わせと各種制御命令とを対応付けて成る
命令情報を用いて、上記動作検出部によって検出された
関連部位の動作と上記力検出部によって検出された他の
関連部位における筋肉の張力とに基づいて制御命令が認
識される。そして、この認識結果に応じて制御対象が制
御される。こうして、上記制御対象の制御がジェスチャ
ーのみによって簡単に実施されるのである。

【００１９】また、請求項２に係る発明では、腕に装着
可能な筋電信号検出装置を構成する上記信号検出部によ
って検出されて上記信号増幅部によって増幅された信号
が、上記動作検出部,力検出部および制御部によって構
成されて上記制御対象に設置されている制御装置に無線
で伝送される。こうして、腕に係る関連部位の動作と腕
に係る他の関連部位における筋肉の張力とに基づいて、
上記制御対象が操作性良く制御される。

【００２０】また、請求項３に係る発明では、上記動作
検出部においては、周波数変換手段によって上記信号増
幅部で増幅された信号が周波数変換され、さらに、得ら
れた周波数情報に基づいて、動作解析手段によって関連
部位の動作が検出される。一方、上記力検出部において
は、積分手段によって上記信号増幅部で増幅された信号
が積分され、さらに、この得られた積分情報に基づい
て、力解析手段によって他の関連部位の筋肉の張力が検
出される。こうして、上記信号検出部によって検出され
た筋電信号に基づいて、関連部位の動作と他の関連部位
における筋肉の張力とが確実に分離されて、且つ容易に
検出される。

【００２１】また、請求項４に係る発明では、上記動作
検出部においては、周波数変換手段によって上記信号増
幅部で増幅された信号が周波数変換され、さらに、得ら
れた周波数情報に基づいて、動作解析手段によって関連
部位の動作が検出される。一方、上記力検出部において
は、周波数変換手段によって、上記信号増幅部で増幅さ
れた信号が周波数変換され、さらに、この得られた周波
数情報に基づいて、力解析手段によって他の関連部位の
筋肉の張力が検出される。こうして、上記信号検出部に
よって検出された筋電信号の周波数情報に基づいて、関
連部位の動作と他の関連部位における筋肉の張力とが確
実に分離されて、且つ容易に検出される。

【００２２】また、請求項５に係る発明では、信号検出
部における皮膚表面電極で検出されて信号増幅部で増幅
された信号に基づいて、動作検出部によって関連部位の
動作が検出されると共に、上記関連部位の動作を表す信
号が出力される。そして、この動作検出部からの信号に
基づいて、力検出部によって上記関連部位の動作に伴う
力が検出される。そうすると、制御部によって、上記動
作検出部および力検出部による検出結果に基づいて制御
条件が認識され、この認識結果に応じて制御対象が制御
される。こうして、ジェスチャーに応じた制御条件で制
御対象が制御される。

【００２３】また、請求項６に係る発明では、腕に装着
可能な筋電信号検出装置を構成する上記信号検出部によ
って検出されて上記信号増幅部によって増幅された信号
が、上記動作検出部,力検出部および制御部によって構
成されて上記制御対象に設置されている制御装置に無線
で伝送される。こうして、腕に係る関連部位の動作とこ
の動作に伴う力に基づく制御条件で、上記制御対象が操
作性良く制御される。

【００２４】また、請求項７に係る発明では、上記動作
検出部においては、周波数変換手段によって、上記信号
増幅部で増幅された信号が周波数変換されると共に、得
られた周波数情報を表す信号が出力される。更に、上記
周波数情報に基づいて動作解析手段によって関連部位の
動作が検出される。一方、上記力検出部においては、力
解析手段によって、上記動作検出部からの周波数情報を
表す信号に基づいて、上記周波数情報の変化速度が上記
関連部位の動作に伴う力として検出される。こうして、
上記信号検出部によって検出された筋電信号に基づい
て、関連部位の動作とその動作に伴う力とが確実に分離
されて、且つ容易に検出される。

【００２５】

【実施例】以下、この発明を図示の実施例により詳細に
説明する。 ＜第１実施例＞本実施例は、体におけるある一つの部位
の動作と他の部位の力(例えば、指の動作と手を握る力)
に基づいて、ワードプロセッサ等の機器をキーボードに
よらずに制御するものである。

【００２６】図１は本実施例の筋電信号を用いた制御装
置におけるブロック図である。この筋電信号を用いた制
御装置は、筋電信号を検出する信号検出部１,検出され
た筋電信号ａを増幅する信号増幅部２,増幅された筋電
信号ｂに基づいて関連部位の動作を検出する動作検出部
３,増幅された筋電信号ｂに基づいて他の関連部位の力
を検出する力検出部４および検出された各関連部位の動
作と力とに基づいて制御対象を制御する制御部５から概
略構成される。尚、上記信号検出部１および信号増幅部
２で筋電信号検出装置６を構成し、動作検出部３,力検
出部４および制御部５で制御装置７を構成している。

【００２７】上記構成の筋電信号を用いた制御装置は次
のように動作する。１個あるいは複数個の皮膚表面電極
で構成される信号検出部１は、手首や腕等の体の表面に
装着されて体のジェスチャに伴って下側に位置する筋肉
に発生する筋電信号ａを検出する。そして、この検出さ
れた筋電信号ａは信号増幅部２に送出される。尚、筋電
信号ａは筋肉の細胞の活動によって変化し、その変化の
振幅は筋活動の強さに応じて変換する。検出された筋電
信号ａの一例を図４(a)に示す。

【００２８】上記信号増幅部２は、信号検出部１からの
筋電信号ａを増幅し、この増幅された筋電信号ｂを動作
検出部３および力検出部４に送出する。上記信号検出部
１で検出された筋電信号ａは、通常数十mＶ程度の大き
さであり信号解析が不可能である。そこで、信号解析が
可能なレベルまで増幅するのである。増幅された筋電信
号ｂの一例を図４(b)に示す。

【００２９】上記信号検出部１および信号増幅部２で構
成される筋電信号検出装置６は、図５に示すように腕時
計の形状に形成されてオペレータの手首に装着される。
そして、信号増幅部２によって増幅された筋電信号ｂ
は、送信部(図示せず)によってＦＭ信号等に変調されて
制御対象に設置された制御装置７に無線で送信される。
そうすると、上記制御装置７側では、筋電信号検出装置
６側から送信されてくる増幅された筋電信号ｂを受信部
(図示せず)によって受信して復調し、動作検出部３およ
び力検出部４に送出する。尚、この送受信に関しては、
この発明とは直接関係はないので詳細な説明は省略す
る。

【００３０】上記動作検出部３は、信号増幅部２からの
増幅された筋電信号ｂに対して信号処理を行い、信号検
出部１が装着された関連部位の動作を検出する。そし
て、検出した動作情報を表す動作信号ｃを制御部５に送
出する。例えば、図５に示すように、腕時計タイプの筋
電信号検出装置６を手首に装着した場合には、指の動作
を検出して指の曲げ角度(動作情報)を表す動作信号ｃを
出力するのである。

【００３１】図２は、上記動作検出部３の具体的構成を
示すブロック図である。この動作検出部３は、フィルタ
部３１,Ａ/Ｄ変換部３２,周波数変換部３３および動作
解析部３４で構成されている。上記フィルタ部３１はバ
ンドパスフィルタであり、増幅された筋電信号ｂから不
要な信号を除去する。そして、フィルタリングされた筋
電信号ｅをＡ/Ｄ変換部３２に送出する。尚、上記バン
ドパスフィルタの通過帯域は、例えば数十Ｈz〜１.５ｋ
Ｈzとし、電極の分極電圧,商用電源雑音,高周波雑音等
を除去する。フィルタリングされた筋電信号ｅの一例を
図４(c)に示す。

【００３２】上記Ａ/Ｄ変換部３２は、フィルタ部３１
からのフィルタリングされた筋電信号ｅをＡ/Ｄ変換器
を用いてディジタル化し、サンプリングデータｆを周波
数変換部３３に送出する。周波数変換部３３では、入力
されたサンプリングデータｆをＦＦＴ(高速フーリエ変
換)あるいはウエーブリット変換等によって周波数変換
し、周波数データｇを動作解析部３４に送出する。周波
数データｇの一例を図４(d)に示す。

【００３３】上記動作解析部３４は、周波数変換部３３
からの周波数データｇに基づいて周波数スペクトルを解
析し、周波数スペクトルから関連部位の動作を推定して
動作情報を表す動作信号ｃを制御部５に出力する。ここ
で、一般に、体の同一部位からの筋電信号は動作に応じ
た相異なる周波数特性を示す。したがって、予め関連部
位の動作と筋電信号ａの周波数スペクトルとを対応付け
ておけば、筋電信号ａの周波数スペクトルから関連部位
の動作を推定できるのである。尚、上記関連部位の動作
と筋電信号ａの周波数スペクトルとの対応付、及び、筋
電信号ａの周波数スペクトルから関連部位の動作の推定
は、最小自乗法や最尤法等の統計的手法、あるいは、フ
ィードフォワード型の構成を有してバックプロパゲーシ
ョンによって学習されたニューラル・ネットワークを用
いることによって容易に実現できる。ここで、ニューラ
ル・ネットワークの学習の際に用いる関連部位の動作(本
実施例においては指の曲げ角度)の学習データは、上記
データグローブを用いて得た値を用いればよい。

【００３４】上記力検出部４は、信号増幅部２からの増
幅された筋電信号ｂに対して信号処理を行い、信号検出
部１が装着された関連部位の筋張力を検出する。そし
て、検出した力情報を表す力信号ｄを上記制御部５に送
出する。例えば、図５に示すように、腕時計タイプの筋
電信号検出装置６を腕に装着した場合には、手を強く握
った際における筋張力(力情報)を表す力信号ｄを出力す
るのである。

【００３５】図３は、上記力検出部４の具体的構成を示
すブロック図である。この力検出部４は、筋電信号ａの
積分平均電位を利用するものであり、フィルタ部４１,
積分部４２,Ａ/Ｄ変換部４３および力解析部４４で構成
されている。上記フィルタ部４１はバンドパスフィルタ
で構成され、増幅された筋電信号ｂから不要な信号を除
去する。そして、フィルタリングされた筋電信号ｈを積
分部４２に送出する。尚、バンドパスフィルタの通過帯
域は、例えばフィルタ部３１と同様に数十Ｈz〜１.５ｋ
Ｈzに設定してあり、電極の分極電圧,商用電源雑音,高
周波雑音等を除去する。フィルタリングされた筋電信号
ｈの一例を図４(c)に示す。

【００３６】上記積分部４２は、フィルタ部４１からの
フィルタリングされた筋電信号ｈを全波整流回路によっ
て整流した後、平滑化フィルタを使用して平滑化するこ
とによって積分する。こうして得られた積分筋電信号ｉ
をＡ/Ｄ変換部４３に送出する。積分筋電信号ｉの一例
を図４(e)に示す。上記Ａ/Ｄ変換部４３は、積分部４２
からの積分筋電信号ｉをＡ/Ｄ変換器を用いてディジタ
ル化し、サンプリングデータｊを力解析部４４に送出す
る。

【００３７】上記力解析部４４は、Ａ/Ｄ変換部４３か
らのサンプリングデータｊに基づいて、筋張力(筋肉の
緊張度)を推定して力情報を表す力信号ｄを制御部５に
出力する。ここで、サプリングデータｊ(積分筋電信号
ｉ)は筋張力との間に大略比例の関係を呈する。したが
って、上記制御部５は筋張力に応じて単にオン/オフ制
御するのであれば、力解析部４４をオペレーショナル・
アンプで構成することによって、サプリングデータｊの
レベルが図４(e)に破線で示すように設定された閾値に
達したか否か(すなわち、筋張力が所定レベルに達した
か否か)を表す力信号ｄを得ることができるのである。

【００３８】上記制御部５は、動作検出部３からの動作
信号ｃと力検出部４からの力信号ｄとに基づいて、筋電
信号検出装置６が装着されている関連部位の動作や力に
応じた制御を行う。この場合、制御部５による制御対象
としては種々考えられるが、本実施例においてはワード
プロセッサ等における文書編集処理を例として制御部５
の構成および動作について説明する。尚、この場合、上
記信号検出部１と信号増幅部２とから構成される筋電信
号検出装置６は上述のように腕時計タイプに構成されて
おり、図５に示すように、オペレータの手首に装着され
ている。

【００３９】図６は上記文書編集制御用の制御部５の具
体的構成を示すブロック図である。この制御部５は、動
作認識部５１,力認識部５２,命令認識部５３,記憶部５
４,カーソル制御部５５および表示編集部５６で構成さ
れている。上記動作認識部５１は、動作検出部３の動作
解析部３４から出力された指の曲げ角度を表す動作信号
ｃに基づいて手の動作状態を認識し、動作認識情報を表
す動作認識信号ｋを命令認識部５３に送出する。尚、文
書編集時における動作認識情報を表１に示す。

【表１】

【００４０】上記力認識部５２は、力検出部４の力解析
部４４から出力された筋張力が所定レベルに達したか否
かを表す力信号ｄに基づいて手が握られた状態を認識
し、力認識情報を表す力認識信号ｌを命令認識部５３に
送出する。尚、文書編集時における力認識情報を表２に
示す。

【表２】

【００４１】上記命令認識部５３は、動作認識部５１か
らの動作認識信号ｋと力認識部５２からの力認識信号ｌ
とから、記憶部５４に格納されたテーブルに基づいて、
オペレータが意図している文書編集に関する命令を認識
する。そして、認識した命令を表す命令信号ｍを、必要
に応じて動作検出部３からの動作信号ｃに基づく動作情
報と共にカーソル制御部５５および表示編集部５６に送
出する。図７は、上記記憶部５４に格納されたテーブル
であって、文書編集に関する命令を認識する際に使用さ
れるテーブルの一例を示す。このテーブルにおいては、
動作認識情報“Ａ,Ｂ,Ｃ"と力認識情報“０,１,２"の組
み合わせによって、通常の文書作成処理でよく使用する
“上スクロール(Ａ１)",“下スクロール(Ａ２)",“カー
ソル移動(Ｂ０)",“ポイントセット(Ｂ１)",“コピー
(Ｂ２)",“カーソルリセット(Ｃ０)",“ペースト(Ｃ
１)"および“カット(Ｃ２)"の８種類の命令が割り当て
られている。尚、動作認識情報または力認識情報を増や
すことによって、さらに命令の数を増やすことも可能で
あり、細かい編集操作が可能となる。

【００４２】上記カーソル制御部５５は、命令認識部５
３からカーソルに関する命令“カーソル移動"および
“カーソルリセット"を表す命令信号ｍを受け取った際
に、以下のように動作する。すなわち、上記命令“Ｂ０
＝カーソル移動"を表す命令信号ｍを受け取った場合に
は、同時に送られてくる“立てた状態の人差し指の倒し
角度及び倒し方向"を表す動作情報を“カーソルの移動
方向および移動量"を表すカーソル移動情報に変換す
る。そして、得られたカーソル移動情報を表すカーソル
移動信号ｎを制御対象であるワードプロセッサ等の表示
部５８に送出する。また、命令“Ｃ０＝カーソルリセッ
ト"を表す命令信号ｍを受け取った場合には、カーソル
の位置を表示画面の中央の位置にリセットする際の“カ
ーソルの移動方向および移動量"を表すカーソル移動情
報を求める。そして、得られたカーソル移動情報を表す
カーソル移動信号ｎを上記表示部５８に送出する。

【００４３】上記表示編集部５６は、命令認識部５３か
ら表示・編集に関する命令“上スクロール(Ａ１)",“下
スクロール(Ａ２)",“ポイントセット(Ｂ１)",“コピー
(Ｂ２)",“ペースト(Ｃ１)"および“カット(Ｃ２)"を表
す命令信号ｍを受け取った際には、制御対象であるワー
ドプロセッサ等の内部メモリ５７に一時格納されている
文書データ等に対して上記表示に関する命令“上スクロ
ール"および“下スクロール"や編集に関する命令“ポイ
ントセット",“コピー",“ペースト"および“カット"の
処理を実行し、上記内部メモリ５７の文書データを更新
する。そして、更新後の内部メモリ５７の文書データに
基づいて編集処理過程や編集処理結果を表示するための
表示制御信号ｏを表示部５８に送出する。

【００４４】次に、上述のように、腕時計タイプに形成
された筋電信号検出装置６を手首に装着し、文書編集制
御用の制御部５でワードプロセッサを制御するように構
成された筋電信号を用いた制御装置の具体的な操作方法
について説明する。図８は、ワードプロセッサのディス
プレイ上に表示された文書におけるある箇所の文章を他
の箇所にブロックコピーする際の操作内容,命令コード
および処理内容を示す。以下、図８に従って、ブロック
コピー時における本筋電信号を用いた制御装置の操作方
法について説明する。

【００４５】先ず、手順１において、カーソルがディス
プレイ上に表示されていない状態あるいはディスプレイ
上の何処に表示されているか不明な状態の場合には、人
差し指と親指とを立てる。そうすると、上記信号検出部
１によって人差し指と親指とを立てたことに対応する周
波数特性を有する筋電信号ａが検出され、動作解析部３
４によって筋電信号ａの周波数スペクトルが解析されて
各指の曲げ角度を表す動作信号ｃを動作認識部５１に送
出する。動作認識部５１は、動作信号ｃの内容に基づい
て人差し指と親指の２本の指が立てられている状態を表
す動作認識情報“Ｃ"を動作認識信号ｋによって命令認
識部５３に送出する。一方、上記力解析部４４によって
積分筋電信号ｉに基づいて筋張力が所定レベルに達した
か否かを表す力信号ｄを力認識部５２に送出する。力認
識部５２は、力信号ｄの内容に基づいて手が強く握られ
ていない状態を表す力認識情報“０"を力認識信号ｌに
よって命令認識部５３に送出する。

【００４６】そうすると、上記命令認識部５３は、動作
認識情報“Ｃ"と力認識情報“０”との組み合わせか
ら、命令“Ｃ０：カーソルリセット"を認識する。そし
て、命令“Ｃ０：カーソルリセット"を表す命令信号ｍ
をカーソル制御部５５に送出する。カーソル制御部５５
は、受け取った命令“Ｃ０：カーソルリセット"に基づ
いて、現在のカーソル位置から上記ディスプレイの中央
の位置にリセットする際の“カーソルの移動方向および
移動量"を表すカーソル移動信号ｎを表示部５８に送出
するのである。その結果、上記表示部５８によって、上
記ディスプレイの中央の位置に移動されたカーソルが表
示される。

【００４７】次に、手順２において、上記人差し指のみ
を立てて、手の平が延在する方向あるいは手の平が延在
する方向に垂直な方向に人差し指を傾ける。そうする
と、上述と同じ経路を辿って、動作認識部５１によって
人差し指のみが立てられている状態が認識されて動作認
識情報“Ｂ"を表す動作認識信号ｋが出力される。さら
に、力認識部５２によって手が強く握られていない状態
が認識されて力認識情報“０"を表す力認識信号ｌが出
力される。そして、命令認識部５３によって、動作認識
情報“Ｂ"と力認識情報“０”との組み合わせから、命
令“Ｂ０：カーソル移動"が認識される。

【００４８】そうすると、上記カーソル制御部５５は、
命令“Ｂ０：カーソル移動"を表す命令信号ｍと同時に
送られてくる“立てた状態の人差し指の倒し角度および
倒し方向"を表す動作情報とに基づいて、“カーソルの
移動方向と移動量"を表すカーソル移動信号ｎを表示部
５８に送出するのである。その結果、上記表示部５８に
よって、上記人差し指の倒し方向が手の平が延在する方
向と同じ方向の場合にはディスプレイ上において左右
に、また、人差し指の倒し方向が手の平が延在する方向
と垂直方向の場合にはディスプレイ上において上下に、
人差し指の倒し角度に相当する距離だけ移動されたディ
スプレイ上の位置にカーソルが表示される。

【００４９】次に、手順３において、上記人差し指のみ
を立てたまま、手を１回強く握る。そうすると、動作認
識部５１によって人差し指のみが立てられている状態が
認識され、力認識部５２によって手が１回だけ強く握ら
れた状態が認識される。そして、命令認識部５３によっ
て、動作認識情報“Ｂ"と力認識情報“１”との組み合
わせから、命令“Ｂ１：ポイントセット"が認識され
る。そして、表示編集部５６によって、命令認識部５３
からの命令“Ｂ１：ポイントセット"を表す命令信号ｍ
に基づいてカーソル位置がコピー元の先頭位置として認
識され、“コピー元の先頭位置"を表す表示制御信号ｏ
が表示部５８に送出される。その結果、上記表示部５８
によって、表示画面上におけるカーソル位置に先頭マー
クが表示される。

【００５０】次に、手順４において、上記手順２と同様
に、人差し指のみを立てて人差し指を傾けることによっ
てコピー元の最後の位置を指定する。そうすると、手順
２と同様に、動作認識部５１,力認識部５２及び命令認
識部５３によって命令“Ｂ０：カーソル移動"が認識さ
れ、カーソル制御部５５によって人差し指の動きがカー
ソルの動きに変換され、表示部５８によって上記ディス
プレイ上に表示された文書におけるのコピー元の最後の
位置にカーソルが表示される。

【００５１】次に、手順５において、上記人差し指のみ
を立てたまま、手を２回強く握る。そうすると、動作認
識部５１,力認識部５２,命令認識部５３によって手の動
きが命令“Ｂ２：コピー"に変換され、表示編集部５６
によって内部メモリ５７に格納された文書におけるコピ
ー元の先頭位置から最後の位置までの文章が内部メモリ
５７の作業領域に記憶される。次に、手順６において、
人差し指のみを立てて人差し指を傾けることによってコ
ピー先の先頭位置を指定する。そして、命令“Ｂ０：カ
ーソル移動"が認識されて人差し指の動きがカーソルの
動きに変換されて、上記ディスプレイ上に表示された文
書におけるのコピー先の先頭位置にカーソルが表示され
る。

【００５２】次に、手順７において、上記人差し指と親
指を立てて、手を１回強く握る。そうすると、人差し指
と親指が立てられている状態(Ｃ)と手が１回だけ強く握
られた状態(１)が認識されて、命令“Ｃ１：ペースト"
が認識される。そして、表示編集部５６によって、内部
メモリ５７の上記作業領域に記憶されている文章がコピ
ー先にペーストされる。その結果、上記表示画面上にお
けるカーソル位置に、内部メモリ５７に記憶されている
文章が表示されて、ブロックコピーが終了するのであ
る。

【００５３】このように、本実施例によれば、簡単な手
のジェスチャーによって編集処理を実施することができ
るのである。尚、図６に示すような構成を成す制御部５
をテレビゲーム機やプレゼンテーション機器等に設置す
れば、上述と同様の操作によって、テレビゲーム機の操
作やプレゼンテーション機器のポインティング等を実施
できるのである。

【００５４】図９は、図６に示した上記文書編集制御用
の制御部５とは異なる制御部５の例としての、ビデオデ
ィスク制御用の制御部５の具体的構成を示すブロック図
である。この制御部５は、動作認識部１１,力認識部１
２,命令認識部１３,記憶部１４,カーソル制御部１５お
よびディスク制御部１６で構成されている。ビデオディ
スクにおいてはディスク１７をランダムアクセスするこ
とが可能である。そこで、ディスク１７に格納された画
像データにおける各シーンの先頭の１画面の画像デー
タ、あるいは、所定時間毎の１画面の画像データを順次
読み出す。そして、この読み出した複数画面分の縮小画
像を形成し、図１０(a)に示すように、得られた縮小画
像の総てを表示部１８の画面１９にインデックスとして
表示する。そして、１０(b)に示すように、選択された
縮小画像に係る原画像以降の通常画像を図画面１９に表
示することが可能である。ここで、本制御部５によって
制御されるビデオディスクも、上述のようなインデック
ス再生が可能であるとする。

【００５５】上記動作認識部１１,力認識部１２,命令認
識部１３およびカーソル制御部１５は、図６に示す動作
認識部５１,力認識部５２,命令認識部５３およびカーソ
ル制御部５５と同様に動作して、夫々動作認識信号ｐ,
力認識信号ｑ,命令信号ｒおよびカーソル移動信号ｓを
出力する。尚、上記動作認識部１１から出力される動作
認識信号ｐによって表されるビデオディスク制御時にお
ける動作認識情報を表３に示す。また、上記力認識部１
２から出力される力認識信号ｑによって表されるビデオ
ディスク制御時における力認識情報は表２と同じであ
る。

【表３】

【００５６】図１１は、記憶部１４に格納されたテーブ
ルであって、命令認識部１３がビデオディスク制御に関
する命令を認識する際に使用されるテーブルの一例を示
す。このテーブルにおいては、動作認識情報“ａ〜ｇ"
と力認識情報“０,１,２"の組み合わせによって、通常
のビデオディスク制御処理の際に使用する“電源オン/
オフ(ｇ１)",“停止(ａ１)",“再生(ｅ１,ｆ１)",“ス
チル(ａ２)",“スロー再生（ｃ２,ｄ２)",“早送り（ｅ
２,ｆ２)",“コマ送り(ｃ１,ｄ１)"の命令が割り当てら
れている。さらに、上述したように画面１９にインデッ
クスを表示させる“インデックス画面(ｂ１)"、表示さ
れたインデックスの中から所望の縮小画像を指定する
“インデックス選択(ｂ０)"、指定された縮小画像の原
画像から再生を開始する“インデックス再生(ｂ２)"の
命令が割り当てられている。

【００５７】上記カーソル制御部１５は、命令認識部１
３から上記命令“ｂ０＝インデックス選択"を表す命令
信号ｒを受け取った場合には、同時に送られてくる動作
情報とに基づいてカーソル移動情報を得てカーソル移動
信号ｓを表示部１８に送出するのである。こうすること
によって、表示部１８の画面１９に表示されたインデッ
クス上をカーソルが移動して所望のインデックスを選択
できるのである。

【００５８】上記ディスク制御部１６は、命令認識部１
３からビデオディスク制御に関する命令“再生(ｅ１,ｆ
１)",“スチル(ａ２)",“スロー再生(ｃ２,ｄ２)",“早
送り(ｅ２,ｆ２)",“コマ送り(ｃ１,ｄ１)",“インデッ
クス画面(ｂ１)",“インデックス再生(ｂ２)"を表す命
令信号ｒを受け取った際には、ディスク１７に格納され
ている画像データを用いて、再生,スチル,スロー再生,
早送り,コマ送り,インデックス画面表示およびインデッ
クス再生等の制御を行い、その結果を表示制御信号ｔに
よって表示部１８に表示させる。

【００５９】このように、本ビデオディスク制御用の制
御部５によれば、簡単な手のジェスチャーによってビデ
オディスク制御処理を実施することができるのである。
尚、図９に示すような制御部５を用いることによって、
ビデオディスクの制御のみならず、通常のＶＴＲやテレ
ビ等のＡＶ機器,空調機器および照明機器等の主として
リモコン操作を必要とする機器の制御に適用できるので
ある。

【００６０】上述のように、第１実施例においては、腕
時計タイプの筋電信号検出装置６を構成する信号検出部
１および信号増幅部２によって、筋電信号ａを検出して
増幅する。そして、増幅された筋電信号ｂに基づいて動
作検出部３によって指の動作を検出する一方、力検出部
４によって手を握る力を検出する。そうすると、動作認
識部５１(１１),力認識部５２(１２),命令認識部５３
(１３),記憶部５４(１４),カーソル制御部５５(１５),
表示編集部５６(ディスク制御部１６)を有する制御部５
は、検出された指の動作と手を握る力とに基づいて命令
を認識する。そして、認識した命令に従って表示部５８
(１８)のカーソル位置を制御すると共に、ワードプロセ
ッサの場合には文書編集処理を実施する。一方、ビデオ
ディスクの場合にはビデオディスク制御を実施する。

【００６１】したがって、本実施例によれは、筋電信号
に基づいて、体におけるある関連部位の動作と他の関連
部位の力(例えば、指の動作と手を握る力)を検出するこ
とが可能である。そこで、指の動作と手を握る力とを組
み合わせることによって手のジェスチャに複雑な命令を
割り当てることができ、ワードプロセッサのキーボード
操作やビデオディスク操作を熟知していないユーザであ
っても、キーボードに因らずに手のジェスチャのみによ
って簡単に操作できるのである。

【００６２】その際に、上記信号検出部１および信号増
幅部２から成る筋電信号検出装置６は腕時計タイプに形
成され、動作検出部３,力検出部４および制御部５から
成る制御装置７は制御対象に設置されている。そして、
信号増幅部２からの増幅された筋電信号ｂはＦＭ信号等
に変調されて制御装置７に無線で伝送されるようにして
いる。したがって、オペレータは腕時計タイプの上記筋
電信号検出装置６を手首に装着するだけで、操作性良く
ワードプロセッサやビデオディスクを操作できるのであ
る。

【００６３】尚、上記動作認識情報および力認識情報の
組み合わせと各種命令との対応付けは、図７および図１
１に示す対応付けに限定されないことは言うまでもな
い。また、上記実施例においては、腕時計のタイプに形
成された一つの信号検出部１によって検出された一つの
筋電信号ａに基づいて、体のある関連部位の動作と近接
する他の関連部位の力を検出するようにしている。しか
しながら、この発明はこれに限定されるものではなく、
動作検出用の信号検出部と力検出用の信号検出部とを個
別に設けて、この２つの信号検出部を夫々体の離れた異
なる関連部位(例えば、手と足)に取り付けてもよい。ま
た、上記力検出部４の具体的構成は、図３に示す構成に
限定されるものではなく、図１２および図１３に示すよ
うにも構成可能である。

【００６４】図１２は、図３とは異なる上記力検出部４
の具体的構成を示すブロック図である。この力検出部４
は、図３に示す力検出部４と同様に筋電信号ａの積分平
均電位を利用するものであり、フィルタ部２１,Ａ/Ｄ変
換部２２,積分部２３および力解析部２４で構成されて
いる。上記フィルタ部２１,Ａ/Ｄ変換部２２および力解
析部２４は、図３に示す力検出部４におけるフィルタ部
４１,Ａ/Ｄ変換部４３および力解析部４４の夫々と全く
同様に動作する。また、積分部２３は、Ａ/Ｄ変換部２
２からのサンプリングデータｕをディジタル的に加算す
ることによって積分し、得られた積分筋電信号ｖを力解
析部２４に送出する。この積分筋電信号ｖは、図４(e)
に例示した積分筋電信号ｉと同様の波形を呈する。すな
わち、図１２に示す力検出部４は、図３に示す力検出部
４におけるフィルタリングされた筋電信号ｈに対する積
分処理とＡ/Ｄ変換処理との順序を逆にしたものであ
る。

【００６５】図１３は、図３および図１２とは異なる上
記力検出部４の具体的構成を示すブロック図である。こ
の力検出部４は、周波数変換によって得られる周波数情
報を利用するものであり、フィルタ部６１,Ａ/Ｄ変換部
６２,周波数変換部６３および力解析部６４で構成され
ている。上記フィルタ部６１およびＡ/Ｄ変換部６２
は、図３に示す力検出部４におけるフィルタ部４１ある
いはＡ/Ｄ変換部４３と全く同様に動作する。また、周
波数変換部６３は、図２に示す動作検出部３における周
波数変換部３３と全く同様に動作して、Ａ/Ｄ変換部６
２からのサンプリングデータｕを周波数変換し、周波数
データｗを力解析部６４に送出する。この周波数データ
ｗは、図４(d)に例示した周波数データｇと同様の波形
を呈する。

【００６６】上記力解析部６４は、周波数変換部６３か
らの周波数データｗに基づく周波数情報を用いて関連部
位の筋肉の張力(筋肉の緊張度)を推定し、力情報を表す
力信号ｄを制御部５に出力する。ここで、上記周波数情
報に基づく筋肉の張力の推定は、周波数情報を用いて積
分値平均電位,平均周波数あるいは周波数分布の標準偏
差等を求めることによって行われる。周波数スペクトル
の積分値平均電位は、筋力が大きいほど筋活動が活発に
なるために大きな値をとる。したがって、この積分値平
均電位によって力を解析できるのである。また、周波数
スペクトルの平均周波数と周波数分布の標準偏差は、筋
力が大きいほどパワースペクトルの分布が高域に偏るた
めに大きな値をとる。そこで、このパワースペクトル分
布の偏りを利用して、上記平均周波数あるいは周波数分
布の標準偏差によって力の解析を行うのである。

【００６７】尚、図１３に示す力検出部４を用いる場合
には、この力検出部４を構成するフィルタ部６１,Ａ/Ｄ
変換部６２および周波数変換部６３は、図２に示す動作
検出部３を構成するフィルタ部３１,Ａ/Ｄ変換部３２お
よび周波数変換部３３と全く同じとなる。そこで、力検
出部４側のフィルタ部６１,Ａ/Ｄ変換部６２および周波
数変換部６３を動作検出部３側のフィルタ部３１,Ａ/Ｄ
変換部３２および周波数変換部３３で代用することも可
能である。その際には、力検出部４の力解析部６４は、
動作検出部３の周波数変換部３３から出力される周波数
データｇに基づいて関連部位の筋肉の張力を推定するの
である。こうして、上記力検出部４の構成の簡素化を図
ることができる。

【００６８】＜第２実施例＞本実施例は、体のある部位
における動作とその動作に伴う力(例えば、指の動作と
その動作に伴う力)に基づいて、コンピュータや鍵盤楽
器等の本来キーボードを必要とする機器をキーボードに
因らずに制御するものである。

【００６９】図１４は、本実施例の筋電信号を用いた制
御装置におけるブロック図である。尚、第１実施例にお
いて図１に示す筋電信号を用いた制御装置を構成するブ
ロックと全く同じブロックには、同じ番号を付して詳細
な説明は省略する。本実施例における筋電信号を用いた
制御装置は、筋電信号を検出する信号検出部１,検出さ
れた筋電信号ａを増幅する信号増幅部２,増幅された筋
電信号ｂに基づいて体の関連部位の動作を検出する動作
検出部３,動作を表す周波数データｇに基づいて上記関
連部位の動作に伴う力を検出する力検出部７１および検
出された上記関連部位の動作とこの動作に伴う力とに基
づいて制御対象を制御する制御部７２から概略構成され
る。尚、本実施例における動作検出部３も、図２に示す
ような具体的構成を成しているものとする。

【００７０】ここで、第１実施例の場合と同様に、上記
信号検出部１および信号増幅部２で筋電信号検出装置６
を構成し、動作検出部３,力検出部７１および制御部７
２で制御装置７３を構成している。そして、筋電信号検
出装置６は図１５に示すように腕時計の形状に形成され
てオペレータの手首に装着され、信号増幅部２からの増
幅された筋電信号ｂは送信部(図示せず)によってＦＭ信
号等に変調されて制御対象に設置された制御装置７３に
無線で送信される。そうすると、上記制御装置７３側で
は、筋電信号検出装置６側から送信されてくる増幅され
た筋電信号ｂを受信部(図示せず)によって受信し、復調
して動作検出部３に送出する。尚、この送受信に関して
は、この発明とは直接関係無いので詳細な説明は省略す
る。

【００７１】上記構成の筋電信号を用いた制御装置にお
ける力検出部７１は、上記動作検出部３を構成する周波
数変換部３３(図２参照)からの周波数データｇに基づい
て力を検出して、力情報を表す力信号ｘを制御部７２に
送出する。その際に、力検出対象の動作速度を算出する
ことによって動き情報から力を検出するのである。例え
ば、図１５(a)に示すように腕時計タイプの筋電信号検
出装置６を手首に装着して指を動かした場合には、第１
５(b)に示すように筋電信号ａの周波数スペクトルも変
化する。そこで、上記力検出部７１は、動作検出部３の
周波数変換部３３からの周波数データｇ基づいて、力解
析部(図示せず)によって周波数スペクトルの変化速度を
算出し、この周波数スペクトルの変化速度を指の力と見
なすのである。

【００７２】上記制御部７２は、上記動作検出部３から
の動作信号ｃと力検出部７１からの力信号ｘとに基づい
て、筋電信号検出装置６が装着されている関連部位の動
作とその動作に伴う力に応じた制御を行う。この場合、
制御部７２による制御対象としては種々考えられるが、
本実施例においてはコンピュータや鍵盤楽器等の本来キ
ーボードを必要とする機器における仮想キーボードによ
る操作を例として制御部５の構成および動作について説
明する。尚、この場合、信号検出部１と信号増幅部２と
から構成される筋電信号検出装置６は上述のように腕時
計タイプに構成されており、図１５(a)に示すようにオ
ペレータの手首に装着されているものとする。

【００７３】ここで、通常のコンピュータや鍵盤楽器
は、機械的なキーボードを必要とするために、使用でき
る場所にある程度制限がある。また、持ち運びも面倒で
ある。そこで、キーボードを仮想化することによって、
どこでも使用可能なコンピュータや鍵盤楽器が実現でき
るのである。その際に、仮想キーボードからの入力結果
は、ヘッドマウントディスプレイ等を使用して視覚的
に、あるいは、ヘッドホン等を使用して聴覚的に、オペ
レータにフィードバックする。

【００７４】図１６は上記鍵盤楽器操作用の制御部７２
の具体的構成を示すブロック図である。この制御部７２
は、位置認識部７４,入力認識部７５,キー入力認識部７
６,表示制御部７７およびオーディオ制御部７８で構成
されている。上記位置認識部７４は、動作検出部３の動
作解析部３４(図２参照)から出力された指の曲げ角度を
表す動作信号ｃに基づいて手の動作状態を認識し、認識
結果に基づいて仮想キーボード上における指の位置を推
測する。そして、キー位置情報を表す位置信号αをキー
入力認識部７６に送出する。その際における指の位置と
仮想キーボードの位置との対応付けは、最初に特定の指
とキーとを用いてキャリブレーション(例えば、親指の
位置を“ド"のキーに合わせる)を行い、その後は、指の
動きに応じて相対的にキーの位置を算出することによっ
て行う。

【００７５】上記入力認識部７５は、力検出部７１から
出力された力情報を表す力信号ｘに基づいて入力状態を
認識し、入力情報を表す入力信号βをキー入力認識部７
６に送出する。上記入力状態の認識は、仮想キーボード
の打鍵の強さも出力に反映する必要があるので、指の力
のある閾値に基づくオン/オフの判定に加えて、オン時
における指の力の強さをも認識する。但し、上記制御部
７２がコンピュータ操作用の制御部である場合には、上
記閾値に基づくオン/オフの認識のみで十分である。

【００７６】上記キー入力認識部７６は、位置認識部７
４からの位置信号αと入力認識部７５からの入力信号β
とから「何れのキーがどのくらいの強さで打鍵されたか
(コンピュータ操作用の制御部の場合には「何れのキーが
打鍵されたか」)」を認識する。そして、認識結果に基づ
くキー入力信号γを表示制御部７７およびオーディオ制
御部７８に送出する。

【００７７】上記表示制御部７７は、上記キー入力認識
部７６からのキー入力信号γに基づいて、入力されたキ
ーを表す文字や図形の映像情報δを生成して表示部７９
に送出する。その結果、表示部７９には、入力されたキ
ーを表す文字や図形が表示される。一方、オーディオ制
御部７８は、キー入力認識部７６からのキー入力信号γ
に基づいて、入力されたキーに対応する周波数や入力さ
れた強さに対応するパワーを有する波形の音響信号εを
生成して、本鍵盤楽器に備えられたスピーカ８０に送出
する。こうして、スピーカ８０からは仮想キーボードか
ら入力されたキーに相当する音が出力されるのである。

【００７８】尚、図１４における制御部７２の制御対象
がコンピュータである場合には、キー入力認識部７６か
らは何れのキーが入力されたかを表すキー入力信号γを
出力するようにする。そして、このキー入力信号γに基
づいて、仮想キーボードにおける入力キーに割り当てら
れている文字や記号の表示、入力キーに割り当てられて
いる処理等と、その結果の表示を実施すればよい。

【００７９】上述のように、第２実施例においては、腕
時計タイプの筋電信号検出装置６を構成する信号検出部
１および信号増幅部２によって、筋電信号を検出して増
幅する。そして、増幅された筋電信号ｂに基づいて、動
作検出部３によって指の動作を検出する。一方、動作検
出部３の周波数変換部３３からの周波数データｇに基づ
いて、力検出部７１によって上記指の動作に伴う力を検
出する。そうすると、上記位置認識部７４,入力認識部
７５,キー入力認識部７６,表示制御部７７及びオーディ
オ制御部７８を有する制御部７２は、検出された指の動
作とその動作に伴う力とに基づいて仮想キーボードにお
ける入力キーと入力強さを認識する。そして、認識され
た入力キー情報を表示部７９に表示すると共に、スピー
カー８０から入力キーと入力強さに応じた音を出力す
る。

【００８０】すなわち、本実施例においては、筋電信号
に基づいて、体におけるある関連部位の動作とその動作
に伴う力(例えば、指の動作とその動作に伴う力)を検出
することが可能となる。そこで、本実施例を用いればオ
ペレータが仮想キーボードを操作する際の入力キーと入
力強さを認識することができ、コンピュータや鍵盤楽器
等の本来キーボードを必要とする機器をキーボードに因
らずに操作することが可能となるのである。

【００８１】したがって、本実施例によれば、機械的な
キーボードを用いずにコンピュータや鍵盤楽器を小型軽
量に構成することによって、本来キーボードを必要とす
るコンピュータや鍵盤楽器の使用場所の制限を除去で
き、持ち運びを容易にできる。

【００８２】本実施例は、キーボード操作を必要とする
総ての機器に適用することが可能である。また、上記各
実施例は、バーチャルリアリティやテレイグジスタンス
等にも応用可能である。

【００８３】

【発明の効果】以上より明らかなように、請求項１に係
る発明の筋電信号を用いた制御装置では、信号検出部,
信号増幅部,動作検出部,力検出部および制御部を有し
て、上記制御部によって、上記信号検出部で検出された
筋電信号に基づく関連部位の動作と他の関連部位におけ
る筋肉の張力との組み合わせによって制御命令を認識
し、この認識結果に応じて制御対象を制御するので、従
来の関連部位の動作を主体とした制御よりも自由度の高
い制御が可能となる。したがって、この発明によれば、
複雑な制御命令を必要とするワードプロセッサの制御や
ビデオディスクの制御であっても、キーボードに因らず
に手のジェスチャのみによって容易に実施可能となる。

【００８４】さらに、この発明においては、上記制御対
象の総ての制御を筋電信号に基づいて実施するので、カ
メラやデータグローブ等の大がかりな装置を必要とはせ
ず、携帯性に優れている。したがって、ＯＡ機器のみな
らず携帯型の情報端末の入力装置としても使用可能であ
る。

【００８５】また、請求項２に係る発明の筋電信号を用
いた制御装置は、上記信号検出部,信号増幅部および送
信部によって腕に装着可能な筋電信号検出装置を構成
し、上記信号増幅部からの上記増幅された信号を上記動
作検出部,力検出部,制御部および受信部によって構成さ
れて上記制御対象に設置される制御装置に無線によって
伝送するようにしたので、オペレータは腕に上記筋電信
号検出装置を装着するだけで操作性良く上記制御対象を
制御できる。

【００８６】また、請求項３に係る発明の筋電信号を用
いた制御装置における上記動作検出部は、周波数変換手
段および動作解析手段を有して、上記信号増幅部からの
上記増幅された信号を周波数変換して得られた周波数情
報に基づいて関連部位の動作を検出し、上記力検出部
は、積分手段および力解析手段を有して、上記増幅され
た信号を積分して得られた積分情報に基づいて他の関連
部位の筋肉の張力を検出するので、上記信号検出部によ
って検出された筋電信号に基づいて、関連部位の動作と
他の関連部位における筋肉の張力とを適した方法によっ
て確実に分離して容易に検出できる。

【００８７】また、請求項４に係る発明の筋電信号を用
いた制御装置における上記動作検出部は、周波数変換手
段および動作解析手段を有して、上記信号増幅部からの
上記増幅された信号を周波数変換して得られた周波数情
報に基づいて関連部位の動作を検出し、上記力検出部
は、周波数変換手段および力解析手段を有して、上記増
幅された信号を周波数変換して得られた周波数情報に基
づいて他の関連部位の筋肉の張力を検出するので、上記
信号検出部によって検出された筋電信号に基づいて、関
連部位の動作と他の関連部位における筋肉の張力とを適
した方法によって確実に分離して容易に検出できる。

【００８８】また、請求項５に係る発明の筋電信号を用
いた制御装置は、信号検出部,信号増幅部,動作検出部,
力検出部および制御部を有して、上記制御部によって、
上記信号検出部で検出された筋電信号に基づく関連部位
の動作とこの関連部位の動作に伴う力とによって制御条
件を認識し、この認識結果に応じて制御対象を制御する
ので、上記関連部位の動作とその動作に伴う力とに応じ
た制御条件で制御対象を制御できる。したがって、この
発明によれば、例えば指の動作をキーボードのキーに対
応付ける一方、上記指の動作に伴う力を上記キーが入力
されたか否か或は入力強さに対応付ければ、本来キーボ
ードを必要とするコンピュータや鍵盤楽器をキーボード
に因らずに手のジェスチャのみによって容易に操作可能
となる。その結果、上記キーボードを必要とする機器の
操作場所や運搬性の自由度が高まる。

【００８９】また、請求項６に係る発明の筋電信号を用
いた制御装置は、上記信号検出部,信号増幅部および送
信部によって腕に装着可能な筋電信号検出装置を構成
し、上記信号増幅部からの上記増幅された信号を上記動
作検出部,力検出部,制御部および受信部によって構成さ
れて上記制御対象に設置される制御装置に無線によって
伝送するようにしたので、オペレータは腕に上記筋電信
号検出装置を装着するだけで操作性良く上記制御対象を
制御できる。

【００９０】また、請求項７に係る発明の筋電信号を用
いた制御装置における上記動作検出部は、周波数変換手
段および動作解析手段を有して、上記信号増幅部からの
上記増幅された信号を周波数変換して得られた周波数情
報に基づいて関連部位の動作を検出し、上記力検出部
は、力解析手段を有して、上記動作検出部からの周波数
情報を表す信号に基づいて上記周波数情報の変化速度を
上記関連部位の動作に伴う力として検出するので、上記
信号検出部によって検出された筋電信号に基づいて関連
部位の動作とその動作に伴う力とを適した方法によって
確実に分離して容易に検出できる。

【００９１】上述のように、上記各発明を用いれば、従
来方式に比較してより簡単で自由度の高いジェスチャに
よる制御が可能となる。したがって、上記各発明は、情
報,家電,福祉あるいはアミューズメント等の多くの分野
で使用することができるのである。

【図面の簡単な説明】

【図１】この発明の筋電信号を用いた制御装置における
ブロック図である。

【図２】図１における動作検出部の具体的構成を示すブ
ロック図である。

【図３】図１における力検出部の具体的構成を示すブロ
ック図である。

【図４】図１〜図３における筋電信号ａ,増幅された筋
電信号ｂ,フィルタリングされた筋電信号ｅ・ｈ,周波数
データｇおよび積分筋電信号ｉの波形例を示す図であ
る。

【図５】図１における筋電信号検出装置の装着状態の説
明図である。

【図６】文書編集用の制御部における具体的構成を示す
ブロック図である。

【図７】図６における命令認識部が使用する命令認識用
のテーブルの一例を示す図である。

【図８】ブロックコピー時における操作内容,命令コー
ドおよび処理内容の説明図である。

【図９】ビデオディスク制御用の制御部における具体的
構成を示すブロック図である。

【図１０】ビデオディスク制御時に使用されるインデッ
クスの説明図である。

【図１１】図９における命令認識部が使用する命令認識
用のテーブルの一例を示す図である。

【図１２】図１における力検出部の図３とは異なるブロ
ック図である。

【図１３】図１における力検出部の図３および図１２と
は異なるブロック図である。

【図１４】この発明の筋電信号を用いた制御装置におけ
る図１とは異なるブロック図である。

【図１５】指の移動による筋電信号の周波数スペクトル
変化の説明図である。

【図１６】図１４における鍵盤楽器操作用の制御部にお
ける具体的構成を示すブロック図である。

【符号の説明】

１…信号検出部、 ３…動作検出部、
４,７１…力検出部、 ５,７２…制御
部、６…筋電信号検出装置、 ７,７３…制
御装置、１１,５１…動作認識部、 １２,５
２…力認識部、１３,５３…命令認識部、 １
５,５５…カーソル制御部、１６…ディスク制御部、
１７…ディスク、１８,５８,７９…表示部、
２４,４４,６４…力解析部、３４…動作解析
部、 ５６…表示編集部、５７…内部メ
モリ、 ７４…位置認識部、７５…入力
認識部、 ７６…キー入力認識部、７７
…表示制御部、 ７８…オーディオ制御
部、８０…スピーカ。

Claims (7)

【特許請求の範囲】
1. 【請求項１】 皮膚表面電極によって筋電信号を検出す
   る信号検出部と、 上記信号検出部によって検出された筋電信号を増幅する
   信号増幅部と、 上記信号増幅部によって増幅された信号に基づいて、関
   連部位の動作を検出する動作検出部と、 上記信号増幅部によって増幅された信号に基づいて、他
   の関連部位における筋肉の張力を検出する力検出部と、 上記関連部位の動作情報及び上記他の関連部位における
   筋肉の張力情報の組み合わせと各種制御命令とを対応付
   けて成る命令情報を用いて、上記動作検出部によって検
   出された関連部位の動作と上記力検出部によって検出さ
   れた他の関連部位における筋肉の張力とに基づいて制御
   命令を認識し、この認識結果に応じて制御対象を制御す
   る制御部を備えたことを特徴とする筋電信号を用いた制
   御装置。
2. 【請求項２】 請求項１に記載の筋電信号を用いた制御
   装置において、 上記信号検出部,信号増幅部および送信部によって、腕
   に装着可能な筋電信号検出装置を構成し、 上記動作検出部,力検出部,制御部および受信部によっ
   て、上記制御対象に設置される制御装置を構成し、 上記筋電信号検出装置を構成する信号増幅部からの上記
   増幅された信号を無線によって上記制御装置に伝送する
   ことを特徴とする筋電信号を用いた制御装置。
3. 【請求項３】 請求項１あるいは請求項２に記載の筋電
   信号を用いた制御装置において、 上記動作検出部は、上記信号増幅部によって増幅された
   信号を周波数変換する周波数変換手段と、上記周波数変
   換手段によって得られた周波数情報に基づいて関連部位
   の動作を検出する動作解析手段を有し、 上記力検出部は、上記信号増幅部によって増幅された信
   号を積分する積分手段と、上記積分手段によって得られ
   た積分情報に基づいて他の関連部位の筋肉の張力を検出
   する力解析手段を有することを特徴とする筋電信号を用
   いた制御装置。
4. 【請求項４】 請求項１あるいは請求項２に記載の筋電
   信号を用いた制御装置において、 上記動作検出部は、上記信号増幅部によって増幅された
   信号を周波数変換する周波数変換手段と、上記周波数変
   換手段によって得られた周波数情報に基づいて関連部位
   の動作を検出する動作解析手段を有し、 上記力検出部は、上記信号増幅部によって増幅された信
   号を周波数変換する周波数変換手段と、上記周波数変換
   手段によって得られた周波数情報に基づいて他の関連部
   位の筋肉の張力を検出する力解析手段を有することを特
   徴とする筋電信号を用いた制御装置。
5. 【請求項５】 皮膚表面電極によって筋電信号を検出す
   る信号検出部と、 上記信号検出部によって検出された筋電信号を増幅する
   信号増幅部と、 上記信号増幅部によって増幅された信号に基づいて関連
   部位の動作を検出すると共に、上記関連部位の動作を表
   す信号を出力する動作検出部と、 上記動作検出部からの信号に基づいて、上記関連部位の
   動作に伴う力を検出する力検出部と、 上記動作検出部および力検出部による検出結果に基づい
   て制御条件を認識し、この認識結果に応じて制御対象を
   制御する制御部を備えたことを特徴とする筋電信号を用
   いた制御装置。
6. 【請求項６】 請求項５に記載の筋電信号を用いた制御
   装置において、 上記信号検出部,信号増幅部および送信部によって、腕
   に装着可能な筋電信号検出装置を構成し、 上記動作検出部,力検出部,制御部および送信部によっ
   て、上記制御対象に設置される制御装置を構成し、 上記筋電信号検出装置を構成する信号増幅部からの上記
   増幅された信号を無線によって上記制御装置に伝送する
   ことを特徴とする筋電信号を用いた制御装置。
7. 【請求項７】 請求項５あるいは請求項６に記載の筋電
   信号を用いた制御装置において、 上記動作検出部は、上記信号増幅部によって増幅された
   信号を周波数変換すると共に、得られた周波数情報を表
   す信号を出力する周波数変換手段と、上記周波数変換手
   段によって得られた周波数情報に基づいて関連部位の動
   作を検出する動作解析手段を有し、 上記力検出部は、上記動作検出部からの周波数情報を表
   す信号に基づいて、上記周波数情報の変化速度を上記関
   連部位の動作に伴う力として検出する力解析手段を有す
   ることを特徴とする筋電信号を用いた制御装置。