JP6306246B2 - 筋活動可聴化方法、筋活動可聴化装置およびプログラム - Google Patents

Description

本発明は、筋活動を可聴化する技術に関する。

２つの部位で得られた筋電位信号を、互いに基本周波数やスペクトル構造が異なる音響信号に変換し、それらの合成信号を出力することで、身体動作の連動性を可聴化してフィードバックする方法がある（例えば、非特許文献１参照）。

松原正樹ら，「身体動作の連動性理解にむけた筋活動可聴化」，日本音響学会秋季研究発表会講演論文集，２０１２．

しかしながら、各音響信号は各部位近傍の筋活動を別個に表すものであり、これらを単純に合成した合成信号では、複数の筋活動間の関係に基づく情報を明確に提示できない場合がある。

本発明はこのような点に鑑みてなされたものであり、複数の筋活動間の関係に基づく情報を明確に可聴化することを目的とする。

本発明では、複数の筋電位に由来する複数の値の関係から得られる情報、を表す音響信号を出力する。

これにより、複数の筋活動間の関係に基づく情報を明確に可聴化できる。

図１は実施形態の筋活動可聴化装置のブロック図である。 図２は第１実施形態を例示するためのブロック図である。 図３は第１実施形態の変形例を例示するためのブロック図である。 図４は第２実施形態を例示するためのブロック図である。 図５は第２実施形態の変形例を例示するためのブロック図である。 図６は第３実施形態を例示するためのブロック図である。 図７は第４実施形態を例示するためのブロック図である。 図８Ａおよび図８Ｂは第４実施形態の音響信号を例示するための図である。 図９Ａおよび図９Ｂは第４実施形態の音響信号を例示するための図である。

本発明の実施形態を説明する。
［概要］
まず概要を説明する。実施形態では、複数の筋電位に由来する（言い換えると、複数の筋電位から導き出される）複数の値の関係から得られる情報、を表す音響信号を出力する。「複数の値の関係から得られる情報」は、例えば、複数の値の関係についての統計値または相対値である。このように、「複数の筋電位に由来する複数の値の関係から得られる情報」を直接表す音響信号を用いることで、複数の筋活動間の関係に基づく情報を明確に提示できる。

「複数の筋電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の複数の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の１回の動作過程で得られたものであってもよい。例えば、「複数の筋電位」はそれぞれ時系列信号である。「動作主体」は人であってもよいし、人以外の動物であってもよい。単数の「動作主体」の例は、動作の訓練等を受ける一人の動作主体である。複数の「動作主体」の例は、手本となる動作主体とその動作に習って動作を行う動作主体とからなる二人の動作主体、手本となる動作主体とその動作に習って動作を行う複数の動作主体からなる複数の動作主体、または手本となる動作主体以外の複数の動作主体などである。

「複数の筋電位に由来する複数の値」は、時間領域の値であってもよいし、周波数領域の値であってもよい。「複数の筋電位に由来する複数の値の関係から得られる情報」は、例えば、当該複数の値のばらつき、当該複数の値の相対値、当該複数の値の相対値のばらつき、複数の筋電位から得られる複数の筋の活動開始時点の関係（例えば順序関係）などである。

「音響信号」は、例えば時系列信号であり、複数の筋活動度の関係、複数の筋活動度のばらつき、複数の筋活動度の相対値、または複数の筋活動度の相対値のばらつき、の少なくとも何れかを表す。ただし、複数の筋活動度のそれぞれは複数の筋電位のそれぞれに対応する。「筋活動度」は、筋電位またはその関数値である。筋電位の関数値の例は、筋電位の大きさを表す関数値であり、例えば、筋電位の絶対振幅値の広義単調増加関数値（例えば、単調増加関数値）である。例えば、筋電位の絶対振幅値や所定の時間区間での平均二乗振幅値を「筋活動度」とすることができる。筋電位の関数値として、平滑化や直流成分除去を行った筋電位の大きさを表す値を用いてもよい。

複数の筋活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。

複数の筋活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の筋電位（複数回の動作を繰り返した過程で得られた筋電位）に由来する複数の筋活動度の間の相対値であってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。

「ばらつきを表す音響信号」は、ばらつきの大きさを表した音響信号である。「ばらつきを表す音響信号」の例は、（Ｆ−１）ばらつきの大きさを音響特徴（例えば、基本周波数、音色、音の大きさなど）にマッピングして得られる音響信号である。「ばらつきを表す音響信号」の他の例は、（Ｆ−２）ばらつきの大きさに応じて音量比が異なるマルチチャネルの音響信号（例えば、ステレオ再生される左右の音響信号）である。「相対値を表す音響信号」は、相対値またはその大きさを表した音響信号である。「相対値を表す音響信号」の例は、上記の（Ｆ−１）や（Ｆ−２）の例の「ばらつきの大きさ」を「相対値」または「相対値の大きさ」に置換した音響信号等である。

「複数の筋電位」が、主動筋の筋電位、および主動筋に対応する拮抗筋の筋電位を含み、「音響信号」が、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との関係、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値、または、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかを表してもよい。この「音響信号」によって動作主体の「力み」を表現できる。特に、この「相対値」を「拮抗筋の筋電位に対応する筋活動度」を「主動筋の筋電位に対応する筋活動度」で除した値（割った値）とした場合、拮抗筋の活動水準（主動筋活動に対する拮抗筋活動の割合）が定量でき、より明確に「力み」を表現できる。なお、「主動筋に対応する拮抗筋」とは、主動筋が収縮する動作において弛緩する筋を意味する。例えば、手首を曲げの動作では、手首屈筋が主動筋として収縮し、伸筋が拮抗筋として弛緩する。逆に手首をのばす動作では、伸筋が主動筋として収縮し、手首屈筋が抗筋として弛緩する。手首を曲げようとするとき、主動筋である手首屈筋は活動し、拮抗筋である伸筋の活動は抑制されることが望ましい。しかし、拮抗筋が過剰に活動すると、いわゆる「力み」状態となり、運動を阻害する。動作に伴う主動筋活動と拮抗筋活動との相対値を用いると、この力み度合をフィードバックできる。

「音響信号」が、複数の筋電位から得られる複数の筋（例えば、ある動作主体の動作または一連の動作に関与する複数の筋）の活動開始時点の関係を表してもよい。活動開始時点とは、筋が筋活動を開始する時点を意味する。この「音響信号」によって、筋活動の開始タイミングに関する情報（例えば、筋活動の開始タイミングのばらつきや相対値や適切さ）を表現できる。例えば、「音響信号」が複数の筋の「活動開始時点」のばらつきを表してもよいし、相対値を表してもよいし、相対値のばらつきを表してもよいし、複数の筋の活動開始時点の順序関係を表してもよい。「活動開始時点」の相対値は、複数の筋の「活動開始時点」の何れかに対する他の「活動開始時点」の相対値であってもよいし、所定の基準時点に対する複数の筋の「活動開始時点」の相対値であってもよい。複数の筋の活動開始時点の順序関係を表す音響信号の例は、（Ｆ−３）互いに音響特徴が異なる複数のサブ時系列信号を合成した音響信号である。ただし、複数のサブ時系列信号のぞれぞれは、複数の筋のそれぞれに対応し、合成された複数のサブ時系列信号の開始点の順序関係は、複数の筋の活動開始時の順序関係に対応する。サブ時系列信号の例は、任意の波形の信号であり、例えば、正弦波を表す信号である。その他、（Ｆ−４）複数の筋の活動開始時点の順序関係が適切である場合と不適切である場合とで音響特徴が異なる音響信号や、（Ｆ−５）複数の筋の活動開始時点の順序関係が適切な順序関係に近いほど特定の音響特徴に近づく音響信号などでもよい。なお、複数の筋の活動開始時点の順序関係が適切であるか否かは動作に応じて異なる。例えば、投球運動のボールリリースの動作では、肩を動かす筋、ひじを動かす筋、手首を動かす筋、指を動かす筋の順序で筋活動が開始時される順序関係が適切である。このような適切な順序関係は動作に応じて予め設定しておけばよい。また、動作または一連の動作に関与しない複数の筋（拮抗筋）の筋活動開始時に対応したサブ時系列信号を加えてもよい。以上により、例えば、所定の動作に関与する複数の筋が適切な順序で活動を開始したか、あるいは所定の動作に不要な複数の筋が活動していなかったかを可聴化できる。

以下、図面を参照しつつ、各実施形態を詳細に説明する。
［第１実施形態］
第１実施形態では、所望の動作に関与する主動筋と拮抗筋の組み合わせについて、主動筋活動と拮抗筋活動との関係を可聴化し、その動作の力み度合をフィードバックする。

＜構成＞
図１に例示するように、本形態のシステムは、筋活動可聴化装置１１と音響信号提示装置１２とを有する。本形態の筋活動可聴化装置１１は、筋活動度抽出部１１１と関係由来情報抽出部１１２と音響信号合成部１１３とを有する。図２に例示するように、本形態の筋活動度抽出部１１１は、筋活動度算出部１１１１−ｎおよび１１１２−ｎ（ただし、ｎ＝１，・・・，Ｎであり、Ｎは１以上の整数）である。関係由来情報抽出部１１２は、筋活動度変調部１１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）を有する。音響信号合成部１１３は、音響信号生成部１１３１−ｎ（ただし、ｎ＝１，・・・，Ｎ）と合成部１１３２とを有する。なお、Ｎ＝１の場合には、音響信号合成部１１３が合成部１１３２を含まなくてもよい。本形態の筋活動可聴化装置１１は、例えば、プロセッサ（例えば、１個以上のＣＰＵ（central processing unit）を含むハードウェア）やメモリ（例えば、ＲＡＭ（random-access memory）やＲＯＭ（read-only memory））を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。音響信号提示装置１２は、音響信号を音として出力する単数または複数のスピーカや、ヘッドフォン等である。

＜処理＞
以下、本形態の活動可聴化装置１１の処理を説明する。

≪筋活動度抽出部１１１の処理≫
筋活動度算出部１１１１−ｎには主動筋の筋電位を表す筋電位信号（以下「主動筋電位信号」という）が入力され、筋活動度算出部１１１２−ｎには当該主動筋に対応する拮抗筋の筋電位を表す筋電位信号（以下「拮抗筋電位信号」という）が入力される。筋活動度算出部１１１１−ｎと筋活動度算出部１１１２−ｎとの組には、ある動作に関与する主動筋と拮抗筋とからなる組（以下「筋の組」という）に対応する、主動筋電位信号と拮抗筋電位信号とからなる組が入力される。これらの筋電位信号は、例えば、単数または複数の動作主体の合計Ｎ組の測定箇所（例えば、主動筋とそれに対応する拮抗筋の近傍の皮膚表面）に電極を取り付け、それぞれの筋から発生する活動電位を計測することで得られる時系列信号である。主動筋電位信号は主動筋の近傍の測定箇所の電極の電位に基づいて得られ、拮抗筋電子信号は拮抗筋の近傍の測定箇所の電極の電位に基づいて得られる。

筋活動度算出部１１１１−ｎは、入力された主動筋電位信号が表す筋電位に対応する筋活動度（以下「主動筋活動度」）を得て出力し、筋活動度算出部１１１２−ｎは、入力された拮抗筋電位信号が表す筋電位に対応する筋活動度（以下「拮抗筋活動度」）を得て出力する。「筋活動度」の例は前述の通りであり、例えば、筋電位の絶対振幅値や平均二乗振幅値を筋活動度とすることができる。入力された主動筋電位信号および拮抗筋電位信号が時系列信号である場合、主動筋活動度および拮抗筋活動度も時系列となる。

≪関係由来情報抽出部１１２の処理≫
筋活動度変調部１１２１−ｎに、筋活動度算出部１１１１−ｎから出力された主動筋活動度と筋活動度算出部１１１２−ｎから出力された拮抗筋活動度が入力される。筋活動度変調部１１２１−ｎは、入力された主動筋活動度と拮抗筋活動度との間の相対値（すなわち、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値）を「力み指標」として得る。「相対値」の例は前述の通りである。筋活動度変調部１１２１−ｎは、例えば、拮抗筋活動度を主動筋活動度で除した値を「力み指標」として得る。主動筋活動度および拮抗筋活動度が時系列である場合、筋活動度変調部１１２１−ｎは、例えば各時間で「力み指標」を求め、「力み指標」の時系列を得て出力する。

≪音響信号合成部１１３の処理≫
筋活動度変調部１１２１−ｎから出力された「力み指標」は音響信号生成部１１３１−ｎに入力される。音響信号生成部１１３１−ｎは、入力された「力み指標」を表す音響信号を得て出力する。「力み指標」を表す音響信号は、「力み指標」またはその大きさを表した音響信号である。このような音響信号の例は、前述の（Ｆ−１）や（Ｆ−２）の例の「ばらつきの大きさ」を「力み指標」または「力み指標の大きさ」に置換した音響信号である。また「力み指標」が時系列である場合には音響信号も時系列となる。ただし、筋の組の違いが認識されるように、筋の組ごとに音響特徴（基本周波数、音色など）を変えることが望ましい。言い換えると、音響信号生成部１１３１−１〜１１３１−Ｎから出力される音響信号の音響特徴が互いに異なることが望ましい。例えば、「力み指標」またはその大きさを第１音響特徴にマッピングし、筋の組の違いを第２音響特徴（ただし、第２音響特徴は第１音響特徴と異なる）で表した音響信号であってもよい。或いは、「力み指標」またはその大きさの違いを音響特徴の違いで表し、筋の組の違いを音響信号のチャネルの違い（すなわち、音響信号を出力するスピーカの違い）で表してもよい。

音響信号生成部１１３１−１〜１１３１−Ｎから出力された音響信号は合成部１１３２に入力される。合成部１１３２はそれらを合成した音響信号を出力する。Ｎチャネルの音響信号を出力する場合には、音響信号生成部１１３１−１〜１１３１−Ｎから出力された音響信号を同期させた音響信号を出力する。なお、Ｎ＝１の場合には、合成部１１３２は入力された音響信号をそのまま出力する。前述したように音響信号合成部１１３が合成部１１３２を含まない場合には、音響信号合成部１１３は音響信号生成部１１３１−１から出力された音響信号を出力する。

上述のように出力された音響信号は音響信号提示装置１２に入力される。音響信号提示装置１２は、入力された音響信号を音として出力する。Ｎチャネルの音響信号の場合、音響信号提示装置１２はＮチャネルの音響信号を音として出力する（例えば、ステレオ再生）。

＜本形態の特徴＞
以上のように、本形態の筋活動可聴化装置１１は、主動筋の筋電位および主動筋に対応する拮抗筋の筋電位を含む複数の筋電位を用い、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値を表す音響信号を出力する。これにより、「力み」の程度を可聴的に提示できる。特に、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値を表す音響信号を出力することで、より明確に「力み」の程度を提示できる。また、Ｎ≧２の場合には、複数の筋の組での「力み」の程度や、それらの相関関係を可聴的に提示できる。以上により、利用者は複数の筋の組に対応する「力み」の程度を音の聞こえ方の違いとして聴覚的に把握できる。

［第１実施形態の変形例１］
本変形例では、「力み指標」のばらつきを表す音響信号を出力する。これにより、利用者は「力み」のばらつきの程度を音の聞こえ方の違いとして聴覚的に把握できる。以下では、これまでに説明した事項との相違点を中心に説明し、すでに説明した事項については同じ参照番号を引用することで説明を簡略化する。

＜構成＞
図１に例示するように、本変形例の筋活動可聴化装置１１’は、第１実施形態の筋活動可聴化装置１１の関係由来情報抽出部１１２が関係由来情報抽出部１１２’に置換され、音響信号合成部１１３が音響信号合成部１１３’に置換されたものである。図３に例示するように、本変形例の関係由来情報抽出部１１２’は、筋活動度変調部１１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）とばらつき算出部１１２２とを有する。本変形例の音響信号合成部１１３’は音響信号生成部１１３１’を有する。本変形例の筋活動可聴化装置１１’は、例えば、前述のような汎用または専用のコンピュータが所定のプログラムを実行することで構成される。

＜処理＞
筋活動度抽出部１１１の処理は第１実施形態と同じである。以下では、本変形例の関係由来情報抽出部１１２’の処理、および音響信号合成部１１３’の処理のみを説明する。

≪関係由来情報抽出部１１２’の処理≫
筋活動度変調部１１２１−ｎの処理は第１実施形態と同じである。筋活動度変調部１１２１−１〜１１２１−Ｎから出力された「力み指標」は、「サンプル」として、ばらつき算出部１１２２に入力される。ばらつき算出部１１２２は、入力されたサンプルのばらつきを得て出力する。「ばらつき」の例は前述の通りである。サンプルが時系列である場合、ばらつき算出部１１２２は、活動度変調部１１２１−１〜１１２１−Ｎから出力された各時間のサンプル（すなわちＮ個のサンプル）のばらつきを各時間について得て出力してもよいし、活動度変調部１１２１−１〜１１２１−Ｎから出力された各時間区間でのサンプルのばらつきを当該時間区間ごとに得て出力してもよい。これらのばらつきは時系列となる。或いは、ばらつき算出部１１２２は、活動度変調部１１２１−１〜１１２１−Ｎから出力されたすべての「力み指標」のばらつきを得て出力してもよい。

≪音響信号合成部１１３’の処理≫
ばらつき算出部１１２２から出力されたサンプルのばらつきは音響信号生成部１１３１’に入力される。音響信号生成部１１３１’は、入力されたサンプルのばらつきを表す音響信号を得て出力する。このような音響信号の例は、前述の（Ｆ−１）や（Ｆ−２）である。出力された音響信号は音響信号提示装置１２に入力される。

［第２実施形態］
第２実施形態では、事前に取得された筋活動度（筋電位に由来する筋活動度）と、新たに入力された筋活動度との関係を可聴化し、筋活動の相違をフィードバックする。

＜構成＞
図１に例示するように、本形態の筋活動可聴化装置２１は、第１実施形態の筋活動可聴化装置１１の筋活動度抽出部１１１が筋活動度抽出部２１１に置換され、関係由来情報抽出部１１２が関係由来情報抽出部２１２に置換されたものである。図４に例示するように、本形態の筋活動度抽出部１１１は、参照値記憶部２１１１−ｎおよび筋活動算出部２１１２−ｎ（ただし、ｎ＝１，・・・，Ｎ）を有する。関係由来情報抽出部２１２は、相対値算出部２１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）を有する。本形態の筋活動可聴化装置２１は、例えば、前述のような汎用または専用のコンピュータが所定のプログラムを実行することで構成される。

＜処理＞
以下では、第１実施形態との相違点である、筋活動度抽出部２１１および関係由来情報抽出部２１２の処理のみを説明する。

≪筋活動度抽出部２１１の処理≫
事前処理として、参照値記憶部２１１１−ｎ（ただし、ｎ＝１，・・・，Ｎ）には、事前に特定の動作（ボールリリース等）を行った動作主体（以下「参照動作主体」という）の第ｎの筋の近傍の測定箇所で測定された筋電位信号から得られた筋活動度（以下「参照筋活動度」という）が格納される。例えば、第１から第Ｎの筋は「特定の動作」に関与する筋である。参照筋活動度は、例えば「特定の動作」が行われた時間区間の筋電位信号から得られた時系列の筋活動度である。

筋活動度算出部２１１２−ｎ（ただし、ｎ＝１，・・・，Ｎ）には、上述の「特定の動作」に対応する動作を行う動作主体（以下「試行動作主体」という）の第ｎの筋の近傍の測定箇所で測定された筋電位信号が入力される。試行動作主体は参照動作主体と同一の動作主体であってもよいし、異なる動作主体であってもよい。筋活動度算出部２１１２−ｎは、入力された筋電位信号が表す筋電位に対応する筋活動度（以下「試行筋活動度」）を得て出力する。なお、筋活動度算出部２１１２−ｎで得られる筋活動度の種別は、参照値記憶部２１１１−ｎに格納された参照筋活動度の種別と同一であってもよいし、同一でなくてもよい。試行筋活動度は、例えば「『特定の動作』に対応する動作」が行われた時間区間の筋電位信号から得られた時系列の筋活動度である。

≪関係由来情報抽出部２１２の処理≫
相対値算出部２１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）には、参照値記憶部２１１１−ｎから読み出された参照筋活動度と、筋活動度算出部２１１２−ｎから出力された試行筋活動度とが入力される。相対値算出部２１２１−ｎは、参照筋活動度と試行筋活動度との間の相対値を「相対指標」として出力する。「相対値」の例は前述の通りである。参照筋活動度と試行筋活動度とが時系列である場合、相対値算出部２１２１−ｎは、例えば、これらを時間的に同期させ、各時間での「相対指標」を得て出力する。この場合には「相対指標」も時系列となる。なお、時系列である参照筋活動度と試行筋活動度の時間的な同期は、利用者からの入力情報に基づいて行われてもよいし、同期後の参照筋活動度に対応する特徴量と試行筋活動度に対応する特徴量との間の類似度（例えば筋活動度の最大値など）がピークとなるように行われてもよい。

以降の処理は第１実施形態と同じである。

＜本形態の特徴＞
本形態の筋活動可聴化装置２１は、「特定の動作」を行う参照動作主体の筋活動と、それに対応する動作を行う試行動作主体の筋活動との相対値を表す音響信号を出力する。これにより、筋活動の相対値を可聴的に提示でき、利用者は筋活動の相違の程度を音の聞こえ方の違いとして聴覚的に把握できる。その結果、利用者は、例えば、手本となる動作と試行された動作との筋活動の相違や、動作主体間の筋活動の個人差や、複数回試行された動作での筋活動の相違を認識できる。

［第２実施形態の変形例１］
本変形例では、「相対指標」のばらつきを表す音響信号が出力される。これにより、利用者は「筋活動の相違」のばらつきの程度を音の聞こえ方の違いとして聴覚的に把握できる。

＜構成＞
図１に例示するように、本変形例の筋活動可聴化装置２１’は、第２実施形態の筋活動可聴化装置２１の関係由来情報抽出部２１２が関係由来情報抽出部２１２’に置換され、音響信号合成部１１３が音響信号合成部１１３’に置換されたものである。図５に例示するように、本変形例の関係由来情報抽出部２１２’は、相対値算出部２１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）とばらつき算出部１１２２とを有する。本変形例の筋活動可聴化装置２１’は、例えば、前述のような汎用または専用のコンピュータが所定のプログラムを実行することで構成される。

＜処理＞
筋活動度抽出部２１１の処理は第２実施形態と同じであり、音響信号合成部１１３’の処理は第１実施形態の変形例１と同じである。以下では、本変形例の関係由来情報抽出部２１２’の処理のみを説明する。

≪関係由来情報抽出部１１２’の処理≫
相対値算出部２１２１−ｎの処理は第２実施形態と同じである。相対値算出部２１２１−１〜２１２１−Ｎから出力された「相対指標」は、「サンプル」としてばらつき算出部１１２２に入力される。以降の処理は第２実施形態と同じである。

［第３実施形態］
第３実施形態では、複数の筋活動のばらつきを可聴化してフィードバックする。これにより、利用者は、動作に関連する複数の筋活動のばらつきや、複数の動作主体による筋活動のばらつきなどを、音の聞こえ方の違いとして聴覚的に把握できる。

＜構成＞
図１に例示するように、本変形例の筋活動可聴化装置３１は、第１実施形態の筋活動度抽出部１１１が筋活動度抽出部３１１に置換され、関係由来情報抽出部１１２が関係由来情報抽出部３１２に置換され、音響信号合成部１１３が音響信号合成部１１３に置換されたものである。図６に例示するように、本形態の筋活動度抽出部３１１は、筋活動算出部２１１２−ｎ（ただし、ｎ＝１，・・・，Ｎ）を有する。関係由来情報抽出部３１２は、ばらつき算出部１１２２を有する。本形態の筋活動可聴化装置３１は、例えば、前述のような汎用または専用のコンピュータが所定のプログラムを実行することで構成される。

＜処理＞
以下では、第１実施形態の変形例１との相違点である、筋活動度抽出部３１１および関係由来情報抽出部３１２の処理のみを説明する。

≪筋活動度抽出部３１１の処理≫
筋活動度算出部２１１２−１〜２１１２−Ｎには、単数または複数の動作主体の筋電位信号が入力される。例えば、単数の動作主体の第ｎの筋の近傍の測定箇所で得られた筋電位信号が筋活動度算出部２１１２−ｎ（ただし、ｎ＝１，・・・，Ｎ）に入力されてもよいし、第ｎの動作主体（ただし、ｎ＝１，・・・，Ｎ）の特定の筋（すべての動作主体に共通）の近傍の測定箇所で得られた筋電位信号が筋活動度算出部２１１２−ｎに入力されてもよい。筋活動度算出部１１１２−ｎは、入力された筋電位信号が表す筋電位に対応する筋活動度を得て出力する。例えば、筋電位信号が時系列信号である場合、筋活動度も時系列となる。

筋活動度は「サンプル」としてばらつき算出部１１２２に入力される。以降の処理は第１実施形態の変形例１と同じである。

＜本形態の特徴＞
本形態の筋活動可聴化装置３１は、複数の筋活動のばらつきを表す音響信号を出力する。これにより、筋活動のばらつきを可聴的に提示でき、利用者は筋活動のばらつきの程度を音の聞こえ方の違いとして聴覚的に把握できる。その結果、利用者は、例えば、複数回試行された動作での筋活動のばらつきや、複数の動作主体で試行された動作での筋活動のばらつきを認識できる。

［第４実施形態］
第４実施形態では、複数の筋の活動開始時点の関係を可聴化してフィードバックする。

＜構成＞
図１に例示するように、本形態の筋活動可聴化装置４１は、第１実施形態の筋活動可聴化装置１１の筋活動度抽出部１１１が筋活動度抽出部３１１に置換され、関係由来情報抽出部１１２が関係由来情報抽出部４１２に置換され、音響信号合成部１１３が音響信号合成部４１３に置換されたものである。図７に例示するように、本形態の関係由来情報抽出部４１２は、筋活動開始同定部４１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）、および開始時点記憶部４１２２を有する。本形態の音響信号合成部４１３は、音響信号生成部４１３１および合成部４１３２を有する。本形態の筋活動可聴化装置４１は、例えば、前述のような汎用または専用のコンピュータが所定のプログラムを実行することで構成される。

＜処理＞
筋活動度抽出部３１１の処理は第３実施形態で説明した通りである。ただし、本形態では、Ｎ≧２であり、筋活動度抽出部３１１の筋活動度算出部２１１２−１から２１１２−Ｎに、一連の動作に関与するＮ個の筋の筋電位信号が入力される。各筋電位信号は時系列信号であり、筋活動度算出部２１１２−ｎは筋活動度の時系列を出力する。その後、以下のように、関係由来情報抽出部４１２および音響信号合成部４１３の処理が行われる。

≪関係由来情報抽出部４１２≫
筋活動開始同定部４１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）には、筋活動度算出部２１１２−ｎから出力された筋活動度の時系列が入力される。筋活動開始同定部４１２１−ｎは、入力された筋活動度の時系列から活動開始時点τ_ｎを得て出力する。例えば、筋活動開始同定部４１２１−ｎは、（Ｓ−１）入力された筋活動度が、筋活動度のベースライン（例えば、筋活動度の平均値や安静時の筋活動度）よりも、閾値以上大きくなった時点を活動開始時点τ_ｎとしてもよいし、（Ｓ−２）入力された筋活動度の変動（例えば、分散や標準偏差）が閾値を超えた時点を活動開始時点τ_ｎとしてもよいし、（Ｓ−３）入力された筋活動度の変化量が閾値を超えた時点を活動開始時点τ_ｎとしてもよいし、（Ｓ−４）入力された筋活動度とその変動の組み合わせが閾値を超えた時点を活動開始時点τ_ｎとしてもよい。筋活動開始同定部４１２１−１〜４１２１−Ｎから出力されたＮ個の活動開始時点τ_１〜τ_Ｎは開始時点記憶部４１２２に格納される。

≪音響信号合成部４１３の処理≫
音響信号合成部４１３は、開始時点記憶部４１２２に格納されたＮ個の活動開始時点τ_１〜τ_Ｎを用い、Ｎ個の筋の活動開始時点τ_１〜τ_Ｎの関係を表す音響信号を得て出力する。この音響信号は、Ｎ個の活動開始時点τ_１〜τ_Ｎのばらつきを表してもよいし、相対値を表してもよいし、相対値のばらつきを表してもよいし、順序関係を表してもよい。Ｎ個の活動開始時点τ_１〜τ_Ｎの順序関係を表す音響信号の例は、前述の（Ｆ−３）〜（Ｆ−５）である。ここでは前述の（Ｆ−３）の例を説明する。

音響信号生成部４１３１は、互いに音響特徴が異なるＮ個のサブ時系列信号（例えば、正弦波）Ｓ_１〜Ｓ_Ｎを生成して出力する。合成部４１３２には、音響信号生成部４１３１から出力されたＮ個のサブ時系列信号Ｓ_１〜Ｓ_Ｎと、開始時点記憶部４１２２から読み出されたＮ個の活動開始時点τ_１〜τ_Ｎが入力される。合成部４１３２は、サブ時系列信号Ｓ_１〜Ｓ_Ｎの開始時点ｔ_１〜ｔ_Ｎが活動開始時点τ_１〜τ_Ｎの順序関係に対応するようにサブ時系列信号Ｓ_１〜Ｓ_Ｎを合成し、音響信号Ｓを出力する。ｔ_１〜ｔ_Ｎ内でのｔ_ｎの順番とτ_１〜τ_Ｎ内でのτ_ｎの順番とは同じである。

図８Ａおよび８ＢはＮ＝５の場合の例である。矢印の長さは信号の継続時間を表す。図８Ａの例では、活動開始時点τ_１〜τ_５が古い順にτ_１，τ_２，τ_３，τ_４，τ_５となる例である。この場合、サブ時系列信号Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５が、それらの開始時点が古い順にｔ_１，ｔ_２，ｔ_３，ｔ_４，ｔ_５となるように合成される。図８Ｂの例では、活動開始時点τ_１〜τ_５が古い順にτ_１，τ_５，τ_２，τ_４，τ_３となる例である。この場合、サブ時系列信号Ｓ_１，Ｓ_５，Ｓ_２，Ｓ_４，Ｓ_３が、それらの開始時点が古い順にｔ_１，ｔ_５，ｔ_２，ｔ_４，ｔ_３となるように合成される。これにより、活動開始時点の順序関係を表す音響信号Ｓが生成できる。仮に、特定の動作における望ましい筋活動開始の順序が図８Ａのようなパターンだとすると、図８Ａで生成される音響信号Ｓは特定の動作にとって望ましい音、図８Ｂで生成される音響信号Sは望ましくない音として提示されることになる。

また、図９Ａおよび図９Ｂのように、サブ時系列信号Ｓ_１〜Ｓ_５のそれぞれの継続時間を短くしてもよい（例えば、パルス信号）。これにより、サブ時系列信号Ｓ_１〜Ｓ_５が時間的に時間的に重複することを抑制でき、複数の筋の活動開始時点の順序関係をより明確に提示できる。

［その他の変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

１１，１１’，２１，２１’，３１，４１ 筋活動可聴化装置

Claims (7)

1. 複数の筋電位に由来する複数の値の関係から得られる情報を表す音響信号を出力する筋活動可聴化方法であって、
   前記複数の筋電位は、主動筋の筋電位、および前記主動筋に対応する拮抗筋の筋電位を含み、
   前記音響信号は、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値、または、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかである力み度合いを表し、さらに、前記複数の筋電位から得られる複数の筋の活動開始時点の順序関係を表す時系列信号であり、予め設定された動作または一連の動作に関与する複数の筋の活動開始時点の適切な順序関係と、前記複数の筋電位から得られる複数の筋の活動開始時点の順序関係と、が近いほど特定の音響特徴に近づく、筋活動可聴化方法。
2. 請求項１の筋活動可聴化方法であって、
   前記音響信号は、さらに前記複数の筋電位から得られる前記動作または一連の動作に関与しない複数の筋の活動開始時点に対応したサブ音響信号を含む、筋活動可聴化方法。
3. 複数の筋電位に由来する複数の値の関係から得られる情報を表す音響信号を出力する筋活動可聴化方法であって、
   前記複数の筋電位は、主動筋の筋電位、および前記主動筋に対応する拮抗筋の筋電位を含み、
   前記音響信号は、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値、または、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかである力み度合いを表し、
   前記主動筋と前記主動筋に対応する前記拮抗筋とからなる組についての前記音響信号を、前記組ごとに異なるチャネルの信号として出力する、筋活動可聴化方法。
4. 入力された複数の筋電位に由来する複数の値の関係を得る関係由来情報抽出部と、
   前記複数の値の関係から得られる情報を表す音響信号を出力する音響信号合成部と、
   を有し、
   前記複数の筋電位は、主動筋の筋電位、および前記主動筋に対応する拮抗筋の筋電位を含み、
   前記音響信号は、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値、または、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかである力み度合いを表し、さらに、前記複数の筋電位から得られる複数の筋の活動開始時点の順序関係を表す時系列信号であり、予め設定された動作または一連の動作に関与する複数の筋の活動開始時点の適切な順序関係と、前記複数の筋電位から得られる複数の筋の活動開始時点の順序関係と、が近いほど特定の音響特徴に近づく、筋活動可聴化装置。
5. 請求項４の筋活動可聴化装置であって、
   前記音響信号は、さらに前記複数の筋電位から得られる前記動作または一連の動作に関与しない複数の筋の活動開始時点に対応したサブ音響信号を含む、筋活動可聴化装置。
6. 複数の筋電位に由来する複数の値の関係から得られる情報を表す音響信号を出力する筋活動可聴化装置であって、
   入力された複数の筋電位に由来する複数の値の関係を得る関係由来情報抽出部と、
   前記複数の値の関係から得られる情報を表す音響信号を出力する音響信号合成部と、
   を有し、
   前記複数の筋電位は、主動筋の筋電位、および前記主動筋に対応する拮抗筋の筋電位を含み、
   前記音響信号は、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値、または、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかである力み度合いを表し、
   前記音響信号合成部は、前記主動筋と前記主動筋に対応する前記拮抗筋とからなる組についての前記音響信号を、前記組ごとに異なるチャネルの信号として出力する、筋活動可聴化装置。
7. 請求項１から３の何れかの筋活動可聴化方法の処理をコンピュータに実行させるためのプログラム。

Images