JP6093787B2 - 運動状態と心理状態とのフィードバック方法、システム、及びプログラム - Google Patents

Description

この発明は、運動状態と心理状態とのフィードバックする技術に関する。

野球におけるピッチング、バッティングやゴルフにおけるスイング、パッティング等のスポーツの基本動作を適切に習得する上で、行為者が自身の身体動作を客観的に把握することは極めて重要である。行為者が鏡に映った自身の姿を見ながら動作を行うことや、行為者の動作を映像に記録しそれを行為者自身が観察して動作の問題点を発見することは、動作の改善に有効なアプローチである。しかし、身体動作の観察で得られる情報は身体部位の力学的運動状態のみであり、動作を生み出す筋の活動状態を直接把握することはできない。

これに対して、筋電位信号により筋の活動状態を取得し、その情報を身体部位の映像に重畳して提示する技術がある。しかし、映像を見ながら動作を行うことはタスクを著しく阻害する場合がある。

一方、音響信号を聞きながら身体動作を行うことは容易であり、聴覚情報は視覚情報に比べて身体動作を行いながら同時に取得するのに適している。聴覚情報を利用して筋力発揮状態をタスク遂行中にリアルタイムで把握することができれば、行為者自身が力を発揮したタイミングや強さの確認が容易になり、身体動作における問題点の発見が促進される。そのため、筋の活動状態の変動を音響信号の特徴変化に反映させ、聴覚情報として行為者にリアルタイム提示する技術が提案されている。

同様に、運動のポイントとなる「ばらつき」や「リズム」などを映像や音で可視化・可聴化し、運動のコツを掴みやすくるす手法が提案されている。（例えば、非特許文献５）。

運動のコツを掴むことができたとしても、それだけでは不十分で、普段通りのパフォーマンス又はより高いパフォーマンスを発揮するためには、より良い心理状態を保つことも重要である。極度の力みや緊張はパフォーマンスを低下させることが知られている。（例えば、非特許文献６）
また、緊張/リラックス状態を定量化する手法が知られており、例えば、心拍数変動の低周波数成分（LF: 0.05-0.15 Hz）と高周波数成分（HF: 0.15-0.4 Hz）を算出して、HFはリラックス度、LF/HFは緊張度、として評価する（例えば、非特許文献７）。

Md. A. R. Ahad et al., Motion history images: its variants a nd applications, Machine Vision and Applications, 2012. 三上ら，動作学習のための遅延同期ビデオフィードバックシステム，情報処理学会 コンシューマ・デバイス＆システム（CDS）研究会，CDS8-2, 2013. 五十嵐ら,下肢心理状態の認知を支援する着用型発光センサスーツ,情報処理学会インタラクション2011. 松原正樹ら，「身体動作の連動性理解にむけた筋活動可聴化」，日本音響学会秋季研究発表会講演論文集，２０１２． http://www.kecl.ntt.co.jp/openhouse/2014/exhibition/25/index.html Psychophysiology, 47 (2010), 1109-1118. Wiley Periodicals, Inc. 「Psychological, muscular and kinematic factors mediate performance under pressure」 September 2014|Volume5|Article1040| 1-19 「Ahealthy heart is not a metronome: an integrative review of the heart’s anatomy and heart rate variability」（http://www.frontiersin.org/）

上記のように、運動のポイントとなる「ばらつき」や「リズム」などを映像や音で可視化・可聴化する手法が提案されているが、「正しい運動」や「目標とする運動」が不明確なため、仮に「ばらつき」が少なくなり、「リズム」が一定になったとしても、それが運動の上達に繋がるとは言えない。また、高いパフォーマンスを発揮するためには、筋の活動状態だけでなく、より良い心理状態を保つことも重要である。極度の力みや緊張はパフォーマンスを低下させることが知られている。

つまり、現在の運動を可視化・可聴化するだけでは、運動の行為者は現在の運動が「正しい運動」や「目標とする運動」から近いのか、外れているのか分からないし、現在の運動を変化させた結果、その変化させた運動が「正しい運動」や「目標とする運動」に近づいたのか、外れたのかも分からない。また、どのような心理状態が好ましいのか、その判断は難しく、現在の心理状態が好ましい状態なのか、そうでないのかも分からない。

野球の投手の運動を例に挙げると、初動は「正しい運動」に近いが、途中から「正しい運動」から外れて、後半に「正しい」運動に戻っているかもしれない。しかしながら、このような判断がつかないため、現在の運動を可視化・可聴化するだけでは不十分であり、改善が望まれている。同様に、心理状態についても何らかの判断する仕組みが望まれている。また、どのような心理状態が好ましいのか、その判断は難しく、現在の心理状態が好ましい状態なのか、そうでないのかを判断する仕組みが望まれている。

この発明は上記事情に着目してなされたもので、その目的とするところは、基準となる運動と心理状態（正しい運動状態とより良い心理状態）に対する現在の運動と心理状態（判定対象の運動状態と心理状態）とのフィードバック方法、システム、及びプログラムを提供することにある。

（１）上記目的を達成するために、運動状態と心理状態とのフィードバック方法は、所定運動中の一次被検者から取得された一次生体情報に少なくとも基づき前記一次被検者の運動状態と心理状態を判定または記憶し、所定運動中の二次被検者から取得された二次生体情報に少なくとも基づき前記二次被検者の運動状態と心理状態を判定し、前記二次生体情報は、前記一次生体情報が取得された前記一次被検者の位置と対応する前記二次被検者の位置から取得された同種の情報であり、前記一次生体情報および前記二次生体情報は、筋電位データと心電位データとを含み、前記一次被検者の運動状態および心理状態と前記二次被検者の運動状態および心理状態とを比較し、前記一次被検者の運動状態および心理状態と前記二次被検者の運動状態および心理状態の比較結果に応じて、運動状態が良いことを示すものであるときにより良い値に修正することで誇張された、或いは、運動状態が良い事を示すものでないときにより悪い値に修正することで矮小された前記二次生体情報の筋電位データを表示する、もしくは、心理状態が良いことを示すものであるときにより良い値に修正することで誇張された、或いは、心理状態が良い事を示すものでないときにより悪い値に修正することで矮小された前記二次生体情報の心電位データを表示する、前記二次被検者へのフィードバック信号である画像信号を生成して出力する。

（２）上記（１）の運動状態と心理状態とのフィードバック方法において、前記フィードバック信号は、画像信号に加えて、音響信号、映像信号、あるいはこれらの組み合わせを含む。

（３）実施形態に係る運動状態と心理状態とのフィードバックシステムは、上記（１）又は（２）に記載の運動状態と心理状態とのフィードバック方法を実行する。
（４）実施形態の運動状態と心理状態とのフィードバックプログラムは、（１）又は（２）に記載の運動状態と心理状態とのフィードバック方法をコンピュータに実行させる。

すなわちこの発明によれば、基準となる運動と心理状態（正しい運動状態とより良い心理状態）に対する現在の運動と心理状態（判定対象の運動状態と心理状態）とのフィードバック方法、システム、及びプログラムを提供することができる。

上記（１）の運動状態のフィードバック方法によれば、所定運動中の上級者やプロ（基準となる選手）から取得された一次生体情報に基づく運動状態（一次指標）と、実質的に同一の所定運動中の上達志望者から取得された二次生体情報に基づく運動状態（二次指標）との比較結果（正しい運動との差分）から、上級者やプロの運動状態に対する上達志望者の運動状態（良し悪し）を判定し、判定結果に応じて誇張或いは矮小したフィードバックをして上達志願者の運動上達を支援することが可能となる。上記（５）のシステムおよび（６）のプログラムによっても同様の効果が得られる。

図１は、運動上達のためのフィードバックシステムの一例を示す図である。 図２は、センシング部の一例を示す図である。 図３は、状態判定部の一例を示す図である。 図４は、運動状態と心理状態とのフィードバックシステムのフィードバック装置の一例を示す図である。 図５Ａは、運動と心理状態判定装置による運動状態の判定処理の一例を示すフローチャートである。 図５Ｂは、運動と心理状態判定装置による心理状態の判定処理の一例を示すフローチャートである。 図５Ｃは、運動と心理状態判定装置での心電位データによる筋電位データへの影響の判定処理の一例を示すフローチャートである。 図６Ａは、フィードバック装置による運動状態のフィードバック処理の一例を示すフローチャートである。 図６Ｂは、フィードバック装置による心理状態のフィードバック処理の一例を示すフローチャートである。 図６Ｃは、心電位データによる筋電位データへの影響（関連性）のフィードバック処理の一例を示すフローチャートである。 図７は、合成音／画像生成部の構成の一例を示すブロック図である。 図８は、動作タイミング照合部の構成の一例を示すブロック図である。 図９は、合成音／画像生成部の構成の他の例を示すブロック図である。 図１０は、可聴化装置の構成の一例を示すブロック図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。
図１は、運動上達のためのフィードバックシステム１００の一例を示す図である。図１に示すように、フィードバックシステムは、運動と心理状態判定装置１３０及びフィードバック装置１４０を備える。運動と心理状態判定装置１３０は、センシング部１３１、状態判定部１３２を備える。

本実施形態では、フィードバックシステム１００を構成する運動と心理状態判定装置１３０による運動中の運動と心理状態の判定を中心に説明する。また、運動の例として、野球の投球動作を取り上げて説明する。なお、本実施形態で説明するフィードバックシステムは、運動上達や高いパフォーマンスの発揮のためだけに限定されるものではなく、リハビリテーション、技能伝承等に利用することもできる。

センシング部１３１は、一次被検者及び二次被検者に取り付けられる複数の筋電位センサ１１０と少なくとも１つの心電位センサ１２０からの信号をセンシングする。また、センシング部１３１は、胸部から取得される信号をセンシングしてもよいし、胸部から得られる信号に代えて手首から得られる信号をセンシングしてもよいし、胸部から得られる信号と手首から得られる信号とをセンシングし両者のセンシング結果からどちらか一方のセンシング結果を利用するようにしてもよい。なお、心電位センサ１２０を取り付ける被験者（動作主体）は人に限定されるものではなく、動作主体であれば例えば人以外の動物であっても構わない。複数の筋電位センサ１１０と少なくとも１つの心電位センサ１２０は、電極等で構成され、各筋電位センサ１１０は筋の活動レベルに応じた筋電位信号（生体情報）を出力し、各心電位センサ１２０は心電位信号（生体情報）を出力する。例えば、複数の筋電位センサ１１０と心電位センサ１２０はウェアに取付けられたウェアラブルセンサであって、各筋電位センサ１１０と心電位センサ１２０は一次被検者及び二次被検者の体の胸等に対応するようにウェアに取付けられている。これにより、複数の筋電位センサ１１０と心電位センサ１２０は一次被検者及び二次被検者の体の複数箇所からの筋の活動レベルに応じた筋電位信号と一次被検者及び二次被検者の胸等からの心電位信号（一次被検者からの一次生体情報及び二次被検者からの二次生体情報）を出力することができ、例えば、投球動作開始前から投球動作終了までの一定期間（即ち所定運動中）にわたる筋と心電位信号を出力することができる。また、複数の筋電位センサ１１０をリストバンド、グローブ等に取り付け、リストバンド、グローブ等の装着位置に応じた筋の活動レベルに応じた筋電位信号を取得するようにしてもよい。また、心電位センサ１２０をリストバンド、ヘアバンド等に取り付け、リストバンド、ヘアバンド等の装着位置から心電位信号を取得するようにしてもよい。なお、一次生体情報は、上記した心電位信号だけに限定されるものではなく、心電位信号、脈波、呼吸、発汗、脳波、眼球運動、及び瞳孔径のうちの少なくとも一つを一次生体情報とすることができる。

図２は、センシング部の一例を示す図である。
複数の筋電位センサ１１０と心電位センサ１２０からの複数の筋電位信号と複数の心電位信号はセンシング部１３１に入力される。図２に示すように、センシング部１３１は、信号増幅器１３１ａ等を備え、センシング部１３１は、信号増幅器１３１ａにより増幅された複数の筋電位信号と心電位信号をセンシングし、例えば、投球動作開始前から投球動作終了までの一定期間にわたる筋電位データと心電位データを取得する。

例えば、一次被検者に複数の筋電位センサ１１０と心電位センサ１２０を取り付け（一次被検者が複数の筋電位センサ１１０と心電位センサ１２０が取り付けられたウェアを着用し）、センシング部１３１が一定期間にわたる筋電位データと心電位データ（一次生体情報）を取得する。同様に、二次被検者に複数の筋電位センサ１１０と複数の心電位センサ１２０を取り付け（二次被検者が複数の筋電位センサ１１０と心電位センサ１２０が取り付けられたウェアを着用し）、センシング部１３１が一定期間にわたる筋電位データと心電位データ（二次生体情報）を取得する。なお、一次被検者と二次被検者が同一のウェアを着用してもよいし、一次被検者と二次被検者の体格が異なる場合には異なるウェアを着用してもよいが、この場合、各ウェアにおける複数の筋電位センサ１１０と複数の心電位センサ１２０の取り付け位置は実質的に対応する同一の位置となる。

例えば、一次被検者とは、上級者又はプロの投手等であり、二次被検者とは、野球の投球技術を上達したい者（上達志望者）である。上級者又はプロの投手１人からの筋電位データと心電位データを取得し一次被検者からの筋電位データと心電位データとしてもよいし、上級者又はプロの投手１００人からの筋電位データと心電位データを取得し一次被検者からの筋電位データと心電位データとしてもよい。例えば、統計的に上級者又はプロの投手１００人からの筋電位データと心電位データを処理し理想の筋電位データと心電位データを算出し、算出された筋電位データと心電位データを一次被検者からの筋電位データと心電位データとしてもよい。

また、同一人物の１００回の投球動作中の筋電位データと心電位データを取得し一次被検者からの筋電位データと心電位データとしてもよい。例えば、上級者又はプロの投手１人の１００回の投球動作からの筋電位データと心電位データを取得し一次被検者からの筋電位データと心電位データとしてもよいし、一次被検者と二次被検者とを同一人物（上達志望者）とし、上達志望者の１００回の投球動作（例えば練習中の投球動作）からの筋電位データと心電位データを取得し一次被検者からの筋電位データと心電位データとし、上達志望者の１回の投球動作（例えば試合本番の投球動作）からの筋電位データと心電位データを取得し二次被検者からの筋電位データと心電位データとしてもよい。この場合、例えば、上達志望者が好調時に一次被検者となり、好調時以外（不調時）に二次被検者となる方法が考えられる。また、統計的に１００回の投球動作（例えば練習中の投球動作）からの筋電位データと心電位データを処理し理想の筋電位データと心電位データを算出し、算出された筋電位データと心電位データを一次被検者からの筋電位データと心電位データとしとし、上達志望者の１回の投球動作（例えば試合本番の投球動作）からの心電位データを取得し二次被検者からの心電位データとしてもよい。この場合、例えば、上達志望者が好調時に一次被検者となり、好調時以外（不調時）に二次被検者となる方法が考えられる。また、統計的に１００回の投球動作からの筋電位データと心電位データとを処理し理想の筋電位データと心電位データを算出し、算出された筋電位データと心電位データとを一次被検者からの心電位データとしてもよい。

図３は、状態判定部の一例を示す図である。
図３に示すように、状態判定部１３２は、判定器１３２ａ、運動と心理状態記憶部１３２ｂ、切り替え器１３２ｃ、比較器１３２ｄを備える。例えば、判定器１３２ａは、一次被検者からの筋電位データと心電位データに基づき一次被検者の運動と心理状態を判定し、切り替え器１３２ｃは、オペレータからの入力（一次被検者からの情報入力指示）に基づき、一次被検者の運動と心理状態を運動と心理状態記憶部１３２ｂへ送り、運動と心理状態記憶部１３２ｂは一次被検者の運動と心理状態を基準運動状態と基準心理状態として記憶する。また、判定器１３２ａは、二次被検者からの筋電位データと心電位データに基づき二次被検者の運動状態と心理状態を判定し、切り替え器１３２ｃは、オペレータからの入力（二次被検者からの情報入力指示）に基づき、二次被検者の運動状態と心理状態を比較器１３２ｃへ送る。比較器１３２ｃは、一次被検者の運動状態と心理状態と二次被検者の運動状態と心理状態とを比較し、比較結果（差異）を出力する。例えば、一次被検者の運動状態と心理状態に対する二次被検者の運動状態と心理状態（運動状態と心理状態の良し悪し）を出力する。なお、比較結果は、一次被検者と二次被検者の筋電位データおよび心電位データや、運動状態と心理状態とを示す値の変化量等を含んでもよい。

図４は、運動状態と心理状態とのフィードバックシステム１００のフィードバック装置１４０の一例を示す図である。
フィードバック装置１４０は、信号生成部１４１と、合成音／画像生成部１４２と、を備える。

信号生成部１４１は、状態判定部１３２から出力された運動状態と心理状態と（運動状態と心理状態との良し悪し）を示す信号や、筋電位データおよび心電位データや、運動状態と心理状態とを示す値の変化量等を受信する。信号生成部１４１は、受信した運動状態および心理状態、筋電位データおよび心電位データや、運動状態および心理状態を示す値の変化量に基づいて、運動状態および心理状態が良いことを示すものであるか判断する。受信した信号が、運動状態と心理状態とが良いことを示すものである場合、信号生成部１４１はフィードバックを誇張する信号を出力する。受信した信号が、運動状態と心理状態とが良い事を示すものでない場合、信号生成部１４１は、フィードバックを矮小する信号を出力する。

フィードバックを誇張する信号は、例えば、受信した判定結果をより良い判定とした信号であってもよく、誇張度合のレベルや誇張した物理量を示す信号であってもよい。また、フィードバックを誇張する信号は、誇張するための音響信号や画像（映像）信号を含んでいてもよい。フィードバックを矮小する信号は、例えば、受信した判定結果をより悪い判定とした信号であってもよく、矮小度合のレベルや矮小した物理量を示す信号であってもよい。また、フィードバックを矮小する信号は、矮小するための音響信号や画像（映像）信号を含んでいてもよい。

なお、上記の例では、信号生成部１４１は、運動状態および心理状態が良いか悪いかにより、フィードバックを変更するように信号を出力していたが、運動状態と心理状態との判定結果は３以上の段階であってもよく、その場合には、信号生成部１４１は、段階的にフィードバックを誇張或いは矮小する信号を出力する。

合成音／画像生成部１４２は、信号生成部１４１からフィードバックを誇張或いは矮小する信号を受信する。合成音／画像生成部１４２は、受信した信号に応じて、筋電位データ、心電位データ、音、音声、等の音響信号、画像信号、映像信号およびこれらの合成信号の少なくとも１つを誇張或いは矮小して、外部の出力装置２００へ出力する。なお、合成音／画像生成部１４２には必要に応じて外部から画像（又は映像）或いは音響信号が入力され、これらの画像或いは音響信号を合成することができる。出力装置２００は、例えば液晶表示装置などの表示装置やスピーカやイヤホン等を含む。

以下、図５Ａ及び図５Ｂを参照して、運動状態の判定処理と心理状態の判定処理について分けて説明するが、これら判定処理は独立した処理であってもよいし、一方の判定結果を他方の判定結果に反映させるような関連した処理であってもよい。

図５Ａは、運動と心理状態判定装置１３０による運動状態の判定処理の一例を示すフローチャートである。
例えば、事前に、センシング部１３１は、一次被検者から一次生体情報（筋電位データ）を取得し（ＳＴ１１Ａ）、判定器１３２ａは、一次被検者の一次生体情報から運動状態を判定し（ＳＴ１２Ａ）、運動と心理状態記憶部１３２ｂは、一次被検者の運動状態を記憶する（ＳＴ１３Ａ）。例えば、一人の一次被検者からの一次生体情報に基づく運動状態を記憶してもよいし、複数人の一次被検者からの一次生体情報を統計的に分析し一人分の運動状態として記憶してもよいし、複数人の一次被検者からの一次生体情報に基づく複数人分の運動状態として記憶してもよい。

続いて、センシング部１３１は、二次被検者から二次生体情報（筋電位データ）を取得し（ＳＴ１４Ａ）、判定器１３２ａは、一次被検者の一次生体情報から運動状態を判定し（ＳＴ１５Ａ）、比較器１３２ｄは、一次被検者からの運動状態と二次被検者からの運動状態とを比較し（ＳＴ１６Ａ）、比較結果を出力する（ＳＴ１７Ａ）。例えば、一次被検者の運動状態の変化特性と二次被検者の運動状態の変化特性に基づき、一次被検者の運動状態と二次被検者の運動状態とを対応付けて、差分を検出する。差分の検出方法については各種方法を適用することができる。比較器１３２ｄは、一次被検者の運動状態に対する二次被検者の運動状態（運動状態の良し悪し、筋肉の使い方の良し悪し）を出力する。例えば、投球動作中の一次被検者からの筋電位データと実質的に同一の投球動作中の二次被検者からの筋電位データは、特定の動作タイミングで類似の特徴量を含む。「特定の動作タイミング」とは、一連の動作イベントからなる動作（例えば、投球動作）における特定の動作イベント（例えば、足挙げやボールリリースなど）のタイミング（時間または時間区間）を意味する。時系列の一次被検者の筋電位データと時系列の二次被検者の筋電位データから特定の動作タイミングで得られた特徴量を抽出し、一次被検者の筋電位データと二次被検者の筋電位データから抽出された特徴量に基づき、一次被検者の筋電位データと二次被検者の筋電位データを対応付けて、筋電位データの比較、筋電位データの差分検出が可能となる。

例えば、一人分の一次被検者の運動状態と二次被検者の運動状態とを比較し、一人の一次被検者の運動状態に対する二次被検者の運動状態（筋肉の使い方等）の良し悪しを比較結果として出力することができる。また、複数人分の一次被検者の運動状態と二次被検者の運動状態とを比較し、各一次被検者の運動状態に対する二次被検者の運動状態（筋肉の使い方等）の良し悪しを出力することもできる。

本実施形態では、運動と心理状態記憶部１３２ｂが、基準（正解）となる運動状態を保持するケースについて説明したが、基準となる運動状態をサーバ等から受信し、受信した運動状態を用いるようにしてもよい。

図５Ｂは、運動と心理状態判定装置１３０による心理状態の判定処理の一例を示すフローチャートである。
例えば、事前に、センシング部１３１は、一次被検者から一次生体情報（心電位データ）を取得し（ＳＴ１１Ｂ）、判定器１３２ａは、一次被検者の一次生体情報から心理状態を判定し（ＳＴ１２Ｂ）、運動と心理状態記憶部１３２ｂは、一次被検者の心理状態を記憶する（ＳＴ１３Ｂ）。例えば、一人の一次被検者からの一次生体情報に基づく心理状態を記憶してもよいし、複数人の一次被検者からの一次生体情報を統計的に分析し一人分の心理状態として記憶してもよいし、複数人の一次被検者からの一次生体情報に基づく複数人分の心理状態として記憶してもよい。

続いて、センシング部１３１は、二次被検者から二次生体情報（心電位データ）を取得し（ＳＴ１４Ｂ）、判定器１３２ａは、一次被検者の一次生体情報から心理状態を判定し（ＳＴ１５Ｂ）、比較器１３２ｄは、一次被検者からの心理状態と二次被検者からの心理状態とを比較し（ＳＴ１６Ｂ）、比較結果を出力する（ＳＴ１７Ｂ）。例えば、一次被検者の心理状態の変化特性と二次被検者の心理状態の変化特性に基づき、差分を検出する。差分の検出方法については各種方法を適用することができる。比較器１３２ｄは、一次被検者の心理状態に対する二次被検者の心理状態（心理状態の良し悪し）を出力する。

例えば、一人分の一次被検者の心理状態と二次被検者の心理状態とを比較し、一人の一次被検者の心理状態に対する二次被検者の心理状態の良し悪しを比較結果として出力することができる。また、複数人分の一次被検者の心理状態と二次被検者の心理状態とを比較し、各一次被検者の心理状態に対する二次被検者の心理状態の良し悪しを比較結果として出力することもできる。また、複数人分の一次被検者の心理状態と二次被検者の心理状態とを比較し、各一次被検者の心理状態に対する二次被検者の心理状態の良し悪しを出力することもできる。なお、状態判定部は、心理状態とともに二次被験者の心電位をフィードバック装置１４０へ出力してもよい。

また、試合本番中の第１の時刻（５回の守備）における所定運動中の二次被検者から取得された心電位データに基づき二次被検者の第１の心理状態を判定し、試合本番中の第２の時刻（７回の守備）における所定運動中の二次被検者から取得された心電位データに基づき二次被検者の第２の心理状態を判定し、第１の心理状態と第２の心理状態を比較し、比較結果として、時間経過（例えば疲労）による二次被検者の心理状態の変化を出力することもできる。

本実施形態では、運動と心理状態記憶部１３２ｂが、基準（正解）となる心理状態を保持するケースについて説明したが、基準となる心理状態をサーバ等から受信し、受信した心理状態を用いるようにしてもよい。

次に、筋電位データ（運動状態）と心電位データ（心理状態）との関係性を利用した判定処理の一例について説明する。過度の緊張はスムーズな運動を阻害することが知られている。例えば、運動と心理状態判定装置１３０は、心理状態が運動状態に悪影響を及ぼしているか否かを判定することができる。

図５Ｃは、運動と心理状態判定装置での心電位データによる筋電位データへの影響の判定処理の一例を示すフローチャートである。
状態判定部１３２は、一次被検者の筋電位データ（運動状態）と心電位データ（心理状態）の関係（例えば理想的な関係）を分析する（ＳＴ１１Ｃ）。同様に、状態判定部１３２は、二次被検者の筋電位データ（運動状態）と心電位データ（心理状態）の関係（例えば理想的ではない関係）を分析する（ＳＴ１２Ｃ）。

状態判定部１３２は、一次被検者の筋電位データ（運動状態）と心電位データ（心理状態）の関係と、二次被検者の筋電位データ（運動状態）と心電位データ（心理状態）の関係を比較し（ＳＴ１３Ｃ）、二次被検者の心電位データ（心理状態）による筋電位データ（運動状態）への影響を判定する（ＳＴ１４Ｃ）。例えば、緊張により運動が乱れているなどを判定することができる。

また、統計的に、心電位データの変化に応じた筋電位データの変化を捉えることにより、心電位データが筋電位データに影響を及ぼしたことを判定することができる。また、このときの心電位データと筋電位データの関係から、心電位データが筋電位データに影響を及ぼしている状態を検出（判定）することもでき、その結果を出力することもできる。

例えば、投手Ａの練習中の筋電位データと心電位データ（一次被検者の筋電位データと心電位データに相当）を蓄積し、状態判定部１３２は、蓄積した投手Ａの練習中の筋電位データ（運動状態）と心電位データ（心理状態）と、投手Ａの試合中の筋電位データ（運動状態）と心電位データ（運動状態）（二次被検者の筋電位データと心電位データに相当）とを比較する。つまり、同一人物の過去に蓄積された筋電位データと心電位データ（運動状態と心理状態）と、現在の筋電位データと心電位データ（運動状態と心理状態）を比較する。過去（練習中）の運動状態（及び心理状態）に対して現在（試合中）の運動状態（及び心理状態）が悪い場合、心理状態が影響し運動状態が悪くなっていると判定する。即ち、同一人物の運動状態が極端に悪化していることから、その原因は心理状態にあると判定している。また、過去と現在の時間差が小さい場合に限り、その原因は心理状態にあると判定してもよい。

なお、上記説明では、筋電位データと心電位データをセンシングするケースについて説明したが、心電位データのセンシングは必須ではない。例えば、状態判定部１３２が、筋電位データに基づく運動状態の判定結果から心理状態を判定するようにしてもよい。例えば、統計的に、運動状態の判定結果から心理状態を判定することができる。また、練習時の運動状態と試合時の運動状態とを比較して比較結果から心理状態の変化を判定することもできる。さらに、運動状態の変化から心理状態の変化を判定することもできる。例えば、試合前半等（第１の時間）の運動状態と試合後半等（第２の時間）の運動状態の変化から心理状態の変化を判定することができる。

図６Ａは、フィードバック装置１４０による運動状態のフィードバック処理の一例を示すフローチャートである。
まず、信号生成部１４１が、判定結果を受信する（ステップＳＴ２１Ａ）。信号生成部１４１は、判定結果（運動状態の良し悪し、筋電位心電位データ、運動状態を示す値の変化量等）から、二次被験者の運動状態（筋肉の使い方等）が良いか悪いかを判断する（ステップＳＴ２２Ａ）。信号生成部１４１は、受信した信号が、運動状態が良いこと、或いは、筋肉の使い方が良いことを示すものである場合、フィードバックを誇張する信号を合成音／画像生成部１４２へ出力する。信号生成部１４１は、受信した信号が、運動状態が良い事、或いは、筋肉の使い方が良いことを示すものでない場合、フィードバックを矮小する信号を合成音／画像生成部１４２へ出力する。

合成音／画像生成部１４２は、信号生成部１４１からフィードバックを誇張或いは矮小する信号を受信する。合成音／画像生成部１４２は、フィードバックを誇張する信号を受信した場合、筋電位、音、音声等の音響信号、画像信号、映像信号およびこれらの合成信号の少なくとも１つを含む信号を誇張して（ステップＳＴ２３Ａ）、外部の出力装置２００へフィードバック信号を出力する。合成音／画像生成部１４２は、フィードバックを矮小する信号を受信した場合、筋電位、音、音声等の音響信号、画像信号、映像信号、およびこれらの合成信号の少なくとも１つを含む信号を矮小して（ステップＳＴ２４Ａ）、外部の出力装置２００へフィードバック信号を出力する。

なお、フィードバックを誇張する場合、合成音／画像生成部１４２は、筋電位をより良い値に修正して出力してもよく、基準とする音に対して大きな音量の音信号を出力してもよく、基準とする音に対して他の音を重畳した音信号を出力してもよい。また、合成音／画像生成部１４２は、二次被験者を褒めたり励ましたりする音声信号を出力してもよい。また、合成音／画像生成部１４２は、所定の色彩の画像信号を出力してもよく、「○」や「◎」等の記号の画像信号を出力してもよく、笑顔の画像信号を出力してもよく、二次被験者を褒めたり励ましたりする等の言葉を含む画像信号を出力してもよく、外部から取得した画像信号あるいは映像信号を加工して出力してもよい。さらに、合成音／画像生成部１４２は、上記の音信号、音声信号などの音響信号、画像信号、および映像信号の少なくとも２つを組み合わせた合成信号であってもかまわない。

フィードバックを矮小する場合、合成音／画像生成部１４２は、筋電位をより悪い値に修正して出力してもよく、基準とする音に対して小さな音量の音信号を出力してもよく、無音とするために音信号を省略してもよい。また、合成音／画像生成部１４２は、二次被験者の運動状態に応じて「もう一歩です」、「まだまだです」等の音声信号を出力してもよい。また、合成音／画像生成部１４２は、所定の色彩の画像信号を出力してもよく、「△」や「×」等の記号の画像信号を出力してもよく、泣き顔の画像信号を出力してもよく、二次被験者のレベルに応じた言葉を含む画像信号を出力してもよく、外部から取得した画像信号を加工して出力してもよい。さらに、合成音／画像生成部１４２は、上記の音信号、音声信号等の音響信号、画像信号、および映像信号の少なくとも２つを組み合わせた合成信号であってもかまわない。

図６Ｂは、フィードバック装置１４０による心理状態のフィードバック処理の一例を示すフローチャートである。
まず、信号生成部１４１が、判定結果を受信する（ステップＳＴ２１Ｂ）。信号生成部１４１は、判定結果（心理状態の良し悪し、心電位データ、心理状態を示す値の変化量等）から、二次被験者の心理状態が良いか悪いかを判断する（ステップＳＴ２２Ｂ）。信号生成部１４１は、受信した信号が、心理状態が良いことを示すものである場合、フィードバックを誇張する信号を合成音／画像生成部１４２へ出力する。信号生成部１４１は、受信した信号が、心理状態が良い事を示すものでない場合、フィードバックを矮小する信号を合成音／画像生成部１４２へ出力する。

合成音／画像生成部１４２は、信号生成部１４１からフィードバックを誇張或いは矮小する信号を受信する。合成音／画像生成部１４２は、フィードバックを誇張する信号を受信した場合、心電位、音、音声等の音響信号、画像信号、映像信号およびこれらの合成信号の少なくとも１つを含む信号を誇張して（ステップＳＴ２３Ｂ）、外部の出力装置２００へフィードバック信号を出力する。合成音／画像生成部１４２は、フィードバックを矮小する信号を受信した場合、心電位、音、音声等の音響信号、画像信号、映像信号、およびこれらの合成信号の少なくとも１つを含むフ信号を矮小して（ステップＳＴ２４Ｂ）、外部の出力装置２００へフィードバック信号を出力する。

なお、フィードバックを誇張する場合、合成音／画像生成部１４２は、心電位をより良い値に修正して出力してもよく、良い値に修正した後の心電位と実際の心電位との差分を出力してもよく、基準とする音に対して大きな音量の音信号を出力してもよく、基準とする音に対して他の音を重畳した音信号を出力してもよい。また、合成音／画像生成部１４２は、二次被験者を褒めたり励ましたりする音声信号を出力してもよい。また、合成音／画像生成部１４２は、所定の色彩の画像信号を出力してもよく、「○」や「◎」等の記号の画像信号を出力してもよく、笑顔の画像信号を出力してもよく、二次被験者を褒めたり励ましたりする等の言葉を含む画像信号を出力してもよく、外部から取得した画像信号あるいは映像信号を加工して出力してもよい。さらに、合成音／画像生成部１４２は、上記の音信号、音声信号などの音響信号、画像信号、および映像信号の少なくとも２つを組み合わせた合成信号であってもかまわない。

フィードバックを矮小する場合、合成音／画像生成部１４２は、心電位をより悪い値に修正して出力してもよく、悪い値に修正した後の心電位と実際の心電位との差分を出力してもよく、基準とする音に対して小さな音量の音信号を出力してもよく、無音とするために音信号を省略してもよい。また、合成音／画像生成部１４２は、二次被験者の心理状態に応じて「もう一歩です」、「まだまだです」等の音声信号を出力してもよい。また、合成音／画像生成部１４２は、所定の色彩の画像信号を出力してもよく、「△」や「×」等の記号の画像信号を出力してもよく、泣き顔の画像信号を出力してもよく、二次被験者のレベルに応じた言葉を含む画像信号を出力してもよく、外部から取得した画像信号を加工して出力してもよい。さらに、合成音／画像生成部１４２は、上記の音信号、音声信号等の音響信号、画像信号、および映像信号の少なくとも２つを組み合わせた合成信号であってもかまわない。

図６Ｃは、心電位データによる筋電位データへの影響（関連性）のフィードバック処理の一例を示すフローチャートである。

まず、信号生成部１４１が、判定結果を受信する（ステップＳＴ２１Ｃ）。信号生成部１４１は、判定結果に心電位データによる筋電位データへの影響（関連性）が含まれているか判断する（ステップＳＴ２２Ｂ）。信号生成部１４１は、受信した信号が、心電位データによる筋電位データへの影響（関連性）を含むものである場合、心電位データによる筋電位データへの影響（関連性）があることをフィードバックするための信号を出力する。信号生成部１４１は、受信した信号が、心電位データによる筋電位データへの影響（関連性）を含むものでない場合、処理を終了する。

合成音／画像生成部１４２は、信号生成部１４１から心電位データによる筋電位データへの影響（関連性）をフィードバックするための信号を受信する。合成音／画像生成部１４２は、心電位データによる筋電位データへの影響（関連性）をフィードバックするための信号を受信した場合、筋電位、心電位、音、音声等の音響信号、画像信号、映像信号およびこれらの合成信号の少なくとも１つとともに、関連性があることを示す通知を出力する（ステップＳＴ２３Ｃ）。

なお、関連性があることを示す通知は、例えば音や音声により関連性をフィードバックするための音響信号であってもよく、画像や映像により関連性をフィードバックするための画像（映像）信号でもよく、例えば所定のランプを点灯させて関連性をフィードバックするための信号であってもよく、これらを組み合わせても構わない。

以下、センシング部１３１と状態判定部１３２についてまとめる。ここでは、心理状態のセンシングと判定と比較だけでなく、運動状態のセンシングと判定と比較についても説明する。
１．センシング部１３１
センシング部１３１は、一人ないし複数の対象から生体情報（運動信号及び心理信号）を計測する。生体情報をどのような手段で取得するかは問わない。

＜運動信号のセンシング＞
センシング部１３１は、一つないし複数の筋から、筋電位信号（生体電極）を計測する。さらに、センシング部１３１は、一箇所ないし複数の部位の加速度信号（加速度センサ）や圧力信号（圧力センサ）、関節角度信号（曲げセンサ）を計測することもできる。

＜心理信号のセンシング＞
センシング部１３１は、例えば心理状態を判定するために、自律神経活動を計測することもできる。例えば、センシング部１３１は、心電位信号（生体電極）や脈波（光センサ）を計測する。これにより、自律神経活動（興奮/リラックス）を検出できる。

また、センシング部１３１は、その他の生理反応を計測することもできる。例えば、センシング部１３１は、呼吸や発汗、脳波、眼球運動、瞳孔径を計測する。これにより、情動（興奮/リラックス）や感情（サプライズや選好）、注意、意図などを検出できる。

野球の装備で考えられる計測対象として、ヘルメット、帽子（脳波）、サングラス（眼球運動（注視方向、マイクロサッケード）、瞳孔径）、手袋（発汗、脈波、圧、加速度）、アンダーウェア（筋電、心電、呼吸、加速度）、シューズ（発汗、脈波、圧、加速度）がある。

２．状態判定部１３２
＜（運動）判定器１３２ａ＞
判定器１３２ａは、計測された筋電位信号などから、下記のような運動状態を判定する。
判定器１３２ａは、運動パターン（コツや力み）を判定する。例えば、判定器１３２ａは、ある動き（加速度や関節角度の変化）に対する筋活動パターンや筋活動の相互タイミングなどを判定する。

判定器１３２ａは、姿勢パターン（バランス）を判定する。例えば、判定器１３２ａは、足底圧力の変化に対する筋の組み合わせの活動状態や活動タイミングなどを判定する。例えば、判定器１３２ａは、スキーのときの足底の圧力変化と筋の使い方などを判定する。
判定器１３２ａは、筋疲労度を判定する。例えば、判定器１３２ａは、一つないし複数の筋電位信号を周波数解析することで判定（疲労すると、筋活動のパワーが低周波帯域にシフトする）する。例えば、この判定結果は、選手の交代時の判断に用いることができる。

＜（運動）比較器１３２ｄ＞
比較器１３２ｄは、運動状態の変化や良し悪しを判定するため、一人ないし複数の一次被検者から得られた情報と二次被検者から得られた情報とを比較する。
比較器１３２ｄは、特定の対象である一次被検者の運動状態と二次被検者の運動状態とを比較する。事前に、判定器１３２ａが、特定の上級者や一流選手など（手本）の一次被検者の運動状態を判定し、比較器１３２ｄは、一次被検者の運動状態と二次被検者の運動状態とを比較する。

また、比較器１３２ｄは、ある集団の一次被検者から得られた運動状態と二次被検者から得られた運動状態を比較する。例えば、事前に、判定器１３２ａが、ある集団の一次被検者から得られる運動状態（平均パターン、データマイニングで特徴づけられたパターンなど）を判定し、比較器１３２ｄは、一次被検者の運動状態と二次被検者の運動状態とを比較する。

また、比較器１３２ｄは、自分（二次被検者）を一次被検者とし、一次被検者の運動状態と二次被検者の運動状態とを比較する。比較器１３２ｄは、普段（練習等で１００球投げたときの平均値）の運動状態と現在（試合等の本番）の運動状態とを比較する。

また、比較器１３２ｄが、パートナー間の運動状態の関係を比較（判定）するようにしてもよい。例えば、判定器１３２ａが、投手と打者の運動状態（例えば力み度）を判定し、比較器１３２ｄは、投手と打者の運動状態を比較する。比較結果を駆け引きの様子や相性の判断に用いることができる。

＜（心理状態）判定器１３２ａ＞
判定器１３２ａは、心電位信号や脈波から得られる心拍数や血流の変動（ゆらぎ）を周波数解析することで自律神経状態（交感神経と副交感神経の活動のバランス＝緊張/リラックス）を判定できる（例えば、非特許文献３）。緊張/リラックス状態を定量化する手法として、例えば、心拍数変動の低周波数成分（LF: 0.05-0.15 Hz）と高周波数成分（HF: 0.15-0.4 Hz）を算出して、HFはリラックス度、LF/HFは緊張度、として評価することができる。

他に、判定器１３２ａは、呼吸や発汗、脳波、眼球運動、瞳孔径などから、情動（興奮/リラックス）や感 情（サプライズや選好）、注意、意図などの状態も判定できる
＜（心理状態）比較器１３２ｄ＞
比較器１３２ｄは、心理状態の変化や良し悪しを判定するため、一人ないし複数の一次被検者から得られた情報と二次被検者から得られた情報とを比較する。
比較器１３２ｄは、ある集団の一次被検者から得られた自律神経状態と二次被検者から得られた自律神経状態を比較する。例えば、事前に、判定器１３２ａが、ある集団の一次被検者から得られる自律神経状態（平均値、データマイニングで特徴づけられた値など）を判定し、比較器１３２ｄは、一次被検者の自律神経状態と二次被検者の自律神経状態とを比較する。

また、比較器１３２ｄは、自分（二次被検者）を一次被検者とし、一次被検者の自律神経状態と二次被検者の自律神経状態とを比較する。比較器１３２ｄは、第１の状況（普段、例えば練習中）での自律神経状態と第２の状況（現在、例えば試合等の本番中）での自律神経状態とを比較する。

また、比較器１３２ｄは、パートナー間の心理状態の関係を比較（判定）する。例えば、判定器１３２ａが、投手と打者の心理状態を判定し、比較器１３２ｄは、投手と打者の心理状態を比較する。比較結果を駆け引きの様子や相性の判断に用いることができる。

＜（運動状態と心理状態）比較器１３２ｄ＞
比較器１３２ｄは、運動状態や自律神経状態を組み合わせることで、「自律神経状態と運動状態の関係性」を比較（判定）する。例えば、緊張すると、運動が乱れるなどの関係がわかる。

続いて、運動状態と自律神経の状態の判定について詳しく説明する。
事例１として、実戦におけるプロの投手の総合的な状態モニタリングについて説明する。
１．投手Ａが上下半身両方に、筋電位センサ１１０（ウェアラブルセンサ）を搭載したコンプレッションインナーウェア（例えばＨｉｔｏｅ（登録商標））を着用する。上半身に心電位センサ１２０（ウェアラブルセンサ）を搭載したコンプレッションインナーウェア（例えばＨｉｔｏｅ（登録商標））を着用する。上半身用のウェアには筋電位を計測するために、例えば、着用者の腕、肩、胸囲、腰に対応する複数箇所に筋電位センサ１１０が配置されている。また、上半身用のウェアには心電位を計測するために、例えば、着用者の心臓周囲に対応する箇所に心電位センサ１２０が配置されている。下半身用のウェアには、下半身の疲労度を測定するために、着用者の臀部（下肢のその他の筋でもよい）の筋電位を計測するために、着用者の臀部に対応する複数箇所に筋電位センサ１１０が配置されている。

２．状態判定部１３２は、上半身及び下半身の筋電位を周波数解析し、筋の疲労度合いを推定することができる。一方で、状態判定部１３２は、心電位に基づく心拍変動の解析から、投手の交感神経と副交感神経の活動バランスを推定することができる。

３．筋電位センサ１１０、心電位センサ１２０、及びセンシング部１３１は、普段の練習および試合から投手Ａの筋電位および心電位を継続的に測定し、以下に列挙するような様々な状況におけるデータを長期的に取り貯める。

３．１ ブルペンで打者が立っていない非実戦的な状況
３．２ 打者と対戦する状況（練習）
３．３ 打者と対戦する状況（試合）
以上の状況から取得した以下のようなデータを、生体状態推定器として機能する状態判定部１３２に投入する。状態判定部１３２は、「４．１」、「４．２」、及び「４．３」を入力として直近の将来の投球パフォーマンスを推定するためのモデルを逐次更新する。

３．４．１ 筋電位から推定される客観的筋疲労度
３．４．２ 全身の筋活動パターンから推定される運動連鎖の効率
３．４．３ 心拍変動から推定される自律神経活動バランス
３．４．４ 投球速度、コントロールのばらつき等のパフォーマンス指標
＜ユーザ使用例１：実戦場面を想定＞
上記３．４．１〜３．４．４の情報は、二次被検者（データを測定されている本人）、および周囲の人間が常時モニターできる状態にある。つまり、フィードバック装置１４０が、上記３．４．１〜３．４．４の情報を出力する。

４．試合前半：投手Ａは、試合開始直後（立ち上がり）のパフォーマンスが不安定であることが課題の一つである。長期的なデータ計測から、心電位から推定されるメンタルの状態が過緊張状態に陥ることが、頻繁に生じることがわかっている。さらに、過緊張状態と投球パフォーマンスの低下に相関があることもわかっている。そのため、試合中にそのような状況に陥った場合、投手コーチが「間を取る」などの対応をすることによって、投手Ａが大きくパフォーマンスを乱すことは少なくなった。

５．試合中盤：疲労が増大していることが、モニターしている筋電位データから推測されるが、筋活動から推測される筋状態は良い状態を保っていると推測される場合（例えば疲労の蓄積は小さいと推測される場合）、首脳陣は続投させることを決断する。

６．試合後半：筋疲労、メンタル面双方において、状態の劣化が推定され、全身の筋活動パターンにも疲労時特有のパターンが見られた場合、打者に打ち込まれる前に、投手Ａを降板させることを決断する。

７．上記のような使用により、より良いタイミングでの選手交代が可能となるだけでなく、無理をさせる機会が減ることによるケガのリスク減少も期待できる。
＜ユーザ使用例２：試合で生じた課題を練習で克服する＞
８．投手Ａには、試合で普段の練習通りのパフォーマンスを発揮できないという課題がある（（メンタルが影響しているのかもしれないが）フィジカルに原因があるのではないかと周囲の人間は推測している）。

９．上記課題を克服するために、前項３．１〜３．３各々の投球時の、全身の筋活動パターン、自律神経活動バランスおよび投球パフォーマンス指標を比較する。

１０．その結果、投手Ａはブルペンでの投球時のみ非常にリラックスした状態で投球をしており、打者との対戦シーン、特に試合での対戦シーンにおいて、メンタル面での変動が大きいことが判明する。さらには、メンタル面の変動を生じさせる試合状況もピックアップできる。

１１．投手Ａは「１０．」のフィードバックを受けて、当該試合状況下における対応（状況の整理、気持ちの持ち方等）を指導者と議論する。さらに、練習において、当該状況を再現した実戦練習を行うことで、試合時のパフォーマンスの不安定さを改善することが期待できる。

事例２として、オーバートレーニング予防としての心拍変動解析について説明する。

１２．若手野球選手Ａ（投手）は、シーズン中に、多くの試合と並行して、高強度なトレーニングを行わなくてはならない。疲労が蓄積した状態で試合に望むと、パフォーマンスを発揮できないだけでなく、ケガのリスクを増大させることにもつながる。そのため、当日の選手のコンディションをモニタリングすることで、流動的にその日の登板可否を判断する仕組みが有用となる。

１３．起床時の心電位から得られる心拍変動データからオーバートレーニング症候群を検知する。

若手野球選手Ａは起床時から日常的に心電位および筋電位を計測することで、心拍変動および筋電位データを継続的に取り貯めている。オーバートレーニングに陥った選手には、起床時の心拍数増大や心拍変動の減少が見られることが報告されている。また、筋電位から推定される筋疲労度合いと、心拍変動から推定される疲労度には関連があることも報告されている。これらと本人の主観的な疲労度と合わせて、コンディショニングコーチは投手Ａの登板可否を当日の朝に判断する。

同時に、同様の測定において最もコンディションが良いと推定される投手Ｂを若手野球選手Ａの代わりに登板させることを決定する。

図７は、合成音／画像生成部の構成の一例を示すブロック図である。
まず概要を説明する。この実施形態では、特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像と、特定の動作タイミングで得られた当該動作主体の筋電位データ、例えば複数の筋電位等の生体情報に由来する（言い換えると、複数の筋電位から導き出される）筋活動度画像とを合成し、それによって得られる合成画像を表示する。合成画像は「複数」の画像や筋電位に由来する。そのため、「単数」の画像や筋電位のみに由来する情報からは判断が困難な「動作とそれに伴う筋活動の適切さ」の可視的なフィードバックが可能となる。

「動作主体」は人であってもよいし、人以外（例えば、動物）であってもよい。単数の「動作主体」の例は、動作のフィードバック対象となる一人の動作主体である。複数の「動作主体」の例は、手本となる動作主体とその動作に習って動作を行うフィードバック対象の動作主体とからなる二人の動作主体、手本となる動作主体とその動作に習って動作を行う複数の動作主体（フィードバック対象の動作主体を含む）とからなる複数の動作主体、または手本となる動作主体以外の複数の動作主体（フィードバック対象の動作主体を含む）などである。

複数の画像は、単数または複数の動作主体の複数回の動作過程で撮影されたものであってもよいし、複数の動作主体の１回の動作過程で撮影されたものであってもよい。これらの画像は動作主体の全身の画像であってもよいし、動作主体の一部の部位（例えば、上半身や足など）の画像であってもよい。

「複数の筋電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の複数の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の１回の動作過程で得られたものであってもよい。「複数の筋電位」は、例えば、「複数の画像」に表された動作主体の動作に関与（寄与）する単数または複数の筋の筋電位（例えば、この動作主体の動作に関与する主動筋の筋電位やそれに対応する拮抗筋の筋電位）を含む。信号生成部１４１の出力が誇張或いは矮小した筋電位信号である場合には、信号生成部１４１の出力は筋電位信号として可視化装置１１に入力されてもよい。

「筋活動度画像」は、例えば、複数の筋活動度の関係から得られる値を表す画像、複数の筋活動度のばらつきを表す画像、複数の筋活動度の相対値を表す画像、または複数の筋活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む。ただし、複数の筋活動度のそれぞれが、複数の筋電位のそれぞれに対応する。「筋活動度」は、筋電位またはその関数値である。筋電位の関数値の例は、筋電位の大きさを表す関数値であり、例えば、筋電位の絶対振幅値の広義単調増加関数値（例えば、単調増加関数値）である。例えば、筋電位の絶対振幅値や所定の時間区間での平均二乗振幅値を「筋活動度」とすることができる。筋電位の関数値として、平滑化や直流成分除去を行った筋電位の大きさを表す値を用いてもよい。あるいは、「筋活動度画像」が、筋電位または筋活動度を周波数領域に変換して得られた複数の値に由来するもの（周波数スペクトル等）でもよい。以上のような画像により、動作に伴う筋活動の適切さを可視的にフィードバックできる。

複数の筋活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で複数回の動作の試行過程で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。

複数の筋活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。

「ばらつきを表す画像」は、ばらつきの大きさを表した画像である。「ばらつきを表す画像」の例は、（Ｆ−１）縦軸と横軸とを時間軸とし、各時間に対応する座標に、当該時間でのばらつきの大きさに応じた「色合い」の点をプロットした等高線プロットや、（Ｆ−２）横軸を時間軸とし、縦軸を各時間でのばらつきの大きさを表す軸とし、各時間に対応するばらつきの大きさプロットした時系列グラフや、（Ｆ−３）横軸をばらつきの大きさを表す軸とし、縦軸をばらつきの頻度を表す軸とし、各ばらつきの頻度を棒グラフで表したヒストグラムなどである。「相対値を表す画像」は、相対値またはその大きさを表した画像である。「相対値を表す画像」の例は、上記の（Ｆ−１）〜（Ｆ−３）の例の「ばらつきの大きさ」を「相対値」または「相対値の大きさ」に置換した画像等である。

「複数の筋電位」が、動作主体の主動筋の筋電位、および主動筋に対応する拮抗筋の筋電位を含み、「筋活動度画像」が、当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の関係から得られる値を表す画像、当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の相対値を表す画像、または当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像の少なくとも何れかを含んでもよい。この画像によって動作主体の「力み」を表現できる。特に、この「相対値」を「拮抗筋の筋電位に対応する筋活動度」を「主動筋の筋電位に対応する筋活動度」で除した値（割った値）とした場合、拮抗筋の活動水準（主動筋活動に対する拮抗筋活動の割合）を定量でき、より明確に「力み」を表現できる。なお、「主動筋に対応する拮抗筋」とは、主動筋が収縮する動作において弛緩する筋を意味する。例えば、手首を曲げの動作では、手首屈筋が主動筋として収縮し、伸筋が拮抗筋として弛緩する。逆に手首をのばす動作では、伸筋が主動筋として収縮し、手首屈筋が抗筋として弛緩する。手首を曲げようとするとき、主動筋である手首屈筋は活動し、拮抗筋である伸筋の活動は抑制されることが望ましい。しかし、拮抗筋が過剰に活動すると、いわゆる「力み」状態となり、運動を阻害する。上述の「筋活動度画像」では、動作に伴う主動筋活動と拮抗筋活動との関係を提示できるため、この力み度合をフィードバックできる。

「筋活動度画像」が複数の筋電位から得られる複数の筋（例えば、ある動作主体の動作または一連の動作に関与する複数の筋）の「活動開始時点」に由来する画像を含んでもよい。活動開始時点とは、筋が筋活動を開始する時点を意味する。この筋活動度画像により、筋活動の開始タイミングに関する情報（例えば、筋活動の開始タイミングのばらつきや相対値や適切さ）を表現できる。例えば、筋活動度画像が複数の筋の「活動開始時点」のばらつきを表す画像を含んでもよいし、相対値を表す画像を含んでもよいし、相対値のばらつきを表す画像を含んでもよいし、複数の筋の活動開始時点の順序関係に由来する画像を含むことにしてもよい。「活動開始時点」の相対値は、複数の筋の「活動開始時点」の何れかに対する他の「活動開始時点」の相対値であってもよいし、所定の基準時点に対する複数の筋の「活動開始時点」の相対値であってもよい。複数の筋の活動開始時点の順序関係に由来する画像の例は、（Ｆ−４）各筋に対応する色合いの点を当該筋の活動開始時点を表す時間軸の位置にプロットした画像や、（Ｆ−５）各筋に対応する識別子（番号等）を当該筋の活動開始時点を表す時間軸の位置にプロットした画像や、（Ｆ−６）複数の筋の活動開始時点の順序関係が適切である場合と不適切である場合とで「色合い」や「明るさ」が相違する画像や、（Ｆ−７）複数の筋の活動開始時点の順序関係が適切な順序関係に近いほど、特定の「色合い」や「明るさ」に近づく画像や、（Ｆ−８）複数の筋の活動開始時点の順序関係が適切な順序関係にどれだけ近いかを表すスコアやその大きさを表す図形を含む画像などである。なお、複数の筋の活動開始時点の順序関係が適切であるか否かは動作に応じて異なる。例えば、投球運動のボールリリースの動作では、肩を動かす筋、ひじを動かす筋、手首を動かす筋、指を動かす筋の順序で筋活動が開始される順序関係が適切である。このような適切な順序関係は動作に応じて予め設定しておけばよい。以上により、例えば、所定の動作に関与する複数の筋が適切な順序で活動を開始したかをフィードバックできる。

筋活動度画像が複数の「統合特徴量」に由来する画像を含んでもよい。ただし、「統合特徴量」のそれぞれは、特定の動作タイミングで得られた複数の画像のそれぞれと、特定の動作タイミングで得られた複数の筋電位のそれぞれと、の両方に由来する特徴量である。例えば、各統合特徴量は、特定の動作タイミングで得られた画像とその画像に表れた動作に関与する筋の筋電位との両方に由来する。これにより、動作イベントでの姿勢と筋活動との相関関係を可視化してフィードバックできる。

「特定の動作タイミング」とは、一連の動作イベントからなる動作（例えば、投球運動）における特定の動作イベント（例えば、足挙げやボールリリースなど）のタイミング（時間または時間区間）を意味する。実施形態では、動作主体の画像、動作主体の筋電位、またはそれらの両方に由来する特徴量に基づいて、動作主体の時系列の画像から特定の動作タイミングで得られた動作主体の「複数の画像」を抽出し、動作主体の時系列の筋電位から特定の動作タイミングで得られた動作主体の「複数の筋電位」を抽出する。特に、画像と筋電位との両方に由来する特徴量に基づくことで、「特定の動作タイミング」での「複数の画像」および「複数の筋電位」を精度よく抽出できる。

なお、「複数の心電位」、「心活動度画像」、「心活動度」、複数の心活動度の「ばらつき」、複数の心活動度の相対値、についても、「複数の筋電位」、「筋活動度画像」、「筋活動度」、複数の筋活動度の「ばらつき」、複数の筋活動度の相対値に関する上記記載と同様に説明することができる。

例えば、「複数の心電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の１回の動作過程で得られたものであってもよい。「複数の心電位」は、例えば、「複数の画像」に表された動作主体の動作に関与（寄与）する単数または複数の心電位を含む。信号生成部１４１の出力が誇張或いは矮小した心電位信号である場合には、誇張或いは矮小した心電位信号は心電位信号として可視化装置１１に入力されてもよい。

「心活動度画像」は、例えば、複数の心活動度の関係から得られる値を表す画像、複数の心活動度のばらつきを表す画像、複数の心活動度の相対値を表す画像、または複数の心活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む。ただし、複数の心活動度のそれぞれが、複数の心電位のそれぞれに対応する。「心活動度」は、心電位またはその関数値である。心電位の関数値の例は、心拍数であり、所定の時間区間での心拍数を「心活動度」とすることができる。あるいは、「心活動度画像」が、心活動度を周波数領域に変換して得られた複数の値に由来するもの（周波数スペクトル等）でもよい。以上のような画像により、動作に伴う心活動の状態を可視的にフィードバックできる。

複数の心活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で複数回の動作の試行過程で得られた複数の心電位に由来する複数の心活動度のばらつきであってもよいし、単数の動作主体の測定箇所で得られた複数の心電位に由来する複数の心活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の心電位に由来する複数の心活動度のばらつきであってもよいし、複数の動作主体の測定箇所で得られた複数の心電位に由来する複数の心活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。

複数の心活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の心電位に由来する複数の心活動度の間の相対値であってもよいし、単数の動作主体の測定箇所で得られた複数の心電位に由来する複数の心活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の心電位に由来する複数の心活動度の間の相対値であってもよいし、複数の動作主体の測定箇所で得られた複数の心電位に由来する複数の心活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、もしくは「比率」、またはこれらの何れかの関数値である。
以下、図面を用いて各実施形態を詳細に説明する。
［第１実施形態］
第１実施形態を説明する。
＜構成＞
図７に例示するように、合成音／画像生成部１４２は、例えば可視化装置１１を有する。出力装置２００は、画像提示装置１２を有する。なお、可視化装置１１の一部の構成は、信号生成部１４１に含まれていてもよい。可視化装置１１は、動作タイミング検出部１１１と特徴量算出部１１２と特徴量記憶部１１３と動作タイミング照合部１１４と照合結果記憶部１１５と重畳画像作成部１１６と筋活動度（および心活動度）画像生成部１１７と合成部１１８とを有する。図８に例示するように、動作タイミング照合部１１４は、特徴量抽出部１１４１と類似度算出部１１４２と動作タイミング検出部１１４３と画像抽出部１１４４と筋活動度（および心活動度）抽出部１１４５と終了判定部１１４６とを有する。可視化装置１１は、例えば、プロセッサ（例えば、１個以上のＣＰＵ（central processing unit）を含むハードウェア）やメモリ（例えば、ＲＡＭ（random-access memory）やＲＯＭ（read-only memory））を備える汎用または専用のコンピュータ、スマートフォンやタブレットなどのモバイル端末が所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。画像提示装置１２は、例えば、液晶ディスプレイ等の表示装置である。

＜事前処理＞
事前処理では、特定の動作タイミングでの動作イベントに対応する特徴量を取得する。まず、動作タイミング検出部１１１に、特定の動作主体（例えば一次被験者）の一連の動作をカメラで撮影して得られた時系列の画像（映像）およびこの動作主体の一連の筋活動（および心活動）を測定して得られた時系列の筋電位を表す筋電位信号（および心電位を表す心電位信号）の少なくとも一方、ならびに、１個以上の動作タイミングを指定するためのタイミング指定情報が入力される。映像および筋電位信号（および心電位信号）は、事前に得られて記憶装置（図示せず）に格納されていたものであってもよいし、リアルタイムに得られるものであってもよい。

筋電位信号は、例えば、動作主体の動作に関与する単数または複数の筋（主動筋や拮抗筋等）の近傍の単数または複数の測定箇所（例えば、皮膚表面）に電極（例えば筋電位センサ）を取り付け、それぞれの筋から発生する活動電位を計測することで得られる時系列信号である。例えば、１個の測定箇所からは１系統の時系列の筋電位を表す筋電位信号が得られる。例えば、主動筋の筋電位信号は主動筋の近傍の測定箇所の電極の電位に基づいて得られ、拮抗筋の筋電位信号は拮抗筋の近傍の測定箇所の電極の電位に基づいて得られる。

心電位信号は、電極等で構成された心電位センサにより測定される。各心電位センサは筋の活動レベルに応じた心電位信号（生体情報）を出力する。例えば、少なくとも１つの心電位センサは、一次被検者及び二次被検者の体の少なくとも１箇所（胸等）に対応するようにウェアに取付けられている。例えば、１個の測定箇所からは１系統の時系列の心電位を表す心電位信号が得られる。

タイミング指定情報は、例えば、ユーザによって任意に選択された特定の動作タイミングを表す時間または時間区間を指定する情報である。これらの時間や時間区間は、相対的な時間であってもよいし、絶対的な時間であってもよい。例えば、投球運動は「（ａ）脚上げ」「（ｂ）踏み出し」「（ｃ）接地」「（ｄ）ボールリリース」といった複数の動作イベントからなる。このとき「（ｄ）ボールリリース」の動作タイミングを表す時間（または時間区間）を指定するのであれば、投球運動の開始時（「（ａ）脚上げ」の開始時）に対する「（ｄ）ボールリリース」の開始時（または開始時と終了時）の相対的な時間を指定してもよいし、「（ｄ）ボールリリース」の開始時（または開始時と終了時）の絶対的な時間を指定してもよい。また、タイミング指定情報が２以上の動作タイミングの時間または時間区間を指定してもよい。例えば、タイミング指定情報が「（ｂ）踏み出し」と「（ｄ）ボールリリース」の動作タイミングの時間または時間区間を指定してもよい。また、動作タイミングが時間区間である場合、特定の時間を指定することでこの時間区間が指定されてもよい。この「特定の時間」は、動作タイミングである時間区間を特定するための基準となる時間であり、例えば、動作タイミングである時間区間の開始時間や中心時間などを例示できる。なお、タイミング指定情報は、一次被験者、例えば所定運動中の上級者やプロ（基準となる選手）の動作タイミングであってもよい。

動作タイミング検出部１１１は、入力された時系列の画像および／または時系列の筋電位信号から、タイミング指定情報で特定される動作タイミングの画像および／または筋電位信号（および心電位信号）を抽出する。動作タイミング検出部１１１は、タイミング指定情報で特定される時間または時間区間の画像および／または筋電位信号（および心電位信号）のみを抽出してもよいし、さらにその時間または時間区間よりも前の時間区間や後の時間区間の画像および／または筋電位信号（および心電位信号）を抽出してもよい。あるいは、動作タイミング検出部１１１は、タイミング指定情報で特定される時間区間よりも狭い時間区間の画像および／または筋電位信号（および心電位信号）を抽出してもよい。例えば、タイミング指定情報が、投球動作における「（ｂ）踏み出し」の開始時と終了時を指定する場合、動作タイミング検出部１１１は、「（ｂ）踏み出し」の開始時から終了時までの画像および／または筋電位信号（および心電位信号）のみを抽出してもよいし、さらに「（ｂ）踏み出し」の開始時よりも前や後の時間区間の画像および／または筋電位信号（および心電位信号）を抽出してもよい。あるいは、「（ｂ）踏み出し」の開始時から終了時までの時間区間よりも狭い時間区間の画像および／または筋電位信号（および心電位信号）のみを抽出してもよい。抽出された画像および／または筋電位信号（および心電位信号）は特徴量算出部１１２に送られる。複数の動作タイミングに対して画像および／または筋電位信号（および心電位信号）が抽出された場合には、抽出された画像および／または筋電位信号（および心電位信号）とそれに対応する動作タイミングを識別する情報とが関連付けられて出力される。

特徴量算出部１１２は、入力された画像および／または筋電位信号が表す筋電位に由来する特徴量（動作タイミングの特徴量）を算出し、或いは、入力された画像および／または心電位信号が表す心電位に由来する特徴量（例えば心拍数）を算出して出力する。入力された画像および／または筋電位信号（および心電位信号）が複数の動作タイミング（例えば、「（ｂ）踏み出し」と「（ｄ）ボールリリース」の動作タイミング）に対応する場合には、特徴量算出部１１２は、各動作タイミングに対応する特徴量を算出して出力する。この特徴量は、画像に由来するものであってもよいし、筋電位（および心電位）に由来するものであってもよいし、画像と筋電位（および心電位）との両方に由来するものであってもよい。画像と筋電位（および心電位）との両方に由来する特徴量は、画像に由来する特徴量と筋電位（および心電位）に由来する特徴量と含むものであってもよいし、画像に対応する値と筋電位（および心電位）に対応する値との関数値（例えば、相対値）に由来するものであってもよい。筋電位の測定箇所の近傍の筋が関与する動作部位（上半身や足等）の画像に対応する値と、当該測定箇所で得られた筋電位に対応する値と、に由来する特徴量であってもよい。「筋電位に対応する値」は、筋電位または筋電位の関数値である。「筋電位に対応する値」は「筋活動度」と同じであってもよいし、異なっていてもよい。「心電位に対応する値」は、心電位または心電位の関数値である。「心電位に対応する値」は「心活動度」と同じであってもよいし、異なっていてもよい。以下に各特徴量を例示する。

《動作タイミングの画像に由来する特徴量の例》
画像に由来する特徴量としては前述のＭＨＩがある。以下にＭＨＩによる特徴量を例示する。

ただし、Ｈ（ｘ，ｙ，ｔ）は時間ｔでの座標（ｘ,ｙ）の特徴量（ＭＨＩのピクセル値）を表す。ｄ（ｘ，ｙ，ｔ）は動き検出関数であり、ｄ（ｘ，ｙ，ｔ）＝１は時間ｔで画像の座標（ｘ,ｙ）のピクセル値に変化があったことを示す。大きいｔほど新しい時間を表す。ρは正値の減衰量である。ｍａｘ（α，β）はα≧βのときαを返し、α＜βのときにβを返す。Ｈ（ｘ，ｙ，ｔ）の初期値は例えば０とする。例えば、動作タイミングが特定の時間ｔである場合、この時間ｔでのすべての座標（ｘ，ｙ）でのＨ（ｘ，ｙ，ｔ）（ただし、ｘ＝ｘ１，…，ｘ２、ｙ＝ｙ１，…，ｙ２、ｘ１＜ｘ２、ｙ１＜ｙ２）を要素とする集合を特徴量とする。例えば、野球の投球動作における、「（ａ）脚上げ」「（ｂ）踏み出し」「（ｃ）接地」「（ｄ）ボールリリース」という４個の動作イベントにそれぞれ対応する時間ｔでのＨ（ｘ１，ｙ１，ｔ），…，Ｈ（ｘ２，ｙ２，ｔ）からなる集合を特徴量としている。例えば、動作タイミングが特定の時間区間［ｔ１，ｔ２］である場合、この時間区間［ｔ１，ｔ２］でのすべての座標（ｘ,ｙ）（ただし、ｘ＝ｘ１，…，ｘ２、ｙ＝ｙ１，…，ｙ２、ｘ１＜ｘ２、ｙ１＜ｙ２）でのＨ（ｘ，ｙ，ｔ）（ただし、ｔ＝ｔ１，…，ｔ２）を要素とする集合を特徴量とする。あるいは、時間区間［ｔ１，ｔ２］でのすべての座標（ｘ,ｙ）でのＨ（ｘ，ｙ，ｔ）を所定の時間区間Ｔごとに時間平均した値Ｈ（ｘ，ｙ，Ｔ）（ただし、ｘ＝ｘ１，…，ｘ２、ｙ＝ｙ１，…，ｙ２、ｘ１＜ｘ２、ｙ１＜ｙ２）を要素とする集合を特徴量としてもよい。あるいは、ある時間区間においてＨ（ｘ，ｙ，ｔ）やＨ（ｘ，ｙ，Ｔ）を周波数領域に変換したものを特徴量としてもよい。

《動作タイミングの筋電位（および心電位）に由来する特徴量の例１》
動作タイミングで筋活動（および心電位）に特徴的な変化があるような場合（例えば、「（ｄ）ボールリリース」で上肢筋活動に大きなピークが現れる）、筋電位信号（および心電位信号）が表す筋電位（および心電位）に対応する値の時間変化量、または、筋電位（および心電位）に対応する値の時間変化量を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさの時間変化量、または、筋電位の大きさの時間変化量を要素とする集合、または、心電位信号が表す心拍数を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間ｔであり、Ｉ個（ただし、Ｉは１以上の整数）の測定箇所で得られた筋電位信号（および心電位信号）Ｖｉ（ｔ）およびＶｉ（ｔ−１）（ただし、ｉは測定箇所に対応するチャネルｉ＝１，…，Ｉ）が入力される場合、筋電位信号Ｖｉ（ｔ），Ｖｉ（ｔ−１）がそれぞれ示す筋電位の大きさＭｉ（ｔ），Ｍｉ（ｔ−１）の時間変化量ΔＭｉ（ｔ）＝Ｍｉ（ｔ）−Ｍｉ（ｔ−１）または時間変化量ΔＭ１（ｔ），・・・，ΔＭＩ（ｔ）からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間［ｔ１，ｔ２］である場合、時間区間［ｔ１，ｔ２］での時間変化量ΔＭｉ（ｔ）＝Ｍｉ（ｔ）−Ｍｉ（ｔ−１）からなる集合を特徴量としてもよいし、時間変化量ΔＭｉ（ｔ）を所定の時間区間Ｔごとに時間平均した時間変化量ΔＭｉ（Ｔ）からなる集合を特徴量としてもよい。あるいは、筋電位信号（および心電位信号）が表す筋電位（および心電位）に対応する値を周波数領域に変換した値の時間変化量、または、このような周波数領域に変換した値の時間変化量を要素とする集合を特徴量としてもよい。

《動作タイミングの筋電位（および心電位）に由来する特徴量の例２》
入力された筋電位信号（および心電位信号）が表す筋電位（および心電位）に対応する値、または、筋電位に対応する値を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさ、または、筋電位の大きさを要素とする集合、または、心電位信号が表す心拍数を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間ｔであり、Ｉ個の測定箇所で得られた筋電位信号Ｖｉ（ｔ）が示す筋電位の大きさＭｉ（ｔ）またはＭ１（ｔ），・・・，ＭＩ（ｔ）からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間［ｔ１，ｔ２］である場合、時間区間［ｔ１，ｔ２］での筋電位の大きさＭｉ（ｔ）からなる集合を特徴量としてもよいし、筋電位の大きさＭｉ（ｔ）を所定の時間区間Ｔごとに時間平均したＭｉ（Ｔ）からなる集合を特徴量としてもよい。あるいは、筋電位信号（および心電位信号）が表す筋電位（および心電位）に対応する値を周波数領域に変換した値、または、このような周波数領域に変換した値を要素とする集合を特徴量としてもよい。

《動作タイミングの画像と筋電位（および心電位）との両方に由来する特徴量の例１》
画像に由来する特徴量と筋電位信号（および心電位信号）が表す筋電位（および心電位）に対応する値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のＨ（ｘ，ｙ，ｔ）とΔＭｉ（ｔ）との相対値や、Ｈ（ｘ，ｙ，Ｔ）とΔＭｉ（Ｔ）との相対値や、このような相対値を要素とする集合を特徴量としてもよい。具体的には、例えば、チャネルｉの測定箇所の近傍の筋が関与する動作部位の単数または複数の座標のＨ（ｘ，ｙ，ｔ）とΔＭｉ（ｔ）との相対値（例えば、Ｈ（ｘ，ｙ，ｔ）／ΔＭｉ（ｔ））や、このようなＨ（ｘ，ｙ，Ｔ）とΔＭｉ（Ｔ）との相対値（例えば、Ｈ（ｘ，ｙ，Ｔ）／ΔＭｉ（Ｔ））や、このような相対値を要素とする集合を特徴量としてもよい。また、上述のように時間区間Ｔごとに時間平均して得られたＨ（ｘ，ｙ，Ｔ）とＭｉ（Ｔ）との相対値や、Ｈ（ｘ，ｙ，Ｔ）とＭｉ（Ｔ）との相対値や、このような相対値を要素とする集合を特徴量としてもよい。また、これらの例においてＨ（ｘ，ｙ，ｔ）やΔＭｉ（ｔ）やＨ（ｘ，ｙ，Ｔ）やΔＭｉ（Ｔ）を周波数領域の値に置換した特徴量であってもよい。あるいは、画像に由来する特徴量と筋電位信号（および心電位信号）が表す筋電位（および心電位）に対応する値を周波数領域に変換した値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。

《動作タイミングの画像と筋電位（および心電位）との両方に由来する特徴量の例２》
画像に由来する特徴量と筋電位信号（および心電位信号）が表す筋電位（および心電位）に対応する値との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のＨ（ｘ，ｙ，ｔ）とΔＭｉ（ｔ）とを要素とする集合や、Ｈ（ｘ，ｙ，Ｔ）とΔＭｉ（Ｔ）とを要素とする集合や、Ｈ（ｘ，ｙ，ｔ）とΔＭｉ（ｔ）とＭｉ（ｔ）とを要素とする集合や、Ｈ（ｘ，ｙ，Ｔ）とΔＭｉ（Ｔ）とＭｉ（Ｔ）とを要素とする集合を特徴量としてもよい。さらにこのような集合に、動作タイミングの画像と筋電位（および心電位）との両方に由来する特徴量の例１の特徴量を加えた集合を特徴量としてもよい。また、これらの例においてＨ（ｘ，ｙ，ｔ）やΔＭｉ（ｔ）やＨ（ｘ，ｙ，Ｔ）やΔＭｉ（Ｔ）を周波数領域の値に置換した特徴量であってもよい。
上述のように得られた動作タイミングの特徴量は特徴量記憶部１１３に格納される。

＜画像生成処理＞
動作タイミング照合部１１４に、特定の動作主体の一連の動作（例えば、投球運動）をカメラで撮影して得られた時系列の画像、および当該動作主体の一連の筋活動（および心活動）を測定して得られた時系列の筋電位（および心電位）を表す筋電位信号（および心電位信号）が入力される。これらの画像および筋電位信号（および心電位信号）は、単数の動作主体が上述の一連の動作を複数回繰り返し行って得られたもの（単数の動作主体による複数回の動作過程で得られたもの）であってもよいし、複数の動作主体のそれぞれが順番に上述の一連の動作を単数回または複数回行って得られたもの（複数の動作主体による複数回の動作過程で得られたもの）であってもよい。複数の筋電位（および心電位）は、動作主体の単数の測定箇所で得られたものであってもよいし、筋電位については複数の測定箇所で得られたものであってもよい。動作タイミング照合部１１４は、特徴量記憶部１１３から読み出した特徴量を用い、入力された画像および筋電位信号（および心電位信号）から、動作主体の時系列の画像から特定の動作タイミングで得られた動作主体の複数の画像を抽出し、動作主体の時系列の筋電位（および心電位）から特定の動作タイミングで得られた動作主体の複数の筋電位（および心電位）を抽出する。動作タイミング照合部１１４は、抽出した複数の筋電位（および心電位）のそれぞれに対応する筋活動度を得、複数の画像および筋活動度（および心活動度）を照合結果記憶部１１５に格納する。以下、この処理の詳細を例示する。

≪動作タイミング照合の詳細の例示≫
図８は、動作タイミング照合部１１４の構成の一例を示すブロック図である。
動作タイミング照合部１１４の特徴量抽出部１１４１に、動作タイミング照合の処理が未処理の時間区間［ｔｓ，ｔｅ］（ただし、ｔｓ＜ｔｅ）での時系列の画像および時系列の筋電位を表す筋電位信号（および心電位信号）の少なくとも一方が入力される。時間区間［ｔｓ，ｔｅ］は、１回の一連の動作（例えば、投球動作）が行われる時間区間、またはそれと仮定された時間区間である。時間区間［ｔｓ，ｔｅ］の決定は、例えば、ユーザからの入力に基づいて行われてもよいし、予め定められた時間ごとに区分することによって行われてもよいし、入力された時系列の画像に付加された時間区間を表す情報に基づいて行われてもよい。特徴量抽出部１１４１は、時間区間［ｔｓ，ｔｅ］に属する複数の時間または時間区間について、当該時間または時間区間での画像および／または筋電位信号（および心電位信号）が表す筋電位（および心電位）に由来する特徴量を算出して出力する。ただし、特徴量抽出部１１４１は、前述の特徴量算出部１１２と同じ方法で特徴量を算出する。特徴量は類似度算出部１１４２に送られる。

類似度算出部１１４２は、得られた各時間または各時間区間での特徴量と、特徴量記憶部１１３から読み出した動作タイミングの特徴量との類似度を、各時間または各時間区間について算出して出力する。特徴量記憶部１１３に複数の動作タイミングの特徴量が格納されている場合には、類似度算出部１１４２は、それぞれの動作タイミングの特徴量について類似度を算出して出力する。類似度は動作タイミング検出部１１４３に送られる。

動作タイミング検出部１１４３は、時間区間［ｔｓ，ｔｅ］内において類似度がピークとなる時間または時間区間を検出する。動作タイミング検出部１１４３に複数の動作タイミングの類似度が送られる場合には、それぞれの動作タイミングの類似度についてピークとなる時間または時間区間を検出する。なお、ピークの類似度が所定の閾値を超えるという制限を課してもよい。動作タイミング検出部１１４３は、検出した時間または時間区間を、動作タイミングを表す時間または時間区間として出力する。検出された動作タイミングを表す時間または時間区間は、画像抽出部１１４４および筋活動度抽出部１１４５に送られる。

画像抽出部１１４４には、時間区間［ｔｓ，ｔｅ］での時系列の画像と動作タイミングを表す時間または時間区間とが入力される。画像抽出部１１４４は、動作タイミングを表す時間または時間区間での画像（特定の動作タイミングで得られた画像）を抽出し、照合結果記憶部１１５（図７）に格納する。

筋活動度（および心活動度）抽出部１１４５には、時間区間［ｔｓ，ｔｅ］での時系列の筋電位（および心電位）を表す筋電位信号（および心電位信号）と動作タイミングを表す時間または時間区間とが入力される。筋活動度（および心活動度）抽出部１１４５は、動作タイミングを表す時間または時間区間での筋電位信号を抽出し、抽出した筋電位信号（および心電位信号）が表す筋電位および心電位（特定の動作タイミングで得られた動作主体の筋電位および心電位）に対応する値を筋活動度（および心活動度）として算出し、照合結果記憶部１１５に格納する。「筋活動度（および心活動度）」の例は前述の通りであり、例えば、筋電位（および心電位）の絶対振幅値や平均二乗振幅値を筋活動度とすることができる。

終了判定部１１４６は、動作タイミング照合部１１４に入力された時系列の画像および筋電位信号（および心電位信号）に未処理の時間区間［ｔｓ，ｔｅ］が存在するかを判定する。ここで、未処理の時間区間［ｔｓ，ｔｅ］が存在する場合には動作タイミング照合の処理の最初に戻る。一方、未処理の時間区間［ｔｓ，ｔｅ］が存在しない場合には動作タイミング照合の処理の処理を終了する。

以上により、照合結果記憶部１１５には、特定の動作タイミングで得られた動作主体の画像と当該動作タイミングで得られた動作主体の筋電位に対応する筋活動度とが複数個格納される（≪動作タイミング照合の詳細の例示≫の終わり）。
動作タイミングでのすべての画像と筋活動度とが照合結果記憶部１１５に格納されると、次に合成画像の生成に移る。

重畳画像作成部１１６（図７）は、照合結果記憶部１１５に格納された動作主体の複数の画像を読み出し、これらを重畳した重畳画像（特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像）を生成して出力する。重畳画像は合成部１１８に送られる。例えば、信号生成部１４１の出力が重畳する画像（又は映像）信号である場合には、信号生成部１４１の出力は画像（又は映像）信号として合成部１１８に入力されてもよい。例えば、信号生成部１４１の出力が画像等に重畳する文字データである場合には、信号生成部１４１の出力は重畳画像作成部１１６に入力されてもよい。

筋活動度（および心活動度）画像生成部１１７は、少なくとも、照合結果記憶部１１５に格納された複数の筋活動度（および心活動度）を読み出し、これら複数の筋電位度（および心電位度）に由来する筋活動度画像（および心活動度画像）を生成して出力する。以下に筋活動度画像（および心活動度画像）の具体例を示す。

≪筋活動度画像の例１≫
筋活動度画像（および心活動度画像）は、例えば、複数の筋活動度（および複数の心活動度）の関係から得られる値を表す画像を含む。このとき、複数の筋活動度（又は複数の心活動度）の関係から得られる値は、複数時刻において測定された複数の筋活動度（又は複数の心活動度）の関係から得られる値を含む。例えば、筋活動度画像（および心活動度画像）は、（１−ａ）複数の筋活動度（および心活動度）のばらつきを表す画像、（１−ｂ）複数の筋活動度（および心活動度）の相対値を表す画像、または（１−ｃ）複数の筋活動度（および心活動度）の相対値のばらつきを表す画像、の少なくとも何れかを含む。相対値やそのばらつきを表す画像の例は、前述の等高線プロットや時系列グラフやヒストグラムである。

（１−ａ）複数の筋活動度（および心活動度）のばらつきを表す画像は、例えば、同一の動作主体によって複数回行われた一連の動作における特定の動作タイミングでの筋活動度（および心活動度）のばらつきを表す画像である。このような画像は、筋電位（の測定箇所ごとに得られてもよい。他の例は、同一の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度のばらつきを表す画像である。他の例は、複数の動作主体によって行われた一連の動作における特定の動作タイミングでの筋活動度（および心活動度）のばらつきを表す画像である。他の例は、複数の動作主体の測定箇所で得られた筋電位（および心電位）に対応する複数の筋活動度（および心活動度）のばらつきを表す画像である。「ばらつき」の意味は前述の通りであり、例えば、分散や標準偏差等である。

（１−ｂ）複数の筋活動度（および心活動度）の相対値を表す画像は、例えば、同一の動作主体によって複数回行われた一連の動作における特定の動作タイミングの筋活動度（および心活動度）の相対値を表す画像である。具体的には、例えば１回目の動作での筋活動度（および心活動度）と２回目以降に行われた動作での筋活動度（および心活動度）との相対値を表す画像である。このような画像は、筋電位の測定箇所ごとに得られてもよい。なお、相対値の例は前述の通りであり、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。他の例は、同一の動作主体の測定箇所で得られた筋電位に対応する複数の筋活動度の相対値を表す画像である。具体的には、例えば、主動筋の筋電位に対応する筋活動度と、拮抗筋の筋電位に対応する筋活動度と、の間の相対値を表す画像である。この画像によって「力み」を表すことができる。特に、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値を表す画像では、「力み」を明確に表すことができる。他の例は、複数の動作主体によって行われた一連の動作における特定の動作タイミングでの筋活動度（および心活動度）の相対値を表す画像である。他の例は、複数の動作主体の測定箇所で得られた筋電位（および心電位）に対応する複数の筋活動度（および心活動度）の相対値を表す画像である。

（１−ｃ）複数の筋活動度（および心活動度）の相対値のばらつきを表す画像の例は、上述の（１−ｂ）複数の筋活動度（および心活動度）の相対値の具体例のばらつきを表す画像である。具体例としては、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像である。より具体的には、例えば、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値のばらつきを表す画像である。これらの具体例では「力み」のばらつきを表現できる。

≪筋活動度画像の例２≫
筋活動度（および心活動度）画像生成部１１７が、さらに照合結果記憶部１１５に格納された動作主体の複数の画像（特定の動作タイミングで得られた複数の画像）を読み出し、これら複数の画像のそれぞれと、特定の動作タイミングで得られた複数の筋電位（および心電位）のそれぞれと、の両方に由来する統合特徴量を得、複数の統合特徴量に由来する筋活動度画像（および心活動度画像）を生成してもよい。統合特徴量の例は、前述の特徴量算出部１１２が算出する特徴量として例示した「画像と筋電位（および心電位）との両方に由来する特徴量」である。例えば、統合特徴量は、筋電位（および心電位）の測定箇所の近傍の筋が関与する動作部位の画像に対応する値と、当該測定箇所で得られた筋電位（および心電位）に対応する筋活動度（又は心活動度）と、に由来する特徴量である。特徴量算出部１１２が生成する特徴量と筋活動度（および心活動度）画像生成部１１７が生成する特徴量とは、互いに同一であってもよいし、異なっていてもよい。複数の統合特徴量に由来する筋活動度画像（および心活動度画像）の例は、複数の統合特徴量のばらつきを表す画像、複数の統合特徴量の相対値を表す画像、複数の統合特徴量の相対値のばらつきを表す画像である。このような筋活動度画像（および心活動度画像）の例は、前述の等高線プロットや時系列グラフやヒストグラムである。

≪筋活動度画像の例３≫
その他、上述の筋活動度画像（および心活動度画像）の例１の何れかの画像と筋活動度画像（および心活動度画像）の例２の何れかの画像とが生成されてもよい。
合成部１１８は、入力された重畳画像および筋活動度画像（および心活動度画像）を合成して合成画像を生成して出力する。重畳画像と筋活動度画像（および心活動度画像）とが重畳した合成画像であってもよいし、これらが重畳していない合成画像であってもよい。重畳画像と筋活動度画像（および心活動度画像）とを重畳する場合、筋活動度画像（および心活動度画像）に対応する筋の位置またはその近傍に当該筋活動度画像（および心活動度画像）を配置することが望ましい。これにより、動作と筋活動との空間的な位置関係の把握が容易になる。画像提示装置１２はこの合成画像を表示する。これにより特定の動作タイミングでの動作主体の画像と筋活動（および心活動）とを同時に表示できる。

図９は、合成音／画像生成部の構成の他の例を示すブロック図である。
まず概要を説明する。この実施形態では、筋電位データ、例えば複数の筋電位等の生体情報に由来する（言い換えると、複数の筋電位から導き出される）複数の値の関係から得られる情報、を表す音響信号を出力する。「複数の値の関係から得られる情報」は、例えば、複数の値の関係についての統計値または相対値である。このように、「複数の筋電位に由来する複数の値の関係から得られる情報」を直接表す音響信号を用いることで、複数の筋活動間の関係に基づく情報を明確に提示できる。

「複数の筋電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の複数の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の１回の動作過程で得られたものであってもよい。例えば、「複数の筋電位」はそれぞれ時系列信号である。「動作主体」は人であってもよいし、人以外の動物であってもよい。単数の「動作主体」の例は、動作の訓練等を受ける一人の動作主体である。複数の「動作主体」の例は、手本となる動作主体とその動作に習って動作を行う動作主体とからなる二人の動作主体、手本となる動作主体とその動作に習って動作を行う複数の動作主体からなる複数の動作主体、または手本となる動作主体以外の複数の動作主体などである。

「複数の筋電位に由来する複数の値」は、時間領域の値であってもよいし、周波数領域の値であってもよい。「複数の筋電位に由来する複数の値の関係から得られる情報」は、例えば、当該複数の値のばらつき、当該複数の値の相対値、当該複数の値の相対値のばらつき、複数の筋電位から得られる複数の筋の活動開始時点の関係（例えば順序関係）などである。

「音響信号」は、例えば時系列信号であり、複数の筋活動度の関係、複数の筋活動度のばらつき、複数の筋活動度の相対値、または複数の筋活動度の相対値のばらつき、の少なくとも何れかを表す。ただし、複数の筋活動度のそれぞれは複数の筋電位のそれぞれに対応する。「筋活動度」は、筋電位またはその関数値である。筋電位の関数値の例は、筋電位の大きさを表す関数値であり、例えば、筋電位の絶対振幅値の広義単調増加関数値（例えば、単調増加関数値）である。例えば、筋電位の絶対振幅値や所定の時間区間での平均二乗振幅値を「筋活動度」とすることができる。筋電位の関数値として、平滑化や直流成分除去を行った筋電位の大きさを表す値を用いてもよい。

複数の筋活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。

複数の筋活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の筋電位（複数回の動作を繰り返した過程で得られた筋電位）に由来する複数の筋活動度の間の相対値であってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。

「ばらつきを表す音響信号」は、ばらつきの大きさを表した音響信号である。「ばらつきを表す音響信号」の例は、（Ｆ−１）ばらつきの大きさを音響特徴（例えば、基本周波数、音色、音の大きさなど）にマッピングして得られる音響信号である。「ばらつきを表す音響信号」の他の例は、（Ｆ−２）ばらつきの大きさに応じて音量比が異なるマルチチャネルの音響信号（例えば、ステレオ再生される左右の音響信号）である。「相対値を表す音響信号」は、相対値またはその大きさを表した音響信号である。「相対値を表す音響信号」の例は、上記の（Ｆ−１）や（Ｆ−２）の例の「ばらつきの大きさ」を「相対値」または「相対値の大きさ」に置換した音響信号等である。

「複数の筋電位」が、主動筋の筋電位、および主動筋に対応する拮抗筋の筋電位を含み、「音響信号」が、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との関係、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値、または、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかを表してもよい。この「音響信号」によって動作主体の「力み」を表現できる。特に、この「相対値」を「拮抗筋の筋電位に対応する筋活動度」を「主動筋の筋電位に対応する筋活動度」で除した値（割った値）とした場合、拮抗筋の活動水準（主動筋活動に対する拮抗筋活動の割合）が定量でき、より明確に「力み」を表現できる。なお、「主動筋に対応する拮抗筋」とは、主動筋が収縮する動作において弛緩する筋を意味する。例えば、手首を曲げの動作では、手首屈筋が主動筋として収縮し、伸筋が拮抗筋として弛緩する。逆に手首をのばす動作では、伸筋が主動筋として収縮し、手首屈筋が抗筋として弛緩する。手首を曲げようとするとき、主動筋である手首屈筋は活動し、拮抗筋である伸筋の活動は抑制されることが望ましい。しかし、拮抗筋が過剰に活動すると、いわゆる「力み」状態となり、運動を阻害する。動作に伴う主動筋活動と拮抗筋活動との相対値を用いると、この力み度合をフィードバックできる。

「音響信号」が、複数の筋電位から得られる複数の筋（例えば、ある動作主体の動作または一連の動作に関与する複数の筋）の活動開始時点の関係を表してもよい。活動開始時点とは、筋が筋活動を開始する時点を意味する。この「音響信号」によって、筋活動の開始タイミングに関する情報（例えば、筋活動の開始タイミングのばらつきや相対値や適切さ）を表現できる。例えば、「音響信号」が複数の筋の「活動開始時点」のばらつきを表してもよいし、相対値を表してもよいし、相対値のばらつきを表してもよいし、複数の筋の活動開始時点の順序関係を表してもよい。「活動開始時点」の相対値は、複数の筋の「活動開始時点」の何れかに対する他の「活動開始時点」の相対値であってもよいし、所定の基準時点に対する複数の筋の「活動開始時点」の相対値であってもよい。複数の筋の活動開始時点の順序関係を表す音響信号の例は、（Ｆ−３）互いに音響特徴が異なる複数のサブ時系列信号を合成した音響信号である。ただし、複数のサブ時系列信号のぞれぞれは、複数の筋のそれぞれに対応し、合成された複数のサブ時系列信号の開始点の順序関係は、複数の筋の活動開始時の順序関係に対応する。サブ時系列信号の例は、任意の波形の信号であり、例えば、正弦波を表す信号である。その他、（Ｆ−４）複数の筋の活動開始時点の順序関係が適切である場合と不適切である場合とで音響特徴が異なる音響信号や、（Ｆ−５）複数の筋の活動開始時点の順序関係が適切な順序関係に近いほど特定の音響特徴に近づく音響信号などでもよい。なお、複数の筋の活動開始時点の順序関係が適切であるか否かは動作に応じて異なる。例えば、投球運動のボールリリースの動作では、肩を動かす筋、ひじを動かす筋、手首を動かす筋、指を動かす筋の順序で筋活動が開始時される順序関係が適切である。このような適切な順序関係は動作に応じて予め設定しておけばよい。また、動作または一連の動作に関与しない複数の筋（拮抗筋）の筋活動開始時に対応したサブ時系列信号を加えてもよい。以上により、例えば、所定の動作に関与する複数の筋が適切な順序で活動を開始したか、あるいは所定の動作に不要な複数の筋が活動していなかったかを可聴化できる。

以下、図面を参照しつつ、各実施形態を詳細に説明する。
［第２実施形態］
第２実施形態では、所望の動作に関与する主動筋と拮抗筋の組み合わせについて、主動筋活動と拮抗筋活動との関係を可聴化し、その動作の力み度合をフィードバックする。

＜構成＞
図９に例示するように、合成音／画像生成部１４２は、例えば、筋活動可聴化装置２１を有し、出力装置２００は音響信号提示装置２２を有する。なお、可聴化装置２１の一部は、信号生成部１４１に含まれていてもよい。本形態の筋活動可聴化装置２１は、筋活動度抽出部２１１と関係由来情報抽出部２１２と音響信号合成部２１３とを有する。

図１０は、可聴化装置２１の構成の一例を示すブロック図である。
図１０に例示するように、筋活動度抽出部２１１は、筋活動度算出部２１１１−ｎおよび２１１２−ｎ（ただし、ｎ＝１，・・・，Ｎであり、Ｎは１以上の整数）を有する。関係由来情報抽出部２１２は、筋活動度変調部２１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）を有する。音響信号合成部２１３は、音響信号生成部２１３１−ｎ（ただし、ｎ＝１，・・・，Ｎ）と合成部２１３２とを有する。なお、Ｎ＝１の場合には、音響信号合成部２１３が合成部２１３２を含まなくてもよい。本形態の可聴化装置２１は、例えば、プロセッサ（例えば、１個以上のＣＰＵ（central processing unit）を含むハードウェア）やメモリ（例えば、ＲＡＭ（random-access memory）やＲＯＭ（read-only memory））を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。音響信号提示装置２２は、音響信号を音として出力する単数または複数のスピーカや、ヘッドフォン等である。

＜処理＞
以下、本形態の活動可聴化装置２１の処理を説明する。
≪筋活動度抽出部２１１の処理≫
筋活動度算出部２１１１−ｎには主動筋の筋電位を表す筋電位信号（以下「主動筋電位信号」という）が入力され、筋活動度算出部２１１２−ｎには当該主動筋に対応する拮抗筋の筋電位を表す筋電位信号（以下「拮抗筋電位信号」という）が入力される。運動状態判定装置１３０の判定結果が筋電位信号を誇張又は矮小したものである場合には、判定結果は筋電位信号として筋活動度抽出部に入力されてもよい。筋活動度算出部２１１１−ｎと筋活動度算出部２１１２−ｎとの組には、ある動作に関与する主動筋と拮抗筋とからなる組（以下「筋の組」という）に対応する、主動筋電位信号と拮抗筋電位信号とからなる組が入力される。これらの筋電位信号は、例えば、単数または複数の動作主体の合計Ｎ組の測定箇所（例えば、主動筋とそれに対応する拮抗筋の近傍の皮膚表面）に電極を取り付け、それぞれの筋から発生する活動電位を計測することで得られる時系列信号である。主動筋電位信号は主動筋の近傍の測定箇所の電極の電位に基づいて得られ、拮抗筋電子信号は拮抗筋の近傍の測定箇所の電極の電位に基づいて得られる。

筋活動度算出部２１１１−ｎは、入力された主動筋電位信号が表す筋電位に対応する筋活動度（以下「主動筋活動度」）を得て出力し、筋活動度算出部２１１２−ｎは、入力された拮抗筋電位信号が表す筋電位に対応する筋活動度（以下「拮抗筋活動度」）を得て出力する。「筋活動度」の例は前述の通りであり、例えば、筋電位の絶対振幅値や平均二乗振幅値を筋活動度とすることができる。入力された主動筋電位信号および拮抗筋電位信号が時系列信号である場合、主動筋活動度および拮抗筋活動度も時系列となる。

≪関係由来情報抽出部２１２の処理≫
筋活動度変調部２１２１−ｎに、筋活動度算出部２１１１−ｎから出力された主動筋活動度と筋活動度算出部２１１２−ｎから出力された拮抗筋活動度が入力される。筋活動度変調部２１２１−ｎは、入力された主動筋活動度と拮抗筋活動度との間の相対値（すなわち、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値）を「力み指標」として得る。「相対値」の例は前述の通りである。筋活動度変調部２１２１−ｎは、例えば、拮抗筋活動度を主動筋活動度で除した値を「力み指標」として得る。主動筋活動度および拮抗筋活動度が時系列である場合、筋活動度変調部２１２１−ｎは、例えば各時間で「力み指標」を求め、「力み指標」の時系列を得て出力する。

≪音響信号合成部２１３の処理≫
筋活動度変調部２１２１−ｎから出力された「力み指標」は音響信号生成部２１３１−ｎに入力される。音響信号生成部２１３１−ｎは、入力された「力み指標」を表す音響信号を得て出力する。「力み指標」を表す音響信号は、「力み指標」またはその大きさを表した音響信号である。このような音響信号の例は、前述の（Ｆ−１）や（Ｆ−２）の例の「ばらつきの大きさ」を「力み指標」または「力み指標の大きさ」に置換した音響信号である。また「力み指標」が時系列である場合には音響信号も時系列となる。ただし、筋の組の違いが認識されるように、筋の組ごとに音響特徴（基本周波数、音色など）を変えることが望ましい。言い換えると、音響信号生成部２１３１−１〜２１３１−Ｎから出力される音響信号の音響特徴が互いに異なることが望ましい。例えば、「力み指標」またはその大きさを第１音響特徴にマッピングし、筋の組の違いを第２音響特徴（ただし、第２音響特徴は第１音響特徴と異なる）で表した音響信号であってもよい。或いは、「力み指標」またはその大きさの違いを音響特徴の違いで表し、筋の組の違いを音響信号のチャネルの違い（すなわち、音響信号を出力するスピーカの違い）で表してもよい。

音響信号生成部２１３１−１〜２１３１−Ｎから出力された音響信号は合成部２１３２に入力される。合成部２１３２はそれらを合成した音響信号を出力する。Ｎチャネルの音響信号を出力する場合には、音響信号生成部２１３１−１〜２１３１−Ｎから出力された音響信号を同期させた音響信号を出力する。なお、Ｎ＝１の場合には、合成部２１３２は入力された音響信号をそのまま出力する。信号生成部１４１の出力が重畳する音響信号である場合には、音響信号として合成部２１３２に入力されてもよい。前述したように音響信号合成部２１３が合成部２１３２を含まない場合には、音響信号合成部２１３は音響信号生成部２１３１−１から出力された音響信号を出力する。

上述のように出力された音響信号は音響信号提示装置２２に入力される。音響信号提示装置２２は、入力された音響信号を音として出力する。Ｎチャネルの音響信号の場合、音響信号提示装置２２はＮチャネルの音響信号を音として出力する（例えば、ステレオ再生）。

＜本形態の特徴＞
以上のように、本形態の可聴化装置２１は、主動筋の筋電位および主動筋に対応する拮抗筋の筋電位を含む複数の筋電位を用い、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値を表す音響信号を出力する。これにより、「力み」の程度を可聴的に提示できる。特に、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値を表す音響信号を出力することで、より明確に「力み」の程度を提示できる。また、Ｎ≧２の場合には、複数の筋の組での「力み」の程度や、それらの相関関係を可聴的に提示できる。以上により、利用者は複数の筋の組に対応する「力み」の程度を音の聞こえ方の違いとして聴覚的に把握できる。

なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

その他にも、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１００…運動上達のためのフィードバックシステム
１１０…筋電位センサ
１２０…心電位センサ
１３０…運動と心理状態判定装置
１３１…センシング部
１３２…状態判定部
１３２ａ…判定器
１３２ｂ…運動と心理状態記憶部
１３２ｃ…切り替え器
１３２ｄ…比較器
１４０…フィードバック装置
１４１…信号生成部
１４２…合成音／画像生成部

Claims (4)

1. 所定運動中の一次被検者から取得された一次生体情報に少なくとも基づき前記一次被検者の運動状態と心理状態を判定または記憶し、所定運動中の二次被検者から取得された二次生体情報に少なくとも基づき前記二次被検者の運動状態と心理状態を判定し、前記二次生体情報は、前記一次生体情報が取得された前記一次被検者の位置と対応する前記二次被検者の位置から取得された同種の情報であり、前記一次生体情報および前記二次生体情報は、筋電位データと心電位データとを含み、
   前記一次被検者の運動状態および心理状態と前記二次被検者の運動状態および心理状態とを比較し、
   前記一次被検者の運動状態および心理状態と前記二次被検者の運動状態および心理状態の比較結果に応じて、運動状態が良いことを示すものであるときにより良い値に修正することで誇張された、或いは、運動状態が良い事を示すものでないときにより悪い値に修正することで矮小された前記二次生体情報の筋電位データを表示する、もしくは、心理状態が良いことを示すものであるときにより良い値に修正することで誇張された、或いは、心理状態が良い事を示すものでないときにより悪い値に修正することで矮小された前記二次生体情報の心電位データを表示する、前記二次被検者へのフィードバック信号である画像信号を生成して出力する運動状態と心理状態とのフィードバック方法。
2. 前記フィードバック信号は、画像信号に加えて、音響信号、映像信号、あるいはこれらの組み合わせを含む請求項１記載の運動状態と心理状態とのフィードバック方法。
3. 請求項１又は請求項２に記載の運動状態と心理状態とのフィードバック方法を実行する運動状態と心理状態とのフィードバックシステム。
4. 請求項１又は請求項２に記載の運動状態と心理状態とのフィードバック方法をコンピュータに実行させるための運動状態と心理状態とのフィードバックプログラム。