JP6093787B2 - 運動状態と心理状態とのフィードバック方法、システム、及びプログラム - Google Patents
運動状態と心理状態とのフィードバック方法、システム、及びプログラム Download PDFInfo
- Publication number
- JP6093787B2 JP6093787B2 JP2015029003A JP2015029003A JP6093787B2 JP 6093787 B2 JP6093787 B2 JP 6093787B2 JP 2015029003 A JP2015029003 A JP 2015029003A JP 2015029003 A JP2015029003 A JP 2015029003A JP 6093787 B2 JP6093787 B2 JP 6093787B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- signal
- subject
- image
- exercise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 52
- 230000003183 myoelectrical effect Effects 0.000 claims description 316
- 230000033001 locomotion Effects 0.000 claims description 151
- 230000000747 cardiac effect Effects 0.000 claims description 142
- 230000005236 sound signal Effects 0.000 claims description 27
- 210000003205 muscle Anatomy 0.000 description 378
- 230000000694 effects Effects 0.000 description 328
- 230000009471 action Effects 0.000 description 56
- 238000005259 measurement Methods 0.000 description 54
- 230000008859 change Effects 0.000 description 40
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 38
- 238000012545 processing Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 30
- 230000008569 process Effects 0.000 description 29
- 230000003042 antagnostic effect Effects 0.000 description 28
- 239000005557 antagonist Substances 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 18
- 238000000605 extraction Methods 0.000 description 18
- 210000000707 wrist Anatomy 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 14
- 238000003786 synthesis reaction Methods 0.000 description 14
- 230000002567 autonomic effect Effects 0.000 description 11
- 238000012795 verification Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 210000000038 chest Anatomy 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 210000000467 autonomic pathway Anatomy 0.000 description 6
- 239000002131 composite material Substances 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 206010049565 Muscle fatigue Diseases 0.000 description 5
- 238000005452 bending Methods 0.000 description 5
- 210000002414 leg Anatomy 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 230000003340 mental effect Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008035 nerve activity Effects 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 230000035900 sweating Effects 0.000 description 3
- 206010011469 Crying Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000036982 action potential Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000001217 buttock Anatomy 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003387 muscular Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- NHDHVHZZCFYRSB-UHFFFAOYSA-N pyriproxyfen Chemical compound C=1C=CC=NC=1OC(C)COC(C=C1)=CC=C1OC1=CC=CC=C1 NHDHVHZZCFYRSB-UHFFFAOYSA-N 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 230000002889 sympathetic effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000004459 microsaccades Effects 0.000 description 1
- 230000001114 myogenic effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001734 parasympathetic effect Effects 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
また、緊張/リラックス状態を定量化する手法が知られており、例えば、心拍数変動の低周波数成分(LF: 0.05-0.15 Hz)と高周波数成分(HF: 0.15-0.4 Hz)を算出して、HFはリラックス度、LF/HFは緊張度、として評価する(例えば、非特許文献7)。
(4)実施形態の運動状態と心理状態とのフィードバックプログラムは、(1)又は(2)に記載の運動状態と心理状態とのフィードバック方法をコンピュータに実行させる。
図1は、運動上達のためのフィードバックシステム100の一例を示す図である。図1に示すように、フィードバックシステムは、運動と心理状態判定装置130及びフィードバック装置140を備える。運動と心理状態判定装置130は、センシング部131、状態判定部132を備える。
複数の筋電位センサ110と心電位センサ120からの複数の筋電位信号と複数の心電位信号はセンシング部131に入力される。図2に示すように、センシング部131は、信号増幅器131a等を備え、センシング部131は、信号増幅器131aにより増幅された複数の筋電位信号と心電位信号をセンシングし、例えば、投球動作開始前から投球動作終了までの一定期間にわたる筋電位データと心電位データを取得する。
図3に示すように、状態判定部132は、判定器132a、運動と心理状態記憶部132b、切り替え器132c、比較器132dを備える。例えば、判定器132aは、一次被検者からの筋電位データと心電位データに基づき一次被検者の運動と心理状態を判定し、切り替え器132cは、オペレータからの入力(一次被検者からの情報入力指示)に基づき、一次被検者の運動と心理状態を運動と心理状態記憶部132bへ送り、運動と心理状態記憶部132bは一次被検者の運動と心理状態を基準運動状態と基準心理状態として記憶する。また、判定器132aは、二次被検者からの筋電位データと心電位データに基づき二次被検者の運動状態と心理状態を判定し、切り替え器132cは、オペレータからの入力(二次被検者からの情報入力指示)に基づき、二次被検者の運動状態と心理状態を比較器132cへ送る。比較器132cは、一次被検者の運動状態と心理状態と二次被検者の運動状態と心理状態とを比較し、比較結果(差異)を出力する。例えば、一次被検者の運動状態と心理状態に対する二次被検者の運動状態と心理状態(運動状態と心理状態の良し悪し)を出力する。なお、比較結果は、一次被検者と二次被検者の筋電位データおよび心電位データや、運動状態と心理状態とを示す値の変化量等を含んでもよい。
フィードバック装置140は、信号生成部141と、合成音/画像生成部142と、を備える。
例えば、事前に、センシング部131は、一次被検者から一次生体情報(筋電位データ)を取得し(ST11A)、判定器132aは、一次被検者の一次生体情報から運動状態を判定し(ST12A)、運動と心理状態記憶部132bは、一次被検者の運動状態を記憶する(ST13A)。例えば、一人の一次被検者からの一次生体情報に基づく運動状態を記憶してもよいし、複数人の一次被検者からの一次生体情報を統計的に分析し一人分の運動状態として記憶してもよいし、複数人の一次被検者からの一次生体情報に基づく複数人分の運動状態として記憶してもよい。
例えば、事前に、センシング部131は、一次被検者から一次生体情報(心電位データ)を取得し(ST11B)、判定器132aは、一次被検者の一次生体情報から心理状態を判定し(ST12B)、運動と心理状態記憶部132bは、一次被検者の心理状態を記憶する(ST13B)。例えば、一人の一次被検者からの一次生体情報に基づく心理状態を記憶してもよいし、複数人の一次被検者からの一次生体情報を統計的に分析し一人分の心理状態として記憶してもよいし、複数人の一次被検者からの一次生体情報に基づく複数人分の心理状態として記憶してもよい。
状態判定部132は、一次被検者の筋電位データ(運動状態)と心電位データ(心理状態)の関係(例えば理想的な関係)を分析する(ST11C)。同様に、状態判定部132は、二次被検者の筋電位データ(運動状態)と心電位データ(心理状態)の関係(例えば理想的ではない関係)を分析する(ST12C)。
まず、信号生成部141が、判定結果を受信する(ステップST21A)。信号生成部141は、判定結果(運動状態の良し悪し、筋電位心電位データ、運動状態を示す値の変化量等)から、二次被験者の運動状態(筋肉の使い方等)が良いか悪いかを判断する(ステップST22A)。信号生成部141は、受信した信号が、運動状態が良いこと、或いは、筋肉の使い方が良いことを示すものである場合、フィードバックを誇張する信号を合成音/画像生成部142へ出力する。信号生成部141は、受信した信号が、運動状態が良い事、或いは、筋肉の使い方が良いことを示すものでない場合、フィードバックを矮小する信号を合成音/画像生成部142へ出力する。
まず、信号生成部141が、判定結果を受信する(ステップST21B)。信号生成部141は、判定結果(心理状態の良し悪し、心電位データ、心理状態を示す値の変化量等)から、二次被験者の心理状態が良いか悪いかを判断する(ステップST22B)。信号生成部141は、受信した信号が、心理状態が良いことを示すものである場合、フィードバックを誇張する信号を合成音/画像生成部142へ出力する。信号生成部141は、受信した信号が、心理状態が良い事を示すものでない場合、フィードバックを矮小する信号を合成音/画像生成部142へ出力する。
1.センシング部131
センシング部131は、一人ないし複数の対象から生体情報(運動信号及び心理信号)を計測する。生体情報をどのような手段で取得するかは問わない。
センシング部131は、一つないし複数の筋から、筋電位信号(生体電極)を計測する。さらに、センシング部131は、一箇所ないし複数の部位の加速度信号(加速度センサ)や圧力信号(圧力センサ)、関節角度信号(曲げセンサ)を計測することもできる。
センシング部131は、例えば心理状態を判定するために、自律神経活動を計測することもできる。例えば、センシング部131は、心電位信号(生体電極)や脈波(光センサ)を計測する。これにより、自律神経活動(興奮/リラックス)を検出できる。
<(運動)判定器132a>
判定器132aは、計測された筋電位信号などから、下記のような運動状態を判定する。
判定器132aは、運動パターン(コツや力み)を判定する。例えば、判定器132aは、ある動き(加速度や関節角度の変化)に対する筋活動パターンや筋活動の相互タイミングなどを判定する。
判定器132aは、筋疲労度を判定する。例えば、判定器132aは、一つないし複数の筋電位信号を周波数解析することで判定(疲労すると、筋活動のパワーが低周波帯域にシフトする)する。例えば、この判定結果は、選手の交代時の判断に用いることができる。
比較器132dは、運動状態の変化や良し悪しを判定するため、一人ないし複数の一次被検者から得られた情報と二次被検者から得られた情報とを比較する。
比較器132dは、特定の対象である一次被検者の運動状態と二次被検者の運動状態とを比較する。事前に、判定器132aが、特定の上級者や一流選手など(手本)の一次被検者の運動状態を判定し、比較器132dは、一次被検者の運動状態と二次被検者の運動状態とを比較する。
判定器132aは、心電位信号や脈波から得られる心拍数や血流の変動(ゆらぎ)を周波数解析することで自律神経状態(交感神経と副交感神経の活動のバランス=緊張/リラックス)を判定できる(例えば、非特許文献3)。緊張/リラックス状態を定量化する手法として、例えば、心拍数変動の低周波数成分(LF: 0.05-0.15 Hz)と高周波数成分(HF: 0.15-0.4 Hz)を算出して、HFはリラックス度、LF/HFは緊張度、として評価することができる。
<(心理状態)比較器132d>
比較器132dは、心理状態の変化や良し悪しを判定するため、一人ないし複数の一次被検者から得られた情報と二次被検者から得られた情報とを比較する。
比較器132dは、ある集団の一次被検者から得られた自律神経状態と二次被検者から得られた自律神経状態を比較する。例えば、事前に、判定器132aが、ある集団の一次被検者から得られる自律神経状態(平均値、データマイニングで特徴づけられた値など)を判定し、比較器132dは、一次被検者の自律神経状態と二次被検者の自律神経状態とを比較する。
比較器132dは、運動状態や自律神経状態を組み合わせることで、「自律神経状態と運動状態の関係性」を比較(判定)する。例えば、緊張すると、運動が乱れるなどの関係がわかる。
事例1として、実戦におけるプロの投手の総合的な状態モニタリングについて説明する。
1.投手Aが上下半身両方に、筋電位センサ110(ウェアラブルセンサ)を搭載したコンプレッションインナーウェア(例えばHitoe(登録商標))を着用する。上半身に心電位センサ120(ウェアラブルセンサ)を搭載したコンプレッションインナーウェア(例えばHitoe(登録商標))を着用する。上半身用のウェアには筋電位を計測するために、例えば、着用者の腕、肩、胸囲、腰に対応する複数箇所に筋電位センサ110が配置されている。また、上半身用のウェアには心電位を計測するために、例えば、着用者の心臓周囲に対応する箇所に心電位センサ120が配置されている。下半身用のウェアには、下半身の疲労度を測定するために、着用者の臀部(下肢のその他の筋でもよい)の筋電位を計測するために、着用者の臀部に対応する複数箇所に筋電位センサ110が配置されている。
3.2 打者と対戦する状況(練習)
3.3 打者と対戦する状況(試合)
以上の状況から取得した以下のようなデータを、生体状態推定器として機能する状態判定部132に投入する。状態判定部132は、「4.1」、「4.2」、及び「4.3」を入力として直近の将来の投球パフォーマンスを推定するためのモデルを逐次更新する。
3.4.2 全身の筋活動パターンから推定される運動連鎖の効率
3.4.3 心拍変動から推定される自律神経活動バランス
3.4.4 投球速度、コントロールのばらつき等のパフォーマンス指標
<ユーザ使用例1:実戦場面を想定>
上記3.4.1〜3.4.4の情報は、二次被検者(データを測定されている本人)、および周囲の人間が常時モニターできる状態にある。つまり、フィードバック装置140が、上記3.4.1〜3.4.4の情報を出力する。
<ユーザ使用例2:試合で生じた課題を練習で克服する>
8.投手Aには、試合で普段の練習通りのパフォーマンスを発揮できないという課題がある((メンタルが影響しているのかもしれないが)フィジカルに原因があるのではないかと周囲の人間は推測している)。
まず概要を説明する。この実施形態では、特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像と、特定の動作タイミングで得られた当該動作主体の筋電位データ、例えば複数の筋電位等の生体情報に由来する(言い換えると、複数の筋電位から導き出される)筋活動度画像とを合成し、それによって得られる合成画像を表示する。合成画像は「複数」の画像や筋電位に由来する。そのため、「単数」の画像や筋電位のみに由来する情報からは判断が困難な「動作とそれに伴う筋活動の適切さ」の可視的なフィードバックが可能となる。
以下、図面を用いて各実施形態を詳細に説明する。
[第1実施形態]
第1実施形態を説明する。
<構成>
図7に例示するように、合成音/画像生成部142は、例えば可視化装置11を有する。出力装置200は、画像提示装置12を有する。なお、可視化装置11の一部の構成は、信号生成部141に含まれていてもよい。可視化装置11は、動作タイミング検出部111と特徴量算出部112と特徴量記憶部113と動作タイミング照合部114と照合結果記憶部115と重畳画像作成部116と筋活動度(および心活動度)画像生成部117と合成部118とを有する。図8に例示するように、動作タイミング照合部114は、特徴量抽出部1141と類似度算出部1142と動作タイミング検出部1143と画像抽出部1144と筋活動度(および心活動度)抽出部1145と終了判定部1146とを有する。可視化装置11は、例えば、プロセッサ(例えば、1個以上のCPU(central processing unit)を含むハードウェア)やメモリ(例えば、RAM(random-access memory)やROM(read-only memory))を備える汎用または専用のコンピュータ、スマートフォンやタブレットなどのモバイル端末が所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。画像提示装置12は、例えば、液晶ディスプレイ等の表示装置である。
事前処理では、特定の動作タイミングでの動作イベントに対応する特徴量を取得する。まず、動作タイミング検出部111に、特定の動作主体(例えば一次被験者)の一連の動作をカメラで撮影して得られた時系列の画像(映像)およびこの動作主体の一連の筋活動(および心活動)を測定して得られた時系列の筋電位を表す筋電位信号(および心電位を表す心電位信号)の少なくとも一方、ならびに、1個以上の動作タイミングを指定するためのタイミング指定情報が入力される。映像および筋電位信号(および心電位信号)は、事前に得られて記憶装置(図示せず)に格納されていたものであってもよいし、リアルタイムに得られるものであってもよい。
画像に由来する特徴量としては前述のMHIがある。以下にMHIによる特徴量を例示する。
動作タイミングで筋活動(および心電位)に特徴的な変化があるような場合(例えば、「(d)ボールリリース」で上肢筋活動に大きなピークが現れる)、筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値の時間変化量、または、筋電位(および心電位)に対応する値の時間変化量を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさの時間変化量、または、筋電位の大きさの時間変化量を要素とする集合、または、心電位信号が表す心拍数を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間tであり、I個(ただし、Iは1以上の整数)の測定箇所で得られた筋電位信号(および心電位信号)Vi(t)およびVi(t−1)(ただし、iは測定箇所に対応するチャネルi=1,…,I)が入力される場合、筋電位信号Vi(t),Vi(t−1)がそれぞれ示す筋電位の大きさMi(t),Mi(t−1)の時間変化量ΔMi(t)=Mi(t)−Mi(t−1)または時間変化量ΔM1(t),・・・,ΔMI(t)からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間[t1,t2]である場合、時間区間[t1,t2]での時間変化量ΔMi(t)=Mi(t)−Mi(t−1)からなる集合を特徴量としてもよいし、時間変化量ΔMi(t)を所定の時間区間Tごとに時間平均した時間変化量ΔMi(T)からなる集合を特徴量としてもよい。あるいは、筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値を周波数領域に変換した値の時間変化量、または、このような周波数領域に変換した値の時間変化量を要素とする集合を特徴量としてもよい。
入力された筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値、または、筋電位に対応する値を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさ、または、筋電位の大きさを要素とする集合、または、心電位信号が表す心拍数を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間tであり、I個の測定箇所で得られた筋電位信号Vi(t)が示す筋電位の大きさMi(t)またはM1(t),・・・,MI(t)からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間[t1,t2]である場合、時間区間[t1,t2]での筋電位の大きさMi(t)からなる集合を特徴量としてもよいし、筋電位の大きさMi(t)を所定の時間区間Tごとに時間平均したMi(T)からなる集合を特徴量としてもよい。あるいは、筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値を周波数領域に変換した値、または、このような周波数領域に変換した値を要素とする集合を特徴量としてもよい。
画像に由来する特徴量と筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のH(x,y,t)とΔMi(t)との相対値や、H(x,y,T)とΔMi(T)との相対値や、このような相対値を要素とする集合を特徴量としてもよい。具体的には、例えば、チャネルiの測定箇所の近傍の筋が関与する動作部位の単数または複数の座標のH(x,y,t)とΔMi(t)との相対値(例えば、H(x,y,t)/ΔMi(t))や、このようなH(x,y,T)とΔMi(T)との相対値(例えば、H(x,y,T)/ΔMi(T))や、このような相対値を要素とする集合を特徴量としてもよい。また、上述のように時間区間Tごとに時間平均して得られたH(x,y,T)とMi(T)との相対値や、H(x,y,T)とMi(T)との相対値や、このような相対値を要素とする集合を特徴量としてもよい。また、これらの例においてH(x,y,t)やΔMi(t)やH(x,y,T)やΔMi(T)を周波数領域の値に置換した特徴量であってもよい。あるいは、画像に由来する特徴量と筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値を周波数領域に変換した値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。
画像に由来する特徴量と筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のH(x,y,t)とΔMi(t)とを要素とする集合や、H(x,y,T)とΔMi(T)とを要素とする集合や、H(x,y,t)とΔMi(t)とMi(t)とを要素とする集合や、H(x,y,T)とΔMi(T)とMi(T)とを要素とする集合を特徴量としてもよい。さらにこのような集合に、動作タイミングの画像と筋電位(および心電位)との両方に由来する特徴量の例1の特徴量を加えた集合を特徴量としてもよい。また、これらの例においてH(x,y,t)やΔMi(t)やH(x,y,T)やΔMi(T)を周波数領域の値に置換した特徴量であってもよい。
上述のように得られた動作タイミングの特徴量は特徴量記憶部113に格納される。
動作タイミング照合部114に、特定の動作主体の一連の動作(例えば、投球運動)をカメラで撮影して得られた時系列の画像、および当該動作主体の一連の筋活動(および心活動)を測定して得られた時系列の筋電位(および心電位)を表す筋電位信号(および心電位信号)が入力される。これらの画像および筋電位信号(および心電位信号)は、単数の動作主体が上述の一連の動作を複数回繰り返し行って得られたもの(単数の動作主体による複数回の動作過程で得られたもの)であってもよいし、複数の動作主体のそれぞれが順番に上述の一連の動作を単数回または複数回行って得られたもの(複数の動作主体による複数回の動作過程で得られたもの)であってもよい。複数の筋電位(および心電位)は、動作主体の単数の測定箇所で得られたものであってもよいし、筋電位については複数の測定箇所で得られたものであってもよい。動作タイミング照合部114は、特徴量記憶部113から読み出した特徴量を用い、入力された画像および筋電位信号(および心電位信号)から、動作主体の時系列の画像から特定の動作タイミングで得られた動作主体の複数の画像を抽出し、動作主体の時系列の筋電位(および心電位)から特定の動作タイミングで得られた動作主体の複数の筋電位(および心電位)を抽出する。動作タイミング照合部114は、抽出した複数の筋電位(および心電位)のそれぞれに対応する筋活動度を得、複数の画像および筋活動度(および心活動度)を照合結果記憶部115に格納する。以下、この処理の詳細を例示する。
図8は、動作タイミング照合部114の構成の一例を示すブロック図である。
動作タイミング照合部114の特徴量抽出部1141に、動作タイミング照合の処理が未処理の時間区間[ts,te](ただし、ts<te)での時系列の画像および時系列の筋電位を表す筋電位信号(および心電位信号)の少なくとも一方が入力される。時間区間[ts,te]は、1回の一連の動作(例えば、投球動作)が行われる時間区間、またはそれと仮定された時間区間である。時間区間[ts,te]の決定は、例えば、ユーザからの入力に基づいて行われてもよいし、予め定められた時間ごとに区分することによって行われてもよいし、入力された時系列の画像に付加された時間区間を表す情報に基づいて行われてもよい。特徴量抽出部1141は、時間区間[ts,te]に属する複数の時間または時間区間について、当該時間または時間区間での画像および/または筋電位信号(および心電位信号)が表す筋電位(および心電位)に由来する特徴量を算出して出力する。ただし、特徴量抽出部1141は、前述の特徴量算出部112と同じ方法で特徴量を算出する。特徴量は類似度算出部1142に送られる。
動作タイミングでのすべての画像と筋活動度とが照合結果記憶部115に格納されると、次に合成画像の生成に移る。
筋活動度画像(および心活動度画像)は、例えば、複数の筋活動度(および複数の心活動度)の関係から得られる値を表す画像を含む。このとき、複数の筋活動度(又は複数の心活動度)の関係から得られる値は、複数時刻において測定された複数の筋活動度(又は複数の心活動度)の関係から得られる値を含む。例えば、筋活動度画像(および心活動度画像)は、(1−a)複数の筋活動度(および心活動度)のばらつきを表す画像、(1−b)複数の筋活動度(および心活動度)の相対値を表す画像、または(1−c)複数の筋活動度(および心活動度)の相対値のばらつきを表す画像、の少なくとも何れかを含む。相対値やそのばらつきを表す画像の例は、前述の等高線プロットや時系列グラフやヒストグラムである。
筋活動度(および心活動度)画像生成部117が、さらに照合結果記憶部115に格納された動作主体の複数の画像(特定の動作タイミングで得られた複数の画像)を読み出し、これら複数の画像のそれぞれと、特定の動作タイミングで得られた複数の筋電位(および心電位)のそれぞれと、の両方に由来する統合特徴量を得、複数の統合特徴量に由来する筋活動度画像(および心活動度画像)を生成してもよい。統合特徴量の例は、前述の特徴量算出部112が算出する特徴量として例示した「画像と筋電位(および心電位)との両方に由来する特徴量」である。例えば、統合特徴量は、筋電位(および心電位)の測定箇所の近傍の筋が関与する動作部位の画像に対応する値と、当該測定箇所で得られた筋電位(および心電位)に対応する筋活動度(又は心活動度)と、に由来する特徴量である。特徴量算出部112が生成する特徴量と筋活動度(および心活動度)画像生成部117が生成する特徴量とは、互いに同一であってもよいし、異なっていてもよい。複数の統合特徴量に由来する筋活動度画像(および心活動度画像)の例は、複数の統合特徴量のばらつきを表す画像、複数の統合特徴量の相対値を表す画像、複数の統合特徴量の相対値のばらつきを表す画像である。このような筋活動度画像(および心活動度画像)の例は、前述の等高線プロットや時系列グラフやヒストグラムである。
その他、上述の筋活動度画像(および心活動度画像)の例1の何れかの画像と筋活動度画像(および心活動度画像)の例2の何れかの画像とが生成されてもよい。
合成部118は、入力された重畳画像および筋活動度画像(および心活動度画像)を合成して合成画像を生成して出力する。重畳画像と筋活動度画像(および心活動度画像)とが重畳した合成画像であってもよいし、これらが重畳していない合成画像であってもよい。重畳画像と筋活動度画像(および心活動度画像)とを重畳する場合、筋活動度画像(および心活動度画像)に対応する筋の位置またはその近傍に当該筋活動度画像(および心活動度画像)を配置することが望ましい。これにより、動作と筋活動との空間的な位置関係の把握が容易になる。画像提示装置12はこの合成画像を表示する。これにより特定の動作タイミングでの動作主体の画像と筋活動(および心活動)とを同時に表示できる。
まず概要を説明する。この実施形態では、筋電位データ、例えば複数の筋電位等の生体情報に由来する(言い換えると、複数の筋電位から導き出される)複数の値の関係から得られる情報、を表す音響信号を出力する。「複数の値の関係から得られる情報」は、例えば、複数の値の関係についての統計値または相対値である。このように、「複数の筋電位に由来する複数の値の関係から得られる情報」を直接表す音響信号を用いることで、複数の筋活動間の関係に基づく情報を明確に提示できる。
[第2実施形態]
第2実施形態では、所望の動作に関与する主動筋と拮抗筋の組み合わせについて、主動筋活動と拮抗筋活動との関係を可聴化し、その動作の力み度合をフィードバックする。
図9に例示するように、合成音/画像生成部142は、例えば、筋活動可聴化装置21を有し、出力装置200は音響信号提示装置22を有する。なお、可聴化装置21の一部は、信号生成部141に含まれていてもよい。本形態の筋活動可聴化装置21は、筋活動度抽出部211と関係由来情報抽出部212と音響信号合成部213とを有する。
図10に例示するように、筋活動度抽出部211は、筋活動度算出部2111−nおよび2112−n(ただし、n=1,・・・,Nであり、Nは1以上の整数)を有する。関係由来情報抽出部212は、筋活動度変調部2121−n(ただし、n=1,・・・,N)を有する。音響信号合成部213は、音響信号生成部2131−n(ただし、n=1,・・・,N)と合成部2132とを有する。なお、N=1の場合には、音響信号合成部213が合成部2132を含まなくてもよい。本形態の可聴化装置21は、例えば、プロセッサ(例えば、1個以上のCPU(central processing unit)を含むハードウェア)やメモリ(例えば、RAM(random-access memory)やROM(read-only memory))を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。音響信号提示装置22は、音響信号を音として出力する単数または複数のスピーカや、ヘッドフォン等である。
以下、本形態の活動可聴化装置21の処理を説明する。
≪筋活動度抽出部211の処理≫
筋活動度算出部2111−nには主動筋の筋電位を表す筋電位信号(以下「主動筋電位信号」という)が入力され、筋活動度算出部2112−nには当該主動筋に対応する拮抗筋の筋電位を表す筋電位信号(以下「拮抗筋電位信号」という)が入力される。運動状態判定装置130の判定結果が筋電位信号を誇張又は矮小したものである場合には、判定結果は筋電位信号として筋活動度抽出部に入力されてもよい。筋活動度算出部2111−nと筋活動度算出部2112−nとの組には、ある動作に関与する主動筋と拮抗筋とからなる組(以下「筋の組」という)に対応する、主動筋電位信号と拮抗筋電位信号とからなる組が入力される。これらの筋電位信号は、例えば、単数または複数の動作主体の合計N組の測定箇所(例えば、主動筋とそれに対応する拮抗筋の近傍の皮膚表面)に電極を取り付け、それぞれの筋から発生する活動電位を計測することで得られる時系列信号である。主動筋電位信号は主動筋の近傍の測定箇所の電極の電位に基づいて得られ、拮抗筋電子信号は拮抗筋の近傍の測定箇所の電極の電位に基づいて得られる。
筋活動度変調部2121−nに、筋活動度算出部2111−nから出力された主動筋活動度と筋活動度算出部2112−nから出力された拮抗筋活動度が入力される。筋活動度変調部2121−nは、入力された主動筋活動度と拮抗筋活動度との間の相対値(すなわち、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値)を「力み指標」として得る。「相対値」の例は前述の通りである。筋活動度変調部2121−nは、例えば、拮抗筋活動度を主動筋活動度で除した値を「力み指標」として得る。主動筋活動度および拮抗筋活動度が時系列である場合、筋活動度変調部2121−nは、例えば各時間で「力み指標」を求め、「力み指標」の時系列を得て出力する。
筋活動度変調部2121−nから出力された「力み指標」は音響信号生成部2131−nに入力される。音響信号生成部2131−nは、入力された「力み指標」を表す音響信号を得て出力する。「力み指標」を表す音響信号は、「力み指標」またはその大きさを表した音響信号である。このような音響信号の例は、前述の(F−1)や(F−2)の例の「ばらつきの大きさ」を「力み指標」または「力み指標の大きさ」に置換した音響信号である。また「力み指標」が時系列である場合には音響信号も時系列となる。ただし、筋の組の違いが認識されるように、筋の組ごとに音響特徴(基本周波数、音色など)を変えることが望ましい。言い換えると、音響信号生成部2131−1〜2131−Nから出力される音響信号の音響特徴が互いに異なることが望ましい。例えば、「力み指標」またはその大きさを第1音響特徴にマッピングし、筋の組の違いを第2音響特徴(ただし、第2音響特徴は第1音響特徴と異なる)で表した音響信号であってもよい。或いは、「力み指標」またはその大きさの違いを音響特徴の違いで表し、筋の組の違いを音響信号のチャネルの違い(すなわち、音響信号を出力するスピーカの違い)で表してもよい。
以上のように、本形態の可聴化装置21は、主動筋の筋電位および主動筋に対応する拮抗筋の筋電位を含む複数の筋電位を用い、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値を表す音響信号を出力する。これにより、「力み」の程度を可聴的に提示できる。特に、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値を表す音響信号を出力することで、より明確に「力み」の程度を提示できる。また、N≧2の場合には、複数の筋の組での「力み」の程度や、それらの相関関係を可聴的に提示できる。以上により、利用者は複数の筋の組に対応する「力み」の程度を音の聞こえ方の違いとして聴覚的に把握できる。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
110…筋電位センサ
120…心電位センサ
130…運動と心理状態判定装置
131…センシング部
132…状態判定部
132a…判定器
132b…運動と心理状態記憶部
132c…切り替え器
132d…比較器
140…フィードバック装置
141…信号生成部
142…合成音/画像生成部
Claims (4)
- 所定運動中の一次被検者から取得された一次生体情報に少なくとも基づき前記一次被検者の運動状態と心理状態を判定または記憶し、所定運動中の二次被検者から取得された二次生体情報に少なくとも基づき前記二次被検者の運動状態と心理状態を判定し、前記二次生体情報は、前記一次生体情報が取得された前記一次被検者の位置と対応する前記二次被検者の位置から取得された同種の情報であり、前記一次生体情報および前記二次生体情報は、筋電位データと心電位データとを含み、
前記一次被検者の運動状態および心理状態と前記二次被検者の運動状態および心理状態とを比較し、
前記一次被検者の運動状態および心理状態と前記二次被検者の運動状態および心理状態の比較結果に応じて、運動状態が良いことを示すものであるときにより良い値に修正することで誇張された、或いは、運動状態が良い事を示すものでないときにより悪い値に修正することで矮小された前記二次生体情報の筋電位データを表示する、もしくは、心理状態が良いことを示すものであるときにより良い値に修正することで誇張された、或いは、心理状態が良い事を示すものでないときにより悪い値に修正することで矮小された前記二次生体情報の心電位データを表示する、前記二次被検者へのフィードバック信号である画像信号を生成して出力する運動状態と心理状態とのフィードバック方法。 - 前記フィードバック信号は、画像信号に加えて、音響信号、映像信号、あるいはこれらの組み合わせを含む請求項1記載の運動状態と心理状態とのフィードバック方法。
- 請求項1又は請求項2に記載の運動状態と心理状態とのフィードバック方法を実行する運動状態と心理状態とのフィードバックシステム。
- 請求項1又は請求項2に記載の運動状態と心理状態とのフィードバック方法をコンピュータに実行させるための運動状態と心理状態とのフィードバックプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015029003A JP6093787B2 (ja) | 2015-02-17 | 2015-02-17 | 運動状態と心理状態とのフィードバック方法、システム、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015029003A JP6093787B2 (ja) | 2015-02-17 | 2015-02-17 | 運動状態と心理状態とのフィードバック方法、システム、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016203415A Division JP6330009B2 (ja) | 2016-10-17 | 2016-10-17 | 運動状態と心理状態とのフィードバック方法、システム、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016150108A JP2016150108A (ja) | 2016-08-22 |
JP6093787B2 true JP6093787B2 (ja) | 2017-03-08 |
Family
ID=56695761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015029003A Active JP6093787B2 (ja) | 2015-02-17 | 2015-02-17 | 運動状態と心理状態とのフィードバック方法、システム、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6093787B2 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0546587A (ja) * | 1991-08-20 | 1993-02-26 | Nec Corp | 仮想環境データ提示装置 |
US5826578A (en) * | 1994-05-26 | 1998-10-27 | Curchod; Donald B. | Motion measurement apparatus |
JP2000356942A (ja) * | 1999-06-15 | 2000-12-26 | Nec Corp | 動作教示装置、動作教示方法及び動作教示プログラムを記録した記録媒体 |
JP4506795B2 (ja) * | 2007-08-06 | 2010-07-21 | ソニー株式会社 | 生体運動情報表示処理装置、生体運動情報処理システム |
WO2010124247A2 (en) * | 2009-04-24 | 2010-10-28 | Advanced Brain Monitoring, Inc. | Adaptive performance trainer |
JP5381293B2 (ja) * | 2009-04-28 | 2014-01-08 | ヤマハ株式会社 | 放音制御装置 |
JP2013103010A (ja) * | 2011-11-15 | 2013-05-30 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
-
2015
- 2015-02-17 JP JP2015029003A patent/JP6093787B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016150108A (ja) | 2016-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12064260B2 (en) | Methods and systems for providing a preferred fitness state of a user | |
JP6307457B2 (ja) | 運動状態のフィードバック方法、システム、及びプログラム | |
US11246531B2 (en) | Fatigue measurement in a sensor equipped garment | |
JP5432989B2 (ja) | 被験者における望ましい状態を求める方法 | |
US20170259167A1 (en) | Brainwave virtual reality apparatus and method | |
WO2018214530A1 (zh) | 运动员竞技状态评估方法及系统 | |
JP6755356B2 (ja) | 検出装置 | |
Varlet et al. | What would be Usain Bolt’s 100-meter sprint world record without Tyson Gay? Unintentional interpersonal synchronization between the two sprinters. | |
JP2019513516A (ja) | 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム | |
US11660419B2 (en) | Systems, devices, and methods for generating and manipulating objects in a virtual reality or multi-sensory environment to maintain a positive state of a user | |
JP6330009B2 (ja) | 運動状態と心理状態とのフィードバック方法、システム、及びプログラム | |
JP5610159B2 (ja) | 呼吸訓練装置および呼吸訓練システム | |
JP2016150119A (ja) | 運動状態判定方法、装置、及びプログラム | |
JP6431785B2 (ja) | 心理状態のフィードバック方法、システム、及びプログラム | |
JP6093787B2 (ja) | 運動状態と心理状態とのフィードバック方法、システム、及びプログラム | |
CN113993598A (zh) | 智能服装 | |
CN114173643A (zh) | 便携式脱水监视系统 | |
US20230107691A1 (en) | Closed Loop System Using In-ear Infrasonic Hemodynography and Method Therefor | |
JP6435302B2 (ja) | 運動状態と心理状態判定方法、装置、及びプログラム | |
JP6127078B2 (ja) | 運動状態と心理状態判定方法、装置、及びプログラム | |
JP5622202B2 (ja) | 呼吸訓練装置および呼吸訓練システム | |
JP6186736B2 (ja) | 競技練習支援装置 | |
Drijfhout | Improving eSports performance: conducting stress measurements during Fifa gameplay | |
JP2016150117A (ja) | 心理状態判定方法、装置、及びプログラム | |
US20200171370A1 (en) | Multi-parameter performance assessment and conditioning system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6093787 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |