JP6822715B1 - 身体負荷推定装置及び身体負荷推定方法 - Google Patents
身体負荷推定装置及び身体負荷推定方法 Download PDFInfo
- Publication number
- JP6822715B1 JP6822715B1 JP2020175694A JP2020175694A JP6822715B1 JP 6822715 B1 JP6822715 B1 JP 6822715B1 JP 2020175694 A JP2020175694 A JP 2020175694A JP 2020175694 A JP2020175694 A JP 2020175694A JP 6822715 B1 JP6822715 B1 JP 6822715B1
- Authority
- JP
- Japan
- Prior art keywords
- load
- information
- sensor
- subject
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000005259 measurement Methods 0.000 claims abstract description 21
- 238000003860 storage Methods 0.000 claims abstract description 5
- 210000004705 lumbosacral region Anatomy 0.000 claims description 33
- 210000003205 muscle Anatomy 0.000 claims description 20
- 210000001015 abdomen Anatomy 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 9
- 210000000707 wrist Anatomy 0.000 claims description 8
- 238000010586 diagram Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 90
- 230000001133 acceleration Effects 0.000 description 52
- 238000013473 artificial intelligence Methods 0.000 description 43
- 238000004891 communication Methods 0.000 description 22
- 210000004247 hand Anatomy 0.000 description 21
- 230000003183 myoelectrical effect Effects 0.000 description 18
- 210000003811 finger Anatomy 0.000 description 17
- 210000002569 neuron Anatomy 0.000 description 15
- 239000013598 vector Substances 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000005452 bending Methods 0.000 description 11
- 230000000052 comparative effect Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 210000003127 knee Anatomy 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 239000010409 thin film Substances 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 208000008035 Back Pain Diseases 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 208000008930 Low Back Pain Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 239000000806 elastomer Substances 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Invalid Beds And Related Equipment (AREA)
Abstract
Description
なお、下記特許文献2にはハンドセンサ装置が開示されており、その詳細は後述する。
また、本発明の他の側面によれば、上述の学習済みモデルを格納するメモリと、そのメモリにアクセス可能なプロセッサとを備える装置により実行される身体負荷推定方法であって、対象者の手の平側で測定された荷重情報及びその対象者の身体の一以上の部位で測定された姿勢情報を測定タイミングで関連付け可能な状態で取得し、その取得された荷重情報及び姿勢情報を当該学習済みモデルに適用して、その荷重情報及びその姿勢情報が示す荷重及び姿勢に対応してその対象者の当該所定部位にかかる負荷を推定することを含む身体負荷推定方法が提供される。
また、本発明の他の側面によれば、上述の身体負荷推定方法を上述のコンピュータに実行させるためのコンピュータプログラムが提供されてもよいし、そのコンピュータプログラムを記憶する記憶媒体が提供されてもよい。
第一実施形態に係る身体負荷推定装置(以降、装置と略称する場合もある)1は、手に圧力がかかる動作を行っている対象者の手の平側の荷重情報及びその対象者の身体の一以上の部位の姿勢情報を測定し、その測定された荷重情報及び姿勢情報に基づいて、その荷重情報及び姿勢情報が示す荷重及び姿勢に対応してその対象者の所定部位にかかる負荷を推定する。
対象者は、装置1を利用する任意のユーザである。また、手に圧力がかかる動作の具体的動作内容についても何ら制限されない。例えば、荷物を持ち上げたり、高齢者を抱えたり、膝に手をついて立ち上がったり、手を使ったマッサージであったり等、手に圧力がかかる動作には様々な動作がある。以降、負荷推定の対象となる手に圧力がかかる動作を対象動作と表記する場合がある。
このように、第一実施形態によれば、手に圧力がかかる動作を行っている際の対象者の手の平側の荷重及び身体の姿勢に応じて対象者の所定部位にかかる負荷をリアルタイムに推定することができる。
また、「対象者の身体の一以上の部位の姿勢情報」とは、対象者の身体の一以上の部位の位置若しくは向き(傾き)のいずれか一方を示し得る情報であればよいが、位置及び向きの両方を示し得る情報であることが好ましい。
更に言えば、「対象者の身体の一以上の部位の姿勢情報」は、対象者の手又は腕の一以上の第一部位の位置及び向きを示し得る情報及び対象者の胴体、頭又は首の一以上の第二部位の位置及び向きを示し得る情報を含むことがより好ましい。
対象動作で力点に近い手又は腕の部位(第一部位)と、身体の中軸となる胴体、頭又は首の部位(第二部位)との各姿勢情報を用いることで、当該対象動作を行う際の対象者の姿勢を細かく区別することができる。例えば、同じような起き上がり動作であっても、膝を曲げて腰を落とした姿勢から起き上がる動作と、膝を伸ばして腰を曲げた姿勢から起き上がる動作とを区別することができる。そして、これら動作では身体にかかる負荷が異なることから、結果として、身体にかかる負荷の推定精度を向上させることができる。
詳細は後述するが、第一実施形態では、対象者の手の背側の位置及び向きを示し得る情報及び対象者の腰部の位置及び向きを示し得る情報が当該姿勢情報として取得され、対象者の腰部にかかる負荷の推定に用いられる。
また、「測定された荷重情報」或いは「測定された姿勢情報」とは、センサ信号から直接的に得られる情報(第一実施形態における加速度値、地磁気値、角速度値等)のみならず、センサ信号から直接的に得られる情報に対して何らかの計算を施すことで得られる情報(第一実施形態におけるクォータニオン等)をも包含する意味で用いる。
図1は、第一実施形態に係る身体負荷推定装置1の全体構成を示す模式図であり、図2は、グローブ部21の外観を示す図であり、図3は、第一実施形態に係る身体負荷推定装置1のハードウェア構成を示す模式図である。
図1に示されるように、装置1は、大きく分けると、ハンドセンサ部2及び本体部3から構成されている。
ハンドセンサ部2は、対象者の手に着脱自在に装着可能なグローブ部21及びグローブ部21の背側(甲の部分)に設けられたセンサ処理基板22を有している。センサ処理基板22は、外側に露出しないようにグローブ部21の内側に内設されていてもよいし、袋体に収容された状態でグローブ部21の甲側に固設されていてもよい。
図1には、2つのハンドセンサ部2が対象者の両手に装着されている例が示されているが、1つのハンドセンサ部2が対象者の片手に装着されてもよい。
また、グローブ部21は、人の手に着脱容易に形成されていればよく、その材質は、綿、ポリエステル、合成樹脂等、何ら制限されない。
第一感圧センサ23及び第二感圧センサ24は、加圧により電気特性が変化するのであれば、その具体的な原理や構造は限定されない。加圧により変化する電気特性は、例えば、電気抵抗値や静電容量などである。例えば、第一感圧センサ23及び第二感圧センサ24は、伸縮性又は柔軟性を有する薄膜状の感圧導電性エラストマセンサで実現される。但し、第一感圧センサ23及び第二感圧センサ24は、薄膜状に形成されていなくてもよいし、柔軟性を有していなくてもよい。
本実施形態では、図2(b)に示されるように、これら配線部25は、伸縮性又は柔軟性を有する薄膜状導電体で形成されており、グローブ部21の背側に接着されている。そして、これら配線部25は、センサ処理基板22に接続されている。
但し、配線部25は、断線を抑えつつ、第一感圧センサ23及び第二感圧センサ24の電気特性の変化をセンサ処理基板22に伝えることができるのであれば、その素材や形状は何ら制限されない。
例えば、第一感圧センサ23は、5本の手指の全てではなく、一部の手指にのみ設けられていてもよく、一以上の手指に設けられればよい。第二感圧センサ24についても、グローブ部21の指尖球部ではなく、グローブ部21の母指球部又は小指球部に設けられてもよく、グローブ部21の手の平部の一部又は全部に設けられればよい。
また、感圧センサは、第一感圧センサ23又は第二感圧センサ24のいずれか一方のみでもよい。また、第一感圧センサ23及び第二感圧センサ24に加えて更なる感圧センサが設けられてもよい。例えば、母指球部若しくは小指球部の一方又は両方に感圧センサが更に設けられてもよい。感圧センサは、グローブ部21の平側における手を握った状態で屈曲の少ない部位に設けられることが好ましい。
このように感圧センサの配置は様々考えられるが、身体の負荷を推定する上で適正な荷重情報を得ることができると共に、ハンドセンサ部2の製造コストや破損等を考慮して、適切な配置に決定されることが好ましい。図2に例示される本実施形態における感圧センサの配置は、このような観点からも望ましい配置であるといえる。
ハンド慣性センサ27は、対象者の手の背側の位置及び向きを示し得る情報を検出するセンサである。本実施形態におけるハンド慣性センサ27は、9軸慣性センサ(3軸加速度センサ、3軸地磁気センサ、3軸ジャイロセンサ)であり、3軸方向の加速度、3軸方向の地磁気、及び3軸周りの角速度を測定する。加速度を2階積分することで変位を得ることができ、角速度を1階積分すること角度を得ることができるため、ハンド慣性センサ27で測定される情報は、対象者の手の背側の位置及び向きを示し得る情報と表記できる。詳細は後述するが、本実施形態では、ハンド慣性センサ27により測定されたこれらセンサ値から3軸方向の加速度値及び4成分からなるクォータニオンが用いられる。
本実施形態によれば、荷重情報を取得可能なセンサ(第一感圧センサ23及び第二感圧センサ24)と姿勢情報を取得可能なハンド慣性センサ27とをグローブ部21に設けることで、対象者はグローブ部21を装着するだけでよいため、手の荷重情報及び手の姿勢情報を容易に入手することができる。
図3に図示されるセンサ処理ユニット26の構成はあくまで例示であり、センサ処理ユニット26は、増幅器やAD変換器等のように図示されていない構成を含んでもよい。また、図示される各構成の数も図3の例に限定されない。
入出力I/F263は、外部に接続された部品から信号を入力し、外部に接続された部品へ信号を出力するインタフェースである。第一感圧センサ23、第二感圧センサ24、及びハンド慣性センサ27は入出力I/F263に接続されており、それらセンサからの信号は入出力I/F263に入力される。
無線通信ユニット264は、本体部3を含む他の機器と無線通信を行う。無線通信の方式は何ら制限されない。例えば、無線通信ユニット264は、Bluetooth(登録商標)、BLE(Bluetooth(登録商標) Low Energy)、ZigBee、WiFi等のような通信方式により他の機器と無線通信を行う。
センサ処理ユニット26は、入出力I/F263を介して第一感圧センサ23及び第二感圧センサ24からのセンサ信号を取得する。取得されるセンサ信号は、第一感圧センサ23及び第二感圧センサ24の各々からの電気特性を示すアナログ信号が所定周期(例えば、1ms)でサンプリングされてAD変換されたデジタル信号(電気特性値)である。
センサ処理ユニット26は、その取得された電気特性値を示すセンサ信号に基づいて、対象者の手の平側の荷重値を算出する。本実施形態では、第一感圧センサ23はグローブ部21の5本の手指の腹部に設けられているため、第一感圧センサ23からのセンサ信号に基づいて対象者の5本の手指の腹部に掛かる5つの荷重値が算出される。また、第二感圧センサ24はグローブ部21の平側の指尖球部に設けられているため、第二感圧センサ24からのセンサ信号に基づいて対象者の手の指尖球部に掛かる1つの荷重値が算出される。
ここで、上記特許文献2に開示されているとおり、人の手の平の硬度は部位によって異なっており、感圧部の感度がその部位の硬度に影響を受けることが見出されている。このため、センサ処理ユニット26は、第一感圧センサ23及び第二感圧センサ24の各々が配置される手の部位の硬度をパラメータとして含む電気特性補正式を更に保持しておき、各感圧センサの電気特性値をその感圧センサが配置された手の部位の硬度が設定された電気特性補正式で補正した後に、上述のように荷重値への変換を行うようにしてもよい。
本実施形態では、2つのハンドセンサ部2が対象者の両手に装着されるため、センサ処理ユニット26は、対象者の右手の5本の手指の腹部で測定された5つの荷重値、同右手の指尖球部で測定された1つの荷重値、対象者の左手の5本の手指の腹部で測定された5つの荷重値、及び同左手の指尖球部で測定された1つの荷重の合計12個の荷重値を算出する。
このとき、センサ処理ユニット26は、サンプリング周期を合わせる等して、第一感圧センサ23及び第二感圧センサ24からのセンサ信号に基づく荷重値の取得タイミングと合わせて、当該加速度値、当該地磁気値、及び当該角速度値を取得する。これにより、略同じ測定タイミングで測定された荷重値、加速度値、地磁気値及び角速度値を同期を取って取得することができる。
クォータニオンは、回転軸(ベクトル)と回転角(スカラー)との4成分で3次元空間の回転姿勢を表現する。クォータニオンの計算方法としては様々な方法が存在しているため、どのような方法が用いられてもよい。例えば、角速度値のみから数値積分等によりクォータニオンが算出されてもよい。この手法では、角速度の誤差等が累積されてしまうため、加速度を用いた補正を行う手法、即ち角速度及び加速度からクォータニオンが算出されてもよい。但し、地磁気を用いた更なる補正が適用可能であるため、本実施形態のように、角速度、加速度及び地磁気を用いてクォータニオンが算出されることが好ましい。
本実施形態では、クォータニオンは、ハンド慣性センサ27からのセンサ信号に基づいてセンサ処理ユニット26により算出されるが、ハンド慣性センサ27によりクォータニオンが算出され、センサ処理ユニット26に送られてもよい。
また、本実施形態では、ハンド慣性センサ27からのセンサ信号に基づく対象者の手の背側(第一部位)の向きを示し得る姿勢情報としてクォータニオンが用いられたが、クォータニオンに加えて又はクォータニオンと替えてZ−Y−Xオイラー角が用いられてもよいし、他の表現手法が用いられてもよい。
本実施形態では、向きを示し得る姿勢情報としてクォータニオンが送信されたが、クォータニオンに替えて若しくは加えて、3軸周りの角速度値及び3軸方向の地磁気値の少なくとも一方が送信されてもよい。もちろん、Z−Y−Xオイラー角のような他の情報が向きを示し得る姿勢情報として送信されてもよい。また、本実施形態では、位置を示し得る姿勢情報として3軸方向の加速度値が送信されたが、他の情報が送信されてもよい。
以降、3軸方向の加速度値は加速度ベクトル(3軸成分)と表記する場合があり、3軸周りの角速度値は角速度ベクトル(3軸成分)と表記する場合があり、3軸方向の地磁気値は地磁気ベクトル(3軸方向)と表記する場合がある。
本体部3は、図3に示されるように、メイン処理ユニット30、腰部慣性センサ37等を有している。
本実施形態では、腰部慣性センサ37による姿勢情報の測定部位が対象者の腰部と予め決められているため、本体部3は、対象者の腰部(背側)にベルト等を用いて装着される。但し、腰部慣性センサ37の出力により対象者の腰部の姿勢情報を取得することができるのであれば、本体部3の対象者への装着手法は、このような例に限定されない。
また、腰部慣性センサ37による測定部位は、対象者の胴体、頭又は首の一以上の第二部位であればよく、腰部慣性センサ37が予め決められたそのような測定部位に配置されればよい。このため、例えば、本体部3は、携帯端末として実現されてもよい。この場合には、対象者のズボンや上着のポケット等に収容された状態で利用されてもよい。
更に言えば、本体部3と腰部慣性センサ37とが別体で形成されていてもよい。この場合には、腰部慣性センサ37のみが予め決められた測定部位に配置されて、本体部3は、PC(Personal Computer)等のような据置き型の装置、スマートフォン等のような携帯端末等として実現されてもよい。
腰部慣性センサ37についても、ハンド慣性センサ27と同様に、その具体的な原理や構造は限定されない。腰部慣性センサ37は、ハンド慣性センサ27と同じセンサでなくてもよく、3軸加速度センサ及び3軸ジャイロセンサからなる6軸慣性センサであってもよいし、画像センサを含む他のセンサであってもよい。
図3に図示されるメイン処理ユニット30の構成はあくまで例示であり、メイン処理ユニット30は、図示されていない構成を含んでもよい。また、図示される各構成の数も図3の例に限定されない。
メモリ302は、RAM(Random Access Memory)、ROM(Read Only Memory)等である。メモリ302には、本体部3の各種機能を実現する制御プログラムが格納される。制御プログラムには、学習済みモデルも含まれる。
本実施形態で利用される学習済みモデルは、教師有り機械学習のAI(Artificial Intelligence)モデルであり、以降、AIモデル330と表記される。
無線通信ユニット304は、ハンドセンサ部2のセンサ処理基板22を含む他の機器と無線通信を行う。無線通信の方式は何ら制限されない。例えば、無線通信ユニット304は、Bluetooth(登録商標)、BLE(Bluetooth(登録商標) Low Energy)、ZigBee、WiFi等のような通信方式により他の機器と無線通信を行う。
メイン処理ユニット30は、CPU301によりメモリ302(ROM)に格納されている制御プログラムを実行させることで、図4に示されるようなソフトウェア構成を実現する。具体的には、メイン処理ユニット30は、ソフトウェア構成として、情報取得モジュール310、AI処理モジュール320、負荷推定AIモデル(以降、AIモデルと略称する場合もある)330等を有している。情報取得モジュール310は取得手段と表記することができ、AI処理モジュール320は推定手段と表記することができる。
但し、図4に示される各ソフトウェア構成要素は、説明の便宜のために概念的にそれぞれ分けて示したものであるため、メイン処理ユニット30で実現されるソフトウェア構成は、図4に示されるような各構成要素に明確に区分けされていなくてもよい。
メイン処理ユニット30がこのような処理を実行するにあたり、AIモデル330はメモリ302に既に格納されている。AIモデル330は、教師有りの機械学習アルゴリズムで学習済みのAIモデルである。
ここで「教師データ」とは、訓練データ、学習データ等とも呼ばれ、入力(例題)と正解(答え)とのデータセットを意味する。本実施形態で利用される教師データでは、手の平側の荷重情報及び身体の一以上の部位の姿勢情報が入力情報であり、所定部位にかかる負荷が正解情報とされている。
更に、その対象動作の際に、その対象者の腰部で筋負荷値を測定しておき、測定された筋負荷値が正解情報として準備される。本実施形態では、筋負荷値は、市販の筋電位センサを対象者の腰部の筋肉(例えば腸腰筋)に付けることで、筋電位として測定することができる。
このように準備された手の平側の荷重情報及び身体の姿勢情報と、筋負荷値の正解情報とが関連付けられて、教師データとされる。そして、このような教師データが、当該対象動作の中の複数のタイミングで測定された情報からそれぞれ生成されることで、複数の教師データが生成できる。
本実施形態におけるAIモデル330は、このように生成された複数の教師データを用いて所定の機械学習アルゴリズムにより学習される。上述したとおり、AIモデル330の学習に用いられる機械学習アルゴリズムは何ら限定されない。
本実施形態におけるAIモデル330は、対象者の両手の平側で測定された12個の荷重値が当該荷重情報として入力され、対象者の両手の背側(第一部位)で測定されたセンサ値に対応する2つのクォータニオン(4成分)及び2つの加速度ベクトル(3軸成分)、並びに対象者の腰部(背側)で測定されたセンサ値に対応する1つのクォータニオン(4成分)及び1つの加速度ベクトル(3軸成分)が姿勢情報として入力されることで、対象者の腰部にかかる負荷値(筋電位の推定値)を推定(出力)する。
本実施形態では、AIモデル330は、図5に示されるように、ニューラルネットワークと呼ばれるモデルで実現されている。ニューラルネットワークでは、入力層、中間層(隠れ層)及び出力層の各層において複数のノード(ニューロンとも呼ばれる)がエッジで連結されている構造を持ち、各ノードの値がそのノードに接続される他のノードの値及びエッジの重み(パラ―メータ)から活性化関数で算出される。
例えば、AIモデル330は、入力データを対応するセンサごとに全結合させた第一層(入力層)のニューロン群を設け、そのニューロン群を順次全結合させた複数の中間層のニューロン群を設け、第n層(出力層)の一つのニューロンに全結合させた構造とすることができる。これにより、出力層のニューロンの出力値が負荷値(筋電位の推定値)となる。例えば、第一層のニューロン群は次のように形成することができる。
・左手の第一感圧センサ23及び第二感圧センサ24のセンサ値から得られる6つの荷重値が全結合された所定数(例えば5個)のニューロン群
・右手の第一感圧センサ23及び第二感圧センサ24のセンサ値から得られる6つの荷重値が全結合された所定数(例えば5個)のニューロン群
・左手のハンド慣性センサ27により測定された3つの加速度値(3軸の各方向の加速度値)が全結合された所定数(例えば5個)のニューロン群
・左手のハンド慣性センサ27のセンサ値から得られるクォータニオンの4つの成分値が全結合された所定数(例えば5個)のニューロン群
・右手のハンド慣性センサ27により測定された3つの加速度値(3軸の各方向の加速度値)が全結合された所定数(例えば5個)のニューロン群
・右手のハンド慣性センサ27のセンサ値から得られるクォータニオンの4つの成分値が全結合された所定数(例えば5個)のニューロン群
・腰部の腰部慣性センサ37により測定された3つの加速度値(3軸の各方向の加速度値)が全結合された所定数(例えば5個)のニューロン群
・腰部の腰部慣性センサ37のセンサ値から得られるクォータニオンの4つの成分値が全結合された所定数(例えば5個)のニューロン群
但し、AIモデル330ニューラルネットワーク構造はこのような例に限定されない。AIモデル330のニューラルネットワークを構成する層数やニューロン数等は適宜決めることができる。
上述したとおり、センサ処理ユニット26では、その荷重情報及び姿勢情報は測定タイミングで同期を取って取得され無線送信されるため、通信処理モジュール310は、当該荷重情報及び姿勢情報を測定タイミングで関連付け可能な状態で取得するということができる。例えば、センサ処理ユニット26が、測定タイミングで同期を取って取得された荷重情報及び姿勢情報を無線パケットの同一PDU(Protocol Data Unit)で送信する、或いはタイムスタンプを付して無線送信する等により、通信処理モジュール310は、それら荷重情報及び姿勢情報を関連付け可能な状態で取得することができる。
情報取得モジュール310は、取得された3軸方向の加速度値、3軸方向の地磁気値、及び3軸周りの角速度値からクォータニオンを算出する。情報取得モジュール310によるクォータニオンの算出手法については、様々な手法の中から任意に選択されればよく、センサ処理ユニット26に関して述べたとおりである。
本実施形態において情報取得モジュール310は、腰部慣性センサ37から取得された3軸方向の加速度値を対象者の腰部の位置を示す姿勢情報とし、算出されたクォータニオン(4成分)を対象者の腰部の向きを示す姿勢情報とする。
このように通信処理モジュール310が姿勢情報及び荷重情報を測定タイミングで関連付け可能な状態で取得する具体的手法については何ら限定されない。
次に、装置1により実行される身体負荷推定方法について図6を用いて説明する。
図6は、第一実施形態に係る身体負荷推定装置1の動作例を示すシーケンスチャートである。
装置1は、ハンドセンサ部2のセンサ処理ユニット26の動作及び本体部3のメイン処理ユニット30の動作を通じて、図6に示される身体負荷推定方法を実行する。
本方法の各工程は、上述した装置1の各構成要素の処理内容と同様であるため、簡略化して説明する。また、図6に示される各工程の順番は例示であるため、内容に支障のない範囲で適宜入れ替え又は並行実行されてもよい。
なお、図6の動作が開始される前には、機械学習済みのAIモデル330がメモリ302に既に格納されている。
これにより、ハンドセンサ部2は、片手における6つの荷重値、即ち5本の各指の腹部の荷重値及び指尖球の荷重値を取得する(S21)。
続いて、ハンドセンサ部2(センサ処理ユニット26)は、工程(S22)で取得された加速度値、地磁気値及び角速度値を用いて、対象者の手の背側の姿勢を示すクォータニオンを算出する(S23)。
ハンドセンサ部2(センサ処理ユニット26)は、このような処理を周期的に実行する。
続いて、本体部3(メイン処理ユニット30)は、工程(S31)で取得された加速度値、地磁気値及び角速度値を用いて、対象者の腰部の姿勢を示すクォータニオンを算出する(S32)。
そして、本体部3(メイン処理ユニット30)は、AIモデル330から出力される、腰部の負荷値を取得する(S35)。
本体部3においてもこのような処理が周期的に実行される。
また、本体部3は、推定された負荷値を予め決められた閾値と比較して、負荷値がその閾値を超えた場合に、表示や音等により警告を報知することができる。また、本体部3は、推定された負荷値を時刻情報と共に記録して、その記録された負荷値の時系列情報を何らかの形態で出力することもできる。
このように本実施形態で推定された負荷値の利用形態は何ら制限されない。
以下、上述の第一実施形態に係る身体負荷推定装置1で推定された負荷値の一利用形態として、第二実施形態に係る動作アシスト装置5について図7を用いて説明する。
図7は、第二実施形態に係る動作アシスト装置5の構成を示す模式図である。
動作アシスト装置5は、対象者の身体に装着されて、アクチュエータの出力により対象者の動作をアシストする装置であり、装置1、アシスト機構6、制御部8等により構成される。
アシスト機構6で用いられるアクチュエータ7の種類や構造についても何ら限定されない。アクチュエータ7は、電気、空気圧、油圧などのエネルギーを機械的な動きに変換する駆動装置であればよく、モータのような電動アクチュエータであってもよいし、空気圧を利用した人工筋肉であってもよいし、それら両方であってもよい。
制御部8は、装置1により推定された負荷値に応じてアクチュエータ7の出力を調整する。例えば、制御部8は、負荷値が大きければアシスト力が高まるように、アクチュエータ7の出力を調整し、負荷値が小さければアシスト力が低下するように、アクチュエータ7の出力を調整する。但し、制御部8によるアクチュエータ7の出力制御において、装置1により推定された負荷値の具体的な利用方法については何ら制限されない。
荷物の上げ下ろし動作は、具体的には、テーブルに置かれた荷物を床に下ろし、床に置いたその荷物を持ち上げて再度テーブルに置く動作とされた。そして、この動作が、膝を曲げて腰を落とした姿勢を含む場合と、膝を伸ばしたまま腰を曲げて行う場合との二つの形態で行われた。以降、前者の動作形態を屈伸有り動作と表記し、後者の動作形態を屈伸無し動作と表記する。
更に、荷物についても、形状は同じだが、1kgの重さの荷物と10kgの重さの荷物とが用いられた。
装置1により推定される負荷値は、筋電位センサにより測定された筋負荷値を正解情報とする教師データで学習されたAIモデル330から出力される値であるため、実際に測定された筋負荷値と同様の負荷レベルとなるはずである。そこで、図8のグラフの縦軸は、腰部負荷レベルとして推定値及び筋電位センサ出力レベルの大きさを示している。また、図8のグラフの横軸は時間を示している。
(動作1)1kgの荷物を用いて屈伸有り動作を二回連続で行う。
(動作2)10kgの荷物を用いて屈伸有り動作を二回連続で行う。
(動作3)1kgの荷物を用いて屈伸無し動作を二回連続で行う。
(動作4)10kgの荷物を用いて屈伸無し動作を二回連続で行う。
図8では、時間T1が(動作1)の時間を示し、時間T2が(動作2)の時間を示し、時間T3が(動作3)の時間を示し、時間T4が(動作4)の時間を示している。
更に言えば、同じ重さの荷物の上げ下ろし動作であっても、屈伸有り動作と屈伸無し動作とでは筋負荷値(筋電位センサ出力レベル)の傾向が大きく異なっていることが分かる。具体的には、屈伸無し動作のほうが屈伸有り動作よりも腰部にかかる負荷が大きいことが示されており、実情に沿った結果を示している。
従って、本実施例により、上述の第一実施形態の手法によれば、手に圧力がかかる対象動作において身体の所定部位にかかる負荷値をその動作の姿勢に対応して高精度に推定できることが実証された。
第一比較モデルは、腰部の姿勢情報のみを用いて腰部の負荷値を推定するモデルであり、第二比較モデルは、手の平側の荷重情報及び腰部の姿勢情報を用いて腰部の負荷値を推定するモデルであり、第三比較モデルは、手の平側の荷重情報及び手の背側の姿勢情報を用いて腰部の負荷値を推定するモデルである。
結果、いずれの比較モデルも上述の実施例で算出された相関係数(0.92)よりも低い相関係数を示した。また、第二比較モデルに関しては相関係数(0.83)を示し、第一実施形態よりも精度は落ちるが、それなりの精度で負荷推定が可能なことが分かった。
一方で、手の平側の荷重情報を用いない第一比較モデルは、最大誤差が大きくなったことから、手の平側の荷重情報を用いた身体の負荷推定の有用性が立証された。
上述の内容は、各実施形態に係る身体負荷推定装置1及び動作アシスト装置7の一例である。身体負荷推定装置1及び動作アシスト装置7は、上述の構成のみに限定されるわけではなく、上述の少なくとも一部の構成を有していれば、部分的に適宜変形されてもよいし、他の構成を更に有していてもよい。
この場合、測定すべき部位に姿勢情報を取得可能なセンサが配置されればよく、決められた部位で測定された姿勢情報を荷重情報と共に身体の所定部位にかかる負荷の正解情報と関連付けてAIモデル330の教師データが生成されればよい。
また、手の姿勢を示すクォータニオンは、メイン処理ユニット30により算出されるようにしてもよい。この場合、センサ処理ユニット26は、ハンド慣性センサ27から得られた3軸方向の加速度値、3軸方向の地磁気値及び3軸周りの角速度値をメイン処理ユニット30に対して送信し、メイン処理ユニット30が、それら加速度値、地磁気値及び角速度値を用いてクォータニオンを算出すればよい。
また、AIモデル330は、適宜、再学習されるようにしてもよい。例えば、サーバ装置においてAIモデル330の再学習が適宜実行され、メイン処理ユニット30のメモリ302内のAIモデル330がその再学習されたAIモデル330で更新されるようにしてもよい。このようにすれば、AIモデル330による負荷値の推定精度を向上させることができる。
(付記1)手に圧力がかかる動作の際に身体の所定部位にかかる負荷の正解情報と、該動作の際における手の平側の荷重情報及び身体の一以上の部位の姿勢情報とが関連付けられた複数の教師データに基づいて機械学習されている学習済みモデルを格納するモデル格納手段と、
対象者の手の平側で測定された荷重情報及び該対象者の身体の一以上の部位で測定された姿勢情報を測定タイミングで関連付け可能な状態で取得する取得手段と、
前記取得された荷重情報及び姿勢情報を前記学習済みモデルに適用して、該荷重情報及び該姿勢情報が示す荷重及び姿勢に対応して前記対象者の前記所定部位にかかる負荷を推定する推定手段と、
を備える身体負荷推定装置。
(付記2)前記取得手段により取得される前記姿勢情報は、前記対象者の手又は腕の一以上の第一部位の位置及び向きを示し得る情報及び前記対象者の胴体、頭又は首の一以上の第二部位の位置及び向きを示し得る情報を含む、
付記1に記載の身体負荷推定装置。
(付記3)前記対象者の前記第二部位は、前記対象者の腰部を含み、
前記複数の教師データに含まれる前記正解情報は、人の腰部で測定された筋負荷値であり、
前記推定手段は、前記対象者の腰部にかかる負荷値を推定する、
付記2に記載の身体負荷推定装置。
(付記4)前記対象者の手に着脱自在に装着可能なグローブ部と、該グローブ部の手の平側に設けられた感圧センサと、該グローブ部の背側又は手首部に設けられた慣性センサとを含むハンドセンサ部を更に備え、
前記取得手段は、前記慣性センサからのセンサ信号に基づく前記第一部位の位置及び向きを示し得る情報を含む前記姿勢情報を取得し、前記感圧センサからのセンサ信号に基づく前記荷重情報を取得する、
付記2又は3に記載の身体負荷推定装置。
(付記5)前記ハンドセンサ部の前記感圧センサは、前記グローブ部の一以上の手指の腹部に設けられた第一感圧センサ及び前記グローブ部の手の平部の一部又は全部に設けられた第二感圧センサを含み、
前記取得手段は、前記第一感圧センサからのセンサ信号に基づく前記対象者の一以上の手指の腹部にかかる荷重及び前記第二感圧センサからのセンサ信号に基づく前記対象者の手の平部の一部又は全部にかかる荷重を示す前記荷重情報を取得する、
付記4に記載の身体負荷推定装置。
(付記6) 付記1から5のいずれか一つに記載の身体負荷推定装置と、
前記対象者の身体に脱着自在に装着可能であり、アクチュエータの出力により該対象者の動作をアシストするアシスト機構と、
前記身体負荷推定装置により推定された負荷の情報に基づいて、前記アクチュエータの出力を調整する制御手段と、
を備える動作アシスト装置。
対象者の手の平側で測定された荷重情報及び該対象者の身体の一以上の部位で測定された姿勢情報を測定タイミングで関連付け可能な状態で取得し、
前記取得された荷重情報及び姿勢情報を前記学習済みモデルに適用して、該荷重情報及び該姿勢情報が示す荷重及び姿勢に対応して前記対象者の前記所定部位にかかる負荷を推定する、
ことを含む身体負荷推定方法。
(付記8)前記取得される前記姿勢情報は、前記対象者の手又は腕の一以上の第一部位の位置及び向きを示し得る情報及び前記対象者の胴体、頭又は首の一以上の第二部位の位置及び向きを示し得る情報を含む、
付記7に記載の身体負荷推定方法。
(付記9)前記対象者の前記第二部位は、前記対象者の腰部を含み、
前記複数の教師データに含まれる前記正解情報は、人の腰部で測定された筋負荷値であり、
前記対象者の腰部にかかる負荷値が推定される、
付記8に記載の身体負荷推定方法。
(付記10)前記装置は、前記対象者の手に着脱自在に装着可能なグローブ部と、該グローブ部の手の平側に設けられた感圧センサと、該グローブ部の背側又は手首部に設けられた慣性センサとを含むハンドセンサ部とを更に備えており、
前記取得される姿勢情報は、前記慣性センサからのセンサ信号に基づく前記第一部位の位置及び向きを示し得る情報を含み、
前記取得される荷重情報は、前記感圧センサからのセンサ信号に基づく情報である、
付記8又は9に記載の身体負荷推定方法。
(付記11)前記ハンドセンサ部の前記感圧センサは、前記グローブ部の一以上の手指の腹部に設けられた第一感圧センサ及び前記グローブ部の手の平部の一部又は全部に設けられた第二感圧センサを含み、
前記取得される荷重情報は、前記第一感圧センサからのセンサ信号に基づく前記対象者の一以上の手指の腹部にかかる荷重及び前記第二感圧センサからのセンサ信号に基づく前記対象者の手の平部の一部又は全部にかかる荷重を示す、
付記10に記載の身体負荷推定方法。
(付記12)付記7から11のいずれか一つに記載の身体負荷推定方法を実行する前記装置と、前記対象者の身体に脱着自在に装着可能であり、アクチュエータの出力により該対象者の動作をアシストするアシスト機構とを備える動作アシスト装置により実行される動作アシスト方法であって、
前記装置により推定された負荷の情報に基づいて、前記アクチュエータの出力を調整する、
ことを含む動作アシスト方法。
Claims (7)
- 手に圧力がかかる動作の際に身体の所定部位にかかる負荷の正解情報と、該動作の際における手の平側の荷重情報及び身体の一以上の部位の姿勢情報とが関連付けられた複数の教師データに基づいて機械学習されている学習済みモデルを格納するモデル格納手段と、
対象者の手の平側で測定された荷重情報及び該対象者の身体の一以上の部位で測定された姿勢情報を測定タイミングで関連付け可能な状態で取得する取得手段と、
前記取得された荷重情報及び姿勢情報を前記学習済みモデルに適用して、該荷重情報及び該姿勢情報が示す荷重及び姿勢に対応して前記対象者の前記所定部位にかかる負荷を推定する推定手段と、
を備える身体負荷推定装置。 - 前記取得手段により取得される前記姿勢情報は、前記対象者の手又は腕の一以上の第一部位の位置及び向きを示し得る情報及び前記対象者の胴体、頭又は首の一以上の第二部位の位置及び向きを示し得る情報を含む、
請求項1に記載の身体負荷推定装置。 - 前記対象者の前記第二部位は、前記対象者の腰部を含み、
前記複数の教師データに含まれる前記正解情報は、人の腰部で測定された筋負荷値であり、
前記推定手段は、前記対象者の腰部にかかる負荷値を推定する、
請求項2に記載の身体負荷推定装置。 - 前記対象者の手に着脱自在に装着可能なグローブ部と、該グローブ部の手の平側に設けられた感圧センサと、該グローブ部の背側又は手首部に設けられた慣性センサとを含むハンドセンサ部を更に備え、
前記取得手段は、前記慣性センサからのセンサ信号に基づく前記第一部位の位置及び向きを示し得る情報を含む前記姿勢情報を取得し、前記感圧センサからのセンサ信号に基づく前記荷重情報を取得する、
請求項2又は3に記載の身体負荷推定装置。 - 前記ハンドセンサ部の前記感圧センサは、前記グローブ部の一以上の手指の腹部に設けられた第一感圧センサ及び前記グローブ部の手の平部の一部又は全部に設けられた第二感圧センサを含み、
前記取得手段は、前記第一感圧センサからのセンサ信号に基づく前記対象者の一以上の手指の腹部にかかる荷重及び前記第二感圧センサからのセンサ信号に基づく前記対象者の手の平部の一部又は全部にかかる荷重を示す前記荷重情報を取得する、
請求項4に記載の身体負荷推定装置。 - 請求項1から5のいずれか一項に記載の身体負荷推定装置と、
前記対象者の身体に脱着自在に装着可能であり、アクチュエータの出力により該対象者の動作をアシストするアシスト機構と、
前記身体負荷推定装置により推定された負荷の情報に基づいて、前記アクチュエータの出力を調整する制御手段と、
を備える動作アシスト装置。 - 手に圧力がかかる動作の際に身体の所定部位にかかる負荷の正解情報と、該動作の際における手の平側の荷重情報及び身体の一以上の部位の姿勢情報とが関連付けられた複数の教師データに基づいて機械学習されている学習済みモデルを格納するメモリと、該メモリにアクセス可能なプロセッサとを備える装置により実行される身体負荷推定方法であって、
対象者の手の平側で測定された荷重情報及び該対象者の身体の一以上の部位で測定された姿勢情報を測定タイミングで関連付け可能な状態で取得し、
前記取得された荷重情報及び姿勢情報を前記学習済みモデルに適用して、該荷重情報及び該姿勢情報が示す荷重及び姿勢に対応して前記対象者の前記所定部位にかかる負荷を推定する、
ことを含む身体負荷推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020175694A JP6822715B1 (ja) | 2020-10-19 | 2020-10-19 | 身体負荷推定装置及び身体負荷推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020175694A JP6822715B1 (ja) | 2020-10-19 | 2020-10-19 | 身体負荷推定装置及び身体負荷推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6822715B1 true JP6822715B1 (ja) | 2021-01-27 |
JP2022067015A JP2022067015A (ja) | 2022-05-02 |
Family
ID=74200370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020175694A Active JP6822715B1 (ja) | 2020-10-19 | 2020-10-19 | 身体負荷推定装置及び身体負荷推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6822715B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022150491A (ja) * | 2021-03-26 | 2022-10-07 | 株式会社日立製作所 | 作業支援システム |
WO2022219705A1 (ja) * | 2021-04-13 | 2022-10-20 | 三菱電機株式会社 | 接触情報取得装置、接触情報取得システム、接触情報取得方法、及び、接触情報取得プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5923904B2 (ja) * | 2011-02-18 | 2016-05-25 | アイシン精機株式会社 | 腰痛予防装置及びその作動方法 |
JP6636349B2 (ja) * | 2016-02-05 | 2020-01-29 | シャープ株式会社 | 警報システムおよび制御装置 |
JP6968351B2 (ja) * | 2016-12-09 | 2021-11-17 | 国立大学法人北海道大学 | 負荷測定装置、介助装置、負荷測定方法、および負荷測定プログラム |
JP7003469B2 (ja) * | 2017-07-14 | 2022-01-20 | 株式会社ニコン | 姿勢を検出する検出装置、およびウェアラブル装置 |
JP6901085B2 (ja) * | 2017-07-24 | 2021-07-14 | 国立大学法人北海道大学 | ウェアラブル装置、情報管理システム、駆動方法、およびアプリケーションプログラム |
JP6586700B2 (ja) * | 2018-03-13 | 2019-10-09 | 国立大学法人北海道大学 | 負荷検出装置、情報処理装置、負荷検出方法、および負荷検出プログラム |
JP7075589B2 (ja) * | 2018-05-24 | 2022-05-26 | 地方独立行政法人鳥取県産業技術センター | ハンドセンサ装置 |
JP2020082222A (ja) * | 2018-11-16 | 2020-06-04 | 株式会社ブリヂストン | 人体装着型パワーアシスト装置 |
-
2020
- 2020-10-19 JP JP2020175694A patent/JP6822715B1/ja active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022150491A (ja) * | 2021-03-26 | 2022-10-07 | 株式会社日立製作所 | 作業支援システム |
JP7465842B2 (ja) | 2021-03-26 | 2024-04-11 | 株式会社日立製作所 | 作業支援システム |
WO2022219705A1 (ja) * | 2021-04-13 | 2022-10-20 | 三菱電機株式会社 | 接触情報取得装置、接触情報取得システム、接触情報取得方法、及び、接触情報取得プログラム |
JP7237266B1 (ja) * | 2021-04-13 | 2023-03-10 | 三菱電機株式会社 | 接触情報取得装置、接触情報取得システム、接触情報取得方法、及び、接触情報取得プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022067015A (ja) | 2022-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3843617B1 (en) | Camera-guided interpretation of neuromuscular signals | |
CN112004511B (zh) | 用于预防肌肉骨骼损伤和增强性能的可穿戴设备 | |
US9278453B2 (en) | Biosleeve human-machine interface | |
Ben-Tzvi et al. | Sensing and force-feedback exoskeleton (SAFE) robotic glove | |
Saggio et al. | Resistive flex sensors: a survey | |
US20200170547A1 (en) | A human intention detection system for motion assistance | |
CN106527738B (zh) | 一种用于虚拟现实系统的多信息体感交互手套系统及方法 | |
CN111095167A (zh) | 用于使用电阻抗测量追踪手部运动的臂带 | |
Liu et al. | A glove-based system for studying hand-object manipulation via joint pose and force sensing | |
WO2010027015A1 (ja) | モーションキャプチャ装置 | |
JP6822715B1 (ja) | 身体負荷推定装置及び身体負荷推定方法 | |
TW201225920A (en) | Mechanomyographic signal input device, human-machine operating system and identification method thereof | |
Xu et al. | Development of a hybrid motion capture method using MYO armband with application to teleoperation | |
Xiao et al. | Control an exoskeleton for forearm rotation using FMG | |
JP2018534096A (ja) | 運動認識装置及び運動認識方法 | |
CN113632176A (zh) | 用于基于神经肌肉数据的低等待时间身体状态预测的方法和装置 | |
CN113341564A (zh) | 一种计算机输入装置 | |
Mohammadi et al. | Fingertip force estimation via inertial and magnetic sensors in deformable object manipulation | |
Saypulaev et al. | A review of robotic gloves applied for remote control in various systems | |
Bilgin et al. | Robotic hand controlling based on flexible sensor | |
Ding et al. | The development of a real-time wearable motion replication platform with spatial sensing and tactile feedback | |
Borghetti et al. | Validation of a modular and wearable system for tracking fingers movements | |
Sauer et al. | RSQ Motion-a prototype of the motion analysis system in the joints | |
JP7462610B2 (ja) | 身体の少なくとも二つの部分のトポグラフィを推定する方法およびシステム | |
Causo et al. | Directional vs non-directional modes of vibrotactile feedback for arm posture replication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201019 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201019 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6822715 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |