JP6822715B1 - 身体負荷推定装置及び身体負荷推定方法 - Google Patents

身体負荷推定装置及び身体負荷推定方法 Download PDF

Info

Publication number
JP6822715B1
JP6822715B1 JP2020175694A JP2020175694A JP6822715B1 JP 6822715 B1 JP6822715 B1 JP 6822715B1 JP 2020175694 A JP2020175694 A JP 2020175694A JP 2020175694 A JP2020175694 A JP 2020175694A JP 6822715 B1 JP6822715 B1 JP 6822715B1
Authority
JP
Japan
Prior art keywords
load
information
sensor
subject
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020175694A
Other languages
English (en)
Other versions
JP2022067015A (ja
Inventor
吉田 裕亮
裕亮 吉田
高志 亀▲崎▼
高志 亀▲崎▼
大 木下
大 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tottori Institute of Industrial Technology
Original Assignee
Tottori Institute of Industrial Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tottori Institute of Industrial Technology filed Critical Tottori Institute of Industrial Technology
Priority to JP2020175694A priority Critical patent/JP6822715B1/ja
Application granted granted Critical
Publication of JP6822715B1 publication Critical patent/JP6822715B1/ja
Publication of JP2022067015A publication Critical patent/JP2022067015A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Invalid Beds And Related Equipment (AREA)

Abstract

【課題】手に圧力がかかる動作の際に身体の所定部位にかかる負荷を推定する技術を提供する。【解決手段】身体負荷推定装置は、複数の教師データに基づいて機械学習されている学習済みモデルを格納するモデル格納手段と、対象者の手の平側で測定された荷重情報及びその対象者の身体の一以上の部位で測定された姿勢情報を測定タイミングで関連付け可能な状態で取得する取得手段と、当該取得された荷重情報及び姿勢情報をその学習済みモデルに適用して、その荷重情報及びその姿勢情報が示す荷重及び姿勢に対応して対象者の当該所定部位にかかる負荷を推定する推定手段と、を備える。【選択図】図4

Description

本発明は、手に圧力がかかる動作の際に身体にかかる負荷を推定する技術に関する。
近年の働き方改革の動きから工場やオフィス等の職場において自動化・ロボット化が進み、人の作業負担が大きく軽減されつつある。一方で、農林水産業や医療・介護、土木建築業等のように、自動化が難しく、どうしても人手に頼らなければならない業務がある。このような業務の従事者は、荷物を持ち上げたり、高齢者を抱えたり、中腰姿勢を維持したりといった身体への負担が大きい作業により腰痛等を発症してしまうことも多い。
下記特許文献1には、使用者の手にかかる荷重とその使用者の姿勢との関係を予め格納しておき、その使用者に関して検出された姿勢とその予め格納されている上記関係とに基づいて、その使用者の手に許容される荷重を推定する負荷検出装置が開示されている。この装置によれば、特定の人を対象にして姿勢ごとに許容される手の荷重を推定することができるため、検出された姿勢に応じて腰に過度の負担がかからないようにすることができる。
なお、下記特許文献2にはハンドセンサ装置が開示されており、その詳細は後述する。
特開2019−154817号公報 特開2019−203804号公報
上述したとおり、特許文献1の装置によれば、使用者は、自身の腰に過度の負担がかからない範囲で手の荷重を抑制するように注意することができる。しかしながら、検出された姿勢に応じて許容される手の荷重が推定されるに過ぎないため、実際にその使用者の身体にかかっている負荷が把握できるわけではない。
本発明は、このような事情に鑑みてなされたものであり、手に圧力がかかる動作の際に身体の所定部位にかかる負荷を推定する技術を提供する。
本発明の一側面によれば、手に圧力がかかる動作の際に身体の所定部位にかかる負荷の正解情報と、その動作の際における手の平側の荷重情報及び身体の一以上の部位の姿勢情報とが関連付けられた複数の教師データに基づいて機械学習されている学習済みモデルを格納するモデル格納手段と、対象者の手の平側で測定された荷重情報及びその対象者の身体の一以上の部位で測定された姿勢情報を測定タイミングで関連付け可能な状態で取得する取得手段と、当該取得された荷重情報及び姿勢情報をその学習済みモデルに適用して、その荷重情報及びその姿勢情報が示す荷重及び姿勢に対応して対象者の当該所定部位にかかる負荷を推定する推定手段と、を備える身体負荷推定装置が提供される。
また、本発明の他の側面によれば、上述の学習済みモデルを格納するメモリと、そのメモリにアクセス可能なプロセッサとを備える装置により実行される身体負荷推定方法であって、対象者の手の平側で測定された荷重情報及びその対象者の身体の一以上の部位で測定された姿勢情報を測定タイミングで関連付け可能な状態で取得し、その取得された荷重情報及び姿勢情報を当該学習済みモデルに適用して、その荷重情報及びその姿勢情報が示す荷重及び姿勢に対応してその対象者の当該所定部位にかかる負荷を推定することを含む身体負荷推定方法が提供される。
また、本発明の他の側面によれば、上述の身体負荷推定方法を上述のコンピュータに実行させるためのコンピュータプログラムが提供されてもよいし、そのコンピュータプログラムを記憶する記憶媒体が提供されてもよい。
本発明によれば、手に圧力がかかる動作の際に身体の所定部位にかかる負荷を推定する技術を提供することができる。
第一実施形態に係る身体負荷推定装置の全体構成を示す模式図である。 グローブ部の外観を示す図である。 第一実施形態に係る身体負荷推定装置のハードウェア構成を示す模式図である。 メイン処理ユニットのソフトウェア構成を示す模式図である。 負荷推定AIモデルのニューラルネットワーク構造を示す模式図である。 第一実施形態に係る身体負荷推定装置の動作例を示すシーケンスチャートである。 第二実施形態に係る動作アシスト装置の構成を示す模式図である。 第一実施形態に係る身体負荷推定装置において推定された負荷値と筋電位センサにより測定された筋負荷値とを比較するグラフである。
以下、本発明の実施形態について図面を用いて説明する。以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の実施形態の構成に限定されない。
[第一実施形態]
第一実施形態に係る身体負荷推定装置(以降、装置と略称する場合もある)1は、手に圧力がかかる動作を行っている対象者の手の平側の荷重情報及びその対象者の身体の一以上の部位の姿勢情報を測定し、その測定された荷重情報及び姿勢情報に基づいて、その荷重情報及び姿勢情報が示す荷重及び姿勢に対応してその対象者の所定部位にかかる負荷を推定する。
対象者は、装置1を利用する任意のユーザである。また、手に圧力がかかる動作の具体的動作内容についても何ら制限されない。例えば、荷物を持ち上げたり、高齢者を抱えたり、膝に手をついて立ち上がったり、手を使ったマッサージであったり等、手に圧力がかかる動作には様々な動作がある。以降、負荷推定の対象となる手に圧力がかかる動作を対象動作と表記する場合がある。
このように、第一実施形態によれば、手に圧力がかかる動作を行っている際の対象者の手の平側の荷重及び身体の姿勢に応じて対象者の所定部位にかかる負荷をリアルタイムに推定することができる。
上述の「対象者の所定部位」は、対象動作の際に負荷がかかる対象者の身体のどこかの部位であればよく、例えば、腰部、腕部、肩部、首部、腹部等が当該「対象者の所定部位」とされ得る。第一実施形態では、対象者の腰部にかかる負荷が推定される。
また、「対象者の身体の一以上の部位の姿勢情報」とは、対象者の身体の一以上の部位の位置若しくは向き(傾き)のいずれか一方を示し得る情報であればよいが、位置及び向きの両方を示し得る情報であることが好ましい。
更に言えば、「対象者の身体の一以上の部位の姿勢情報」は、対象者の手又は腕の一以上の第一部位の位置及び向きを示し得る情報及び対象者の胴体、頭又は首の一以上の第二部位の位置及び向きを示し得る情報を含むことがより好ましい。
対象動作で力点に近い手又は腕の部位(第一部位)と、身体の中軸となる胴体、頭又は首の部位(第二部位)との各姿勢情報を用いることで、当該対象動作を行う際の対象者の姿勢を細かく区別することができる。例えば、同じような起き上がり動作であっても、膝を曲げて腰を落とした姿勢から起き上がる動作と、膝を伸ばして腰を曲げた姿勢から起き上がる動作とを区別することができる。そして、これら動作では身体にかかる負荷が異なることから、結果として、身体にかかる負荷の推定精度を向上させることができる。
詳細は後述するが、第一実施形態では、対象者の手の背側の位置及び向きを示し得る情報及び対象者の腰部の位置及び向きを示し得る情報が当該姿勢情報として取得され、対象者の腰部にかかる負荷の推定に用いられる。
ここで「位置及び向きを示し得る情報」とは、位置及び向きを直接的に示す情報のみならず、積分等のような何らかの計算を施すことで位置及び向きを最終的に示すことになる情報をも包含する意味で用いる。
また、「測定された荷重情報」或いは「測定された姿勢情報」とは、センサ信号から直接的に得られる情報(第一実施形態における加速度値、地磁気値、角速度値等)のみならず、センサ信号から直接的に得られる情報に対して何らかの計算を施すことで得られる情報(第一実施形態におけるクォータニオン等)をも包含する意味で用いる。
以下、第一実施形態に係る装置1についてより具体的に説明する。
図1は、第一実施形態に係る身体負荷推定装置1の全体構成を示す模式図であり、図2は、グローブ部21の外観を示す図であり、図3は、第一実施形態に係る身体負荷推定装置1のハードウェア構成を示す模式図である。
図1に示されるように、装置1は、大きく分けると、ハンドセンサ部2及び本体部3から構成されている。
〔ハンドセンサ部〕
ハンドセンサ部2は、対象者の手に着脱自在に装着可能なグローブ部21及びグローブ部21の背側(甲の部分)に設けられたセンサ処理基板22を有している。センサ処理基板22は、外側に露出しないようにグローブ部21の内側に内設されていてもよいし、袋体に収容された状態でグローブ部21の甲側に固設されていてもよい。
図1には、2つのハンドセンサ部2が対象者の両手に装着されている例が示されているが、1つのハンドセンサ部2が対象者の片手に装着されてもよい。
グローブ部21は、図2に示されるように、5本指、手の平及び手首を覆う一般的な手袋形状を有している。但し、グローブ部21の形状は、図2に示される例に限定されない。例えば、グローブ部21の形状は、5本指、手の平及び手首の全てを覆う形状でなくてもよく、例えば、手の甲側が開放されていてもよい。
また、グローブ部21は、人の手に着脱容易に形成されていればよく、その材質は、綿、ポリエステル、合成樹脂等、何ら制限されない。
グローブ部21の手の平側には、手にかかる荷重(圧力)を検出可能な第一感圧センサ23及び第二感圧センサ24が設けられている。本実施形態において、第一感圧センサ23は、グローブ部21の全ての手指の腹部に設けられており、第二感圧センサ24は、グローブ部21の平側の指尖球部に設けられている。
第一感圧センサ23及び第二感圧センサ24は、加圧により電気特性が変化するのであれば、その具体的な原理や構造は限定されない。加圧により変化する電気特性は、例えば、電気抵抗値や静電容量などである。例えば、第一感圧センサ23及び第二感圧センサ24は、伸縮性又は柔軟性を有する薄膜状の感圧導電性エラストマセンサで実現される。但し、第一感圧センサ23及び第二感圧センサ24は、薄膜状に形成されていなくてもよいし、柔軟性を有していなくてもよい。
また、第一感圧センサ23及び第二感圧センサ24のグローブ部21への取り付け形態は、何ら制限されない。第一感圧センサ23及び第二感圧センサ24は、グローブ部21の外側(露出側)に接着されていてもよいし、グローブ部21の手の平側の内側(手を入れた状態で手の平側が当接する裏側)に接着されていてもよい。また、第一感圧センサ23及び第二感圧センサ24は、グローブ部21の素材に重ね合わされるのではなく、グローブ部21の素材に編み込まれてもよい。
本実施形態によれば、対象動作の際に手の平側にかかる荷重として手の指の腹部にかかる荷重と手の平(指尖球)にかかる荷重とをそれぞれ用いることで、対象動作における手の平側への荷重の細かなかかり方までも推定材料として用いることができるため、いずれか一方の荷重のみを用いる場合と比べて、負荷の推定精度を高めることができる。
グローブ部21の背側には、第一感圧センサ23及び第二感圧センサ24の各々の2つの端子に接続される2本の配線部25が配設されている。
本実施形態では、図2(b)に示されるように、これら配線部25は、伸縮性又は柔軟性を有する薄膜状導電体で形成されており、グローブ部21の背側に接着されている。そして、これら配線部25は、センサ処理基板22に接続されている。
但し、配線部25は、断線を抑えつつ、第一感圧センサ23及び第二感圧センサ24の電気特性の変化をセンサ処理基板22に伝えることができるのであれば、その素材や形状は何ら制限されない。
また、グローブ部21における感圧センサの配置は、図2に示される例に限定されない。
例えば、第一感圧センサ23は、5本の手指の全てではなく、一部の手指にのみ設けられていてもよく、一以上の手指に設けられればよい。第二感圧センサ24についても、グローブ部21の指尖球部ではなく、グローブ部21の母指球部又は小指球部に設けられてもよく、グローブ部21の手の平部の一部又は全部に設けられればよい。
また、感圧センサは、第一感圧センサ23又は第二感圧センサ24のいずれか一方のみでもよい。また、第一感圧センサ23及び第二感圧センサ24に加えて更なる感圧センサが設けられてもよい。例えば、母指球部若しくは小指球部の一方又は両方に感圧センサが更に設けられてもよい。感圧センサは、グローブ部21の平側における手を握った状態で屈曲の少ない部位に設けられることが好ましい。
このように感圧センサの配置は様々考えられるが、身体の負荷を推定する上で適正な荷重情報を得ることができると共に、ハンドセンサ部2の製造コストや破損等を考慮して、適切な配置に決定されることが好ましい。図2に例示される本実施形態における感圧センサの配置は、このような観点からも望ましい配置であるといえる。
センサ処理基板22は、上述したとおりグローブ部21の背側に設けられており、センサ処理ユニット26及びハンド慣性センサ27を有している。
ハンド慣性センサ27は、対象者の手の背側の位置及び向きを示し得る情報を検出するセンサである。本実施形態におけるハンド慣性センサ27は、9軸慣性センサ(3軸加速度センサ、3軸地磁気センサ、3軸ジャイロセンサ)であり、3軸方向の加速度、3軸方向の地磁気、及び3軸周りの角速度を測定する。加速度を2階積分することで変位を得ることができ、角速度を1階積分すること角度を得ることができるため、ハンド慣性センサ27で測定される情報は、対象者の手の背側の位置及び向きを示し得る情報と表記できる。詳細は後述するが、本実施形態では、ハンド慣性センサ27により測定されたこれらセンサ値から3軸方向の加速度値及び4成分からなるクォータニオンが用いられる。
但し、ハンド慣性センサ27は、対象者の手の背側の位置及び向きを示し得る情報を測定することができるのであれば、その具体的な原理や構造は限定されない。ハンド慣性センサ27は、9軸慣性センサでなくてもよく、3軸加速度センサ及び3軸ジャイロセンサからなる6軸慣性センサであってもよいし、画像センサを含む他のセンサであってもよい。ハンド慣性センサ27が画像センサを含む場合には、検出された画像に対して一般的な画像認識処理を適用することで対象者の手の背側の位置及び向きを検出することもできる。
また、ハンド慣性センサ27の配置は、対象者の手の背側に限定されず、グローブ部21の手首部に設けられてもよい。このとき、ハンド慣性センサ27は、グローブ部21の手首部の背側に設けられてもよいし、手の平側に設けられてもよい。
本実施形態によれば、荷重情報を取得可能なセンサ(第一感圧センサ23及び第二感圧センサ24)と姿勢情報を取得可能なハンド慣性センサ27とをグローブ部21に設けることで、対象者はグローブ部21を装着するだけでよいため、手の荷重情報及び手の姿勢情報を容易に入手することができる。
センサ処理ユニット26は、CPU(Central Processing Unit)261、メモリ262、入出力インタフェース(I/F)263、無線通信ユニット264等を有している。センサ処理ユニット26は、シングルチップのIC(Integrated Circuit)で実現されてもよいし、複数のICチップで実現されてもよい。
図3に図示されるセンサ処理ユニット26の構成はあくまで例示であり、センサ処理ユニット26は、増幅器やAD変換器等のように図示されていない構成を含んでもよい。また、図示される各構成の数も図3の例に限定されない。
CPU261はいわゆるプロセッサであり、メモリ262は、RAM(Random Access Memory)、ROM(Read Only Memory)等である。メモリ262には、ハンドセンサ部2の各種機能を実現する制御プログラムが格納される。
入出力I/F263は、外部に接続された部品から信号を入力し、外部に接続された部品へ信号を出力するインタフェースである。第一感圧センサ23、第二感圧センサ24、及びハンド慣性センサ27は入出力I/F263に接続されており、それらセンサからの信号は入出力I/F263に入力される。
無線通信ユニット264は、本体部3を含む他の機器と無線通信を行う。無線通信の方式は何ら制限されない。例えば、無線通信ユニット264は、Bluetooth(登録商標)、BLE(Bluetooth(登録商標) Low Energy)、ZigBee、WiFi等のような通信方式により他の機器と無線通信を行う。
センサ処理ユニット26は、CPU261によりメモリ262(ROM)に格納されている制御プログラムを実行させることで、次のような処理を行う。
センサ処理ユニット26は、入出力I/F263を介して第一感圧センサ23及び第二感圧センサ24からのセンサ信号を取得する。取得されるセンサ信号は、第一感圧センサ23及び第二感圧センサ24の各々からの電気特性を示すアナログ信号が所定周期(例えば、1ms)でサンプリングされてAD変換されたデジタル信号(電気特性値)である。
センサ処理ユニット26は、その取得された電気特性値を示すセンサ信号に基づいて、対象者の手の平側の荷重値を算出する。本実施形態では、第一感圧センサ23はグローブ部21の5本の手指の腹部に設けられているため、第一感圧センサ23からのセンサ信号に基づいて対象者の5本の手指の腹部に掛かる5つの荷重値が算出される。また、第二感圧センサ24はグローブ部21の平側の指尖球部に設けられているため、第二感圧センサ24からのセンサ信号に基づいて対象者の手の指尖球部に掛かる1つの荷重値が算出される。
センサ処理ユニット26は、第一感圧センサ23及び第二感圧センサ24に関する電気特性値から荷重値に変換する電気特性−荷重変換式又は変換テーブルを予め保持しておき、この式又は変換テーブルを用いて、電気特性値を荷重値に変換することができる。
ここで、上記特許文献2に開示されているとおり、人の手の平の硬度は部位によって異なっており、感圧部の感度がその部位の硬度に影響を受けることが見出されている。このため、センサ処理ユニット26は、第一感圧センサ23及び第二感圧センサ24の各々が配置される手の部位の硬度をパラメータとして含む電気特性補正式を更に保持しておき、各感圧センサの電気特性値をその感圧センサが配置された手の部位の硬度が設定された電気特性補正式で補正した後に、上述のように荷重値への変換を行うようにしてもよい。
本実施形態では、2つのハンドセンサ部2が対象者の両手に装着されるため、センサ処理ユニット26は、対象者の右手の5本の手指の腹部で測定された5つの荷重値、同右手の指尖球部で測定された1つの荷重値、対象者の左手の5本の手指の腹部で測定された5つの荷重値、及び同左手の指尖球部で測定された1つの荷重の合計12個の荷重値を算出する。
更に、センサ処理ユニット26は、入出力I/F263を介してハンド慣性センサ27から入力されるセンサ信号を所定周期でサンプリングし、3軸方向の加速度値、3軸方向の地磁気値、及び3軸周りの角速度値を取得する。即ち、センサ処理ユニット26は、対象者の右手及び左手の各々で測定された、3軸方向の加速度値、3軸方向の地磁気値、及び3軸周りの角速度値の2つの組合せを取得する。
このとき、センサ処理ユニット26は、サンプリング周期を合わせる等して、第一感圧センサ23及び第二感圧センサ24からのセンサ信号に基づく荷重値の取得タイミングと合わせて、当該加速度値、当該地磁気値、及び当該角速度値を取得する。これにより、略同じ測定タイミングで測定された荷重値、加速度値、地磁気値及び角速度値を同期を取って取得することができる。
ハンド慣性センサ27からのセンサ信号直接的に得られる加速度値、地磁気値及び角速度値は、手の背側の位置及び向きを示すため、手の背側の姿勢情報として用いることができる。但し、本実施形態では、センサ処理ユニット26は、取得された3軸方向の加速度値、3軸方向の地磁気値、及び3軸周りの角速度値からクォータニオンを算出し、このクォータニオンを手の背側の姿勢情報の一つとして用いる。
クォータニオンは、回転軸(ベクトル)と回転角(スカラー)との4成分で3次元空間の回転姿勢を表現する。クォータニオンの計算方法としては様々な方法が存在しているため、どのような方法が用いられてもよい。例えば、角速度値のみから数値積分等によりクォータニオンが算出されてもよい。この手法では、角速度の誤差等が累積されてしまうため、加速度を用いた補正を行う手法、即ち角速度及び加速度からクォータニオンが算出されてもよい。但し、地磁気を用いた更なる補正が適用可能であるため、本実施形態のように、角速度、加速度及び地磁気を用いてクォータニオンが算出されることが好ましい。
ここで、加速度値、地磁気値及び角速度値は、上述したとおり、略同じ測定タイミングで測定された荷重値と同期を取って取得されるため、加速度値、地磁気値及び角速度値から算出されるクォータニオンも当該荷重値と測定タイミングで同期を取って取得されるといえる。
本実施形態では、クォータニオンは、ハンド慣性センサ27からのセンサ信号に基づいてセンサ処理ユニット26により算出されるが、ハンド慣性センサ27によりクォータニオンが算出され、センサ処理ユニット26に送られてもよい。
また、本実施形態では、ハンド慣性センサ27からのセンサ信号に基づく対象者の手の背側(第一部位)の向きを示し得る姿勢情報としてクォータニオンが用いられたが、クォータニオンに加えて又はクォータニオンと替えてZ−Y−Xオイラー角が用いられてもよいし、他の表現手法が用いられてもよい。
センサ処理ユニット26は、上述のように同期を取って取得された荷重情報及び姿勢情報を無線通信ユニット264に本体部3へ無線送信させる。本実施形態では、荷重情報として、対象者の右手の平側で測定された6つの荷重値及び対象者の左手の平側で測定された6つの荷重値が本体部3へ送信される。また、対象者の手の背側(第一部位)の向きを示し得る姿勢情報として、対象者の右手及び左手の各々で測定された角速度、加速度及び地磁気から算出された2つのクォータニオンが本体部3へ送信され、対象者の手の背側(第一部位)の位置を示し得る姿勢情報として、対象者の右手及び左手の各々で測定された2組の3軸方向の加速度値が本体部3へ送信される。
本実施形態では、向きを示し得る姿勢情報としてクォータニオンが送信されたが、クォータニオンに替えて若しくは加えて、3軸周りの角速度値及び3軸方向の地磁気値の少なくとも一方が送信されてもよい。もちろん、Z−Y−Xオイラー角のような他の情報が向きを示し得る姿勢情報として送信されてもよい。また、本実施形態では、位置を示し得る姿勢情報として3軸方向の加速度値が送信されたが、他の情報が送信されてもよい。
以降、3軸方向の加速度値は加速度ベクトル(3軸成分)と表記する場合があり、3軸周りの角速度値は角速度ベクトル(3軸成分)と表記する場合があり、3軸方向の地磁気値は地磁気ベクトル(3軸方向)と表記する場合がある。
〔本体部〕
本体部3は、図3に示されるように、メイン処理ユニット30、腰部慣性センサ37等を有している。
本実施形態では、腰部慣性センサ37による姿勢情報の測定部位が対象者の腰部と予め決められているため、本体部3は、対象者の腰部(背側)にベルト等を用いて装着される。但し、腰部慣性センサ37の出力により対象者の腰部の姿勢情報を取得することができるのであれば、本体部3の対象者への装着手法は、このような例に限定されない。
また、腰部慣性センサ37による測定部位は、対象者の胴体、頭又は首の一以上の第二部位であればよく、腰部慣性センサ37が予め決められたそのような測定部位に配置されればよい。このため、例えば、本体部3は、携帯端末として実現されてもよい。この場合には、対象者のズボンや上着のポケット等に収容された状態で利用されてもよい。
更に言えば、本体部3と腰部慣性センサ37とが別体で形成されていてもよい。この場合には、腰部慣性センサ37のみが予め決められた測定部位に配置されて、本体部3は、PC(Personal Computer)等のような据置き型の装置、スマートフォン等のような携帯端末等として実現されてもよい。
腰部慣性センサ37は、対象者の腰部(背側)の位置及び向きを示し得る情報を検出するセンサであり、本実施形態では、ハンド慣性センサ27と同様の9軸慣性センサである。つまり、本実施形態におけるハンド慣性センサ27は、対象者の腰部における3軸方向の加速度、3軸方向の地磁気、及び3軸周りの角速度を測定する。このため、腰部慣性センサ37で測定される情報は、対象者の腰部(背側)の位置及び向きを示し得る情報と表記できる。
腰部慣性センサ37についても、ハンド慣性センサ27と同様に、その具体的な原理や構造は限定されない。腰部慣性センサ37は、ハンド慣性センサ27と同じセンサでなくてもよく、3軸加速度センサ及び3軸ジャイロセンサからなる6軸慣性センサであってもよいし、画像センサを含む他のセンサであってもよい。
メイン処理ユニット30は、CPU301、メモリ302、入出力I/F303、無線通信ユニット304等を有している。メイン処理ユニット30は、シングルチップのICで実現されてもよいし、複数のICチップで実現されてもよい。
図3に図示されるメイン処理ユニット30の構成はあくまで例示であり、メイン処理ユニット30は、図示されていない構成を含んでもよい。また、図示される各構成の数も図3の例に限定されない。
CPU301はいわゆるプロセッサであり、一般的な一以上のCPU又はMPU(Micro Processing Unit)であってもよいし、それに替え又はそれと共に、特定用途向け集積回路(ASIC)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等であってもよい。
メモリ302は、RAM(Random Access Memory)、ROM(Read Only Memory)等である。メモリ302には、本体部3の各種機能を実現する制御プログラムが格納される。制御プログラムには、学習済みモデルも含まれる。
ここで「学習済みモデル」とは、回帰分析で得られる回帰式であってもよいし、ディープラーニング(深層学習)等で得られるニューラルネットワークモデルであってもよく、そのモデルのデータ構造や学習アルゴリズム等は限定されない。例えば、学習済みモデルは、コンピュータプログラムとパラメータとの組合せ、複数の関数とパラメータとの組合せなどにより実現される。学習済みモデルは、ニューラルネットワークで構築される場合で、かつ、入力層、中間層及び出力層を一つのニューラルネットワークの単位と捉えた場合に、一つのニューラルネットワークを指してもよいし、複数のニューラルネットワークの組合せを指してもよい。また、学習済みモデルは、複数の重回帰式の組合せで構成されてもよいし、一つの重回帰式で構成されてもよい。
本実施形態で利用される学習済みモデルは、教師有り機械学習のAI(Artificial Intelligence)モデルであり、以降、AIモデル330と表記される。
入出力I/F303は、外部に接続された部品から信号を入力し、外部に接続された部品へ信号を出力するインタフェースである。腰部慣性センサ37は入出力I/F303に接続されており、腰部慣性センサ37からの信号は入出力I/F303に入力される。
無線通信ユニット304は、ハンドセンサ部2のセンサ処理基板22を含む他の機器と無線通信を行う。無線通信の方式は何ら制限されない。例えば、無線通信ユニット304は、Bluetooth(登録商標)、BLE(Bluetooth(登録商標) Low Energy)、ZigBee、WiFi等のような通信方式により他の機器と無線通信を行う。
図4は、メイン処理ユニット30のソフトウェア構成を示す模式図である。
メイン処理ユニット30は、CPU301によりメモリ302(ROM)に格納されている制御プログラムを実行させることで、図4に示されるようなソフトウェア構成を実現する。具体的には、メイン処理ユニット30は、ソフトウェア構成として、情報取得モジュール310、AI処理モジュール320、負荷推定AIモデル(以降、AIモデルと略称する場合もある)330等を有している。情報取得モジュール310は取得手段と表記することができ、AI処理モジュール320は推定手段と表記することができる。
但し、図4に示される各ソフトウェア構成要素は、説明の便宜のために概念的にそれぞれ分けて示したものであるため、メイン処理ユニット30で実現されるソフトウェア構成は、図4に示されるような各構成要素に明確に区分けされていなくてもよい。
メイン処理ユニット30は、上述のソフトウェア構成により、ハンドセンサ部2のセンサ処理基板22(センサ処理ユニット26)から送信される荷重情報及び姿勢情報を取得し、その取得された荷重情報及び姿勢情報をAIモデル330に適用して、その荷重情報及びその姿勢情報が示す荷重及び姿勢に対応して対象者の腰部にかかる負荷を推定する。
メイン処理ユニット30がこのような処理を実行するにあたり、AIモデル330はメモリ302に既に格納されている。AIモデル330は、教師有りの機械学習アルゴリズムで学習済みのAIモデルである。
AIモデル330は、対象者の手の平側で測定された荷重情報及びその対象者の身体の一以上の部位で測定された姿勢情報を入力して、対象者の所定部位にかかる負荷を推定するAIモデルである。AIモデル330は、対象動作の際に身体の所定部位にかかる負荷の正解情報と、その動作の際における手の平側の荷重情報及び身体の姿勢情報とが関連付けられた複数の教師データに基づいて機械学習されている。
ここで「教師データ」とは、訓練データ、学習データ等とも呼ばれ、入力(例題)と正解(答え)とのデータセットを意味する。本実施形態で利用される教師データでは、手の平側の荷重情報及び身体の一以上の部位の姿勢情報が入力情報であり、所定部位にかかる負荷が正解情報とされている。
本実施形態では、対象動作の際に対象者の両手の平側で測定された12個の荷重値が荷重情報として準備され、その対象動作の際に対象者の両手の背側(第一部位)で測定されたセンサ値に対応する2つのクォータニオン(4成分)及び2つの加速度ベクトル(3軸成分)、並びにその対象動作の際に対象者の腰部(背側)で測定されたセンサ値に対応する1つのクォータニオン(4成分)及び1つの加速度ベクトル(3軸成分)が姿勢情報として準備される。
更に、その対象動作の際に、その対象者の腰部で筋負荷値を測定しておき、測定された筋負荷値が正解情報として準備される。本実施形態では、筋負荷値は、市販の筋電位センサを対象者の腰部の筋肉(例えば腸腰筋)に付けることで、筋電位として測定することができる。
このように準備された手の平側の荷重情報及び身体の姿勢情報と、筋負荷値の正解情報とが関連付けられて、教師データとされる。そして、このような教師データが、当該対象動作の中の複数のタイミングで測定された情報からそれぞれ生成されることで、複数の教師データが生成できる。
本実施形態におけるAIモデル330は、このように生成された複数の教師データを用いて所定の機械学習アルゴリズムにより学習される。上述したとおり、AIモデル330の学習に用いられる機械学習アルゴリズムは何ら限定されない。
このように負荷の正解情報として筋電位センサ等で測定された筋負荷値(筋電位)を用いた教師データでAIモデル330を機械学習することで、対象者の所定部位(本実施形態では腰部)にかかる負荷を高精度に推定することができる。
本実施形態におけるAIモデル330は、対象者の両手の平側で測定された12個の荷重値が当該荷重情報として入力され、対象者の両手の背側(第一部位)で測定されたセンサ値に対応する2つのクォータニオン(4成分)及び2つの加速度ベクトル(3軸成分)、並びに対象者の腰部(背側)で測定されたセンサ値に対応する1つのクォータニオン(4成分)及び1つの加速度ベクトル(3軸成分)が姿勢情報として入力されることで、対象者の腰部にかかる負荷値(筋電位の推定値)を推定(出力)する。
図5は、負荷推定AIモデル330のニューラルネットワーク構造を示す模式図である。
本実施形態では、AIモデル330は、図5に示されるように、ニューラルネットワークと呼ばれるモデルで実現されている。ニューラルネットワークでは、入力層、中間層(隠れ層)及び出力層の各層において複数のノード(ニューロンとも呼ばれる)がエッジで連結されている構造を持ち、各ノードの値がそのノードに接続される他のノードの値及びエッジの重み(パラ―メータ)から活性化関数で算出される。
例えば、AIモデル330は、入力データを対応するセンサごとに全結合させた第一層(入力層)のニューロン群を設け、そのニューロン群を順次全結合させた複数の中間層のニューロン群を設け、第n層(出力層)の一つのニューロンに全結合させた構造とすることができる。これにより、出力層のニューロンの出力値が負荷値(筋電位の推定値)となる。例えば、第一層のニューロン群は次のように形成することができる。
・左手の第一感圧センサ23及び第二感圧センサ24のセンサ値から得られる6つの荷重値が全結合された所定数(例えば5個)のニューロン群
・右手の第一感圧センサ23及び第二感圧センサ24のセンサ値から得られる6つの荷重値が全結合された所定数(例えば5個)のニューロン群
・左手のハンド慣性センサ27により測定された3つの加速度値(3軸の各方向の加速度値)が全結合された所定数(例えば5個)のニューロン群
・左手のハンド慣性センサ27のセンサ値から得られるクォータニオンの4つの成分値が全結合された所定数(例えば5個)のニューロン群
・右手のハンド慣性センサ27により測定された3つの加速度値(3軸の各方向の加速度値)が全結合された所定数(例えば5個)のニューロン群
・右手のハンド慣性センサ27のセンサ値から得られるクォータニオンの4つの成分値が全結合された所定数(例えば5個)のニューロン群
・腰部の腰部慣性センサ37により測定された3つの加速度値(3軸の各方向の加速度値)が全結合された所定数(例えば5個)のニューロン群
・腰部の腰部慣性センサ37のセンサ値から得られるクォータニオンの4つの成分値が全結合された所定数(例えば5個)のニューロン群
但し、AIモデル330ニューラルネットワーク構造はこのような例に限定されない。AIモデル330のニューラルネットワークを構成する層数やニューロン数等は適宜決めることができる。
情報取得モジュール310は、センサ処理基板22のセンサ処理ユニット26から無線送信された対象者の手の平側の荷重情報及び対象者の手の背側の姿勢情報を無線通信ユニット304を介して取得する。具体的には、通信処理モジュール310は、対象者の右手及び左手それぞれの平側で測定された12個の荷重値を荷重情報として取得し、対象者の右手及び左手それぞれにおいてハンド慣性センサ27により測定されたセンサ値に基づく2つのクォータニオン(4成分)及び2つの加速度ベクトル(3軸成分)を対象者の手の背側(第一部位)の姿勢情報として取得する。
上述したとおり、センサ処理ユニット26では、その荷重情報及び姿勢情報は測定タイミングで同期を取って取得され無線送信されるため、通信処理モジュール310は、当該荷重情報及び姿勢情報を測定タイミングで関連付け可能な状態で取得するということができる。例えば、センサ処理ユニット26が、測定タイミングで同期を取って取得された荷重情報及び姿勢情報を無線パケットの同一PDU(Protocol Data Unit)で送信する、或いはタイムスタンプを付して無線送信する等により、通信処理モジュール310は、それら荷重情報及び姿勢情報を関連付け可能な状態で取得することができる。
更に、情報取得モジュール310は、腰部慣性センサ37からのセンサ信号が入出力I/F303へ入力されることで、対象者の腰部における3軸方向の加速度値、3軸方向の地磁気値、及び3軸周りの角速度値を取得することができる。
情報取得モジュール310は、取得された3軸方向の加速度値、3軸方向の地磁気値、及び3軸周りの角速度値からクォータニオンを算出する。情報取得モジュール310によるクォータニオンの算出手法については、様々な手法の中から任意に選択されればよく、センサ処理ユニット26に関して述べたとおりである。
本実施形態において情報取得モジュール310は、腰部慣性センサ37から取得された3軸方向の加速度値を対象者の腰部の位置を示す姿勢情報とし、算出されたクォータニオン(4成分)を対象者の腰部の向きを示す姿勢情報とする。
このように取得された対象者の腰部の姿勢情報についても、上述した対象者の手の平側の荷重情報及び対象者の手の背側の姿勢情報と測定タイミングで関連付け可能な状態で取得する必要がある。例えば、情報取得モジュール310は、センサ処理ユニット26からの受信タイミングと腰部慣性センサ37からの取得タイミングとが合う、荷重情報、対象者の手の姿勢情報及び対象者の腰部の姿勢情報を同測定タイミングで同期を取って取得された情報として相互に関連付けることができる。また、センサ処理ユニット26からの姿勢情報及び荷重情報にタイムスタンプが付されている場合には、情報取得モジュール310は、腰部慣性センサ37からの取得タイミングで当該腰部の姿勢情報にタイムスタンプを付して、各情報のタイムスタンプの比較により、相互に関連付けることもできる。
このように通信処理モジュール310が姿勢情報及び荷重情報を測定タイミングで関連付け可能な状態で取得する具体的手法については何ら限定されない。
AI処理モジュール320は、上述のように情報取得モジュール310により測定タイミングで関連付け可能に取得された荷重情報並びに手及び腰部の姿勢情報をAIモデル330に適用することで、それら荷重情報及び姿勢情報が示す荷重及び姿勢に対応して対象者の腰部にかかる負荷を推定する。具体的には、AI処理モジュール320は、対象者の両手の平側で測定された12個の荷重値を荷重情報として、対象者の両手の背側で測定されたセンサ値に対応する2つのクォータニオン(4成分)及び2つの加速度ベクトル(3軸成分)、並びに対象者の腰部(背側)で測定されたセンサ値に対応する1つのクォータニオン(4成分)及び1つの加速度ベクトル(3軸成分)を姿勢情報として、AIモデル330に入力する。この入力により、AI処理モジュール320は、AIモデル330から出力される対象者の腰部にかかる負荷値(筋電位の推定値)を取得する。
〔身体負荷推定方法〕
次に、装置1により実行される身体負荷推定方法について図6を用いて説明する。
図6は、第一実施形態に係る身体負荷推定装置1の動作例を示すシーケンスチャートである。
装置1は、ハンドセンサ部2のセンサ処理ユニット26の動作及び本体部3のメイン処理ユニット30の動作を通じて、図6に示される身体負荷推定方法を実行する。
本方法の各工程は、上述した装置1の各構成要素の処理内容と同様であるため、簡略化して説明する。また、図6に示される各工程の順番は例示であるため、内容に支障のない範囲で適宜入れ替え又は並行実行されてもよい。
ハンドセンサ部2は対象者の右手及び左手にそれぞれ装着されるため、右手のハンドセンサ部2及び左手のハンドセンサ部2がそれぞれ次のように動作する。なお、いずれのハンドセンサ部2も同じ動作をするため、以下には、一方のハンドセンサ部2の動作が代表して説明される。
なお、図6の動作が開始される前には、機械学習済みのAIモデル330がメモリ302に既に格納されている。
ハンドセンサ部2(センサ処理ユニット26)は、第一感圧センサ23及び第二感圧センサ24からの各センサ値(電気特性値)を変換式若しくは変換テーブルを用いて荷重値にそれぞれ変換する。このとき、ハンドセンサ部2は、各感圧センサの電気特性値をその感圧センサが配置された手の部位の硬度が設定された電気特性補正式で補正した後に、上述のように荷重値への変換を行うようにしてもよい。
これにより、ハンドセンサ部2は、片手における6つの荷重値、即ち5本の各指の腹部の荷重値及び指尖球の荷重値を取得する(S21)。
更に、ハンドセンサ部2(センサ処理ユニット26)は、ハンド慣性センサ27から入力されるセンサ信号を所定周期でサンプリングし、3軸方向の加速度値、3軸方向の地磁気値、及び3軸周りの角速度値を取得する(S22)。
続いて、ハンドセンサ部2(センサ処理ユニット26)は、工程(S22)で取得された加速度値、地磁気値及び角速度値を用いて、対象者の手の背側の姿勢を示すクォータニオンを算出する(S23)。
ハンドセンサ部2(センサ処理ユニット26)は、工程(S21)で取得された6つの荷重値、工程(S22)で取得された3軸方向の加速度値、及び工程(S23)で算出されたクォータニオンを本体部3へ無線送信する(S24)。
ハンドセンサ部2(センサ処理ユニット26)は、このような処理を周期的に実行する。
一方、本体部3(メイン処理ユニット30)は、腰部慣性センサ37から入力されるセンサ信号を所定周期でサンプリングし、3軸方向の加速度値、3軸方向の地磁気値、及び3軸周りの角速度値を取得する(S31)。例えば、このサンプリング周期は、ハンドセンサ部2の工程(S22)で利用されるサンプリング周期と同じに設定されている。
続いて、本体部3(メイン処理ユニット30)は、工程(S31)で取得された加速度値、地磁気値及び角速度値を用いて、対象者の腰部の姿勢を示すクォータニオンを算出する(S32)。
本体部3(メイン処理ユニット30)は、右手及び左手のハンドセンサ部2から送信される両手の12個の荷重値、2つの加速度ベクトル(3軸成分)及び2つのクォータニオンを受信すると共に、工程(S31)で取得された腰部の姿勢を示す3軸方向の加速度値及び工程(S32)で算出されたクォータニオンを取得する(S33)。取得された各情報は、略同様のタイミングで測定されたセンサ値に基づく情報であるため、測定タイミングで関連付け可能な状態となっている。
本体部3(メイン処理ユニット30)は、工程(S33)で取得された各情報をAIモデル330に適用する(S34)。
そして、本体部3(メイン処理ユニット30)は、AIモデル330から出力される、腰部の負荷値を取得する(S35)。
本体部3においてもこのような処理が周期的に実行される。
上述のようにして推定された負荷値については様々な利用形態がある。例えば、本体部3は、推定された負荷値を本体部3に接続されている表示装置に表示させることができる。この表示によれば、対象者は、対象動作を行いながら、自身の身体に掛かる負荷の大きさをリアルタイムに把握することができる。
また、本体部3は、推定された負荷値を予め決められた閾値と比較して、負荷値がその閾値を超えた場合に、表示や音等により警告を報知することができる。また、本体部3は、推定された負荷値を時刻情報と共に記録して、その記録された負荷値の時系列情報を何らかの形態で出力することもできる。
このように本実施形態で推定された負荷値の利用形態は何ら制限されない。
[第二実施形態]
以下、上述の第一実施形態に係る身体負荷推定装置1で推定された負荷値の一利用形態として、第二実施形態に係る動作アシスト装置5について図7を用いて説明する。
図7は、第二実施形態に係る動作アシスト装置5の構成を示す模式図である。
動作アシスト装置5は、対象者の身体に装着されて、アクチュエータの出力により対象者の動作をアシストする装置であり、装置1、アシスト機構6、制御部8等により構成される。
アシスト機構6は、対象者の身体に脱着自在に装着可能であり、アクチュエータ7の出力により対象者の動作をアシストする。アシスト機構6の構造は、何ら制限されず、装置1により負荷値が推定される身体の部位(第一実施形態では腰部)への負担を軽減することができるような構造とされればよい。アシスト機構6の構造には公知の様々な構造が利用可能である。
アシスト機構6で用いられるアクチュエータ7の種類や構造についても何ら限定されない。アクチュエータ7は、電気、空気圧、油圧などのエネルギーを機械的な動きに変換する駆動装置であればよく、モータのような電動アクチュエータであってもよいし、空気圧を利用した人工筋肉であってもよいし、それら両方であってもよい。
制御部8は、CPU9、メモリ、入出力I/F、無線通信ユニット等を有している。但し、制御部8のハードウェア構成は何ら制限されない。制御部8は、メモリに格納される制御プログラムをCPU9に実行させることで、次のような処理を行う。
制御部8は、装置1により推定された負荷値に応じてアクチュエータ7の出力を調整する。例えば、制御部8は、負荷値が大きければアシスト力が高まるように、アクチュエータ7の出力を調整し、負荷値が小さければアシスト力が低下するように、アクチュエータ7の出力を調整する。但し、制御部8によるアクチュエータ7の出力制御において、装置1により推定された負荷値の具体的な利用方法については何ら制限されない。
第一実施形態で述べたように、装置1により推定された負荷値は、対象動作における対象者の所定部位(第一実施形態では腰部)にかかる負荷を高精度に示しているため、第二実施形態によれば、対象者の所定部位にかかる負荷の大きさに応じた適切なアシスト力で、対象者の動作をアシストすることができる。結果、動作アシスト装置5の消費電力を抑え、稼働時間を長くすることができる。また、アクチュエータ7の不必要な動作も軽減することができるため、動作アシスト装置5の劣化や故障も抑制することができる。
以下に実施例を挙げ、上述の内容を更に詳細に説明する。但し、以下の実施例の内容は、上述の実施形態の内容に何ら限定を加えるものではない。以下の実施例では、上述の第一実施形態において推定される負荷値の精度が検証された。
本実施例では、被験者が、上述の装置1を装着すると共に腸腰筋に筋電位センサを取り付けた状態で、荷物の上げ下ろし動作を行い、その動作の際に装置1により推定される負荷値と筋電位センサからの出力レベルとが記録された。
荷物の上げ下ろし動作は、具体的には、テーブルに置かれた荷物を床に下ろし、床に置いたその荷物を持ち上げて再度テーブルに置く動作とされた。そして、この動作が、膝を曲げて腰を落とした姿勢を含む場合と、膝を伸ばしたまま腰を曲げて行う場合との二つの形態で行われた。以降、前者の動作形態を屈伸有り動作と表記し、後者の動作形態を屈伸無し動作と表記する。
更に、荷物についても、形状は同じだが、1kgの重さの荷物と10kgの重さの荷物とが用いられた。
図8は、第一実施形態に係る身体負荷推定装置1において推定された負荷値と筋電位センサにより測定された筋負荷値とを比較するグラフである。図8には、装置1により推定された負荷値は推定値と表記されており、筋電位センサにより測定された筋負荷値は筋電位センサ出力レベルと表記されている。
装置1により推定される負荷値は、筋電位センサにより測定された筋負荷値を正解情報とする教師データで学習されたAIモデル330から出力される値であるため、実際に測定された筋負荷値と同様の負荷レベルとなるはずである。そこで、図8のグラフの縦軸は、腰部負荷レベルとして推定値及び筋電位センサ出力レベルの大きさを示している。また、図8のグラフの横軸は時間を示している。
本実施例では、図8に示されるように、次の順番で上記動作が続けて行われた。
(動作1)1kgの荷物を用いて屈伸有り動作を二回連続で行う。
(動作2)10kgの荷物を用いて屈伸有り動作を二回連続で行う。
(動作3)1kgの荷物を用いて屈伸無し動作を二回連続で行う。
(動作4)10kgの荷物を用いて屈伸無し動作を二回連続で行う。
図8では、時間T1が(動作1)の時間を示し、時間T2が(動作2)の時間を示し、時間T3が(動作3)の時間を示し、時間T4が(動作4)の時間を示している。
本実施例によれば、図8に示されるとおり、装置1において推定された負荷値と筋電位センサにより測定された筋負荷値とが近似する結果となった。両値の相関係数は0.92を示した。
更に言えば、同じ重さの荷物の上げ下ろし動作であっても、屈伸有り動作と屈伸無し動作とでは筋負荷値(筋電位センサ出力レベル)の傾向が大きく異なっていることが分かる。具体的には、屈伸無し動作のほうが屈伸有り動作よりも腰部にかかる負荷が大きいことが示されており、実情に沿った結果を示している。
従って、本実施例により、上述の第一実施形態の手法によれば、手に圧力がかかる対象動作において身体の所定部位にかかる負荷値をその動作の姿勢に対応して高精度に推定できることが実証された。
また、上述の実施例に加えて、ハンドセンサ部2自体を用いない第一比較モデル、ハンドセンサ部2のハンド慣性センサ27を用いない第二比較モデル、及び本体部3の腰部慣性センサ37を用いない第三比較モデルの各々についても、装置1において推定された負荷値と筋電位センサにより測定された筋負荷値との比較がそれぞれ行われた。
第一比較モデルは、腰部の姿勢情報のみを用いて腰部の負荷値を推定するモデルであり、第二比較モデルは、手の平側の荷重情報及び腰部の姿勢情報を用いて腰部の負荷値を推定するモデルであり、第三比較モデルは、手の平側の荷重情報及び手の背側の姿勢情報を用いて腰部の負荷値を推定するモデルである。
結果、いずれの比較モデルも上述の実施例で算出された相関係数(0.92)よりも低い相関係数を示した。また、第二比較モデルに関しては相関係数(0.83)を示し、第一実施形態よりも精度は落ちるが、それなりの精度で負荷推定が可能なことが分かった。
一方で、手の平側の荷重情報を用いない第一比較モデルは、最大誤差が大きくなったことから、手の平側の荷重情報を用いた身体の負荷推定の有用性が立証された。
[変形例]
上述の内容は、各実施形態に係る身体負荷推定装置1及び動作アシスト装置7の一例である。身体負荷推定装置1及び動作アシスト装置7は、上述の構成のみに限定されるわけではなく、上述の少なくとも一部の構成を有していれば、部分的に適宜変形されてもよいし、他の構成を更に有していてもよい。
上述の実施形態では、対象者の身体の一以上の部位の姿勢情報として、両手の背側及び腰部の姿勢情報が利用された。しかしながら、実施例の項で述べた通り、負荷推定の精度が低下するが、両手の背側のみの姿勢情報が利用されてもよいし、腰部の姿勢情報のみが利用されてもよい。また、腰部に替えて、頭部、首部、胸部、背中部、臀部等、他の部位の姿勢情報が利用されてもよいし、両手の背側に替えて、両手の手首部若しくは両腕部の姿勢情報が利用されてもよい。また、両手及び両腕ではなく、片手或いは片腕の姿勢情報が利用されてもよい。更に、対象者の身体の3つ以上の部位の姿勢情報が利用されてもよい。
この場合、測定すべき部位に姿勢情報を取得可能なセンサが配置されればよく、決められた部位で測定された姿勢情報を荷重情報と共に身体の所定部位にかかる負荷の正解情報と関連付けてAIモデル330の教師データが生成されればよい。
また、上述の実施形態では、手の姿勢を示すクォータニオンはセンサ処理ユニット26で算出され、腰部の姿勢を示すクォータニオンはメイン処理ユニット30にて算出されたが、ハンド慣性センサ27又は腰部慣性センサ37により算出されてもよい。この場合には、センサ処理ユニット26は、ハンド慣性センサ27から3軸方向の加速度値及びクォータニオンを取得し、メイン処理ユニット30は、腰部慣性センサ37から3軸方向の加速度値及びクォータニオンを取得すればよい。
また、手の姿勢を示すクォータニオンは、メイン処理ユニット30により算出されるようにしてもよい。この場合、センサ処理ユニット26は、ハンド慣性センサ27から得られた3軸方向の加速度値、3軸方向の地磁気値及び3軸周りの角速度値をメイン処理ユニット30に対して送信し、メイン処理ユニット30が、それら加速度値、地磁気値及び角速度値を用いてクォータニオンを算出すればよい。
また、上述の実施形態では、AIモデル330は、本体部3のメイン処理ユニット30のメモリ302に格納されていたが、他の装置内のメモリに格納されていてもよい。この場合、メイン処理ユニット30は、無線通信ユニット304を介した無線通信により当該他の装置内のAIモデル330にアクセスすればよい。
また、AIモデル330は、適宜、再学習されるようにしてもよい。例えば、サーバ装置においてAIモデル330の再学習が適宜実行され、メイン処理ユニット30のメモリ302内のAIモデル330がその再学習されたAIモデル330で更新されるようにしてもよい。このようにすれば、AIモデル330による負荷値の推定精度を向上させることができる。
上述した内容は、次のように特定することもできる。
(付記1)手に圧力がかかる動作の際に身体の所定部位にかかる負荷の正解情報と、該動作の際における手の平側の荷重情報及び身体の一以上の部位の姿勢情報とが関連付けられた複数の教師データに基づいて機械学習されている学習済みモデルを格納するモデル格納手段と、
対象者の手の平側で測定された荷重情報及び該対象者の身体の一以上の部位で測定された姿勢情報を測定タイミングで関連付け可能な状態で取得する取得手段と、
前記取得された荷重情報及び姿勢情報を前記学習済みモデルに適用して、該荷重情報及び該姿勢情報が示す荷重及び姿勢に対応して前記対象者の前記所定部位にかかる負荷を推定する推定手段と、
を備える身体負荷推定装置。
(付記2)前記取得手段により取得される前記姿勢情報は、前記対象者の手又は腕の一以上の第一部位の位置及び向きを示し得る情報及び前記対象者の胴体、頭又は首の一以上の第二部位の位置及び向きを示し得る情報を含む、
付記1に記載の身体負荷推定装置。
(付記3)前記対象者の前記第二部位は、前記対象者の腰部を含み、
前記複数の教師データに含まれる前記正解情報は、人の腰部で測定された筋負荷値であり、
前記推定手段は、前記対象者の腰部にかかる負荷値を推定する、
付記2に記載の身体負荷推定装置。
(付記4)前記対象者の手に着脱自在に装着可能なグローブ部と、該グローブ部の手の平側に設けられた感圧センサと、該グローブ部の背側又は手首部に設けられた慣性センサとを含むハンドセンサ部を更に備え、
前記取得手段は、前記慣性センサからのセンサ信号に基づく前記第一部位の位置及び向きを示し得る情報を含む前記姿勢情報を取得し、前記感圧センサからのセンサ信号に基づく前記荷重情報を取得する、
付記2又は3に記載の身体負荷推定装置。
(付記5)前記ハンドセンサ部の前記感圧センサは、前記グローブ部の一以上の手指の腹部に設けられた第一感圧センサ及び前記グローブ部の手の平部の一部又は全部に設けられた第二感圧センサを含み、
前記取得手段は、前記第一感圧センサからのセンサ信号に基づく前記対象者の一以上の手指の腹部にかかる荷重及び前記第二感圧センサからのセンサ信号に基づく前記対象者の手の平部の一部又は全部にかかる荷重を示す前記荷重情報を取得する、
付記4に記載の身体負荷推定装置。
(付記6) 付記1から5のいずれか一つに記載の身体負荷推定装置と、
前記対象者の身体に脱着自在に装着可能であり、アクチュエータの出力により該対象者の動作をアシストするアシスト機構と、
前記身体負荷推定装置により推定された負荷の情報に基づいて、前記アクチュエータの出力を調整する制御手段と、
を備える動作アシスト装置。
(付記7)手に圧力がかかる動作の際に身体の所定部位にかかる負荷の正解情報と、該動作の際における手の平側の荷重情報及び身体の一以上の部位の姿勢情報とが関連付けられた複数の教師データに基づいて機械学習されている学習済みモデルを格納するメモリと、該メモリにアクセス可能なプロセッサとを備える装置により実行される身体負荷推定方法であって、
対象者の手の平側で測定された荷重情報及び該対象者の身体の一以上の部位で測定された姿勢情報を測定タイミングで関連付け可能な状態で取得し、
前記取得された荷重情報及び姿勢情報を前記学習済みモデルに適用して、該荷重情報及び該姿勢情報が示す荷重及び姿勢に対応して前記対象者の前記所定部位にかかる負荷を推定する、
ことを含む身体負荷推定方法。
(付記8)前記取得される前記姿勢情報は、前記対象者の手又は腕の一以上の第一部位の位置及び向きを示し得る情報及び前記対象者の胴体、頭又は首の一以上の第二部位の位置及び向きを示し得る情報を含む、
付記7に記載の身体負荷推定方法。
(付記9)前記対象者の前記第二部位は、前記対象者の腰部を含み、
前記複数の教師データに含まれる前記正解情報は、人の腰部で測定された筋負荷値であり、
前記対象者の腰部にかかる負荷値が推定される、
付記8に記載の身体負荷推定方法。
(付記10)前記装置は、前記対象者の手に着脱自在に装着可能なグローブ部と、該グローブ部の手の平側に設けられた感圧センサと、該グローブ部の背側又は手首部に設けられた慣性センサとを含むハンドセンサ部とを更に備えており、
前記取得される姿勢情報は、前記慣性センサからのセンサ信号に基づく前記第一部位の位置及び向きを示し得る情報を含み、
前記取得される荷重情報は、前記感圧センサからのセンサ信号に基づく情報である、
付記8又は9に記載の身体負荷推定方法。
(付記11)前記ハンドセンサ部の前記感圧センサは、前記グローブ部の一以上の手指の腹部に設けられた第一感圧センサ及び前記グローブ部の手の平部の一部又は全部に設けられた第二感圧センサを含み、
前記取得される荷重情報は、前記第一感圧センサからのセンサ信号に基づく前記対象者の一以上の手指の腹部にかかる荷重及び前記第二感圧センサからのセンサ信号に基づく前記対象者の手の平部の一部又は全部にかかる荷重を示す、
付記10に記載の身体負荷推定方法。
(付記12)付記7から11のいずれか一つに記載の身体負荷推定方法を実行する前記装置と、前記対象者の身体に脱着自在に装着可能であり、アクチュエータの出力により該対象者の動作をアシストするアシスト機構とを備える動作アシスト装置により実行される動作アシスト方法であって、
前記装置により推定された負荷の情報に基づいて、前記アクチュエータの出力を調整する、
ことを含む動作アシスト方法。
1 身体負荷推定装置(装置)、2 ハンドセンサ部、3 本体部、5 動作アシスト装置、6 アシスト機構、7 アクチュエータ、8 制御部、9 CPU、21 グローブ部、22 センサ処理基板、23 第一感圧センサ、24 第二感圧センサ、25 配線部、26 センサ処理ユニット、27 ハンド慣性センサ、30 メイン処理ユニット、37 腰部慣性センサ、261 CPU、262 メモリ、263 入出力I/F、264 無線通信ユニット、301 CPU、302 メモリ、303 入出力I/F、304 無線通信ユニット、310 情報取得モジュール、320 AI処理モジュール、330 負荷推定AIモデル(AIモデル)

Claims (7)

  1. 手に圧力がかかる動作の際に身体の所定部位にかかる負荷の正解情報と、該動作の際における手の平側の荷重情報及び身体の一以上の部位の姿勢情報とが関連付けられた複数の教師データに基づいて機械学習されている学習済みモデルを格納するモデル格納手段と、
    対象者の手の平側で測定された荷重情報及び該対象者の身体の一以上の部位で測定された姿勢情報を測定タイミングで関連付け可能な状態で取得する取得手段と、
    前記取得された荷重情報及び姿勢情報を前記学習済みモデルに適用して、該荷重情報及び該姿勢情報が示す荷重及び姿勢に対応して前記対象者の前記所定部位にかかる負荷を推定する推定手段と、
    を備える身体負荷推定装置。
  2. 前記取得手段により取得される前記姿勢情報は、前記対象者の手又は腕の一以上の第一部位の位置及び向きを示し得る情報及び前記対象者の胴体、頭又は首の一以上の第二部位の位置及び向きを示し得る情報を含む、
    請求項1に記載の身体負荷推定装置。
  3. 前記対象者の前記第二部位は、前記対象者の腰部を含み、
    前記複数の教師データに含まれる前記正解情報は、人の腰部で測定された筋負荷値であり、
    前記推定手段は、前記対象者の腰部にかかる負荷値を推定する、
    請求項2に記載の身体負荷推定装置。
  4. 前記対象者の手に着脱自在に装着可能なグローブ部と、該グローブ部の手の平側に設けられた感圧センサと、該グローブ部の背側又は手首部に設けられた慣性センサとを含むハンドセンサ部を更に備え、
    前記取得手段は、前記慣性センサからのセンサ信号に基づく前記第一部位の位置及び向きを示し得る情報を含む前記姿勢情報を取得し、前記感圧センサからのセンサ信号に基づく前記荷重情報を取得する、
    請求項2又は3に記載の身体負荷推定装置。
  5. 前記ハンドセンサ部の前記感圧センサは、前記グローブ部の一以上の手指の腹部に設けられた第一感圧センサ及び前記グローブ部の手の平部の一部又は全部に設けられた第二感圧センサを含み、
    前記取得手段は、前記第一感圧センサからのセンサ信号に基づく前記対象者の一以上の手指の腹部にかかる荷重及び前記第二感圧センサからのセンサ信号に基づく前記対象者の手の平部の一部又は全部にかかる荷重を示す前記荷重情報を取得する、
    請求項4に記載の身体負荷推定装置。
  6. 請求項1から5のいずれか一項に記載の身体負荷推定装置と、
    前記対象者の身体に脱着自在に装着可能であり、アクチュエータの出力により該対象者の動作をアシストするアシスト機構と、
    前記身体負荷推定装置により推定された負荷の情報に基づいて、前記アクチュエータの出力を調整する制御手段と、
    を備える動作アシスト装置。
  7. 手に圧力がかかる動作の際に身体の所定部位にかかる負荷の正解情報と、該動作の際における手の平側の荷重情報及び身体の一以上の部位の姿勢情報とが関連付けられた複数の教師データに基づいて機械学習されている学習済みモデルを格納するメモリと、該メモリにアクセス可能なプロセッサとを備える装置により実行される身体負荷推定方法であって、
    対象者の手の平側で測定された荷重情報及び該対象者の身体の一以上の部位で測定された姿勢情報を測定タイミングで関連付け可能な状態で取得し、
    前記取得された荷重情報及び姿勢情報を前記学習済みモデルに適用して、該荷重情報及び該姿勢情報が示す荷重及び姿勢に対応して前記対象者の前記所定部位にかかる負荷を推定する、
    ことを含む身体負荷推定方法。
JP2020175694A 2020-10-19 2020-10-19 身体負荷推定装置及び身体負荷推定方法 Active JP6822715B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020175694A JP6822715B1 (ja) 2020-10-19 2020-10-19 身体負荷推定装置及び身体負荷推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020175694A JP6822715B1 (ja) 2020-10-19 2020-10-19 身体負荷推定装置及び身体負荷推定方法

Publications (2)

Publication Number Publication Date
JP6822715B1 true JP6822715B1 (ja) 2021-01-27
JP2022067015A JP2022067015A (ja) 2022-05-02

Family

ID=74200370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020175694A Active JP6822715B1 (ja) 2020-10-19 2020-10-19 身体負荷推定装置及び身体負荷推定方法

Country Status (1)

Country Link
JP (1) JP6822715B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022150491A (ja) * 2021-03-26 2022-10-07 株式会社日立製作所 作業支援システム
WO2022219705A1 (ja) * 2021-04-13 2022-10-20 三菱電機株式会社 接触情報取得装置、接触情報取得システム、接触情報取得方法、及び、接触情報取得プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5923904B2 (ja) * 2011-02-18 2016-05-25 アイシン精機株式会社 腰痛予防装置及びその作動方法
JP6636349B2 (ja) * 2016-02-05 2020-01-29 シャープ株式会社 警報システムおよび制御装置
JP6968351B2 (ja) * 2016-12-09 2021-11-17 国立大学法人北海道大学 負荷測定装置、介助装置、負荷測定方法、および負荷測定プログラム
JP7003469B2 (ja) * 2017-07-14 2022-01-20 株式会社ニコン 姿勢を検出する検出装置、およびウェアラブル装置
JP6901085B2 (ja) * 2017-07-24 2021-07-14 国立大学法人北海道大学 ウェアラブル装置、情報管理システム、駆動方法、およびアプリケーションプログラム
JP6586700B2 (ja) * 2018-03-13 2019-10-09 国立大学法人北海道大学 負荷検出装置、情報処理装置、負荷検出方法、および負荷検出プログラム
JP7075589B2 (ja) * 2018-05-24 2022-05-26 地方独立行政法人鳥取県産業技術センター ハンドセンサ装置
JP2020082222A (ja) * 2018-11-16 2020-06-04 株式会社ブリヂストン 人体装着型パワーアシスト装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022150491A (ja) * 2021-03-26 2022-10-07 株式会社日立製作所 作業支援システム
JP7465842B2 (ja) 2021-03-26 2024-04-11 株式会社日立製作所 作業支援システム
WO2022219705A1 (ja) * 2021-04-13 2022-10-20 三菱電機株式会社 接触情報取得装置、接触情報取得システム、接触情報取得方法、及び、接触情報取得プログラム
JP7237266B1 (ja) * 2021-04-13 2023-03-10 三菱電機株式会社 接触情報取得装置、接触情報取得システム、接触情報取得方法、及び、接触情報取得プログラム

Also Published As

Publication number Publication date
JP2022067015A (ja) 2022-05-02

Similar Documents

Publication Publication Date Title
EP3843617B1 (en) Camera-guided interpretation of neuromuscular signals
CN112004511B (zh) 用于预防肌肉骨骼损伤和增强性能的可穿戴设备
US9278453B2 (en) Biosleeve human-machine interface
Ben-Tzvi et al. Sensing and force-feedback exoskeleton (SAFE) robotic glove
Saggio et al. Resistive flex sensors: a survey
US20200170547A1 (en) A human intention detection system for motion assistance
CN106527738B (zh) 一种用于虚拟现实系统的多信息体感交互手套系统及方法
CN111095167A (zh) 用于使用电阻抗测量追踪手部运动的臂带
Liu et al. A glove-based system for studying hand-object manipulation via joint pose and force sensing
WO2010027015A1 (ja) モーションキャプチャ装置
JP6822715B1 (ja) 身体負荷推定装置及び身体負荷推定方法
TW201225920A (en) Mechanomyographic signal input device, human-machine operating system and identification method thereof
Xu et al. Development of a hybrid motion capture method using MYO armband with application to teleoperation
Xiao et al. Control an exoskeleton for forearm rotation using FMG
JP2018534096A (ja) 運動認識装置及び運動認識方法
CN113632176A (zh) 用于基于神经肌肉数据的低等待时间身体状态预测的方法和装置
CN113341564A (zh) 一种计算机输入装置
Mohammadi et al. Fingertip force estimation via inertial and magnetic sensors in deformable object manipulation
Saypulaev et al. A review of robotic gloves applied for remote control in various systems
Bilgin et al. Robotic hand controlling based on flexible sensor
Ding et al. The development of a real-time wearable motion replication platform with spatial sensing and tactile feedback
Borghetti et al. Validation of a modular and wearable system for tracking fingers movements
Sauer et al. RSQ Motion-a prototype of the motion analysis system in the joints
JP7462610B2 (ja) 身体の少なくとも二つの部分のトポグラフィを推定する方法およびシステム
Causo et al. Directional vs non-directional modes of vibrotactile feedback for arm posture replication

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201019

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201019

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201225

R150 Certificate of patent or registration of utility model

Ref document number: 6822715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250