JP7113274B2 - 下肢筋力推定システム、下肢筋力推定方法、及び、プログラム - Google Patents

Description

本発明は、下肢筋力推定システム、及び、下肢筋力推定方法に関する。

近年、疾病の予防、及び、健康維持に関心を持つ人が増えている。ユーザの健康維持を目的とした技術として、特許文献１には、ユーザの意欲に依存することなく、目標が達成されるようにユーザの心身状態を改善させる生活管理システムが開示されている。

特開２００５－７４１０７号公報

ところで、ユーザの健康維持を目的とした機器として、ユーザの体に装着されるウェアラブル機器が知られている。しかしながら、ウェアラブル機器を常に装着することをわずらわしく感じる人もおり、手軽にユーザの健康状態を取得できる手段が求められている。

本発明は、ユーザに対して非接触で、当該ユーザの下肢筋力を推定することができる、下肢筋力推定システム、及び、下肢筋力推定方法を提供する。

本発明の一態様に係る下肢筋力推定システムは、歩行中のユーザを被写体として含む画像を取得する取得部と、取得された画像に基づいて、前記ユーザの下肢筋力を推定する推定部とを備える。

本発明の一態様に係る下肢筋力推定方法は、歩行中のユーザを被写体として含む画像を取得し、取得された画像に基づいて、前記ユーザの下肢筋力を推定する。

本発明の一態様に係るプログラムは、前記下肢筋力推定方法をコンピュータに実行させるためのプログラムである。

本発明の下肢筋力推定システム、及び、下肢筋力推定方法は、ユーザに対して非接触で、当該ユーザの下肢筋力を推定することができる。

図１は、実施の形態に係る下肢筋力推定システムの概要を示す図である。 図２は、実施の形態に係る下肢筋力推定システムの機能構成を示すブロック図である。 図３は、実施の形態に係る下肢筋力推定システムの動作例１のフローチャートである。 図４は、ユーザの２次元骨格モデルの特定を概念的に示す図である。 図５は、３次元骨格モデルの推定を概念的に示す図である。 図６は、膝の曲げ角度の例を示す第１図である。 図７は、膝の曲げ角度の例を示す第２図である。 図８は、下肢筋力の低下を通知するための通知画面の一例を示す図である。 図９は、実施の形態に係る下肢筋力推定システムの動作例２のフローチャートである。 図１０は、ユーザに歩き方を指示する指示画面の一例を示す図である。

以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。

（実施の形態）
［構成］
まず、実施の形態に係る下肢筋力推定システムの構成について説明する。図１は、実施の形態に係る下肢筋力推定システムの概要を示す図である。図２は、実施の形態に係る下肢筋力推定システムの機能構成を示すブロック図である。図１及び図２に示されるように、下肢筋力推定システム１０は、カメラ２０と、推定装置３０と、表示装置４０と、サーバ装置５０とを備える。

下肢筋力推定システム１０は、カメラ２０によって撮影された歩行中のユーザの画像を取得し、取得した画像に基づいてユーザの下肢筋力を推定するシステムである。下肢筋力の推定方法については後述される。

カメラ２０は、例えば、ユーザの住宅の外壁などに設置され、歩行中のユーザを被写体として含む画像（複数の画像によって構成される動画像）を撮影する。カメラ２０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いたカメラであってもよいし、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサを用いたカメラであってもよい。

カメラ２０には、例えば、住宅の周囲を常時撮影する監視カメラまたはセキュリティカメラなどが流用される。また、カメラ２０として、ドアホンなどが有する訪問者を撮影するためのカメラが用いられてもよい。これにより、ユーザの歩行中の画像は、ユーザが特別な動作を行うことなく、ユーザが普段通りに外出及び帰宅していれば、推定装置３０の記憶部に蓄積されることになる。つまり、下肢筋力推定システム１０は、ユーザに気づかれることなくユーザの下肢筋力を推定することができる。

推定装置３０は、カメラ２０によって撮影された画像を取得し、ユーザの下肢筋力を推定する。推定装置３０は、例えば、住宅内に設置され、住宅に設置された機器を制御するためのホームコントローラであるが、パーソナルコンピュータなどであってもよい。推定装置３０は、カメラ２０が設置された住宅内に設置されてもよいし、当該住宅の外に設置されてもよい。推定装置３０は、具体的には、取得部３１と、情報処理部３２と、記憶部３３と、通信部３４とを備える。

取得部３１は、カメラ２０によって撮影された画像（より詳細には、画像データ）を取得する。取得部３１は、具体的には、カメラと通信を行う通信モジュール（通信回路）である。取得部３１によって行われる通信は、有線通信であってもよいし、無線通信であってもよい。取得部３１は、カメラ２０と通信可能であればよく、通信規格は、特に限定されない。

情報処理部３２は、ユーザの下肢筋力を推定するための情報処理、及び、記憶部３３への画像データの記憶などを行う。情報処理部３２は、推定部３５を有する。情報処理部３２は、具体的には、プロセッサ、マイクロコンピュータ、または専用回路によって実現される。情報処理部３２は、プロセッサ、マイクロコンピュータ、または専用回路のうちの２つ以上の組み合わせによって実現されてもよい。

記憶部３３は、取得部３１によって取得された画像データが蓄積される記憶装置である。記憶部３３には、情報処理部３２が実行するためのコンピュータプログラムなども記憶されている。記憶部３３は、具体的には、半導体メモリまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などによって実現される。

通信部３４は、推定装置３０がインターネットなどの広域通信ネットワーク６０を介して、表示装置４０またはサーバ装置５０と通信を行うための通信モジュール（通信回路）である。通信部３４によって行われる通信は、無線通信であってもよいし、有線通信であってもよい。通信に用いられる通信規格についても特に限定されない。

表示装置４０は、例えば、液晶パネル、または、有機ＥＬパネルなどの表示部４１、及び、タッチパネルなどのユーザの操作を受け付ける操作受付部４２によって構成される情報端末である。表示装置４０は、例えば、スマートフォン、または、タブレット端末などの携帯型の情報端末であるが、パーソナルコンピュータなどの据え置き型の情報端末であってもよい。表示装置４０は、広域通信ネットワーク６０を介して、推定装置３０またはサーバ装置５０と通信を行うことができる。表示装置４０は、広域通信ネットワーク６０を介さずに推定装置３０と直接通信を行ってもよい。

サーバ装置５０は、推定装置３０の下肢筋力の推定結果を、表示装置４０に通知するためのサーバ装置（クラウドサーバ）である。サーバ装置５０は、広域通信ネットワーク６０を介して、推定装置３０または表示装置４０と通信を行うことができる。

［動作例１］
次に、下肢筋力推定システム１０の動作例１について説明する。図３は、下肢筋力推定システム１０の動作例１のフローチャートである。

まず、推定装置３０の取得部３１は、歩行中のユーザを被写体として含む画像をカメラ２０から取得し（Ｓ１１）、情報処理部３２は、取得された画像を記憶部３３に記憶する（Ｓ１２）。

次に、推定部３５は、記憶部３３に記憶された画像に映るユーザの２次元骨格モデルを特定する（Ｓ１３）。図４は、ユーザの２次元骨格モデルの特定を概念的に示す図である。図４に示されるように、二次元骨格モデルは、画像に映るユーザの関節の位置（球体）をリンク（線）で結んだモデルである。２次元骨格モデルの特定には、既存の姿勢及び骨格の特定アルゴリズムが用いられる。

次に、推定部３５は、特定された２次元骨格モデルから３次元骨格モデルを推定する（Ｓ１４）。推定部３５は、例えば、機械学習モデルを用いて３次元骨格モデルを推定する。図５は、３次元骨格モデルの推定を概念的に示す図である。この機械学習モデルは、各関節の３次元座標データが既知である２次元骨格モデルを学習データとし、上記３次元座標データを教師データとする機械学習によってあらかじめ構築された識別器である。このような機械学習モデルは、２次元骨格モデルを入力としてその３次元座標データ（つまり、３次元骨格モデル）を出力することができる。

次に、推定部３５は、３次元骨格モデルを用いて、ユーザの歩行中の膝の曲げ角度を特定する（Ｓ１５）。推定部３５は、具体的には、ユーザが歩行中に前方へ踏み出す脚の膝の地面（歩行面）からの高さが最も高くなったときの膝の曲げ角度を特定する。図６及び図７は、膝の曲げ角度の例を示す図である。上述のように、３次元骨格モデルは、言い換えれば、各関節の３次元座標データであるため、このような膝の曲げ角度を算出することができる。

続いて、推定部３５は、特定された膝の曲げ角度に基づいて、ユーザの下肢筋力を推定する（Ｓ１６）。発明者らの知見によれば、ユーザが歩行中に前方へ踏み出す脚の膝の曲げ角度が小さい（曲げ量が大きい）ほど、ユーザの下肢筋力が強いと考えられる。図６及び図７の例では、θ１（図６）＞θ２（図７）であるため、図７に示されるケースのほうが、図６に示されるケースよりもユーザの下肢筋力が強いと考えられる。そこで、推定部３５は、ユーザの歩行中の膝の曲げ角度が小さいほど、ユーザの下肢筋力が強いと推定する。

また、推定部３５は、下肢筋力の推定結果を記憶部３３に記憶する（Ｓ１７）。推定部３５は、例えば、記憶部３３にあらかじめ記憶された参照データであって膝の曲げ角度と筋力値との対応関係を示す参照データを用いて曲げ角度を筋力値に変換して記憶部３３に記憶する。

そして、推定部３５は、必要に応じて、ユーザへ下肢筋力の推定結果の通知を行う（Ｓ１８）。推定部３５は、例えば、定期的に下肢筋力の推定、及び、推定結果の記憶を行い、下肢筋力の低下傾向（または増加傾向）が見られた場合などに、通信部３４に通知情報を送信させる。通知情報は、サーバ装置５０を介して表示装置４０によって受信され、この結果、表示部４１に下肢筋力の通知画面が表示される。図８は、下肢筋力の低下を通知するための通知画面の一例を示す図である。

なお、下肢筋力の推定結果の通知が推定装置３０側から行われることは必須ではなく、例えば、操作受付部４２がユーザの所定操作を受け付けたことをトリガとして、通知情報が表示装置４０に送信されてもよい。つまり、ユーザの要望に応じて通知情報が表示装置４０に送信されてもよい。

以上説明したように、動作例１では、推定部３５は、取得部３１によって取得された画像によって特定される、ユーザの歩行中の膝の曲げ角度に基づいて、ユーザの下肢筋力を推定する。これにより、ユーザは普段通りカメラ２０の撮影範囲を歩行するだけで、容易に下肢筋力のデータを取得することができる。

［動作例２］
次に、下肢筋力推定システム１０の動作例２について説明する。図９は、下肢筋力推定システム１０の動作例２のフローチャートである。

ステップＳ１１～ステップＳ１４については動作例１と同様であるため詳細な説明が省略される。ステップＳ１４に続いて、推定部３５は、歩行中のユーザが停止するときの歩行速度の変化（速度の変化量。つまり、加速度。）を算出する（Ｓ２５）。

まず、推定部３５は、記憶部３３に記憶された画像（以下フレームとも記載される）の集合である動画像のうち、３次元骨格モデルの動き（各関節の座標の変位）が所定値よりも小さくなったフレームを特定する。つまり、推定部３５は、歩行した後に停止したユーザが映っていると考えられるフレームを特定する。

次に、推定部３５は、ステップＳ２５において特定したフレームを終点とする所定期間内に撮影されたフレームに基づいて、歩行中のユーザが停止するときの歩行速度の変化を算出する。例えば、推定部３５は、各関節の座標の進行方向における変位に基づいて歩行速度の変化を算出することができる。

次に、推定部３５は、算出された歩行速度の変化に基づいて、ユーザの下肢筋力を推定する（Ｓ２６）。発明者らの知見によれば、歩行中に急に停止できる（歩行速度の変化が大きい）ユーザほど、下肢筋力が強いと考えられる。そこで、推定部３５は、歩行中のユーザが停止するときの歩行速度の変化が大きいほど、ユーザの下肢筋力が強いと推定する。

また、推定部３５は、下肢筋力の推定結果を記憶部３３に記憶する（Ｓ２７）。推定部３５は、例えば、記憶部３３にあらかじめ記憶された参照データであって歩行速度の変化の大きさと筋力値との対応関係を示す参照データを用いて、歩行速度の変化の大きさを筋力値に変換して記憶部３３に記憶する。

そして、推定部３５は、必要に応じて、ユーザへ下肢筋力の推定結果の通知を行う（Ｓ２８）。推定部３５は、例えば、定期的に下肢筋力の推定、及び、推定結果の記憶を行い、下肢筋力の低下傾向（または増加傾向）が見られた場合などに、通信部３４に通知情報を送信させる。通知情報は、サーバ装置５０を介して表示装置４０によって受信され、この結果、表示部４１に図８のような下肢筋力の通知画面が表示される。

以上説明したように、動作例２では、取得部３１は、複数の画像によって構成される動画像を取得し、推定部３５は、取得された動画像によって特定される、歩行中のユーザが停止するときの歩行速度の変化に基づいて、ユーザの下肢筋力を推定する。これにより、ユーザは普段通りカメラ２０の撮影範囲を歩行するだけで、容易に下肢筋力のデータを取得することができる。

［３次元骨格モデルの推定方法の変形例］
なお、上記動作例１及び動作例２では、所定の位置に設置された１台のカメラ２０によって撮影された画像に基づいて下肢筋力の推定が行われたが、複数のカメラ２０によって撮影された画像に基づいて下肢筋力の推定が行われてもよい。この場合、下肢筋力推定システム１０は、学習モデルを用いずに３次元骨格モデルを推定することができる。

また、上記動作例１及び動作例２では、カメラ２０として、撮影範囲に赤外光を出射する機能を有する３Ｄカメラを用いて、３次元骨格モデルが推定されてもよい。しかしながら、このような３Ｄカメラは、屋外では性能が低下するため、屋外では通常のカメラ２０の用いた手法が有効である。

カメラ２０がユーザを側方から撮影できるような位置に設置されている場合（つまり、カメラ２０によって、図６または図７のような、膝の曲げ角度を直接特定できるような画像が撮影できる場合）には、３次元骨格モデルを推定する必要はない。

［下肢筋力の評価方法の変形例］
また、動作例１及び動作例２では、特定のユーザの下肢筋力の推移に基づいて、現在の下肢筋力が低下傾向にあるか否かが評価されたが、特定のユーザの現在の下肢筋力は、他の不特定多数のユーザの平均的な下肢筋力との比較に基づいて評価されてもよい。

例えば、サーバ装置５０は、複数の推定装置３０から、推定結果をユーザの属性情報（例えば、年齢、性別、身長、及び、体重など）とともに収集し、ビッグデータとして記憶することができる。推定部３５は、通信部３４を用いてサーバ装置５０にアクセスすることにより、このようなビッグデータを参照することができる。推定部３５は、ビッグデータに基づいて、特定のユーザの推定筋力値を、特定のユーザと同様の属性情報を有する他の不特定多数のユーザの平均的な筋力値と比較することで評価してもよい。

例えば、特定のユーザの下肢筋力が、当該特定のユーザと体格がよく似た不特定多数のユーザの下肢筋力と比較されることにより評価が行われる場合、表示装置４０の操作受付部４２は、上記特定のユーザから、当該特定のユーザの体格を示す情報（身長情報、及び、体重情報など）の入力操作を受け付ける。この場合、操作受付部４２は、ユーザの身長情報を取得する身長情報取得部として機能する。

ところで、上記２次元骨格モデル及び３次元骨格モデルは、体の絶対的な大きさに関する情報を含まない。このため、体格の大きいユーザであっても、画像に小さく映っている場合には、体格の小さいユーザとして扱われてしまう可能性がある。身長情報は、上記２次元骨格モデル、及び、３次元骨格モデルに、体の絶対的な大きさを与える情報として有用な情報となる。

［推定精度を向上するための変形例］
また、ユーザの歩き方のばらつきは、下肢筋力の推定精度の低下の一因となる、そこで、表示装置４０の表示部４１には、ユーザに歩き方を指示する画面が表示されてもよい。図１０は、このような歩き方を指示する指示画面の一例を示す図である。

例えば、推定部３５は、定期的に、ユーザに歩き方を指示する指示情報を通信部３４に送信させる。指示情報は、サーバ装置５０を介して表示装置４０によって受信され、この結果、表示部４１には、図１０に指示画面が表示される。この場合、表示部４１は、ユーザに歩き方を指示する指示部として機能する。表示部４１が指示部として機能することは必須ではなく、表示装置４０が備えるスピーカ（図示せず）が指示部として機能してもよい。つまり、音声によってユーザの歩き方の指示が行われてもよい。

なお、図１０に示される指示画面は、ユーザにゆっくり歩くことを指示する画面であるが、指示画面は、ユーザに素早く歩くことを指示する画面であってもよい。指示画面は、歩幅または歩隔などを指示する画面であってもよい。

このような指示画面によれば、下肢筋力の推定精度の向上を図ることができる。

［効果等］
以上説明したように、下肢筋力推定システム１０は、歩行中のユーザを被写体として含む画像を取得する取得部３１と、取得された画像に基づいて、ユーザの下肢筋力を推定する推定部３５とを備える。

このような下肢筋力推定システム１０は、ユーザに対して非接触で、当該ユーザの下肢筋力を推定することができる。例えば、カメラ２０が住宅の外壁などに設置されれば、下肢筋力推定システム１０は、ユーザが普段通りに外出及び帰宅しているときの画像に基づいてユーザの下肢筋力を推定することができるため、ユーザは特別な動作を行うことなく自身の下肢筋力の状態を知ることができる。

また、例えば、推定部３５は、取得された画像によって特定される、ユーザの歩行中の膝の曲げ角度に基づいて、ユーザの下肢筋力を推定する。

このような下肢筋力推定システム１０は、ユーザの膝の曲げ角度に基づいて、ユーザの下肢筋力を推定することができる。

また、例えば、推定部３５は、ユーザの歩行中の膝の曲げ角度が小さいほど、ユーザの下肢筋力が強いと推定する。

このような下肢筋力推定システム１０は、ユーザの膝の曲げ角度に基づいて、ユーザの下肢筋力を適切に推定することができる。

また、例えば、取得部３１は、複数の画像によって構成される動画像を取得し、推定部３５は、取得された動画像によって特定される、歩行中のユーザが停止するときの歩行速度の変化に基づいて、ユーザの下肢筋力を推定する。

このような下肢筋力推定システム１０は、歩行中のユーザが停止するときの歩行速度の変化に基づいて、ユーザの下肢筋力を推定することができる。

また、例えば、推定部３５は、歩行中のユーザが停止するときの歩行速度の変化が大きいほど、ユーザの下肢筋力が強いと推定する。

このような下肢筋力推定システム１０は、歩行中のユーザが停止するときの歩行速度の変化に基づいて、ユーザの下肢筋力を適切に推定することができる。

また、例えば、上記画像は、所定の位置に設置された１台のカメラ２０によって撮影された画像である。推定部３５は、取得された画像に基づいてユーザの２次元骨格モデルを特定し、特定した２次元骨格モデルに基づいて、機械学習モデルを用いてユーザの３次元骨格モデルを推定し、推定された３次元骨格モデルに基づいて、ユーザの下肢筋力を推定する。

このような下肢筋力推定システム１０は、１台のカメラ２０から得られる画像に基づいて、ユーザの下肢筋力を推定することができる。

また、例えば、カメラ２０は、屋外の所定の位置に設置される。

このような下肢筋力推定システム１０は、屋外に設置された１台の通常のカメラ２０から得られる画像に基づいて、ユーザの下肢筋力を推定することができる。

また、例えば、さらに、ユーザの身長情報を取得する操作受付部４２を備え、推定部３５は、取得された身長情報を用いて、推定されたユーザの下肢筋力を評価する。操作受付部４２は、身長情報取得部の一例である。

このような下肢筋力推定システム１０は、ユーザの身長情報に基づいて、推定されたユーザの下肢筋力を評価することができる。

また、例えば、下肢筋力推定システム１０は、さらに、ユーザに歩き方を指示する表示部４１を備える。

このような下肢筋力推定システム１０は、下肢筋力の推定精度の向上を図ることができる。

また、例えば、取得部３１は、カメラ２０によって撮影された画像を取得する通信回路であり、推定部３５は、コンピュータであり、コンピュータは、カメラ２０によって撮影された画像に基づいて、ユーザの下肢筋力を推定し、推定した結果を、コンピュータに接続された表示装置４０、または、コンピュータとネットワークを通じて接続された端末の表示装置４０に表示させる。

このような下肢筋力推定システム１０は、ユーザに下肢筋力の推定結果を提示することができる。

また、例えば、コンピュータは、コンピュータに接続された表示装置４０、または、端末の表示装置４０に、下肢筋力の推定結果に応じた歩き方の指示を表示させる。

このような下肢筋力推定システム１０は、ユーザに歩き方の指示を行うことができる。

また、下肢筋力推定システム１０などのコンピュータによって実行される下肢筋力推定方法は、歩行中のユーザを被写体として含む画像を取得し、取得された画像に基づいて、ユーザの下肢筋力を推定する。

このような下肢筋力推定方法は、ユーザに対して非接触で、当該ユーザの下肢筋力を推定することができる。例えば、カメラ２０が住宅の外壁などに設置されれば、下肢筋力推定方法は、ユーザが普段通りに外出及び帰宅しているときの画像に基づいてユーザの下肢筋力を推定することができるため、ユーザは特別な動作を行うことなく自身の下肢筋力の状態を知ることができる。

（その他の実施の形態）
以上、実施の形態に係る下肢筋力推定システム、及び、下肢筋力推定方法について説明したが、本発明は、上記実施の形態に限定されるものではない。

例えば、上記実施の形態では、カメラは屋外に設置されると説明されたが、屋内に設置されてもよい。また、カメラは、介護施設、または、公共機関などの住宅以外の建物に設置されてもよいし、電柱などに設置されてもよい。

また、上記実施の形態では、カメラによって撮影される画像は、普段の動作として歩行を行っているユーザを被写体として含むが、下肢筋力の計測を目的として意図的に歩行しているユーザを被写体として含んでもよい。

また、上記実施の形態では、下肢筋力推定システムは、複数の装置によって実現されたが、単一の装置として実現されてもよい。下肢筋力推定システムが複数の装置によって実現される場合、下肢筋力推定システムが備える各構成要素は、ユーザの下肢筋力を推定できる範囲で、複数の装置にどのように振り分けられてもよい。例えば、上記実施の形態の取得部及び推定部は、推定装置ではなくサーバ装置によって備えられてもよい。

また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。例えば、本発明は、上記実施の形態の下肢筋力推定方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記憶された、コンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。

また、上記実施の形態において説明された動作例のフローチャートにおける複数の処理の順序は一例である。複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。また、特定の処理部が実行する処理を別の処理部が実行してもよい。

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

１０ 下肢筋力推定システム
２０ カメラ
３１ 取得部
３５ 推定部
４０ 表示装置
４１ 表示部（指示部）
４２ 操作受付部（身長情報取得部）

Claims (11)

1. 歩行中のユーザを被写体として含む画像を取得する取得部と、
   取得された前記画像に基づいて、前記ユーザの下肢筋力を推定する推定部とを備え、
   前記推定部は、
   取得された前記画像に基づいて、前記ユーザの３次元骨格モデルを推定し、
   前記３次元骨格モデルを用いて、前記ユーザが歩行中に前方へ踏み出す脚の膝の地面からの高さが最も高くなったときの前記膝の曲げ角度を特定し、
   特定した前記膝の曲げ角度が小さいほど、ユーザの下肢筋力が強いと推定する
   下肢筋力推定システム。
2. 歩行中のユーザを被写体として含む画像を取得する取得部と、
   取得された前記画像に基づいて、前記ユーザの下肢筋力を推定する推定部とを備え、
   前記取得部は、複数の前記画像によって構成される動画像を取得し、
   前記推定部は、
   取得された前記動画像に基づいて、前記ユーザの３次元骨格モデルを推定し、
   前記３次元骨格モデルを用いて、前記動画像に含まれる、歩行した後に停止したユーザが映っていると考えられる前記画像を特定し、
   特定した前記画像を終点とする所定期間内に撮影された画像に基づいて推定される前記３次元骨格モデルを用いて、歩行中のユーザが停止するときの歩行速度の変化を算出し、
   算出した前記歩行速度の変化が大きいほど、前記ユーザの下肢筋力が強いと推定する
   下肢筋力推定システム。
3. 前記画像は、所定の位置に設置された１台のカメラによって撮影された画像であり、
   前記推定部は、
   取得された前記画像に基づいて前記ユーザの２次元骨格モデルを特定し、
   特定した前記２次元骨格モデルに基づいて、機械学習モデルを用いて前記３次元骨格モデルを推定し、
   推定された前記３次元骨格モデルに基づいて、前記ユーザの下肢筋力を推定する
   請求項１または２に記載の下肢筋力推定システム。
4. 前記カメラは、屋外の前記所定の位置に設置される
   請求項３に記載の下肢筋力推定システム。
5. さらに、前記ユーザの身長情報を取得する身長情報取得部を備え、
   前記推定部は、取得された前記身長情報を用いて、推定された前記ユーザの下肢筋力を評価する
   請求項１～４のいずれか１項に記載の下肢筋力推定システム。
6. さらに、前記ユーザに歩き方を指示する指示部を備える
   請求項１～５のいずれか１項に記載の下肢筋力推定システム。
7. 前記取得部は、カメラによって撮影された前記画像を取得する通信回路であり、
   前記推定部は、コンピュータであり、
   前記コンピュータは、前記カメラによって撮影された前記画像に基づいて、前記ユーザの下肢筋力を推定し、推定した結果を、前記コンピュータに接続された表示装置、または、前記コンピュータとネットワークを通じて接続された端末の表示装置に表示させる、
   請求項１～６のいずれか１項に記載の下肢筋力推定システム。
8. さらに、前記コンピュータは、前記コンピュータに接続された表示装置、または、前記端末の表示装置に、前記下肢筋力の推定結果に応じた歩き方の指示を表示させる、
   請求項７に記載の下肢筋力推定システム。
9. コンピュータによって実行される下肢筋力推定方法であって、
   歩行中のユーザを被写体として含む画像を取得する取得ステップと、
   取得された前記画像に基づいて、前記ユーザの下肢筋力を推定する推定ステップとを含み、
   前記推定ステップにおいては、
   取得された前記画像に基づいて、前記ユーザの３次元骨格モデルを推定し、
   前記３次元骨格モデルを用いて、前記ユーザが歩行中に前方へ踏み出す脚の膝の地面からの高さが最も高くなったときの前記膝の曲げ角度を特定し、
   特定した前記膝の曲げ角度が小さいほど、ユーザの下肢筋力が強いと推定する
   下肢筋力推定方法。
10. コンピュータによって実行される下肢筋力推定方法であって、
    歩行中のユーザを被写体として含む画像を取得する取得ステップと、
    取得された前記画像に基づいて、前記ユーザの下肢筋力を推定する推定ステップとを含み、
    前記取得ステップにおいては、複数の前記画像によって構成される動画像を取得し、
    前記推定ステップにおいては、
    取得された前記動画像に基づいて、前記ユーザの３次元骨格モデルを推定し、
    前記３次元骨格モデルを用いて、前記動画像に含まれる、歩行した後に停止したユーザが映っていると考えられる前記画像を特定し、
    特定した前記画像を終点とする所定期間内に撮影された画像に基づいて推定される前記３次元骨格モデルを用いて、歩行中のユーザが停止するときの歩行速度の変化を算出し、
    算出した前記歩行速度の変化が大きいほど、前記ユーザの下肢筋力が強いと推定する
    下肢筋力推定方法。
11. 請求項９または１０に記載の下肢筋力推定方法をコンピュータに実行させるためのプログラム。

Images