JPWO2020208922A1 - 下肢筋力推定システム、下肢筋力推定方法、及び、プログラム - Google Patents

下肢筋力推定システム、下肢筋力推定方法、及び、プログラム Download PDF

Info

Publication number
JPWO2020208922A1
JPWO2020208922A1 JP2021513495A JP2021513495A JPWO2020208922A1 JP WO2020208922 A1 JPWO2020208922 A1 JP WO2020208922A1 JP 2021513495 A JP2021513495 A JP 2021513495A JP 2021513495 A JP2021513495 A JP 2021513495A JP WO2020208922 A1 JPWO2020208922 A1 JP WO2020208922A1
Authority
JP
Japan
Prior art keywords
lower limb
muscle strength
limb muscle
user
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021513495A
Other languages
English (en)
Other versions
JP7113274B2 (ja
Inventor
貴拓 相原
太一 濱塚
吉浩 松村
嵩 内田
健吾 和田
貴洋 樋山
彰 松原
学 湯峯
佳州 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020208922A1 publication Critical patent/JPWO2020208922A1/ja
Application granted granted Critical
Publication of JP7113274B2 publication Critical patent/JP7113274B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/22Ergometry; Measuring muscular strength or the force of a muscular blow
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)

Abstract

下肢筋力推定システム(10)は、歩行中のユーザを被写体として含む画像を取得する取得部(31)と、取得された画像に基づいて、ユーザの下肢筋力を推定する推定部(35)とを備える。

Description

本発明は、下肢筋力推定システム、及び、下肢筋力推定方法に関する。
近年、疾病の予防、及び、健康維持に関心を持つ人が増えている。ユーザの健康維持を目的とした技術として、特許文献1には、ユーザの意欲に依存することなく、目標が達成されるようにユーザの心身状態を改善させる生活管理システムが開示されている。
特開2005−74107号公報
ところで、ユーザの健康維持を目的とした機器として、ユーザの体に装着されるウェアラブル機器が知られている。しかしながら、ウェアラブル機器を常に装着することをわずらわしく感じる人もおり、手軽にユーザの健康状態を取得できる手段が求められている。
本発明は、ユーザに対して非接触で、当該ユーザの下肢筋力を推定することができる、下肢筋力推定システム、及び、下肢筋力推定方法を提供する。
本発明の一態様に係る下肢筋力推定システムは、歩行中のユーザを被写体として含む画像を取得する取得部と、取得された画像に基づいて、前記ユーザの下肢筋力を推定する推定部とを備える。
本発明の一態様に係る下肢筋力推定方法は、歩行中のユーザを被写体として含む画像を取得し、取得された画像に基づいて、前記ユーザの下肢筋力を推定する。
本発明の一態様に係るプログラムは、前記下肢筋力推定方法をコンピュータに実行させるためのプログラムである。
本発明の下肢筋力推定システム、及び、下肢筋力推定方法は、ユーザに対して非接触で、当該ユーザの下肢筋力を推定することができる。
図1は、実施の形態に係る下肢筋力推定システムの概要を示す図である。 図2は、実施の形態に係る下肢筋力推定システムの機能構成を示すブロック図である。 図3は、実施の形態に係る下肢筋力推定システムの動作例1のフローチャートである。 図4は、ユーザの2次元骨格モデルの特定を概念的に示す図である。 図5は、3次元骨格モデルの推定を概念的に示す図である。 図6は、膝の曲げ角度の例を示す第1図である。 図7は、膝の曲げ角度の例を示す第2図である。 図8は、下肢筋力の低下を通知するための通知画面の一例を示す図である。 図9は、実施の形態に係る下肢筋力推定システムの動作例2のフローチャートである。 図10は、ユーザに歩き方を指示する指示画面の一例を示す図である。
以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
(実施の形態)
[構成]
まず、実施の形態に係る下肢筋力推定システムの構成について説明する。図1は、実施の形態に係る下肢筋力推定システムの概要を示す図である。図2は、実施の形態に係る下肢筋力推定システムの機能構成を示すブロック図である。図1及び図2に示されるように、下肢筋力推定システム10は、カメラ20と、推定装置30と、表示装置40と、サーバ装置50とを備える。
下肢筋力推定システム10は、カメラ20によって撮影された歩行中のユーザの画像を取得し、取得した画像に基づいてユーザの下肢筋力を推定するシステムである。下肢筋力の推定方法については後述される。
カメラ20は、例えば、ユーザの住宅の外壁などに設置され、歩行中のユーザを被写体として含む画像(複数の画像によって構成される動画像)を撮影する。カメラ20は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いたカメラであってもよいし、CCD(Charge Coupled Device)イメージセンサを用いたカメラであってもよい。
カメラ20には、例えば、住宅の周囲を常時撮影する監視カメラまたはセキュリティカメラなどが流用される。また、カメラ20として、ドアホンなどが有する訪問者を撮影するためのカメラが用いられてもよい。これにより、ユーザの歩行中の画像は、ユーザが特別な動作を行うことなく、ユーザが普段通りに外出及び帰宅していれば、推定装置30の記憶部に蓄積されることになる。つまり、下肢筋力推定システム10は、ユーザに気づかれることなくユーザの下肢筋力を推定することができる。
推定装置30は、カメラ20によって撮影された画像を取得し、ユーザの下肢筋力を推定する。推定装置30は、例えば、住宅内に設置され、住宅に設置された機器を制御するためのホームコントローラであるが、パーソナルコンピュータなどであってもよい。推定装置30は、カメラ20が設置された住宅内に設置されてもよいし、当該住宅の外に設置されてもよい。推定装置30は、具体的には、取得部31と、情報処理部32と、記憶部33と、通信部34とを備える。
取得部31は、カメラ20によって撮影された画像(より詳細には、画像データ)を取得する。取得部31は、具体的には、カメラと通信を行う通信モジュール(通信回路)である。取得部31によって行われる通信は、有線通信であってもよいし、無線通信であってもよい。取得部31は、カメラ20と通信可能であればよく、通信規格は、特に限定されない。
情報処理部32は、ユーザの下肢筋力を推定するための情報処理、及び、記憶部33への画像データの記憶などを行う。情報処理部32は、推定部35を有する。情報処理部32は、具体的には、プロセッサ、マイクロコンピュータ、または専用回路によって実現される。情報処理部32は、プロセッサ、マイクロコンピュータ、または専用回路のうちの2つ以上の組み合わせによって実現されてもよい。
記憶部33は、取得部31によって取得された画像データが蓄積される記憶装置である。記憶部33には、情報処理部32が実行するためのコンピュータプログラムなども記憶されている。記憶部33は、具体的には、半導体メモリまたはHDD(Hard Disk Drive)などによって実現される。
通信部34は、推定装置30がインターネットなどの広域通信ネットワーク60を介して、表示装置40またはサーバ装置50と通信を行うための通信モジュール(通信回路)である。通信部34によって行われる通信は、無線通信であってもよいし、有線通信であってもよい。通信に用いられる通信規格についても特に限定されない。
表示装置40は、例えば、液晶パネル、または、有機ELパネルなどの表示部41、及び、タッチパネルなどのユーザの操作を受け付ける操作受付部42によって構成される情報端末である。表示装置40は、例えば、スマートフォン、または、タブレット端末などの携帯型の情報端末であるが、パーソナルコンピュータなどの据え置き型の情報端末であってもよい。表示装置40は、広域通信ネットワーク60を介して、推定装置30またはサーバ装置50と通信を行うことができる。表示装置40は、広域通信ネットワーク60を介さずに推定装置30と直接通信を行ってもよい。
サーバ装置50は、推定装置30の下肢筋力の推定結果を、表示装置40に通知するためのサーバ装置(クラウドサーバ)である。サーバ装置50は、広域通信ネットワーク60を介して、推定装置30または表示装置40と通信を行うことができる。
[動作例1]
次に、下肢筋力推定システム10の動作例1について説明する。図3は、下肢筋力推定システム10の動作例1のフローチャートである。
まず、推定装置30の取得部31は、歩行中のユーザを被写体として含む画像をカメラ20から取得し(S11)、情報処理部32は、取得された画像を記憶部33に記憶する(S12)。
次に、推定部35は、記憶部33に記憶された画像に映るユーザの2次元骨格モデルを特定する(S13)。図4は、ユーザの2次元骨格モデルの特定を概念的に示す図である。図4に示されるように、二次元骨格モデルは、画像に映るユーザの関節の位置(球体)をリンク(線)で結んだモデルである。2次元骨格モデルの特定には、既存の姿勢及び骨格の特定アルゴリズムが用いられる。
次に、推定部35は、特定された2次元骨格モデルから3次元骨格モデルを推定する(S14)。推定部35は、例えば、機械学習モデルを用いて3次元骨格モデルを推定する。図5は、3次元骨格モデルの推定を概念的に示す図である。この機械学習モデルは、各関節の3次元座標データが既知である2次元骨格モデルを学習データとし、上記3次元座標データを教師データとする機械学習によってあらかじめ構築された識別器である。このような機械学習モデルは、2次元骨格モデルを入力としてその3次元座標データ(つまり、3次元骨格モデル)を出力することができる。
次に、推定部35は、3次元骨格モデルを用いて、ユーザの歩行中の膝の曲げ角度を特定する(S15)。推定部35は、具体的には、ユーザが歩行中に前方へ踏み出す脚の膝の地面(歩行面)からの高さが最も高くなったときの膝の曲げ角度を特定する。図6及び図7は、膝の曲げ角度の例を示す図である。上述のように、3次元骨格モデルは、言い換えれば、各関節の3次元座標データであるため、このような膝の曲げ角度を算出することができる。
続いて、推定部35は、特定された膝の曲げ角度に基づいて、ユーザの下肢筋力を推定する(S16)。発明者らの知見によれば、ユーザが歩行中に前方へ踏み出す脚の膝の曲げ角度が小さい(曲げ量が大きい)ほど、ユーザの下肢筋力が強いと考えられる。図6及び図7の例では、θ1(図6)>θ2(図7)であるため、図7に示されるケースのほうが、図6に示されるケースよりもユーザの下肢筋力が強いと考えられる。そこで、推定部35は、ユーザの歩行中の膝の曲げ角度が小さいほど、ユーザの下肢筋力が強いと推定する。
また、推定部35は、下肢筋力の推定結果を記憶部33に記憶する(S17)。推定部35は、例えば、記憶部33にあらかじめ記憶された参照データであって膝の曲げ角度と筋力値との対応関係を示す参照データを用いて曲げ角度を筋力値に変換して記憶部33に記憶する。
そして、推定部35は、必要に応じて、ユーザへ下肢筋力の推定結果の通知を行う(S18)。推定部35は、例えば、定期的に下肢筋力の推定、及び、推定結果の記憶を行い、下肢筋力の低下傾向(または増加傾向)が見られた場合などに、通信部34に通知情報を送信させる。通知情報は、サーバ装置50を介して表示装置40によって受信され、この結果、表示部41に下肢筋力の通知画面が表示される。図8は、下肢筋力の低下を通知するための通知画面の一例を示す図である。
なお、下肢筋力の推定結果の通知が推定装置30側から行われることは必須ではなく、例えば、操作受付部42がユーザの所定操作を受け付けたことをトリガとして、通知情報が表示装置40に送信されてもよい。つまり、ユーザの要望に応じて通知情報が表示装置40に送信されてもよい。
以上説明したように、動作例1では、推定部35は、取得部31によって取得された画像によって特定される、ユーザの歩行中の膝の曲げ角度に基づいて、ユーザの下肢筋力を推定する。これにより、ユーザは普段通りカメラ20の撮影範囲を歩行するだけで、容易に下肢筋力のデータを取得することができる。
[動作例2]
次に、下肢筋力推定システム10の動作例2について説明する。図9は、下肢筋力推定システム10の動作例2のフローチャートである。
ステップS11〜ステップS14については動作例1と同様であるため詳細な説明が省略される。ステップS14に続いて、推定部35は、歩行中のユーザが停止するときの歩行速度の変化(速度の変化量。つまり、加速度。)を算出する(S25)。
まず、推定部35は、記憶部33に記憶された画像(以下フレームとも記載される)の集合である動画像のうち、3次元骨格モデルの動き(各関節の座標の変位)が所定値よりも小さくなったフレームを特定する。つまり、推定部35は、歩行した後に停止したユーザが映っていると考えられるフレームを特定する。
次に、推定部35は、ステップS25において特定したフレームを終点とする所定期間内に撮影されたフレームに基づいて、歩行中のユーザが停止するときの歩行速度の変化を算出する。例えば、推定部35は、各関節の座標の進行方向における変位に基づいて歩行速度の変化を算出することができる。
次に、推定部35は、算出された歩行速度の変化に基づいて、ユーザの下肢筋力を推定する(S26)。発明者らの知見によれば、歩行中に急に停止できる(歩行速度の変化が大きい)ユーザほど、下肢筋力が強いと考えられる。そこで、推定部35は、歩行中のユーザが停止するときの歩行速度の変化が大きいほど、ユーザの下肢筋力が強いと推定する。
また、推定部35は、下肢筋力の推定結果を記憶部33に記憶する(S27)。推定部35は、例えば、記憶部33にあらかじめ記憶された参照データであって歩行速度の変化の大きさと筋力値との対応関係を示す参照データを用いて、歩行速度の変化の大きさを筋力値に変換して記憶部33に記憶する。
そして、推定部35は、必要に応じて、ユーザへ下肢筋力の推定結果の通知を行う(S28)。推定部35は、例えば、定期的に下肢筋力の推定、及び、推定結果の記憶を行い、下肢筋力の低下傾向(または増加傾向)が見られた場合などに、通信部34に通知情報を送信させる。通知情報は、サーバ装置50を介して表示装置40によって受信され、この結果、表示部41に図8のような下肢筋力の通知画面が表示される。
以上説明したように、動作例2では、取得部31は、複数の画像によって構成される動画像を取得し、推定部35は、取得された動画像によって特定される、歩行中のユーザが停止するときの歩行速度の変化に基づいて、ユーザの下肢筋力を推定する。これにより、ユーザは普段通りカメラ20の撮影範囲を歩行するだけで、容易に下肢筋力のデータを取得することができる。
[3次元骨格モデルの推定方法の変形例]
なお、上記動作例1及び動作例2では、所定の位置に設置された1台のカメラ20によって撮影された画像に基づいて下肢筋力の推定が行われたが、複数のカメラ20によって撮影された画像に基づいて下肢筋力の推定が行われてもよい。この場合、下肢筋力推定システム10は、学習モデルを用いずに3次元骨格モデルを推定することができる。
また、上記動作例1及び動作例2では、カメラ20として、撮影範囲に赤外光を出射する機能を有する3Dカメラを用いて、3次元骨格モデルが推定されてもよい。しかしながら、このような3Dカメラは、屋外では性能が低下するため、屋外では通常のカメラ20の用いた手法が有効である。
カメラ20がユーザを側方から撮影できるような位置に設置されている場合(つまり、カメラ20によって、図6または図7のような、膝の曲げ角度を直接特定できるような画像が撮影できる場合)には、3次元骨格モデルを推定する必要はない。
[下肢筋力の評価方法の変形例]
また、動作例1及び動作例2では、特定のユーザの下肢筋力の推移に基づいて、現在の下肢筋力が低下傾向にあるか否かが評価されたが、特定のユーザの現在の下肢筋力は、他の不特定多数のユーザの平均的な下肢筋力との比較に基づいて評価されてもよい。
例えば、サーバ装置50は、複数の推定装置30から、推定結果をユーザの属性情報(例えば、年齢、性別、身長、及び、体重など)とともに収集し、ビッグデータとして記憶することができる。推定部35は、通信部34を用いてサーバ装置50にアクセスすることにより、このようなビッグデータを参照することができる。推定部35は、ビッグデータに基づいて、特定のユーザの推定筋力値を、特定のユーザと同様の属性情報を有する他の不特定多数のユーザの平均的な筋力値と比較することで評価してもよい。
例えば、特定のユーザの下肢筋力が、当該特定のユーザと体格がよく似た不特定多数のユーザの下肢筋力と比較されることにより評価が行われる場合、表示装置40の操作受付部42は、上記特定のユーザから、当該特定のユーザの体格を示す情報(身長情報、及び、体重情報など)の入力操作を受け付ける。この場合、操作受付部42は、ユーザの身長情報を取得する身長情報取得部として機能する。
ところで、上記2次元骨格モデル及び3次元骨格モデルは、体の絶対的な大きさに関する情報を含まない。このため、体格の大きいユーザであっても、画像に小さく映っている場合には、体格の小さいユーザとして扱われてしまう可能性がある。身長情報は、上記2次元骨格モデル、及び、3次元骨格モデルに、体の絶対的な大きさを与える情報として有用な情報となる。
[推定精度を向上するための変形例]
また、ユーザの歩き方のばらつきは、下肢筋力の推定精度の低下の一因となる、そこで、表示装置40の表示部41には、ユーザに歩き方を指示する画面が表示されてもよい。図10は、このような歩き方を指示する指示画面の一例を示す図である。
例えば、推定部35は、定期的に、ユーザに歩き方を指示する指示情報を通信部34に送信させる。指示情報は、サーバ装置50を介して表示装置40によって受信され、この結果、表示部41には、図10に指示画面が表示される。この場合、表示部41は、ユーザに歩き方を指示する指示部として機能する。表示部41が指示部として機能することは必須ではなく、表示装置40が備えるスピーカ(図示せず)が指示部として機能してもよい。つまり、音声によってユーザの歩き方の指示が行われてもよい。
なお、図10に示される指示画面は、ユーザにゆっくり歩くことを指示する画面であるが、指示画面は、ユーザに素早く歩くことを指示する画面であってもよい。指示画面は、歩幅または歩隔などを指示する画面であってもよい。
このような指示画面によれば、下肢筋力の推定精度の向上を図ることができる。
[効果等]
以上説明したように、下肢筋力推定システム10は、歩行中のユーザを被写体として含む画像を取得する取得部31と、取得された画像に基づいて、ユーザの下肢筋力を推定する推定部35とを備える。
このような下肢筋力推定システム10は、ユーザに対して非接触で、当該ユーザの下肢筋力を推定することができる。例えば、カメラ20が住宅の外壁などに設置されれば、下肢筋力推定システム10は、ユーザが普段通りに外出及び帰宅しているときの画像に基づいてユーザの下肢筋力を推定することができるため、ユーザは特別な動作を行うことなく自身の下肢筋力の状態を知ることができる。
また、例えば、推定部35は、取得された画像によって特定される、ユーザの歩行中の膝の曲げ角度に基づいて、ユーザの下肢筋力を推定する。
このような下肢筋力推定システム10は、ユーザの膝の曲げ角度に基づいて、ユーザの下肢筋力を推定することができる。
また、例えば、推定部35は、ユーザの歩行中の膝の曲げ角度が小さいほど、ユーザの下肢筋力が強いと推定する。
このような下肢筋力推定システム10は、ユーザの膝の曲げ角度に基づいて、ユーザの下肢筋力を適切に推定することができる。
また、例えば、取得部31は、複数の画像によって構成される動画像を取得し、推定部35は、取得された動画像によって特定される、歩行中のユーザが停止するときの歩行速度の変化に基づいて、ユーザの下肢筋力を推定する。
このような下肢筋力推定システム10は、歩行中のユーザが停止するときの歩行速度の変化に基づいて、ユーザの下肢筋力を推定することができる。
また、例えば、推定部35は、歩行中のユーザが停止するときの歩行速度の変化が大きいほど、ユーザの下肢筋力が強いと推定する。
このような下肢筋力推定システム10は、歩行中のユーザが停止するときの歩行速度の変化に基づいて、ユーザの下肢筋力を適切に推定することができる。
また、例えば、上記画像は、所定の位置に設置された1台のカメラ20によって撮影された画像である。推定部35は、取得された画像に基づいてユーザの2次元骨格モデルを特定し、特定した2次元骨格モデルに基づいて、機械学習モデルを用いてユーザの3次元骨格モデルを推定し、推定された3次元骨格モデルに基づいて、ユーザの下肢筋力を推定する。
このような下肢筋力推定システム10は、1台のカメラ20から得られる画像に基づいて、ユーザの下肢筋力を推定することができる。
また、例えば、カメラ20は、屋外の所定の位置に設置される。
このような下肢筋力推定システム10は、屋外に設置された1台の通常のカメラ20から得られる画像に基づいて、ユーザの下肢筋力を推定することができる。
また、例えば、さらに、ユーザの身長情報を取得する操作受付部42を備え、推定部35は、取得された身長情報を用いて、推定されたユーザの下肢筋力を評価する。操作受付部42は、身長情報取得部の一例である。
このような下肢筋力推定システム10は、ユーザの身長情報に基づいて、推定されたユーザの下肢筋力を評価することができる。
また、例えば、下肢筋力推定システム10は、さらに、ユーザに歩き方を指示する表示部41を備える。
このような下肢筋力推定システム10は、下肢筋力の推定精度の向上を図ることができる。
また、例えば、取得部31は、カメラ20によって撮影された画像を取得する通信回路であり、推定部35は、コンピュータであり、コンピュータは、カメラ20によって撮影された画像に基づいて、ユーザの下肢筋力を推定し、推定した結果を、コンピュータに接続された表示装置40、または、コンピュータとネットワークを通じて接続された端末の表示装置40に表示させる。
このような下肢筋力推定システム10は、ユーザに下肢筋力の推定結果を提示することができる。
また、例えば、コンピュータは、コンピュータに接続された表示装置40、または、端末の表示装置40に、下肢筋力の推定結果に応じた歩き方の指示を表示させる。
このような下肢筋力推定システム10は、ユーザに歩き方の指示を行うことができる。
また、下肢筋力推定システム10などのコンピュータによって実行される下肢筋力推定方法は、歩行中のユーザを被写体として含む画像を取得し、取得された画像に基づいて、ユーザの下肢筋力を推定する。
このような下肢筋力推定方法は、ユーザに対して非接触で、当該ユーザの下肢筋力を推定することができる。例えば、カメラ20が住宅の外壁などに設置されれば、下肢筋力推定方法は、ユーザが普段通りに外出及び帰宅しているときの画像に基づいてユーザの下肢筋力を推定することができるため、ユーザは特別な動作を行うことなく自身の下肢筋力の状態を知ることができる。
(その他の実施の形態)
以上、実施の形態に係る下肢筋力推定システム、及び、下肢筋力推定方法について説明したが、本発明は、上記実施の形態に限定されるものではない。
例えば、上記実施の形態では、カメラは屋外に設置されると説明されたが、屋内に設置されてもよい。また、カメラは、介護施設、または、公共機関などの住宅以外の建物に設置されてもよいし、電柱などに設置されてもよい。
また、上記実施の形態では、カメラによって撮影される画像は、普段の動作として歩行を行っているユーザを被写体として含むが、下肢筋力の計測を目的として意図的に歩行しているユーザを被写体として含んでもよい。
また、上記実施の形態では、下肢筋力推定システムは、複数の装置によって実現されたが、単一の装置として実現されてもよい。下肢筋力推定システムが複数の装置によって実現される場合、下肢筋力推定システムが備える各構成要素は、ユーザの下肢筋力を推定できる範囲で、複数の装置にどのように振り分けられてもよい。例えば、上記実施の形態の取得部及び推定部は、推定装置ではなくサーバ装置によって備えられてもよい。
また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、各構成要素は、回路(または集積回路)でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。例えば、本発明は、上記実施の形態の下肢筋力推定方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記憶された、コンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
また、上記実施の形態において説明された動作例のフローチャートにおける複数の処理の順序は一例である。複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。また、特定の処理部が実行する処理を別の処理部が実行してもよい。
その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
10 下肢筋力推定システム
20 カメラ
31 取得部
35 推定部
40 表示装置
41 表示部(指示部)
42 操作受付部(身長情報取得部)

Claims (13)

  1. 歩行中のユーザを被写体として含む画像を取得する取得部と、
    取得された画像に基づいて、前記ユーザの下肢筋力を推定する推定部とを備える
    下肢筋力推定システム。
  2. 前記推定部は、取得された前記画像によって特定される、前記ユーザの歩行中の膝の曲げ角度に基づいて、前記ユーザの下肢筋力を推定する
    請求項1に記載の下肢筋力推定システム。
  3. 前記推定部は、前記ユーザの歩行中の膝の曲げ角度が小さいほど、前記ユーザの下肢筋力が強いと推定する
    請求項2に記載の下肢筋力推定システム。
  4. 前記取得部は、複数の前記画像によって構成される動画像を取得し、
    前記推定部は、取得された前記動画像によって特定される、歩行中の前記ユーザが停止するときの歩行速度の変化に基づいて、前記ユーザの下肢筋力を推定する
    請求項1に記載の下肢筋力推定システム。
  5. 前記推定部は、歩行中の前記ユーザが停止するときの歩行速度の変化が大きいほど、前記ユーザの下肢筋力が強いと推定する
    請求項4に記載の下肢筋力推定システム。
  6. 前記画像は、所定の位置に設置された1台のカメラによって撮影された画像であり、
    前記推定部は、
    取得された前記画像に基づいて前記ユーザの2次元骨格モデルを特定し、
    特定した前記2次元骨格モデルに基づいて、機械学習モデルを用いて前記ユーザの3次元骨格モデルを推定し、
    推定された前記3次元骨格モデルに基づいて、前記ユーザの下肢筋力を推定する
    請求項1〜5のいずれか1項に記載の下肢筋力推定システム。
  7. 前記カメラは、屋外の前記所定の位置に設置される
    請求項6に記載の下肢筋力推定システム。
  8. さらに、前記ユーザの身長情報を取得する身長情報取得部を備え、
    前記推定部は、取得された前記身長情報を用いて、推定された前記ユーザの下肢筋力を評価する
    請求項1〜7のいずれか1項に記載の下肢筋力推定システム。
  9. さらに、前記ユーザに歩き方を指示する指示部を備える
    請求項1〜8のいずれか1項に記載の下肢筋力推定システム。
  10. 前記取得部は、カメラによって撮影された前記画像を取得する通信回路であり、
    前記推定部は、コンピュータであり、
    前記コンピュータは、前記カメラによって撮影された前記画像に基づいて、前記ユーザの下肢筋力を推定し、推定した結果を、前記コンピュータに接続された表示装置、または、前記コンピュータとネットワークを通じて接続された端末の表示装置に表示させる、
    請求項1〜9のいずれか1項に記載の下肢筋力推定システム。
  11. さらに、前記コンピュータは、前記コンピュータに接続された表示装置、または、前記端末の表示装置に、前記下肢筋力の推定結果に応じた歩き方の指示を表示させる、
    請求項10に記載の下肢筋力推定システム。
  12. コンピュータによって実行される下肢筋力推定方法であって、
    歩行中のユーザを被写体として含む画像を取得し、
    取得された画像に基づいて、前記ユーザの下肢筋力を推定する
    下肢筋力推定方法。
  13. 請求項12に記載の下肢筋力推定方法をコンピュータに実行させるためのプログラム。
JP2021513495A 2019-04-09 2020-02-07 下肢筋力推定システム、下肢筋力推定方法、及び、プログラム Active JP7113274B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019074422 2019-04-09
JP2019074422 2019-04-09
PCT/JP2020/004704 WO2020208922A1 (ja) 2019-04-09 2020-02-07 下肢筋力推定システム、下肢筋力推定方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JPWO2020208922A1 true JPWO2020208922A1 (ja) 2021-12-23
JP7113274B2 JP7113274B2 (ja) 2022-08-05

Family

ID=72751671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021513495A Active JP7113274B2 (ja) 2019-04-09 2020-02-07 下肢筋力推定システム、下肢筋力推定方法、及び、プログラム

Country Status (4)

Country Link
US (1) US12079990B2 (ja)
JP (1) JP7113274B2 (ja)
CN (1) CN113544736B (ja)
WO (1) WO2020208922A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6869417B1 (ja) * 2020-11-18 2021-05-12 株式会社オプティム プログラム、方法、情報処理装置、システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008173250A (ja) * 2007-01-17 2008-07-31 Matsushita Electric Works Ltd 歩行動作分析装置
JP2012223452A (ja) * 2011-04-21 2012-11-15 Ritsumeikan 下肢筋力評価方法、及びこれに用いる下肢筋力評価装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4275235B2 (ja) * 1999-01-22 2009-06-10 株式会社計算力学研究センター 筋力評価システム
JP2005074107A (ja) 2003-09-02 2005-03-24 Fuji Photo Film Co Ltd 生活管理システム
JP2006110217A (ja) * 2004-10-18 2006-04-27 Toyota Central Res & Dev Lab Inc 筋活性度推定方法、プログラム、記憶媒体、筋活性度推定システムおよび筋活性度データベース
JP4825456B2 (ja) * 2005-06-14 2011-11-30 タマティーエルオー株式会社 筋活動推定システム
US20070073514A1 (en) * 2005-09-26 2007-03-29 Aisin Seiki Kabushiki Kaisha Walking analyzer
EP2111791A4 (en) * 2007-01-30 2011-04-20 Panasonic Elec Works Co Ltd MARKET CAPACITY DIAGNOSTIC SYSTEM
JP4934813B2 (ja) * 2007-02-06 2012-05-23 国立大学法人広島大学 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
JP5098114B2 (ja) * 2007-02-08 2012-12-12 国立大学法人 奈良先端科学技術大学院大学 駆動力算出装置、駆動力算出方法、筋力補助装置、駆動力算出プログラムおよびコンピュータ読み取り可能な記録媒体
JP2009050539A (ja) * 2007-08-28 2009-03-12 Tanita Corp 生体測定装置
KR100933180B1 (ko) * 2008-02-22 2009-12-21 박승훈 악근 및 각근을 이용하여 측정 대상 근육의 근력을측정하기 위한 방법 및 장치
KR101114138B1 (ko) * 2009-05-13 2012-02-20 연세대학교 산학협력단 관절각도를 이용한 실시간 근력 추정시스템 및 방법
KR20110029779A (ko) * 2009-09-16 2011-03-23 의료법인 우리들의료재단 피트니스 장치, 피트니스 시스템 및 피트니스 방법
KR20110032927A (ko) * 2009-09-24 2011-03-30 의료법인 우리들의료재단 피트니스 장치, 피트니스 시스템 및 피트니스 방법
SI23414A (sl) * 2010-07-07 2012-01-31 Tmg-Bmc D.O.O. Metoda in naprava za neinvazivno in selektivno ugotavljanje biomehaniäśnih, kontrakcijskih in viskoelastiäśnih lastnosti skeletnih miĺ ic
KR101190840B1 (ko) * 2010-12-22 2012-10-12 한양대학교 산학협력단 다물체 모델링과 통계 방법론을 이용한 인체 하지부 구속력의 불확실성 추정 방법
KR20130113062A (ko) * 2012-04-05 2013-10-15 주식회사 엔티리서치 힘토크 센서를 이용하여 사용자의 동작 의도를 추정하는 근력증강로봇 및 그 제어방법
KR101435514B1 (ko) * 2012-04-05 2014-09-02 주식회사 엔티리서치 회전조인트에서의 토크를 측정하여 사용자의 동작의도를 추정하는 근력증강로봇 및 그 제어방법
EP2840964B1 (en) * 2012-04-27 2019-04-17 Fibrux Oy A method and a device for measuring muscle signals
JP6234079B2 (ja) * 2012-07-02 2017-11-22 潔 北 下肢筋力評価装置およびその制御方法
KR20150077413A (ko) * 2012-09-17 2015-07-07 프레지던트 앤드 펠로우즈 오브 하바드 칼리지 인간의 움직임에 대한 보조를 위한 소프트 엑소슈트
JP5920724B2 (ja) * 2012-11-06 2016-05-18 美津濃株式会社 情報処理装置、情報処理方法、情報処理プログラム
JP5991532B2 (ja) * 2012-12-07 2016-09-14 国立大学法人広島大学 人体運動評価装置、方法、およびプログラム
JP6443182B2 (ja) * 2015-03-31 2018-12-26 住友電気工業株式会社 センサ情報処理装置、センサ情報処理方法およびセンサ情報処理プログラム
CN105147284A (zh) * 2015-05-19 2015-12-16 南京大学 一种改进型人体平衡功能检测方法与训练系统
JP6573104B2 (ja) * 2015-06-05 2019-09-11 ローム株式会社 指標導出装置、ウェアラブル機器及び携帯機器
JP6603055B2 (ja) * 2015-06-19 2019-11-06 花王株式会社 体力推定方法
US20170316578A1 (en) * 2016-04-29 2017-11-02 Ecole Polytechnique Federale De Lausanne (Epfl) Method, System and Device for Direct Prediction of 3D Body Poses from Motion Compensated Sequence
US20180020954A1 (en) * 2016-07-20 2018-01-25 L & C Orthopedics, Llc Method and system for automated biomechanical analysis of bodily strength and flexibility
JP6742196B2 (ja) * 2016-08-24 2020-08-19 Cyberdyne株式会社 生体活動検出装置および生体活動検出システム
JP6780396B2 (ja) * 2016-09-13 2020-11-04 オムロン株式会社 駆動モード選択装置および駆動モード選択方法
KR101842998B1 (ko) * 2016-10-13 2018-03-28 (주)로임시스템 근전도 센서 및 모션감지 센서를 이용한 운동 분석 장치
JP6829988B2 (ja) * 2016-12-20 2021-02-17 株式会社竹中工務店 運動量推定装置、運動量推定プログラム、及び運動量推定システム
CN107895145A (zh) * 2017-10-31 2018-04-10 南京信息工程大学 基于卷积神经网络结合超高斯去噪估测手指受力的方法
JP6617820B2 (ja) * 2018-11-29 2019-12-11 住友電気工業株式会社 センサ情報処理装置、センサ情報処理方法およびセンサ情報処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008173250A (ja) * 2007-01-17 2008-07-31 Matsushita Electric Works Ltd 歩行動作分析装置
JP2012223452A (ja) * 2011-04-21 2012-11-15 Ritsumeikan 下肢筋力評価方法、及びこれに用いる下肢筋力評価装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
若吉浩二, 川邉千洋: "要介護高齢者における長期下肢筋力トレーニングが歩行能力改善に及ぼす影響", びわこ成蹊スポーツ大学研究紀要, JPN6022013074, 15 March 2009 (2009-03-15), JP, pages 133 - 147, ISSN: 0004745076 *

Also Published As

Publication number Publication date
US12079990B2 (en) 2024-09-03
WO2020208922A1 (ja) 2020-10-15
JP7113274B2 (ja) 2022-08-05
CN113544736A (zh) 2021-10-22
CN113544736B (zh) 2024-09-06
US20220198658A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
TWI603294B (zh) 基於影像的動作分析系統與方法
CN109479181B (zh) 用于用户检测和识别的系统和方法
JP6369811B2 (ja) 歩行解析システムおよび歩行解析プログラム
US11350235B2 (en) Systems and methods for a compound sensor system
JP2013114595A (ja) 情報処理装置、情報処理方法及びプログラム
CN107255813A (zh) 基于3d技术的测距方法、移动终端、及存储介质
JP2020141806A (ja) 運動評価システム
Chen et al. Camera networks for healthcare, teleimmersion, and surveillance
JP2016076259A (ja) 情報処理装置、情報処理方法及びプログラム
WO2020208922A1 (ja) 下肢筋力推定システム、下肢筋力推定方法、及び、プログラム
CN107255812A (zh) 基于3d技术的测速方法、移动终端、及存储介质
JP2019016254A (ja) ユーザの姿勢を評価するための方法およびシステム
JP2015128216A (ja) 撮影システム、その制御方法、および、その制御プログラム
US20230414132A1 (en) System and method for providing rehabilitation in a virtual environment
JP2023131905A (ja) 行動推定システム、行動推定方法、プログラム
WO2020208917A1 (ja) 身体機能管理システム、及び、身体機能管理方法
JP2023047410A (ja) ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法
McMurrough et al. Low-cost head position tracking for gaze point estimation
Taghvaei et al. HMM-based state classification of a user with a walking support system using visual PCA features
US20240260854A1 (en) Physical-ability estimation system, physical-ability estimation method, and recording medium
JP6319981B2 (ja) 撮影装置、情報処理方法及びプログラム
WO2020208900A1 (ja) リコメンドシステム、及び、リコメンド方法
KR102669062B1 (ko) 운동 보조 서비스 제공 로봇 및 운동 보조 서비스 제공 방법
JP7499345B2 (ja) 複数の姿勢推定エンジンを用いた手のマーカレス運動捕捉
JP7518699B2 (ja) システム、電子機器、電子機器の制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220516

R151 Written notification of patent or utility model registration

Ref document number: 7113274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151