JP2024025826A - プログラム、情報処理装置、および情報処理方法 - Google Patents

プログラム、情報処理装置、および情報処理方法 Download PDF

Info

Publication number
JP2024025826A
JP2024025826A JP2023212332A JP2023212332A JP2024025826A JP 2024025826 A JP2024025826 A JP 2024025826A JP 2023212332 A JP2023212332 A JP 2023212332A JP 2023212332 A JP2023212332 A JP 2023212332A JP 2024025826 A JP2024025826 A JP 2024025826A
Authority
JP
Japan
Prior art keywords
user
data
legs
rotations
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023212332A
Other languages
English (en)
Inventor
一裕 寺嶋
Kazuhiro Terashima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cate Inc
Original Assignee
Cate Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cate Inc filed Critical Cate Inc
Publication of JP2024025826A publication Critical patent/JP2024025826A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

【課題】多様な状況下で人間の脚の回転数に関する推定を行う。【解決手段】本開示の一態様のプログラムは、コンピュータを、運動中のユーザの写ったユーザ動画を取得する手段、ユーザ動画に基づいて、ユーザの脚の回転数に関する推定を行う手段として機能させる。【選択図】図６

Description

本開示は、プログラム、情報処理装置、および情報処理方法に関する。
有酸素運動は、例えば、ダイエット、心臓リハビリテーションにおける運動療法、などにおいて中心的な役割を果たしている。有酸素運動に該当する運動種目として、フィットネスバイク、ジョギング、ウォーキング、水泳、エアロビクスダンス、などが知られている。特に、フィットネスバイクは、家庭内の限られたスペースであっても設置できる、膝への負担が小さい、などの利点がある。フィットネスバイクのユーザは、脚でペダルを漕ぐことでサイクリングと同様の運動を行うことができる。ユーザの脚の回転数は、フィットネスバイクのユーザの運動負荷量の評価指標の１つである。
特許文献１には、操作者によるペダル部の回転操作に基づく情報に基づいて、ＨＭＤ（Head Mounted Display）に表示する画像の内容を変化させることが記載されている。特許文献１では、ペダル装置内の磁気検出素子が、ペダル部の単位時間あたりの回転を検知し、検知結果を情報処理装置へ出力する。
特開2019-071963号公報
特許文献１の技術は、例えば磁気検出素子のような回転を検知する手段と、回転の検知結果を情報処理装置へ出力する手段とを備えたペダル装置への適用が前提とされている。つまり、特許文献１では、かかる手段を備えていない通常のフィットネスバイクについて、ユーザの脚の回転数の情報をいかにして取得するかは検討されていない。
本開示の目的は、多様な状況下で人間の脚の回転数に関する推定を行うことである。
本開示の一態様のプログラムは、コンピュータを、運動中のユーザの写ったユーザ動画を取得する手段、ユーザ動画に基づいて、ユーザの脚の回転数に関する推定を行う手段として機能させる。
本開示によれば、多様な状況下で人間の脚の回転数に関する推定を行うことができる。
本実施形態の情報処理システムの構成を示すブロック図である。 本実施形態のクライアント装置の構成を示すブロック図である。 本実施形態のサーバの構成を示すブロック図である。 本実施形態の概要の説明図である。 本実施形態の教師データセットのデータ構造を示す図である。 本実施形態の情報処理のフローチャートである。 本実施形態の情報処理において表示される画面例を示す図である。 変形例１の教師データセットのデータ構造を示す図である。
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
（１）情報処理システムの構成
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。
図１に示すように、情報処理システム１は、クライアント装置１０と、サーバ３０とを備える。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。
クライアント装置１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。クライアント装置１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。
サーバ３０は、クライアント装置１０から送信されたリクエストに応じたレスポンスをクライアント装置１０に提供する情報処理装置の一例である。サーバ３０は、例えば、Ｗｅｂサーバである。
（１－１）クライアント装置の構成
クライアント装置の構成について説明する。図２は、本実施形態のクライアント装置の構成を示すブロック図である。
図２に示すように、クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。クライアント装置１０は、ディスプレイ１５と、カメラ１６と、深度センサ１７とに接続される。
記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ、リハビリアプリ、またはフィットネスアプリ）のプログラム
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、クライアント装置１０の機能を実現するコンピュータである。プロセッサ１２は、例えば、以下の少なくとも１つである。
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Gate Array）
入出力インタフェース１３は、クライアント装置１０に接続される入力デバイスから情報（例えば、ユーザの指示、画像、音）を取得し、かつ、クライアント装置１０に接続される出力デバイスに情報（例えば、画像、コマンド）を出力するように構成される。
入力デバイスは、例えば、カメラ１６、深度センサ１７、マイクロホン、キーボード、ポインティングデバイス、タッチパネル、センサ、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ１５、スピーカ、又は、それらの組合せである。
通信インタフェース１４は、クライアント装置１０と外部装置（例えば、サーバ３０）との間の通信を制御するように構成される。
具体的には、通信インタフェース１４は、サーバ３０との通信のためのモジュール（例えば、ＷｉＦｉモジュール、移動通信モジュール、またはそれらの組み合わせ）を含むことができる。
ディスプレイ１５は、画像（静止画、または動画）を表示するように構成される。ディスプレイ１５は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。
カメラ１６は、撮影を行い、画像信号を生成するように構成される。
深度センサ１７は、例えばＬＩＤＡＲ（Light Detection And Ranging）である。深度センサ１７は、当該深度センサ１７から周囲の物体（例えば、ユーザ）までの距離（深度）を測定するように構成される。
（１－２）サーバの構成
サーバの構成について説明する。図３は、本実施形態のサーバの構成を示すブロック図である。
図３に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。
記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージの組合せである。
プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するコンピュータである。プロセッサ３２は、例えば、以下の少なくとも１つである。
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ
入出力インタフェース３３は、サーバ３０に接続される入力デバイスから情報（例えば、ユーザの指示）を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
通信インタフェース３４は、サーバ３０と外部装置（例えば、クライアント装置１０）との間の通信を制御するように構成される。
（２）実施形態の概要
本実施形態の概要について説明する。図４は、本実施形態の概要の説明図である。
図４に示すように、クライアント装置１０のカメラ１６は、運動中のユーザＵＳ１の外観（例えば全身）を撮影する。図４の例では、ユーザＵＳ１がペダルを漕ぐ運動（例えば、フィットネスバイク、エルゴメーター、自転車）を行う例を示しているが、ユーザＵＳ１は脚の回転（つまり、周期的な動き）を伴う任意の運動（有酸素運動、または無酸素運動）を行うことができる。
一例として、カメラ１６は、ユーザＵＳ１の外観を、正面または斜め前から撮影する。深度センサ１７は、当該深度センサ１７からユーザＵＳ１の各部位までの距離（深度）を測定する。なお、例えばカメラ１６によって生成される動画データ（２次元）と、例えば深度センサ１７によって生成される深度データとを組み合わせることで、３次元動画データを生成することも可能である。
クライアント装置１０は、少なくとも、カメラ１６から取得した動画データを参照し、運動中のユーザの骨格を解析する。クライアント装置１０は、運動中のユーザの骨格をより適切に解析するために、深度センサ１７から取得した深度データをさらに参照してもよい。クライアント装置１０は、動画データ（或いは、動画データおよび深度データ）の解析結果に基づく、運動中のユーザＵＳ１の骨格に関するデータ（以下、「ユーザ骨格データ」という）をサーバ３０へ送信する。
サーバ３０は、取得したユーザ骨格データに、学習済みモデルＬＭ１（「推定モデル」の一例）を適用することで、ユーザＵＳ１の脚の回転数に関する推定を行う。サーバ３０は、推定結果（例えば、単位時間あたりのユーザＵＳ１の脚の回転数を示す数値）をクライアント装置１０へ送信する。
このように、情報処理システム１は、運動中のユーザＵＳ１の動画（或いは、動画および深度）に基づいて、当該ユーザＵＳ１の脚の回転数に関する推定を行う。故に、この情報処理システム１によれば、脚の回転数を検知する手段、または検知結果を出力する手段を備えていないトレーニング機器を用いてユーザＵＳ１が運動を行った場合であっても、当該ユーザの脚の回転数を推定することができる。つまり、多様な状況下で人間の脚の回転数に関する推定を行うことができる。
（３）教師データセット
本実施形態の教師データセットについて説明する。図５は、本実施形態の教師データセットのデータ構造を示す図である。
図５に示すように、教師データセットは、複数の教師データを含む。教師データは、対象モデルの訓練または評価に用いられる。教師データは、サンプルＩＤと、入力データと、正解データとを含む。
サンプルＩＤは、教師データを識別する情報である。
入力データは、訓練時または評価時に対象モデルに入力されるデータである。入力データは、対象モデルの訓練時または評価時に用いられる例題に相当する。一例として、入力データは、被験者の骨格データを含む。被験者の骨格データは、運動中の被験者の骨格に関するデータ（例えば特徴量）である。
被験者は、情報処理システム１の運用時に脚の回転数に関する推定が行われるユーザと同一人物であってもよいし、異なる人物であってもよい。被験者およびユーザを同一人物とすることで、対象モデルがユーザの個性を学習し、推定精度が向上する可能性がある。他方、被験者がユーザと異なる人物であることを許容することは、教師データセットの豊富化が容易となる利点がある。また、被験者は、ユーザを含む複数人、またはユーザを含まない複数人により構成されてもよい。
骨格データは、例えば、被験者の各部位の速度、または加速度に関するデータ（被験者が使用する筋肉の部位の変化、または被験者の体感のぶれに関するデータを含み得る）を含む。
骨格データの少なくとも一部は、被験者動画データ（或いは、被験者動画データおよび被験者深度データ）を参照して運動中の被験者の骨格を解析することで取得可能である。一例として、ｉＯＳ（登録商標） １４のＳＤＫであるＶｉｓｉｏｎ、または他の骨格検知アルゴリズムが骨格の解析に利用可能である。或いは、教師データセット向けの骨格データは、例えば、被験者の各部位に動きセンサを装着した状態で運動を行わせることで取得可能である。
被験者動画データは、運動中の被験者の写った被験者動画に関するデータである。被験者動画は、典型的には、少なくとも被験者の下半身（具体的には、被験者の脚）が撮影範囲に含まれるように、当該被験者を撮影した動画である。被験者動画データは、例えば、運動中の被験者の外観（例えば全身）を正面または斜め前（例えば、４５度前方）からカメラ（一例として、スマートフォンに搭載されたカメラ）で撮影することで取得可能である。
被験者深度データは、深度センサから運動中の被験者の各部位（典型的には脚）までの距離（深度）に関するデータである。被験者深度データは、被験者動画の撮影時に、深度センサを動作させることで取得可能である。
正解データは、対応する入力データ（例題）に対する正解に相当するデータである。対象モデルは、入力データに対して正解データにより近い出力を行うように訓練（教師あり学習）される。一例として、正解データは、脚の回転数の評価指標、または当該評価指標を決定するための材料となる指標、の少なくとも１つを含む。一例として脚の回転数の評価指標は、以下の少なくとも１つを含むことができる。
・累積回転数
・単位時間あたりの回転数（つまり回転速度）
・回転速度の時間微分（つまり回転加速度）
ただし、脚の回転数の指標は、脚の回転（つまり、周期的な動き）を定量的に把握するための任意の指標であってよく、ここに例示した指標に限定されない。脚の回転数の指標は、走行距離（累積回転数（ケイデンス）とペダル１回転あたりの走行距離との積）、運動負荷量のように上記指標に基づいて算出可能な指標を含んでもよい。
運動負荷量は、運動の負荷を定量的に評価するための指標である。運動負荷は、以下の少なくとも１つを用いて数値により表すことができる。
・エネルギー（カロリー）消費量
・酸素消費量
・心拍数
正解データは、例えば、被験者動画撮影時の被験者の脚の回転数を適切なセンサ（例えばケイデンスセンサ）により実測することで取得可能である。或いは、正解データは、脚に動きセンサ（例えば加速度センサ）を装着した状態で被験者に運動させ、動きセンサによるセンシング結果に基づき所定のアルゴリズム、または学習済みモデルにより被験者の脚の回転数に関する推定を行うことによっても取得可能である。或いは、被験者動画を視聴した人間が被験者の脚の回転数を計測することで正解データを付与してもよい。
（４）推定モデル
サーバ３０によって用いられる推定モデルは、教師データセット（図５）を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
（５）情報処理
本実施形態の情報処理について説明する。図６は、本実施形態の情報処理のフローチャートである。図７は、本実施形態の情報処理において表示される画面例を示す図である。
情報処理は、例えば以下の開始条件のいずれかの成立に応じて開始する。
・他の処理によって情報処理が呼び出された。
・ユーザが情報処理を呼び出すための操作を行った。
・クライアント装置１０が所定の状態（例えば、所定のアプリの起動）になった。
・所定の日時が到来した。
・所定のイベントから所定の時間が経過した。
図６に示すように、クライアント装置１０は、センシング（Ｓ１１０）を実行する。
具体的には、クライアント装置１０は、カメラ１６の動作を有効にすることで、運動中のユーザの動画（以下、「ユーザ動画」という）の撮影を開始する。ユーザ動画は、典型的には、少なくともユーザの下半身（具体的には、ユーザの脚）が撮影範囲に含まれるように、当該ユーザを撮影した動画である。
また、クライアント装置１０は、深度センサ１７の動作を有効にすることで、当該深度センサ１７から運動中のユーザの各部位までの距離（以下、「ユーザ深度」という）の計測を開始する。
ステップＳ１１０の後に、クライアント装置１０は、データの取得（Ｓ１１１）を実行する。
具体的には、クライアント装置１０は、ステップＳ１１０において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置１０は、カメラ１６からユーザ動画データを取得し、深度センサ１７からユーザ深度データを取得する。
ステップＳ１１１の後に、クライアント装置１０は、リクエスト（Ｓ１１２）を実行する。
具体的には、クライアント装置１０は、ステップＳ１１１において取得したデータを参照し、リクエストを生成する。クライアント装置１０は、生成したリクエストをサーバ３０へ送信する。リクエストは、例えば、以下の少なくとも１つを含むことができる。
・ステップＳ１１１において取得したデータ（例えば、ユーザ動画データ、またはユーザ深度データ）
・ステップＳ１１１において取得したデータを加工したデータ
・ステップＳ１１１において取得したユーザ動画データ（或いは、ユーザ動画データおよびユーザ深度データ）を解析することで取得したユーザ骨格データ
ステップＳ１１２の後に、サーバ３０は、脚の回転数に関する推定（Ｓ１３０）を実行する。
具体的には、サーバ３０は、クライアント装置１０から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザ骨格データを含む。サーバ３０は、入力データに推定モデルを適用することで、ユーザの脚の回転数に関する推定を行う。一例として、サーバ３０は、ユーザの脚の回転数に関する評価指標の少なくとも１つを推定する。
ステップＳ１３０の後に、サーバ３０は、レスポンス（Ｓ１３１）を実行する。
具体的には、サーバ３０は、ステップＳ１３０における推定の結果に基づくレスポンスを生成する。サーバ３０は、生成したレスポンスをクライアント装置１０へ送信する。一例として、レスポンスは以下の少なくとも１つを含むことができる。
・脚の回転数に関する推定の結果に相当するデータ
・脚の回転数に関する推定の結果を加工したデータ（例えば、クライアント装置１０のディスプレイ１５に表示されるべき画面のデータ、または当該画面を生成するために参照されるデータ）
クライアント装置１０は、ステップＳ１３１の後に、情報提示（Ｓ１１３）を実行する。
具体的には、クライアント装置１０は、サーバ３０から取得したレスポンス（つまり、ユーザの脚の回転数に関する推定の結果）に基づく情報をディスプレイ１５に表示させる。
ただし、情報は、ユーザの代わりに、またはユーザに加えて、ユーザの指導者（例えば、医療関係者、またはトレーナー）向けに当該指導者の使用する端末に提示されてもよい。或いは、情報として、ユーザの運動体験を演出するコンテンツ（例えば、脚の回転数に関する推定の結果に応じて制御される風景またはビデオゲームの映像）が提示されてもよい。かかるコンテンツは、ディスプレイ１５の代わりに、ＨＭＤなどの外部装置のディスプレイ、または他の出力装置を介して提示されてもよい。
一例として、クライアント装置１０は、画面Ｐ１０（図７）をディスプレイ１５に表示させる。画面Ｐ１０は、表示オブジェクトＡ１０、および操作オブジェクトＢ１０を含む。
操作オブジェクトＢ１０は、表示オブジェクトＡ１０に表示させる脚の回転数に関する評価指標を指定する操作を受け付ける。図７の例では、操作オブジェクトＢ１０は、チェックボックスに相当する。
表示オブジェクトＡ１０は、上記評価指標を推定した結果の経時的変化を表示する。図７の例では、表示オブジェクトＡ１０は、操作オブジェクトＢ１０において指定されている評価指標である回転速度（ｒｐｍ）を５秒毎に推定した結果の経時的変化を示すグラフを表示する。
操作オブジェクトＢ１０において複数の評価指標が指定されている場合に、表示オブジェクトＡ１０には、複数の評価指標を推定した結果の経時的変化を示すグラフを重畳して表示してもよいし、これらのグラフを個別に表示してもよい。
ステップＳ１１３の後に、クライアント装置１０は、情報処理（図６）を終了する。ただし、ユーザの脚の回転数に関する推定を当該ユーザの運動中にリアルタイムに実施する場合に、クライアント装置１０は、ステップＳ１１３の後にデータの取得（Ｓ１１１）に戻ってもよい。
（６）小括
以上説明したように、実施形態の情報処理システム１は、運動中のユーザの動画に基づいて当該ユーザの脚の回転数に関する推定を行う。これにより、脚の回転数を検知する手段、または検知結果を出力する手段を備えていないトレーニング機器を用いてユーザが運動を行った場合であっても、当該ユーザの脚の回転数を推定することができる。つまり、多様な状況下で人間の脚の回転数に関する推定を行うことができる。
情報処理システム１は、運動中のユーザの動画に基づく入力データに、推定モデルを適用することで、当該ユーザの脚の回転数に関する推定を行ってもよい。これにより、ユーザの脚の回転数に関する統計的な推定を短時間で行うことができる。さらに、推定モデルは、前述の教師データセット（図５）を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当してもよい。これにより、推定モデルを効率的に構築することができる。推定モデルを適用される入力データは、運動中のユーザの骨格に関するデータを含んでもよい。これにより、推定モデルの精度を向上させることができる。推定モデルを適用される入力データは、ユーザ動画の撮影時における、基準点（つまり、深度センサ１７）からユーザの各部位までの深度に関するデータ（つまり、ユーザ深度データ）を含んでもよい。これにより、推定モデルの精度を向上させることができる。
情報処理システム１は、ユーザの脚の累積回転数、回転速度、回転加速度、または脚の累積回転数から換算した走行距離の少なくとも１つを推定してもよい。これにより、ユーザの脚の回転数（リアルタイムの回転数を含み得る）を適切に評価することができる。
ユーザ動画は、少なくともユーザの下半身（好ましくは、ユーザの脚）が撮影範囲に含まれるように当該ユーザを撮影した動画であってもよい。これにより、推定モデルの精度を向上させることができる。
ユーザ動画は、ペダルを漕いでいるユーザを撮影した動画であってもよい。これにより、推定モデルの精度を向上させることができる。
情報処理システム１は、ユーザの脚の回転数に関する推定の結果に基づく情報を提示してもよい。これにより、ユーザ、またはその指導者に、ユーザの脚の回転数に関する情報を知らせたり、ユーザの運動体験を演出するためのコンテンツ（例えば、風景またはビデオゲームの映像）を制御したりすることができる。第１例として、情報処理システム１は、ユーザの脚の回転数の評価指標を提示してもよい。これにより、情報の受け手が、ユーザの脚の回転数を適切に把握することができる。第２例として、情報処理システム１は、ユーザの脚の回転数の評価指標の経時的変化に関する情報を提示してもよい。これにより、情報の受け手が、ユーザの脚の回転数の経時的変化を把握することができる。
（７）変形例１
変形例１について説明する。変形例１は、推定モデルに対する入力データを変形する例である。
（７－１）変形例１の概要
変形例１の概要について説明する。本実施形態では、ユーザ動画に基づく入力データに推定モデルを適用する例を示した。変形例１は、ユーザ動画およびユーザの健康状態の双方に基づく入力データに推定モデルを適用することで、当該ユーザの脚の回転数に関する推定を行う例である。
健康状態は、以下の少なくとも１つを含む。
・年齢
・性別
・身長
・体重
・体脂肪率
・筋肉量
・骨密度
・現病歴
・既往歴
・内服歴
・手術歴
・生活歴（例えば、喫煙歴、飲酒歴、日常生活動作（ＡＤＬ）、フレイルスコア、など）
・家族歴
・呼吸機能検査の結果
・呼吸機能検査以外の検査結果（例えば、血液検査、尿検査、心電図検査（ホルター心電図検査を含む）、心臓超音波検査、Ｘ線検査、ＣＴ検査（心臓形態ＣＴ・冠動脈ＣＴ含む）、ＭＲＩ検査、核医学検査、ＰＥＴ検査、などの結果）
・心臓リハビリテーション施行中に取得されたデータ（Ｂｏｒｇ指数含む）
（７－２）教師データセット
変形例１の教師データセットについて説明する。図８は、変形例１の教師データセットのデータ構造を示す図である。
図８に示すように、変形例１の教師データセットは、複数の教師データを含む。教師データは、対象モデルの訓練または評価に用いられる。教師データは、サンプルＩＤと、入力データと、正解データとを含む。
サンプルＩＤおよび正解データは、本実施形態において説明したとおりである。
入力データは、訓練時または評価時に対象モデルに入力されるデータである。入力データは、対象モデルの訓練時または評価時に用いられる例題に相当する。一例として、入力データは、被験者の骨格データ（つまり、相対的に動的なデータ）、および被験者の健康状態に関するデータ（つまり、相対的に静的なデータ）である。被験者の骨格データは、本実施形態において説明したとおりである。
被験者の健康状態に関するデータは、様々な方法で取得可能である。被験者の健康状態に関するデータは、被験者の運動中、または運動前もしくは運動後（安静時を含む）のいずれのタイミングで取得されてもよい。被験者の健康状態に関するデータは、被験者、またはその担当医からの申告に基づいて取得されてもよいし、医療情報システムにおいて被験者に紐づけられている情報を抽出することで取得されてもよいし、被験者のアプリ（例えばヘルスケアアプリ）経由で取得されてもよい。
（７－３）推定モデル
変形例１において、サーバ３０によって用いられる推定モデルは、教師データセット（図８）を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
（７－４）情報処理
変形例１の情報処理について図６を用いて説明する。
変形例１において、クライアント装置１０は図６と同様に、センシング（Ｓ１１０）を実行する。
ステップＳ１１０の後に、クライアント装置１０は、データの取得（Ｓ１１１）を実行する。
具体的には、クライアント装置１０は、ステップＳ１１０において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置１０は、カメラ１６からユーザ動画データを取得し、深度センサ１７からユーザ深度データを取得する。
さらに、クライアント装置１０は、ユーザの健康状態に関するデータ（以下、「ユーザ健康状態データ」という）を取得する。例えば、クライアント装置１０は、ユーザ、またはその担当医による操作（申告）に基づいてユーザ健康状態データを取得してもよいし、医療情報システムにおいてユーザに紐づけられている情報を抽出することでユーザ健康状態データを取得してもよいし、ユーザのアプリ（例えばヘルスケアアプリ）経由でユーザ健康状態データを取得してもよい。ただし、クライアント装置１０は、ステップＳ１１１とは異なるタイミング（例えば、ステップＳ１１０よりも前、ステップＳ１１０と同じタイミング、ステップＳ１１１よりも後のタイミング）で、ユーザ健康状態データを取得してもよい。
ステップＳ１１１の後に、クライアント装置１０は、リクエスト（Ｓ１１２）を実行する。
具体的には、クライアント装置１０は、ステップＳ１１１において取得したデータを参照し、リクエストを生成する。クライアント装置１０は、生成したリクエストをサーバ３０へ送信する。リクエストは、例えば、以下の少なくとも１つを含むことができる。
・ステップＳ１１１において取得したデータ（例えば、ユーザ動画データ、ユーザ深度データ、またはユーザ健康状態データ）
・ステップＳ１１１において取得したデータを加工したデータ
・ステップＳ１１１において取得したユーザ動画データ（或いは、ユーザ動画データおよびユーザ深度データ）を解析することで取得したユーザ骨格データ
ステップＳ１１２の後に、サーバ３０は、脚の回転数に関する推定（Ｓ１３０）を実行する。
具体的には、サーバ３０は、クライアント装置１０から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザ骨格データ、およびユーザ健康状態データを含む。サーバ３０は、入力データに推定モデルを適用することで、脚の回転数に関する推定を行う。一例として、サーバ３０は、ユーザの脚の回転数に関する評価指標の少なくとも１つを推定する。
ステップＳ１３０の後に、サーバ３０は図６と同様に、レスポンス（Ｓ１３１）を実行する。
ステップＳ１３１の後に、クライアント装置１０は図６と同様に、情報提示（Ｓ１１３）を実行する。
（７－５）小括
以上説明したように、変形例１の情報処理システム１は、ユーザ動画およびユーザの健康状態の双方に基づく入力データに推定モデルを適用することで、当該ユーザの脚の回転数に関する推定を行う。これにより、ユーザの健康状態をさらに考慮して、高精度な推定を行うことができる。例えば、ユーザの健康状態と、教師データの元となった被験者の健康状態との間に差異がある場合であっても、妥当な推定を行うことができる。
（８）その他の変形例
記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。ディスプレイ１５は、クライアント装置１０に内蔵されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。
実施形態および変形例１の情報処理システムを、クライアント／サーバ型のシステムによって実装する例を示した。しかしながら、実施形態および変形例１の情報処理システムは、スタンドアロン型のコンピュータによって実装することもできる。一例として、クライアント装置１０が単独で、推定モデルを用いて、脚の回転数に関する推定を行ってもよい。
上記の情報処理の各ステップは、クライアント装置１０及びサーバ３０の何れでも実行可能である。一例として、クライアント装置１０の代わりにサーバ３０が、ユーザ動画（或いは、ユーザ動画およびユーザ深度）を解析することでユーザ骨格データを取得してもよい。
上記説明では、クライアント装置１０のカメラ１６を用いてユーザ動画を撮影する例を示した。しかしながら、ユーザ動画は、カメラ１６とは別のカメラを用いて撮影されてもよい。クライアント装置１０の深度センサ１７を用いてユーザ深度を計測する例を示した。しかしながら、ユーザ深度は、深度センサ１７とは別の深度センサを用いて計測されてもよい。
本実施形態および変形例１の情報処理システム１は、プレイヤーの身体の動き（例えば脚の回転数）に応じてゲーム進行が制御されるビデオゲームにも適用可能である。一例として、情報処理システム１は、ゲームプレイ中に、ユーザの脚の回転数に関する推定を行い、当該推定の結果に応じて、以下のいずれか１つを決定してもよい。これにより、ビデオゲームがユーザの健康増進に与える効果を高めることができる。
・ユーザに与えられる、ビデオゲームに関する課題（例えば、ステージ、ミッション、クエスト）の質（例えば難易度）、または量
・ユーザに与えられる、ビデオゲームに関する特典（例えば、ゲーム内通貨、アイテム、ボーナス）の質（例えば種類）、または量
クライアント装置１０に搭載されたマイクロホン、またはクライアント装置１０に接続されたマイクロホンが、ユーザ動画の撮影時（つまり、ユーザの運動中）にユーザが発する音波を受信し、音データを生成してもよい。音データは、ユーザ骨格データとともに推定モデルに対する入力データを構成し得る。ユーザが発する音は、例えば以下の少なくとも１つである。
・ユーザの脚の回転により発する音波（例えば、ペダル、またはペダルに接続された駆動部から生じる音）
・ユーザの呼吸、または発声に伴って生じる音
推定モデルに対する入力データの一部として加速度データを用いることも可能である。或いは、加速度データを参照してユーザの骨格を解析してもよい。加速度データは、例えば、ユーザ動画の撮影時（つまり、ユーザの運動中）にユーザに加速度センサを備えたクライアント装置１０またはウェアラブルデバイスをユーザに携行または装着させることで取得可能である。
上記説明では、ペダル漕ぎによる足の回転を例示した。しかしながら、脚の回転は、ペダル漕ぎのような円運動に限らず、足踏みのような周期的運動全般を含み得る。要するに、脚の回転数は、足踏み、または歩数として適宜読み替えることもできる。
変形例１では、健康状態に基づく入力データに推定モデルを適用する例を示した。しかしながら、被験者の健康状態（の少なくとも一部）に基づいて、複数の推定モデルを構築することも可能である。この場合に、ユーザの健康状態（の少なくとも一部）が、推定モデルを選択するために参照されてもよい。このさらなる変形例において、推定モデルの入力データは、ユーザの健康状態に基づかないデータであってもよいし、ユーザの健康状態およびユーザ動画に基づくデータであってもよい。
以上、本発明の実施形態および変形例について詳細に説明したが、本発明の範囲は上記の実施形態および変形例に限定されない。また、上記の実施形態および変形例は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
１ ：情報処理システム
１０ ：クライアント装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
１５ ：ディスプレイ
１６ ：カメラ
１７ ：深度センサ
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース

Claims (13)

  1. コンピュータを、
    運動中のユーザの写ったユーザ動画を取得する手段、
    前記ユーザ動画に基づいて、前記ユーザの脚の回転数に関する推定を行う手段
    として機能させるプログラム。
  2. 前記脚の回転数に関する推定を行う手段は、前記ユーザ動画に基づく入力データに、推定モデルを適用することで、前記ユーザの脚の回転数に関する推定を行う、
    請求項１に記載のプログラム。
  3. 前記推定モデルは、運動中の被験者の写った被験者動画に関するデータを含む入力データと、当該入力データの各々に関連付けられた正解データとを含む教師データセットを用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する、
    請求項２に記載のプログラム。
  4. 前記推定モデルを適用される入力データは、前記ユーザの骨格に関するデータを含む、
    請求項２または請求項３に記載のプログラム。
  5. 前記推定モデルを適用される入力データは、基準点から前記ユーザの各部位までの深度に関するデータにさらに基づく、
    請求項２乃至請求項４のいずれかに記載のプログラム。
  6. 前記脚の回転数に関する推定を行う手段は、脚の累積回転数、回転速度、回転加速度、または脚の累積回転数から換算した走行距離の少なくとも１つを推定する、
    請求項１乃至請求項５のいずれかに記載のプログラム。
  7. 前記ユーザ動画は、少なくとも前記ユーザの下半身が撮影範囲に含まれるように当該ユーザを撮影した動画である、
    請求項１乃至請求項６のいずれかに記載のプログラム。
  8. 前記ユーザ動画は、ペダルを漕いでいる前記ユーザを撮影した動画である、
    請求項１乃至請求項７のいずれかに記載のプログラム。
  9. 前記コンピュータを、前記ユーザの脚の回転数に関する推定の結果に基づく情報を提示する手段としてさらに機能させる、
    請求項１乃至請求項８のいずれかに記載のプログラム。
  10. 前記脚の回転数に関する推定を行う手段は、脚の回転数に関する評価指標を推定し、
    前記提示する手段は、前記評価指標を提示する、
    請求項９に記載のプログラム。
  11. 前記提示する手段は、前記評価指標の経時的変化を提示する、
    請求項１０に記載のプログラム。
  12. 運動中のユーザの写ったユーザ動画を取得する手段と、
    前記ユーザ動画に基づいて、前記ユーザの脚の回転数に関する推定を行う手段と
    を具備する、情報処理装置。
  13. コンピュータが、
    運動中のユーザの写ったユーザ動画を取得することと、
    前記ユーザ動画に基づいて、前記ユーザの脚の回転数に関する推定を行うことと
    を具備する、方法。
JP2023212332A 2021-08-26 2023-12-15 プログラム、情報処理装置、および情報処理方法 Pending JP2024025826A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021137960 2021-08-26
JP2021137960 2021-08-26
PCT/JP2022/031632 WO2023027046A1 (ja) 2021-08-26 2022-08-22 プログラム、情報処理装置、および情報処理方法
JP2023509558A JP7411945B2 (ja) 2021-08-26 2022-08-22 プログラム、情報処理装置、および情報処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2023509558A Division JP7411945B2 (ja) 2021-08-26 2022-08-22 プログラム、情報処理装置、および情報処理方法

Publications (1)

Publication Number Publication Date
JP2024025826A true JP2024025826A (ja) 2024-02-26

Family

ID=85322763

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2023509558A Active JP7411945B2 (ja) 2021-08-26 2022-08-22 プログラム、情報処理装置、および情報処理方法
JP2023212332A Pending JP2024025826A (ja) 2021-08-26 2023-12-15 プログラム、情報処理装置、および情報処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2023509558A Active JP7411945B2 (ja) 2021-08-26 2022-08-22 プログラム、情報処理装置、および情報処理方法

Country Status (4)

Country Link
EP (1) EP4393393A1 (ja)
JP (2) JP7411945B2 (ja)
CN (1) CN118159187A (ja)
WO (1) WO2023027046A1 (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001017565A (ja) * 1999-07-08 2001-01-23 Erugotekku:Kk シミュレーション・システム
US9387386B2 (en) * 2003-07-31 2016-07-12 First Principles, Inc. Method and apparatus for improving performance
TW201520980A (zh) 2013-11-26 2015-06-01 Nat Univ Chung Cheng 可即時估算踏頻之視頻裝置
JP7057959B2 (ja) 2016-08-09 2022-04-21 住友ゴム工業株式会社 動作解析装置
JP2019025134A (ja) * 2017-08-01 2019-02-21 株式会社大武ルート工業 動作推定装置及び動作推定プログラム
JP7069628B2 (ja) * 2017-10-12 2022-05-18 大日本印刷株式会社 トレーニング装置及びプログラム
CN108114405B (zh) * 2017-12-20 2020-03-17 中国科学院合肥物质科学研究院 基于3d深度摄像头和柔性力敏传感器的跑步机自适应系统
JP7060544B6 (ja) * 2019-04-26 2022-05-23 塁 佐藤 運動用設備
CN114845785A (zh) * 2019-12-26 2022-08-02 国立大学法人东京大学 智能跑步机

Also Published As

Publication number Publication date
CN118159187A (zh) 2024-06-07
JP7411945B2 (ja) 2024-01-12
EP4393393A1 (en) 2024-07-03
JPWO2023027046A1 (ja) 2023-03-02
WO2023027046A1 (ja) 2023-03-02

Similar Documents

Publication Publication Date Title
EP3283990B1 (en) Activity monitoring device with assessment of exercise intensity
KR100772497B1 (ko) 골프 클리닉 시스템 및 그것의 운용방법
KR100466665B1 (ko) 게임을 이용한 자동체력평가운동방법
Slade et al. Sensing leg movement enhances wearable monitoring of energy expenditure
KR101680972B1 (ko) 가상현실을 이용한 실내 운동 시스템
CN111477297A (zh) 个人计算设备
WO2015190042A1 (ja) 活動評価装置、評価処理装置、プログラム
JP2005095570A (ja) 画像表示システム、画像表示装置、画像表示方法
KR102556863B1 (ko) 사용자 맞춤형 운동 훈련 방법 및 시스템
Nunes et al. Motivating people to perform better in exergames: Competition in virtual environments
KR20160138682A (ko) 복합 생체신호를 이용한 능동형 스피닝 트레이닝 시스템
JP2018503413A (ja) 心肺適応能評価
WO2014133920A2 (en) Using a true representation of effort for fitness
Georgiadis et al. A remote rehabilitation training system using Virtual Reality
JP7411945B2 (ja) プログラム、情報処理装置、および情報処理方法
JP2019024579A (ja) リハビリテーション支援システム、リハビリテーション支援方法及びプログラム
US20240355141A1 (en) Program, information processing device, and information processing method
Eichhorn et al. Development of an Exergame for individual rehabilitation of patients with cardiovascular diseases
JP7356666B2 (ja) プログラム、情報処理装置、および情報処理方法
JP7333537B2 (ja) プログラム、情報処理装置、および情報処理方法
Teikari et al. Precision strength training: Data-driven artificial intelligence approach to strength and conditioning
JP7303595B1 (ja) プログラム、情報処理装置、および情報処理方法
KR20210066046A (ko) IoT 센서를 이용한 운동 지원 장치
CN112753056B (zh) 用于身体部位的体育训练的系统和方法
WO2024166585A1 (ja) 情報処理装置、方法、プログラム、およびシステム