JP7356666B2 - プログラム、情報処理装置、および情報処理方法 - Google Patents
プログラム、情報処理装置、および情報処理方法 Download PDFInfo
- Publication number
- JP7356666B2 JP7356666B2 JP2023509559A JP2023509559A JP7356666B2 JP 7356666 B2 JP7356666 B2 JP 7356666B2 JP 2023509559 A JP2023509559 A JP 2023509559A JP 2023509559 A JP2023509559 A JP 2023509559A JP 7356666 B2 JP7356666 B2 JP 7356666B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- data
- video
- ventilation
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Pulmonology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physical Education & Sports Medicine (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
情報処理システムの構成について説明する。図1は、本実施形態の情報処理システムの構成を示すブロック図である。
クライアント装置10及びサーバ30は、ネットワーク(例えば、インターネット又はイントラネット)NWを介して接続される。
クライアント装置の構成について説明する。図2は、本実施形態のクライアント装置の構成を示すブロック図である。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーション(例えば、ウェブブラウザ、リハビリアプリ、またはフィットネスアプリ)のプログラム
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
・CPU(Central Processing Unit)
・GPU(Graphic Processing Unit)
・ASIC(Application Specific Integrated Circuit)
・FPGA(Field Programmable Gate Array)
入力デバイスは、例えば、カメラ16、深度センサ17、マイクロホン、キーボード、ポインティングデバイス、タッチパネル、センサ、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ15、スピーカ、又は、それらの組合せである。
具体的には、通信インタフェース14は、サーバ30との通信のためのモジュール(例えば、WiFiモジュール、移動通信モジュール、またはそれらの組み合わせ)を含むことができる。
サーバの構成について説明する。図3は、本実施形態のサーバの構成を示すブロック図である。
・OSのプログラム
・情報処理を実行するアプリケーションのプログラム
・情報処理において参照されるデータベース
・情報処理の実行結果
・CPU
・GPU
・ASIC
・FPGA
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
本実施形態の概要について説明する。図4は、本実施形態の概要の説明図である。
本実施形態の教師データセットについて説明する。図5は、本実施形態の教師データセットのデータ構造を示す図である。
・肩、胸(側胸部を含み得る)、腹部、またはそれらの組み合わせの動き(広がり)
・吸気時間
・呼気時間
・呼吸補助筋の使用程度
・換気回数
・換気量
・換気速度(つまり、単位時間あたりの換気量、または換気回数)
・換気加速度(つまり、換気速度の時間微分)
ただし、換気指標は、呼吸運動を定量的に把握するための任意の指標であってよく、ここに例示した指標に限定されない。
サーバ30によって用いられる推定モデルは、教師データセット(図5)を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
本実施形態の情報処理について説明する。図6は、本実施形態の情報処理のフローチャートである。図7は、本実施形態の情報処理において表示される画面例を示す図である。
・他の処理によって情報処理が呼び出された。
・ユーザが情報処理を呼び出すための操作を行った。
・クライアント装置10が所定の状態(例えば、所定のアプリの起動)になった。
・所定の日時が到来した。
・所定のイベントから所定の時間が経過した。
具体的には、クライアント装置10は、カメラ16の動作を有効にすることで、ユーザの外観についての動画(以下、「ユーザ動画」という)の撮影を開始する。ユーザ動画は、典型的には、少なくともユーザの上半身(具体的には、ユーザの肩、胸、腹部の少なくとも1つ)が撮影範囲に含まれるように、当該ユーザを撮影した動画である。
具体的には、クライアント装置10は、ステップS110において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置10は、カメラ16からユーザ動画データを取得し、深度センサ17からユーザ深度データを取得する。
具体的には、クライアント装置10は、ステップS111において取得したデータを参照し、リクエストを生成する。クライアント装置10は、生成したリクエストをサーバ30へ送信する。リクエストは、例えば、以下の少なくとも1つを含むことができる。
・ステップS111において取得したデータ(例えば、ユーザ動画データ、またはユーザ深度データ)
・ステップS111において取得したデータを加工したデータ
・ステップS111において取得したユーザ動画データ(或いは、ユーザ動画データおよびユーザ深度データ)を解析することで取得したユーザ骨格データ
具体的には、サーバ30は、クライアント装置10から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザ骨格データを含む。サーバ30は、入力データに推定モデルを適用することで、ユーザの呼吸運動に伴う換気指標に関する推定を行う。一例として、サーバ30は、換気指標の少なくとも1つを推定する。
具体的には、サーバ30は、ステップS130における推定の結果に基づくレスポンスを生成する。サーバ30は、生成したレスポンスをクライアント装置10へ送信する。一例として、レスポンスは以下の少なくとも1つを含むことができる。
・換気指標に関する推定の結果に相当するデータ
・換気指標に関する推定の結果を加工したデータ(例えば、クライアント装置10のディスプレイ15に表示されるべき画面のデータ、または当該画面を生成するために参照されるデータ)
具体的には、クライアント装置10は、サーバ30から取得したレスポンス(つまり、ユーザの換気指標に関する推定の結果)に基づく情報をディスプレイ15に表示させる。
ただし、情報は、ユーザの代わりに、またはユーザに加えて、ユーザの指導者(例えば、医療関係者、またはトレーナー)向けに当該指導者の使用する端末に提示されてもよい。或いは、情報は、換気指標を元にユーザの運動耐容能を評価するアルゴリズム、または推定モデルを利用可能なコンピュータに提供されてもよい。このコンピュータは、情報処理システム1の内部にあってもよいし、情報処理システム1の外部にあってもよい。
操作オブジェクトB10は、表示オブジェクトA10に表示させる換気指標を指定する操作を受け付ける。図7の例では、操作オブジェクトB10は、チェックボックスに相当する。
表示オブジェクトA10は、ユーザの換気指標を推定した結果の経時的変化を表示する。図7の例では、表示オブジェクトA10は、操作オブジェクトB10において指定されている換気指標である換気速度を1分毎に推定した結果(つまり、分時換気量の推定結果)の経時的変化を示すグラフを表示する。
操作オブジェクトB10において複数の換気指標が指定されている場合に、表示オブジェクトA10には、複数の換気指標を推定した結果の経時的変化を示すグラフを重畳して表示してもよいし、これらのグラフを個別に表示してもよい。
以上説明したように、実施形態の情報処理システム1は、ユーザの外観の写ったユーザ動画に基づく入力データを推定モデルに適用することで、当該ユーザの呼吸運動に伴う換気指標に関する推定を行う。これにより、ユーザの呼吸運動に伴う換気指標に関する推定を非接触に行うことができる。
変形例1について説明する。変形例1は、推定モデルに対する入力データを変形する例である。
・年齢
・性別
・身長
・体重
・体脂肪率
・筋肉量
・骨密度
・現病歴
・既往歴
・内服歴
・手術歴
・生活歴(例えば、喫煙歴、飲酒歴、日常生活動作(ADL)、フレイルスコア、など)
・家族歴
・呼吸機能検査の結果
・呼吸機能検査以外の検査結果(例えば、血液検査、尿検査、心電図検査(ホルター心電図検査を含む)、心臓超音波検査、X線検査、CT検査(心臓形態CT・冠動脈CT含む)、MRI検査、核医学検査、PET検査、などの結果)
・心臓リハビリテーション施行中に取得されたデータ(Borg指数含む)
変形例1の教師データセットについて説明する。図8は、変形例1の教師データセットのデータ構造を示す図である。
変形例1において、サーバ30によって用いられる推定モデルは、教師データセット(図8)を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
変形例1の情報処理について図6を用いて説明する。
具体的には、クライアント装置10は、ステップS110において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置10は、カメラ16からユーザ動画データを取得し、深度センサ17からユーザ深度データを取得する。
具体的には、クライアント装置10は、ステップS111において取得したデータを参照し、リクエストを生成する。クライアント装置10は、生成したリクエストをサーバ30へ送信する。リクエストは、例えば、以下の少なくとも1つを含むことができる。
・ステップS111において取得したデータ(例えば、ユーザ動画データ、ユーザ深度データ、またはユーザ健康状態データ)
・ステップS111において取得したデータを加工したデータ
・ステップS111において取得したユーザ動画データ(或いは、ユーザ動画データおよびユーザ深度データ)を解析することで取得したユーザ骨格データ
具体的には、サーバ30は、クライアント装置10から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザ骨格データ、およびユーザ健康状態データを含む。サーバ30は、入力データに推定モデルを適用することで、ユーザの呼吸運動に伴う換気指標に関する推定を行う。一例として、サーバ30は、換気指標の少なくとも1つを推定する。
ステップS131の後に、クライアント装置10は図6と同様に、情報提示(S113)を実行する。
以上説明したように、変形例1の情報処理システム1は、ユーザ動画およびユーザの健康状態の双方に基づく入力データに推定モデルを適用することで、当該ユーザの呼吸運動に伴う換気指標に関する推定を行う。これにより、ユーザの健康状態をさらに考慮して、高精度な推定を行うことができる。例えば、ユーザの健康状態と、教師データの元となった被験者の健康状態との間に差異がある場合であっても、妥当な推定を行うことができる。
記憶装置11は、ネットワークNWを介して、クライアント装置10と接続されてもよい。ディスプレイ15は、クライアント装置10に内蔵されてもよい。記憶装置31は、ネットワークNWを介して、サーバ30と接続されてもよい。
・ユーザに与えられる、ビデオゲームに関する課題(例えば、ステージ、ミッション、クエスト)の質(例えば難易度)、または量
・ユーザに与えられる、ビデオゲームに関する特典(例えば、ゲーム内通貨、アイテム、ボーナス)の質(例えば種類)、または量
10 :クライアント装置
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
15 :ディスプレイ
16 :カメラ
17 :深度センサ
30 :サーバ
31 :記憶装置
32 :プロセッサ
33 :入出力インタフェース
34 :通信インタフェース
Claims (12)
- コンピュータを、
ユーザの外観の写ったユーザ動画を取得する手段、
前記ユーザ動画に基づくデータと前記ユーザの健康状態に関するデータとを含む入力データに推定モデルを適用することで、前記ユーザの呼吸運動に伴う換気指標に関する推定を行う手段
として機能させるプログラム。 - 前記推定モデルは、被験者の外観の写った被験者動画に関するデータを含む入力データと、当該入力データの各々に関連付けられた正解データとを含む教師データセットを用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する、
請求項1に記載のプログラム。 - 前記推定モデルを適用される入力データは、前記ユーザの骨格に関するデータを含む、
請求項1または請求項2に記載のプログラム。 - 前記推定モデルを適用される入力データは、基準点から前記ユーザの各部位までの深度に関するデータにさらに基づく、
請求項1乃至請求項3のいずれかに記載のプログラム。 - 前記換気指標は、換気量、換気速度、または換気加速度の少なくとも1つを含む、
請求項1乃至請求項4のいずれかに記載のプログラム。 - 前記ユーザ動画は、少なくとも前記ユーザの上半身が撮影範囲に含まれるように当該ユーザを撮影した動画である、
請求項1乃至請求項5のいずれかに記載のプログラム。 - 前記ユーザの上半身は、前記ユーザの肩、胸、または腹部の少なくとも1つを含む、
請求項6に記載のプログラム。 - 前記被験者は、前記ユーザと同一人物である、
請求項2に記載のプログラム。 - 前記コンピュータを、前記ユーザの換気指標の推定の結果に基づく情報を提示する手段としてさらに機能させる、
請求項1乃至請求項8のいずれかに記載のプログラム。 - 前記提示する手段は、前記ユーザの換気指標の経時的変化に関する情報を提示する、
請求項9に記載のプログラム。 - ユーザの外観の写ったユーザ動画を取得する手段と、
前記ユーザ動画に基づくデータと前記ユーザの健康状態に関するデータとを含む入力データに推定モデルを適用することで、前記ユーザの呼吸運動に伴う換気指標に関する推定を行う手段と
を具備する情報処理装置。 - コンピュータが、
ユーザの外観の写ったユーザ動画を取得するステップと、
前記ユーザ動画に基づくデータと前記ユーザの健康状態に関するデータとを含む入力データに推定モデルを適用することで、前記ユーザの呼吸運動に伴う換気指標に関する推定を行うステップと
を実行する方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023147874A JP2023160961A (ja) | 2021-08-26 | 2023-09-12 | プログラム、情報処理装置、および情報処理方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021137935 | 2021-08-26 | ||
JP2021137935 | 2021-08-26 | ||
PCT/JP2022/029579 WO2023026785A1 (ja) | 2021-08-26 | 2022-08-02 | プログラム、情報処理装置、および情報処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023147874A Division JP2023160961A (ja) | 2021-08-26 | 2023-09-12 | プログラム、情報処理装置、および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2023026785A1 JPWO2023026785A1 (ja) | 2023-03-02 |
JP7356666B2 true JP7356666B2 (ja) | 2023-10-05 |
Family
ID=85323025
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023509559A Active JP7356666B2 (ja) | 2021-08-26 | 2022-08-02 | プログラム、情報処理装置、および情報処理方法 |
JP2023147874A Pending JP2023160961A (ja) | 2021-08-26 | 2023-09-12 | プログラム、情報処理装置、および情報処理方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023147874A Pending JP2023160961A (ja) | 2021-08-26 | 2023-09-12 | プログラム、情報処理装置、および情報処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7356666B2 (ja) |
WO (1) | WO2023026785A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014023550A (ja) | 2012-07-24 | 2014-02-06 | Hiroshima City Univ | 呼吸計測方法および装置 |
JP2017217298A (ja) | 2016-06-09 | 2017-12-14 | 青木 広宙 | 非接触呼吸測定装置及び非接触呼吸測定方法 |
-
2022
- 2022-08-02 WO PCT/JP2022/029579 patent/WO2023026785A1/ja unknown
- 2022-08-02 JP JP2023509559A patent/JP7356666B2/ja active Active
-
2023
- 2023-09-12 JP JP2023147874A patent/JP2023160961A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014023550A (ja) | 2012-07-24 | 2014-02-06 | Hiroshima City Univ | 呼吸計測方法および装置 |
JP2017217298A (ja) | 2016-06-09 | 2017-12-14 | 青木 広宙 | 非接触呼吸測定装置及び非接触呼吸測定方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023026785A1 (ja) | 2023-03-02 |
WO2023026785A1 (ja) | 2023-03-02 |
JP2023160961A (ja) | 2023-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Al Osman et al. | Ubiquitous biofeedback serious game for stress management | |
US11679300B2 (en) | Systems and methods for real-time data quantification, acquisition, analysis, and feedback | |
KR101811888B1 (ko) | 연상 능력 검사 및/또는 훈련 | |
AU2017386412A1 (en) | Systems and methods for real-time data quantification, acquisition, analysis, and feedback | |
Grewal et al. | Balance rehabilitation: promoting the role of virtual reality in patients with diabetic peripheral neuropathy | |
JP2020017153A (ja) | 健康状態診断システム | |
KR20160138682A (ko) | 복합 생체신호를 이용한 능동형 스피닝 트레이닝 시스템 | |
Mortazavi et al. | Context-aware data processing to enhance quality of measurements in wireless health systems: An application to met calculation of exergaming actions | |
JP2018503413A (ja) | 心肺適応能評価 | |
US20190117129A1 (en) | Systems, devices, and methods for determining an overall strength envelope | |
JP7356666B2 (ja) | プログラム、情報処理装置、および情報処理方法 | |
Montes | Validation and reliability of the Hexoskin and Fitbit Flex wearable BIO collection devices | |
JP7333537B2 (ja) | プログラム、情報処理装置、および情報処理方法 | |
Teikari et al. | Precision strength training: Data-driven artificial intelligence approach to strength and conditioning | |
Morando et al. | Biophysical and motion features extraction for an effective home-based rehabilitation | |
Sprint et al. | Designing wearable sensor-based analytics for quantitative mobility assessment | |
JP7411945B2 (ja) | プログラム、情報処理装置、および情報処理方法 | |
JP7303595B1 (ja) | プログラム、情報処理装置、および情報処理方法 | |
CN118266040A (en) | Program, information processing apparatus, and information processing method | |
Oh | Exploring Design Opportunities for Technology-Supported Yoga Practices at Home | |
Fan et al. | Aerobics player’s energy level monitoring using IoT | |
Vasquez et al. | Gamified Respiratory Therapy Device | |
Dalangin | FIXTRATE: AN IOT-BASED POSTURE DETECTION AND CORRECTION SYSTEM | |
Arcidiacono | Predicting cardiovascular fitness in ethnic minority youth: A comparison of demographic, body composition, and physical activity variables | |
PACCINI et al. | Using Data from Low-cost, Off-the-shelf Devices to Monitor Exercise Adherence in Respiratory Patients, During Their Pulmonary Rehabilitation Programme |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230209 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230912 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7356666 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |