WO2023026785A1 - Program, information processing device, and information processing method - Google Patents

Program, information processing device, and information processing method Download PDF

Info

Publication number
WO2023026785A1
WO2023026785A1 PCT/JP2022/029579 JP2022029579W WO2023026785A1 WO 2023026785 A1 WO2023026785 A1 WO 2023026785A1 JP 2022029579 W JP2022029579 W JP 2022029579W WO 2023026785 A1 WO2023026785 A1 WO 2023026785A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
data
ventilation
subject
input data
Prior art date
Application number
PCT/JP2022/029579
Other languages
French (fr)
Japanese (ja)
Inventor
一裕 寺嶋
Original Assignee
株式会社CaTe
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社CaTe filed Critical 株式会社CaTe
Priority to JP2023509559A priority Critical patent/JP7356666B2/en
Publication of WO2023026785A1 publication Critical patent/WO2023026785A1/en
Priority to JP2023147874A priority patent/JP2023160961A/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Definitions

  • the CPX test has problems such as placing a large physical burden on the person being tested, and the fact that the testing equipment is expensive and the facilities where it can be performed are limited. In addition, it is not comfortable for the test subject to wear an exhalation mask, which is required for exhaled gas analysis, which is essential for the CPX examination.
  • FIG. 1 is a block diagram showing the configuration of an information processing system according to an embodiment
  • FIG. It is a block diagram showing the configuration of the client device of the present embodiment. It is a block diagram which shows the structure of the server of this embodiment.
  • FIG. 1 is an explanatory diagram of the outline of this embodiment; It is a figure which shows the data structure of the teacher data set of this embodiment. 4 is a flowchart of information processing according to the embodiment; It is a figure which shows the example of a screen displayed in the information processing of this embodiment.
  • FIG. 10 is a diagram showing the data structure of a teacher data set of modification 1;
  • the camera 16 of the client device 10 captures the appearance (for example, the whole body) of the user US1.
  • the example of FIG. 4 shows an example in which the user US1 exercises by bicycle, the user US1 can perform any exercise (aerobic exercise or anaerobic exercise). Alternatively, the camera 16 may photograph the user US1 before or after exercise (including at rest).
  • Input data is the data that is input to the target model during training or evaluation.
  • the input data correspond to the examples used when training or evaluating the target model.
  • the input data includes skeletal data of the subject.
  • the skeletal data of the subject is data (for example, feature amount) relating to the skeletal structure of the subject at the time of shooting the moving image of the subject.
  • the subject may be the same person as the user whose ventilation index associated with respiratory motion is estimated during operation of the information processing system 1, or may be a different person.
  • the target model may learn the user's individuality and the estimation accuracy may be improved.
  • allowing the subject to be a different person from the user has the advantage of facilitating enrichment of the teacher data set.
  • the subjects may be composed of multiple people including the user or multiple people not including the user.
  • the input data to which the estimation model is applied may include data (that is, user depth data) regarding the depth from the reference point (that is, depth sensor 17) to each part of the user when shooting the user's video. Thereby, the estimation accuracy of the ventilation index can be improved.
  • Modification 1 will be described. Modification 1 is an example of modifying the input data for the estimation model.
  • the client device 10 acquires data regarding the user's health condition (hereinafter referred to as "user health condition data").
  • user health condition data data regarding the user's health condition
  • the client device 10 may acquire user health condition data based on an operation (report) by the user or the doctor in charge, or extract information linked to the user in the medical information system.
  • User health data may be acquired, or user health data may be acquired via a user's app (for example, a healthcare app).
  • the client device 10 may acquire user health condition data at a timing different from step S111 (for example, before step S110, at the same timing as step S110, or after step S111).
  • the client device 10 executes the request (S112). Specifically, the client device 10 refers to the data acquired in step S111 and generates a request. The client device 10 transmits the generated request to the server 30 .
  • the request can include, for example, at least one of the following. - Data acquired in step S111 (for example, user video data, user depth data, or user health data) ⁇ Data obtained by processing the data obtained in step S111 ⁇ User skeleton data obtained by analyzing the user moving image data (or user moving image data and user depth data) obtained in step S111
  • an example of shooting a user video using the camera 16 of the client device 10 has been shown.
  • the user moving image may be shot using a camera other than camera 16 .
  • An example of measuring the user depth using the depth sensor 17 of the client device 10 has been shown.
  • the user depth may be measured using a depth sensor other than depth sensor 17 .
  • acceleration data can be used as part of the input data for the estimation model.
  • the user's skeleton may be analyzed with reference to acceleration data.
  • Acceleration data can be obtained, for example, by having the user carry or wear the client device 10 or wearable device equipped with an acceleration sensor when shooting a user moving image.
  • Oxygen saturation data can be obtained, for example, by having the user wear a wearable device equipped with a sensor (for example, an optical sensor) capable of measuring the blood oxygen concentration or a pulse oximeter when shooting a user video.
  • Oxygen saturation data may be estimated, for example, by performing rPPG (Remote Photo-plethysmography) analysis on user video data.
  • rPPG Remote Photo-plethysmography

Abstract

A program according to one embodiment of the present disclosure causes a computer to function as: a means for acquiring a user video capturing the appearance of the user; and a means for executing an estimation related to a ventilation index associated with respiratory exercises performed by the user, such estimation executed by applying an estimation model to input data based on the user video.

Description

プログラム、情報処理装置、および情報処理方法Program, information processing device, and information processing method
 本開示は、プログラム、情報処理装置、および情報処理方法に関する。 The present disclosure relates to a program, an information processing device, and an information processing method.
 心臓リハビリテーションは、運動療法を含む総合的活動プログラムを通じて、心臓病の患者が、体力および自信を回復し、快適な家庭生活および社会生活に復帰するとともに、心臓病の再発または再入院を防止することを目指す。運動療法の中心は、ウォーキング、ジョギング、サイクリング、エアロビクス、などの有酸素運動である。有酸素運動をより安全かつ効果的に行うためには、患者が、自己の嫌気性代謝閾値(AT(Anaerobic Threshold))付近の強度で運動を行うことが好ましい。 Cardiac rehabilitation is a comprehensive activity program that includes exercise therapy to help patients with heart disease regain strength and self-confidence, return to a comfortable home and social life, and prevent recurrence or readmission of heart disease. It aims to. The core of exercise therapy is aerobic exercise such as walking, jogging, cycling, and aerobics. In order to perform aerobic exercise more safely and effectively, it is preferable for the patient to exercise at an intensity near his/her own anaerobic threshold (AT).
 嫌気性代謝閾値は、換気指標の一例であって、心肺機能状態の変化点、つまり、有酸素運動と無酸素運動との境界付近の運動強度に相当する。嫌気性代謝閾値は、一般的に、検査対象者に漸増的に運動負荷を与えながら呼気ガスを収集して分析を行うCPX検査(心肺運動負荷検査)により決定される。CPX検査では、呼気ガス分析により測定された結果(例えば、酸素摂取量、二酸化炭素排出量、1回換気量、呼吸数、分時換気量、またはそれらの組み合わせ)に基づいて、嫌気性代謝閾値が決定される。CPX検査によれば、嫌気性代謝閾値のほか、最大運動耐容能付近の運動強度に相当する最大酸素摂取量を決定することもできる。 The anaerobic metabolic threshold is an example of a ventilation index and corresponds to the change point of cardiopulmonary function status, that is, the exercise intensity near the boundary between aerobic and anaerobic exercise. The anaerobic metabolic threshold is generally determined by a CPX test (cardiopulmonary exercise test) in which exhaled gases are collected and analyzed while the test subject is subjected to an incremental exercise load. The CPX test uses results measured by exhaled gas analysis (e.g., oxygen uptake, carbon dioxide output, tidal volume, respiratory rate, minute ventilation, or a combination thereof) to determine the anaerobic metabolic threshold. is determined. Besides the anaerobic metabolic threshold, the CPX test can also determine the maximal oxygen uptake, which corresponds to an exercise intensity near the maximum exercise tolerance.
 しかしながら、CPX検査には、検査対象者に大きな身体的負担がかかる、検査装置が高額で実施可能な施設が限られる、などの問題がある。また、CPX検査に必須の呼気ガス分析で必要な呼気マスクの装着は検査対象者にとって快適ではない。 However, the CPX test has problems such as placing a large physical burden on the person being tested, and the fact that the testing equipment is expensive and the facilities where it can be performed are limited. In addition, it is not comfortable for the test subject to wear an exhalation mask, which is required for exhaled gas analysis, which is essential for the CPX examination.
 特許文献1には、測定対象者の胸腹部を含む対象領域の三次元画像を撮影すること、三次元画像から姿勢情報を取得すること、姿勢情報を用いて呼吸主要領域を定め、当該呼吸主要領域の移動量波形を生成し、当該移動量波形から呼吸波形を生成すること、および呼吸波形から単位時間あたりの換気量を算出することが記載されている。 Patent Document 1 discloses capturing a three-dimensional image of a target region including the chest and abdomen of a person to be measured, obtaining posture information from the three-dimensional image, determining a respiratory main region using the posture information, and determining the respiratory main region. It describes generating a movement amount waveform of a region, generating a respiration waveform from the movement amount waveform, and calculating a ventilation volume per unit time from the respiration waveform.
特開2017-217298号公報Japanese Patent Application Laid-Open No. 2017-217298
 特許文献1に記載の非接触呼吸測定装置は、測定対象者の単位時間あたりの換気量を非接触に測定するのに有用である可能性がある。 The non-contact respiration measurement device described in Patent Document 1 may be useful for non-contact measurement of a person's ventilation volume per unit time.
 本開示の目的は、ユーザの呼吸運動に伴う換気指標を非接触に推定するための新規な技法を提供することである。 An object of the present disclosure is to provide a novel technique for contactlessly estimating a ventilation index associated with a user's respiratory motion.
 本開示の一態様のプログラムは、コンピュータを、ユーザの外観の写ったユーザ動画を取得する手段、ユーザ動画に基づく入力データに推定モデルを適用することで、ユーザの呼吸運動に伴う換気指標に関する推定を行う手段として機能させる。 A program according to one aspect of the present disclosure includes a computer, means for acquiring a user moving image showing the appearance of a user, applying an estimation model to input data based on the user moving image, and estimating a ventilation index associated with a user's breathing exercise. function as a means of
 本開示によれば、ユーザの呼吸運動に伴う換気指標を非接触に推定するための新規な技法を提供することができる。 According to the present disclosure, it is possible to provide a novel technique for contactlessly estimating a ventilation index associated with a user's respiratory motion.
本実施形態の情報処理システムの構成を示すブロック図である。1 is a block diagram showing the configuration of an information processing system according to an embodiment; FIG. 本実施形態のクライアント装置の構成を示すブロック図である。It is a block diagram showing the configuration of the client device of the present embodiment. 本実施形態のサーバの構成を示すブロック図である。It is a block diagram which shows the structure of the server of this embodiment. 本実施形態の概要の説明図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is an explanatory diagram of the outline of this embodiment; 本実施形態の教師データセットのデータ構造を示す図である。It is a figure which shows the data structure of the teacher data set of this embodiment. 本実施形態の情報処理のフローチャートである。4 is a flowchart of information processing according to the embodiment; 本実施形態の情報処理において表示される画面例を示す図である。It is a figure which shows the example of a screen displayed in the information processing of this embodiment. 変形例1の教師データセットのデータ構造を示す図である。FIG. 10 is a diagram showing the data structure of a teacher data set of modification 1;
 以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。 Hereinafter, one embodiment of the present invention will be described in detail based on the drawings. In the drawings for describing the embodiments, in principle, the same constituent elements are denoted by the same reference numerals, and repeated description thereof will be omitted.
(1)情報処理システムの構成
 情報処理システムの構成について説明する。図1は、本実施形態の情報処理システムの構成を示すブロック図である。
(1) Configuration of information processing system The configuration of the information processing system will be described. FIG. 1 is a block diagram showing the configuration of the information processing system of this embodiment.
 図1に示すように、情報処理システム1は、クライアント装置10と、サーバ30とを備える。
 クライアント装置10及びサーバ30は、ネットワーク(例えば、インターネット又はイントラネット)NWを介して接続される。
As shown in FIG. 1 , the information processing system 1 includes a client device 10 and a server 30 .
The client device 10 and server 30 are connected via a network (for example, the Internet or an intranet) NW.
 クライアント装置10は、サーバ30にリクエストを送信する情報処理装置の一例である。クライアント装置10は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。 The client device 10 is an example of an information processing device that transmits requests to the server 30 . The client device 10 is, for example, a smart phone, a tablet terminal, or a personal computer.
 サーバ30は、クライアント装置10から送信されたリクエストに応じたレスポンスをクライアント装置10に提供する情報処理装置の一例である。サーバ30は、例えば、Webサーバである。 The server 30 is an example of an information processing device that provides the client device 10 with a response in response to a request sent from the client device 10 . The server 30 is, for example, a web server.
(1-1)クライアント装置の構成
 クライアント装置の構成について説明する。図2は、本実施形態のクライアント装置の構成を示すブロック図である。
(1-1) Configuration of Client Apparatus The configuration of the client apparatus will be described. FIG. 2 is a block diagram showing the configuration of the client device of this embodiment.
 図2に示すように、クライアント装置10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14とを備える。クライアント装置10は、ディスプレイ15と、カメラ16と、深度センサ17とに接続される。 As shown in FIG. 2, the client device 10 includes a storage device 11, a processor 12, an input/output interface 13, and a communication interface . Client device 10 is connected to display 15 , camera 16 and depth sensor 17 .
 記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。 The storage device 11 is configured to store programs and data. The storage device 11 is, for example, a combination of ROM (Read Only Memory), RAM (Random Access Memory), and storage (eg, flash memory or hard disk).
 プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーション(例えば、ウェブブラウザ、リハビリアプリ、またはフィットネスアプリ)のプログラム
Programs include, for example, the following programs.
・Program of OS (Operating System) ・Program of application that executes information processing (for example, web browser, rehabilitation application, or fitness application)
 データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
The data includes, for example, the following data.
・Databases referenced in information processing ・Data obtained by executing information processing (that is, execution results of information processing)
 プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、クライアント装置10の機能を実現するコンピュータである。プロセッサ12は、例えば、以下の少なくとも1つである。
 ・CPU(Central Processing Unit)
 ・GPU(Graphic Processing Unit)
 ・ASIC(Application Specific Integrated Circuit)
 ・FPGA(Field Programmable Gate Array)
The processor 12 is a computer that implements the functions of the client device 10 by activating programs stored in the storage device 11 . Processor 12 is, for example, at least one of the following:
・CPU (Central Processing Unit)
・GPU (Graphic Processing Unit)
・ASIC (Application Specific Integrated Circuit)
・FPGA (Field Programmable Gate Array)
 入出力インタフェース13は、クライアント装置10に接続される入力デバイスから情報(例えば、ユーザの指示、画像、音)を取得し、かつ、クライアント装置10に接続される出力デバイスに情報(例えば、画像、コマンド)を出力するように構成される。
 入力デバイスは、例えば、カメラ16、深度センサ17、マイクロホン、キーボード、ポインティングデバイス、タッチパネル、センサ、又は、それらの組合せである。
 出力デバイスは、例えば、ディスプレイ15、スピーカ、又は、それらの組合せである。
The input/output interface 13 acquires information (e.g., user instructions, images, sounds) from input devices connected to the client device 10, and outputs information (e.g., images, sounds) to output devices connected to the client device 10. command).
The input device is, for example, camera 16, depth sensor 17, microphone, keyboard, pointing device, touch panel, sensor, or a combination thereof.
Output devices are, for example, display 15, speakers, or a combination thereof.
 通信インタフェース14は、クライアント装置10と外部装置(例えば、サーバ30)との間の通信を制御するように構成される。
 具体的には、通信インタフェース14は、サーバ30との通信のためのモジュール(例えば、WiFiモジュール、移動通信モジュール、またはそれらの組み合わせ)を含むことができる。
Communication interface 14 is configured to control communication between client device 10 and an external device (eg, server 30).
Specifically, communication interface 14 may include a module for communication with server 30 (eg, a WiFi module, a mobile communication module, or a combination thereof).
 ディスプレイ15は、画像(静止画、または動画)を表示するように構成される。ディスプレイ15は、例えば、液晶ディスプレイ、または有機ELディスプレイである。 The display 15 is configured to display images (still images or moving images). The display 15 is, for example, a liquid crystal display or an organic EL display.
 カメラ16は、撮影を行い、画像信号を生成するように構成される。 The camera 16 is configured to take pictures and generate image signals.
 深度センサ17は、例えばLIDAR(Light Detection And Ranging)である。深度センサ17は、当該深度センサ17(つまり、基準点)から周囲の物体(例えば、ユーザ)までの距離(深度)を測定するように構成される。 The depth sensor 17 is, for example, LIDAR (Light Detection And Ranging). The depth sensor 17 is configured to measure the distance (depth) from the depth sensor 17 (ie reference point) to a surrounding object (eg a user).
(1-2)サーバの構成
 サーバの構成について説明する。図3は、本実施形態のサーバの構成を示すブロック図である。
(1-2) Server Configuration The server configuration will be described. FIG. 3 is a block diagram showing the configuration of the server of this embodiment.
 図3に示すように、サーバ30は、記憶装置31と、プロセッサ32と、入出力インタフェース33と、通信インタフェース34とを備える。 As shown in FIG. 3, the server 30 includes a storage device 31, a processor 32, an input/output interface 33, and a communication interface .
 記憶装置31は、プログラム及びデータを記憶するように構成される。記憶装置31は、例えば、ROM、RAM、及び、ストレージの組合せである。 The storage device 31 is configured to store programs and data. Storage device 31 is, for example, a combination of ROM, RAM, and storage.
 プログラムは、例えば、以下のプログラムを含む。
・OSのプログラム
・情報処理を実行するアプリケーションのプログラム
Programs include, for example, the following programs.
・OS program ・Application program that executes information processing
 データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
The data includes, for example, the following data.
・Databases referenced in information processing ・Execution results of information processing
 プロセッサ32は、記憶装置31に記憶されたプログラムを起動することによって、サーバ30の機能を実現するコンピュータである。プロセッサ32は、例えば、以下の少なくとも1つである。
 ・CPU
 ・GPU
 ・ASIC
 ・FPGA
The processor 32 is a computer that implements the functions of the server 30 by activating programs stored in the storage device 31 . Processor 32 is, for example, at least one of the following:
・CPU
・GPU
・ASICs
・FPGA
 入出力インタフェース33は、サーバ30に接続される入力デバイスから情報(例えば、ユーザの指示)を取得し、かつ、サーバ30に接続される出力デバイスに情報を出力するように構成される。
 入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
 出力デバイスは、例えば、ディスプレイである。
The input/output interface 33 is configured to obtain information (eg, user instructions) from input devices connected to the server 30 and output information to output devices connected to the server 30 .
Input devices are, for example, keyboards, pointing devices, touch panels, or combinations thereof.
An output device is, for example, a display.
 通信インタフェース34は、サーバ30と外部装置(例えば、クライアント装置10)との間の通信を制御するように構成される。 The communication interface 34 is configured to control communication between the server 30 and an external device (eg, client device 10).
(2)実施形態の概要
 本実施形態の概要について説明する。図4は、本実施形態の概要の説明図である。
(2) Outline of Embodiment An outline of the present embodiment will be described. FIG. 4 is an explanatory diagram of the outline of this embodiment.
 図4に示すように、クライアント装置10のカメラ16は、ユーザUS1の外観(例えば全身)を撮影する。図4の例では、ユーザUS1が自転車の運動を行う例を示しているが、ユーザUS1は任意の運動(有酸素運動、または無酸素運動)を行うことができる。或いは、カメラ16は、運動前、または運動後(安静時を含む)のユーザUS1を撮影してもよい。 As shown in FIG. 4, the camera 16 of the client device 10 captures the appearance (for example, the whole body) of the user US1. Although the example of FIG. 4 shows an example in which the user US1 exercises by bicycle, the user US1 can perform any exercise (aerobic exercise or anaerobic exercise). Alternatively, the camera 16 may photograph the user US1 before or after exercise (including at rest).
 一例として、カメラ16は、ユーザUS1の外観を、正面または斜め前から撮影する。深度センサ17は、当該深度センサ17からユーザUS1の各部位までの距離(深度)を測定する。なお、例えばカメラ16によって生成される動画データ(2次元)と、例えば深度センサ17によって生成される深度データとを組み合わせることで、3次元動画データを生成することも可能である。 As an example, the camera 16 captures the appearance of the user US1 from the front or obliquely in front. The depth sensor 17 measures the distance (depth) from the depth sensor 17 to each part of the user US1. Note that it is also possible to generate three-dimensional video data by combining, for example, moving image data (two-dimensional) generated by the camera 16 and depth data generated by, for example, the depth sensor 17 .
 クライアント装置10は、少なくとも、カメラ16から取得した動画データを参照し、ユーザの骨格を解析する。クライアント装置10は、ユーザの骨格をより適切に解析するために、深度センサ17から取得した深度データをさらに参照してもよい。クライアント装置10は、動画データ(或いは、動画データおよび深度データ)の解析結果に基づく、ユーザUS1の骨格に関するデータ(以下、「ユーザ骨格データ」という)をサーバ30へ送信する。 The client device 10 at least refers to the video data acquired from the camera 16 and analyzes the user's skeleton. The client device 10 may further refer to depth data acquired from the depth sensor 17 in order to analyze the user's skeleton more appropriately. The client device 10 transmits to the server 30 data related to the skeleton of the user US1 (hereinafter referred to as “user skeleton data”) based on the analysis result of the moving image data (or moving image data and depth data).
 サーバ30は、取得したユーザ骨格データに、学習済みモデルLM1(「推定モデル」の一例)を適用することで、ユーザUS1の呼吸運動に伴う換気指標に関する推定を行う。サーバ30は、推定結果(例えば、ユーザUS1のリアルタイムの換気指標を示す数値)をクライアント装置10へ送信する。 The server 30 applies a learned model LM1 (an example of an "estimation model") to the acquired user skeleton data to estimate the ventilation index associated with the respiratory motion of the user US1. The server 30 transmits the estimation result (for example, a numerical value indicating the real-time ventilation index of the user US1) to the client device 10 .
 このように、情報処理システム1は、ユーザUS1の外観の写った動画(或いは、動画および深度)に基づく入力データに学習済みモデルLM1を適用することで、当該ユーザUS1の換気指標に関する推定を行う。故に、この情報処理システム1によれば、ユーザに接触することなく、当該ユーザの呼吸運動に伴う換気指標に関する推定を行うことができる。 In this way, the information processing system 1 applies the learned model LM1 to input data based on a video (or video and depth) showing the appearance of the user US1, thereby estimating the ventilation index of the user US1. . Therefore, according to this information processing system 1, it is possible to estimate the ventilation index associated with the user's breathing exercise without contacting the user.
(3)教師データセット
 本実施形態の教師データセットについて説明する。図5は、本実施形態の教師データセットのデータ構造を示す図である。
(3) Teacher data set The teacher data set of this embodiment will be described. FIG. 5 is a diagram showing the data structure of the teacher data set of this embodiment.
 図5に示すように、教師データセットは、複数の教師データを含む。教師データは、対象モデルの訓練または評価に用いられる。教師データは、サンプルIDと、入力データと、正解データとを含む。 As shown in FIG. 5, the teacher data set includes multiple teacher data. Teacher data is used to train or evaluate a target model. Teacher data includes a sample ID, input data, and correct answer data.
 サンプルIDは、教師データを識別する情報である。 A sample ID is information that identifies teacher data.
 入力データは、訓練時または評価時に対象モデルに入力されるデータである。入力データは、対象モデルの訓練時または評価時に用いられる例題に相当する。一例として、入力データは、被験者の骨格データを含む。被験者の骨格データは、被験者動画の撮影時における被験者の骨格に関するデータ(例えば特徴量)である。 Input data is the data that is input to the target model during training or evaluation. The input data correspond to the examples used when training or evaluating the target model. As an example, the input data includes skeletal data of the subject. The skeletal data of the subject is data (for example, feature amount) relating to the skeletal structure of the subject at the time of shooting the moving image of the subject.
 被験者動画データは、被験者の外観の写った被験者動画に関するデータである。被験者動画は、典型的には、少なくとも被験者の上半身(具体的には、被験者の肩、胸、腹部の少なくとも1つ)が撮影範囲に含まれるように、当該被験者を撮影した動画である。被験者動画データは、例えば、被験者の外観(例えば全身)を正面または斜め前(例えば、45度前方)からカメラ(一例として、スマートフォンに搭載されたカメラ)で撮影することで取得可能である。  Subject video data is data related to subject videos showing the subject's appearance. A subject moving image is typically a moving image of a subject captured so that at least the subject's upper body (specifically, at least one of the subject's shoulders, chest, and abdomen) is included in the capturing range. Subject video data, for example, can be obtained by photographing the subject's appearance (e.g., whole body) from the front or obliquely in front (e.g., 45 degrees in front) with a camera (for example, a camera mounted on a smartphone).
 カメラは、被験者動画データを取得するために、運動中、または運動前もしくは運動後(安静時を含む)の被験者の外観を撮影可能である。正解データと入力データとを正確に関連付ける観点から、呼気ガスに関する検査(一例としてCPX検査)中の被験者を撮影することで被験者動画データを取得してもよい。 The camera can capture the subject's appearance during exercise, or before or after exercise (including at rest) in order to acquire subject video data. From the viewpoint of accurately associating the correct data and the input data, subject moving image data may be acquired by photographing the subject during an examination on breath gas (for example, a CPX examination).
 被験者深度データは、深度センサから被験者の各部位(典型的には肩、胸、腹部の少なくとも1つ)までの距離(深度)に関するデータである。被験者深度データは、被験者動画の撮影時に、深度センサを動作させることで取得可能である。 Subject depth data is data on the distance (depth) from the depth sensor to each part of the subject (typically at least one of the shoulders, chest, and abdomen). The subject depth data can be obtained by operating the depth sensor when capturing the subject moving image.
 被験者は、情報処理システム1の運用時に、呼吸運動に伴う換気指標に関する推定が行われるユーザと同一人物であってもよいし、異なる人物であってもよい。被験者およびユーザを同一人物とすることで、対象モデルがユーザの個性を学習し、推定精度が向上する可能性がある。他方、被験者がユーザと異なる人物であることを許容することは、教師データセットの豊富化が容易となる利点がある。また、被験者は、ユーザを含む複数人、またはユーザを含まない複数人により構成されてもよい。 The subject may be the same person as the user whose ventilation index associated with respiratory motion is estimated during operation of the information processing system 1, or may be a different person. By setting the subject and the user to be the same person, the target model may learn the user's individuality and the estimation accuracy may be improved. On the other hand, allowing the subject to be a different person from the user has the advantage of facilitating enrichment of the teacher data set. Also, the subjects may be composed of multiple people including the user or multiple people not including the user.
 骨格データは、具体的には、被験者の各部位の速度、または加速度に関するデータ(被験者が使用する筋肉の部位の変化、または被験者の体感のぶれに関するデータを含み得る)を含む。 Skeletal data specifically includes data on the speed or acceleration of each part of the subject (may include data on changes in muscle parts used by the subject or data on blurring of the subject's bodily sensation).
 骨格データの少なくとも一部は、被験者動画データ(或いは、被験者動画データおよび被験者深度データ)を参照して、被験者動画撮影時における被験者の骨格を解析することで取得可能である。一例として、iOS(登録商標) 14のSDKであるVision、または他の骨格検知アルゴリズムが骨格の解析に利用可能である。或いは、教師データセット向けの骨格データは、例えば、被験者の各部位に動きセンサを装着した状態で運動を行わせることで取得可能である。 At least part of the skeletal data can be obtained by referring to the subject video data (or subject video data and subject depth data) and analyzing the subject's skeleton at the time of subject video shooting. As an example, the iOS ® 14 SDK, Vision, or other skeleton detection algorithms are available for skeleton analysis. Alternatively, skeletal data for the teacher data set can be obtained, for example, by having the subject perform exercise while wearing motion sensors on each part of the subject.
 また、骨格データは、上述の被験者の各部位の速度、または加速度に関するデータについて、以下の少なくとも1つの項目を解析することで得られるデータを含むこともできる。
・肩、胸(側胸部を含み得る)、腹部、またはそれらの組み合わせの動き(広がり)
・吸気時間
・呼気時間
・呼吸補助筋の使用程度
The skeletal data can also include data obtained by analyzing at least one of the following items for the above-described data relating to the velocity or acceleration of each part of the subject.
Movement (spreading) of the shoulders, chest (which may include the lateral chest), abdomen, or a combination thereof
・Inspiratory time ・Expiratory time ・Use of accessory muscles
 正解データは、対応する入力データ(例題)に対する正解に相当するデータである。対象モデルは、入力データに対して正解データにより近い出力を行うように訓練(教師あり学習)される。一例として、正解データは、換気指標、または換気指標を決定するための材料となる指標、の少なくとも1つを含む。一例として換気指標は、以下の少なくとも1つを含むことができる。
・換気回数
・換気量
・換気速度(つまり、単位時間あたりの換気量、または換気回数)
・換気加速度(つまり、換気速度の時間微分)
 ただし、換気指標は、呼吸運動を定量的に把握するための任意の指標であってよく、ここに例示した指標に限定されない。
The correct data is data corresponding to the correct answer for the corresponding input data (example). The target model is trained (supervised learning) to produce an output that is closer to the correct data for the input data. As an example, the correct answer data includes at least one of a ventilation index and an index serving as material for determining the ventilation index. As an example, the ventilation index can include at least one of the following.
・Ventilation frequency ・Ventilation volume ・Ventilation rate (that is, ventilation volume per unit time, or ventilation frequency)
・Ventilation acceleration (that is, the time derivative of the ventilation rate)
However, the ventilation index may be any index for quantitatively grasping respiratory motion, and is not limited to the indices exemplified here.
 正解データは、例えば、被験者動画の撮影時に被験者に対して実施された呼気ガスに関する検査の結果から取得可能である。呼気ガスに関する検査の第1例は、呼気ガス分析装置を装着した被験者が、負荷漸増式の運動(例えばエルゴメータ)を実施している間に行われる検査(典型的にはCPX検査)である。呼気ガスに関する検査の第2例は、呼気ガス分析装置を装着した被験者が、一定、または随時変更可能な負荷量の運動(例えば、自重運動、体操、筋力トレーニング)を実施している間に行われる検査である。呼気ガスに関する検査の第3例は、呼気ガス分析装置を装着した被験者が、任意の活動を実施している間に行われる検査である。呼気ガスに関する検査の第4例は、呼気ガス分析装置を装着した被験者が、安静状態である間に行われる検査である。 The correct data can be obtained, for example, from the results of the breath gas test performed on the subject when the subject video was taken. A first example of a breath gas test is a test (typically a CPX test) performed while a subject wearing a breath gas analyzer is performing progressive resistance exercise (eg, ergometer). A second example of an expired gas test is performed while a subject wearing an expired gas analyzer is exercising with a constant or variable load (e.g., body weight exercise, gymnastics, strength training). It is an inspection that is used. A third example of a test on breath gas is a test performed while a subject wearing a breath gas analyzer is performing an arbitrary activity. A fourth example of a test on breath gas is a test performed while the subject wearing the breath gas analyzer is in a resting state.
 或いは、正解データは、例えば、被験者動画の撮影時に被験者に対して実施された呼吸機能検査(例えば、肺機能検査、または肺活量検査)の結果から取得することもできる。この場合に、呼吸機能検査には、医療機器に限られず市販の検査器具を用いても構わない。 Alternatively, the correct data can also be obtained, for example, from the results of a respiratory function test (for example, a pulmonary function test or a spirometry test) performed on the subject at the time of shooting the subject video. In this case, the respiratory function test is not limited to medical equipment, and commercially available test equipment may be used.
(4)推定モデル
 サーバ30によって用いられる推定モデルは、教師データセット(図5)を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
(4) Estimation model The estimation model used by the server 30 corresponds to a trained model created by supervised learning using the teacher data set (FIG. 5), or a derived model or distilled model of the trained model.
(5)情報処理
 本実施形態の情報処理について説明する。図6は、本実施形態の情報処理のフローチャートである。図7は、本実施形態の情報処理において表示される画面例を示す図である。
(5) Information processing Information processing according to the present embodiment will be described. FIG. 6 is a flow chart of information processing in this embodiment. FIG. 7 is a diagram showing an example of a screen displayed during information processing according to this embodiment.
 情報処理は、例えば以下の開始条件のいずれかの成立に応じて開始する。
・他の処理によって情報処理が呼び出された。
・ユーザが情報処理を呼び出すための操作を行った。
・クライアント装置10が所定の状態(例えば、所定のアプリの起動)になった。
・所定の日時が到来した。
・所定のイベントから所定の時間が経過した。
Information processing is started, for example, when one of the following start conditions is met.
・The information processing was called by another process.
- The user performed an operation to call up information processing.
- The client device 10 has entered a predetermined state (for example, a predetermined application has been activated).
・The specified date and time has arrived.
- A predetermined time has passed since a predetermined event.
 図6に示すように、クライアント装置10は、センシング(S110)を実行する。
 具体的には、クライアント装置10は、カメラ16の動作を有効にすることで、ユーザの外観についての動画(以下、「ユーザ動画」という)の撮影を開始する。ユーザ動画は、典型的には、少なくともユーザの上半身(具体的には、ユーザの肩、胸、腹部の少なくとも1つ)が撮影範囲に含まれるように、当該ユーザを撮影した動画である。
As shown in FIG. 6, the client device 10 performs sensing (S110).
Specifically, the client device 10 activates the operation of the camera 16 to start capturing a moving image of the appearance of the user (hereinafter referred to as “user moving image”). A user moving image is typically a moving image of the user such that at least the user's upper body (specifically, at least one of the user's shoulders, chest, and abdomen) is included in the imaging range.
 また、クライアント装置10は、深度センサ17の動作を有効にすることで、ユーザ動画の撮影時に当該深度センサ17からユーザの各部位までの距離(以下、「ユーザ深度」という)の計測を開始する。 In addition, by enabling the operation of the depth sensor 17, the client device 10 starts measuring the distance from the depth sensor 17 to each part of the user (hereinafter referred to as "user depth") when shooting a user moving image. .
 ステップS110の後に、クライアント装置10は、データの取得(S111)を実行する。
 具体的には、クライアント装置10は、ステップS110において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置10は、カメラ16からユーザ動画データを取得し、深度センサ17からユーザ深度データを取得する。
After step S110, the client device 10 executes data acquisition (S111).
Specifically, the client device 10 acquires sensing results generated by various sensors enabled in step S110. For example, the client device 10 acquires user video data from the camera 16 and acquires user depth data from the depth sensor 17 .
 ステップS111の後に、クライアント装置10は、リクエスト(S112)を実行する。
 具体的には、クライアント装置10は、ステップS111において取得したデータを参照し、リクエストを生成する。クライアント装置10は、生成したリクエストをサーバ30へ送信する。リクエストは、例えば、以下の少なくとも1つを含むことができる。
・ステップS111において取得したデータ(例えば、ユーザ動画データ、またはユーザ深度データ)
・ステップS111において取得したデータを加工したデータ
・ステップS111において取得したユーザ動画データ(或いは、ユーザ動画データおよびユーザ深度データ)を解析することで取得したユーザ骨格データ
After step S111, the client device 10 executes the request (S112).
Specifically, the client device 10 refers to the data acquired in step S111 and generates a request. The client device 10 transmits the generated request to the server 30 . The request can include, for example, at least one of the following.
- Data acquired in step S111 (for example, user video data or user depth data)
・Data obtained by processing the data obtained in step S111 ・User skeleton data obtained by analyzing the user moving image data (or user moving image data and user depth data) obtained in step S111
 ステップS112の後に、サーバ30は、換気指標に関する推定(S130)を実行する。
 具体的には、サーバ30は、クライアント装置10から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザ骨格データを含む。サーバ30は、入力データに推定モデルを適用することで、ユーザの呼吸運動に伴う換気指標に関する推定を行う。一例として、サーバ30は、換気指標の少なくとも1つを推定する。
After step S112, server 30 performs an estimation (S130) on the ventilation index.
Specifically, the server 30 acquires the input data of the estimation model based on the request acquired from the client device 10 . Input data includes user skeleton data as well as teacher data. The server 30 applies the estimation model to the input data to estimate the ventilation index associated with the user's respiratory motion. As an example, server 30 estimates at least one of the ventilation indices.
 ステップS130の後に、サーバ30は、レスポンス(S131)を実行する。
 具体的には、サーバ30は、ステップS130における推定の結果に基づくレスポンスを生成する。サーバ30は、生成したレスポンスをクライアント装置10へ送信する。一例として、レスポンスは以下の少なくとも1つを含むことができる。
・換気指標に関する推定の結果に相当するデータ
・換気指標に関する推定の結果を加工したデータ(例えば、クライアント装置10のディスプレイ15に表示されるべき画面のデータ、または当該画面を生成するために参照されるデータ)
After step S130, the server 30 executes a response (S131).
Specifically, the server 30 generates a response based on the estimation result in step S130. The server 30 transmits the generated response to the client device 10 . As an example, the response can include at least one of the following.
- data equivalent to the result of the estimation of the ventilation index - data obtained by processing the result of the estimation of the ventilation index (for example, screen data to be displayed on the display 15 of the client device 10, or referred to for generating the screen) data)
 クライアント装置10は、ステップS131の後に、情報提示(S113)を実行する。
 具体的には、クライアント装置10は、サーバ30から取得したレスポンス(つまり、ユーザの換気指標に関する推定の結果)に基づく情報をディスプレイ15に表示させる。
 ただし、情報は、ユーザの代わりに、またはユーザに加えて、ユーザの指導者(例えば、医療関係者、またはトレーナー)向けに当該指導者の使用する端末に提示されてもよい。或いは、情報は、換気指標を元にユーザの運動耐容能を評価するアルゴリズム、または推定モデルを利用可能なコンピュータに提供されてもよい。このコンピュータは、情報処理システム1の内部にあってもよいし、情報処理システム1の外部にあってもよい。
The client device 10 executes information presentation (S113) after step S131.
Specifically, the client device 10 causes the display 15 to display information based on the response acquired from the server 30 (that is, the estimation result regarding the user's ventilation index).
However, the information may be presented to the user's mentor (eg, medical personnel or trainer) on the terminal used by the trainer instead of, or in addition to, the user. Alternatively, the information may be provided to a computer capable of using algorithms or estimation models to assess a user's exercise tolerance based on ventilatory indices. This computer may be inside the information processing system 1 or may be outside the information processing system 1 .
 一例として、クライアント装置10は、画面P10(図7)をディスプレイ15に表示させる。画面P10は、表示オブジェクトA10、および操作オブジェクトB10を含む。
 操作オブジェクトB10は、表示オブジェクトA10に表示させる換気指標を指定する操作を受け付ける。図7の例では、操作オブジェクトB10は、チェックボックスに相当する。
 表示オブジェクトA10は、ユーザの換気指標を推定した結果の経時的変化を表示する。図7の例では、表示オブジェクトA10は、操作オブジェクトB10において指定されている換気指標である換気速度を1分毎に推定した結果(つまり、分時換気量の推定結果)の経時的変化を示すグラフを表示する。
 操作オブジェクトB10において複数の換気指標が指定されている場合に、表示オブジェクトA10には、複数の換気指標を推定した結果の経時的変化を示すグラフを重畳して表示してもよいし、これらのグラフを個別に表示してもよい。
As an example, the client device 10 causes the display 15 to display a screen P10 (FIG. 7). Screen P10 includes a display object A10 and an operation object B10.
The operation object B10 receives an operation of designating a ventilation index to be displayed on the display object A10. In the example of FIG. 7, the operation object B10 corresponds to a check box.
The display object A10 displays changes over time in the result of estimating the user's ventilation index. In the example of FIG. 7, the display object A10 indicates the change over time of the result of estimating the ventilation rate, which is the ventilation index specified in the operation object B10, every minute (that is, the result of estimating the minute ventilation). View graphs.
When a plurality of ventilation indices are specified in the operation object B10, the display object A10 may display a graph showing changes over time in the results of estimating the plurality of ventilation indices in a superimposed manner. Graphs may be displayed separately.
 ステップS113の後に、クライアント装置10は、情報処理(図6)を終了する。ただし、ユーザの換気指標に関する推定を当該ユーザ動画の撮影中にリアルタイムに実施する場合に、クライアント装置10は、ステップS113の後にデータの取得(S111)に戻ってもよい。 After step S113, the client device 10 ends the information processing (FIG. 6). However, when estimating the user's ventilation index in real time while shooting the user moving image, the client device 10 may return to data acquisition (S111) after step S113.
(6)小括
 以上説明したように、実施形態の情報処理システム1は、ユーザの外観の写ったユーザ動画に基づく入力データを推定モデルに適用することで、当該ユーザの呼吸運動に伴う換気指標に関する推定を行う。これにより、ユーザの呼吸運動に伴う換気指標に関する推定を非接触に行うことができる。
(6) Summary As described above, the information processing system 1 of the embodiment applies the input data based on the user video in which the appearance of the user is captured to the estimation model, and the ventilation index associated with the user's respiratory exercise make an inference about This enables contactless estimation of the ventilation index associated with the user's respiratory motion.
 推定モデルは、前述の教師データセット(図5)を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当してもよい。これにより、推定モデルを効率的に構築することができる。さらに、被験者は、ユーザと同一人物であってもよい。これにより、ユーザの個性を学習したモデルを利用して、高精度な推定を行うことができる。 The estimated model may correspond to a learned model created by supervised learning using the aforementioned teacher data set (Fig. 5), or a derived or distilled model of the learned model. Thereby, an estimation model can be constructed efficiently. Furthermore, the subject may be the same person as the user. As a result, highly accurate estimation can be performed using a model that has learned the user's individuality.
 推定モデルを適用される入力データは、ユーザ動画の撮影時におけるユーザの骨格に関するデータ(つまり、ユーザ骨格データ)を含んでもよい。これにより、換気指標の推定精度を向上させることができる。 The input data to which the estimation model is applied may include data related to the user's skeleton (that is, user skeleton data) at the time of shooting the user's video. Thereby, the estimation accuracy of the ventilation index can be improved.
 推定モデルを適用される入力データは、ユーザ動画の撮影時における、基準点(つまり、深度センサ17)からユーザの各部位までの深度に関するデータ(つまり、ユーザ深度データ)を含んでもよい。これにより、換気指標の推定精度を向上させることができる。 The input data to which the estimation model is applied may include data (that is, user depth data) regarding the depth from the reference point (that is, depth sensor 17) to each part of the user when shooting the user's video. Thereby, the estimation accuracy of the ventilation index can be improved.
 換気指標は、換気量、換気速度、または換気加速度の少なくとも1つを含んでもよい。これにより、ユーザの呼吸運動を適切に評価することができる。 The ventilation index may include at least one of ventilation volume, ventilation rate, or ventilation acceleration. As a result, the user's respiratory motion can be evaluated appropriately.
 ユーザ動画は、少なくともユーザの上半身(好ましくは、ユーザの肩、胸、または腹部の少なくとも1つ)が撮影範囲に含まれるように当該ユーザを撮影した動画であってもよい。これにより、換気指標の推定精度を向上させることができる。 The user video may be a video of the user captured so that at least the user's upper body (preferably, at least one of the user's shoulders, chest, or abdomen) is included in the capturing range. Thereby, the estimation accuracy of the ventilation index can be improved.
 情報処理システム1は、ユーザの換気指標の推定の結果に基づく情報を提示してもよい。これにより、ユーザ、またはその指導者に、ユーザの呼吸運動に伴う換気指標を知らせることができる。人間(例えば医師などの指導者)が、提示された換気指標を元に、ユーザの運動耐容能を評価してもよい。或いは、情報処理システム1は、所定のアルゴリズムまたは推定モデルを利用可能なコンピュータに提示し、当該コンピュータが換気指標を元にアルゴリズムまたは推定モデルによりユーザの運動耐容能を評価してもよい。つまり、情報処理システム1は、運動耐容能の評価支援に用いることができる。一例として、情報処理システム1は、ユーザの換気指標の経時的変化に関する情報を提示してもよい。これにより、人間、またはコンピュータによるユーザの運動耐容能の評価を支援することができる。 The information processing system 1 may present information based on the result of estimating the user's ventilation index. This allows the user, or their instructor, to be informed of the ventilation index associated with the user's breathing exercise. A human (for example, an instructor such as a doctor) may evaluate the user's exercise tolerance based on the presented ventilation index. Alternatively, the information processing system 1 may present a predetermined algorithm or estimation model to an available computer, and the computer may evaluate the user's exercise tolerance using the algorithm or estimation model based on the ventilation index. In other words, the information processing system 1 can be used to support exercise tolerance evaluation. As an example, the information processing system 1 may present information regarding changes in the user's ventilation index over time. This can assist a human or computer in assessing a user's exercise tolerance.
(7)変形例1
 変形例1について説明する。変形例1は、推定モデルに対する入力データを変形する例である。
(7) Modification 1
Modification 1 will be described. Modification 1 is an example of modifying the input data for the estimation model.
(7-1)変形例1の概要 (7-1) Outline of modification 1
 変形例1の概要について説明する。本実施形態では、ユーザ動画に基づく入力データに推定モデルを適用する例を示した。変形例1では、ユーザ動画およびユーザの健康状態の双方に基づく入力データに推定モデルを適用することで、当該ユーザの呼吸運動に伴う換気指標に関する推定を行うこともできる。 An overview of Modification 1 will be explained. In this embodiment, an example in which an estimation model is applied to input data based on user moving images has been described. In Modification 1, by applying an estimation model to input data based on both the user moving image and the user's health condition, it is also possible to estimate the ventilation index associated with the user's breathing exercise.
 健康状態は、以下の少なくとも1つを含む。
・年齢
・性別
・身長
・体重
・体脂肪率
・筋肉量
・骨密度
・現病歴
・既往歴
・内服歴
・手術歴
・生活歴(例えば、喫煙歴、飲酒歴、日常生活動作(ADL)、フレイルスコア、など)
・家族歴
・呼吸機能検査の結果
・呼吸機能検査以外の検査結果(例えば、血液検査、尿検査、心電図検査(ホルター心電図検査を含む)、心臓超音波検査、X線検査、CT検査(心臓形態CT・冠動脈CT含む)、MRI検査、核医学検査、PET検査、などの結果)
・心臓リハビリテーション施行中に取得されたデータ(Borg指数含む)
Health conditions include at least one of the following:
・Age, gender, height, weight, body fat percentage, muscle mass, bone density, history of current illness, medical history, oral medication history, surgery history, lifestyle history (e.g., smoking history, drinking history, activities of daily living (ADL), frailty) score, etc.)
・Family history ・Respiratory function test results ・Test results other than respiratory function tests (e.g., blood test, urine test, electrocardiogram (including Holter electrocardiogram), echocardiography, X-ray, CT scan (cardiac morphology) including CT and coronary artery CT), MRI examination, nuclear medicine examination, PET examination, etc.)
・Data acquired during cardiac rehabilitation (including Borg index)
(7-2)教師データセット
 変形例1の教師データセットについて説明する。図8は、変形例1の教師データセットのデータ構造を示す図である。
(7-2) Teacher data set The teacher data set of Modification 1 will be described. FIG. 8 is a diagram showing the data structure of the teacher data set of Modification 1. As shown in FIG.
 図8に示すように、変形例1の教師データセットは、複数の教師データを含む。教師データは、対象モデルの訓練または評価に用いられる。教師データは、サンプルIDと、入力データと、正解データとを含む。 As shown in FIG. 8, the teacher data set of Modification 1 includes a plurality of teacher data. Teacher data is used to train or evaluate a target model. Teacher data includes a sample ID, input data, and correct answer data.
 サンプルIDおよび正解データは、本実施形態において説明したとおりである。 The sample ID and correct answer data are as described in this embodiment.
 入力データは、訓練時または評価時に対象モデルに入力されるデータである。入力データは、対象モデルの訓練時または評価時に用いられる例題に相当する。一例として、入力データは、被験者の骨格データ(つまり、相対的に動的なデータ)、および被験者の健康状態に関するデータ(つまり、相対的に静的なデータ)である。被験者の骨格データは、本実施形態において説明したとおりである。 Input data is the data that is input to the target model during training or evaluation. The input data correspond to the examples used when training or evaluating the target model. By way of example, the input data is subject skeletal data (ie, relatively dynamic data) and subject health data (ie, relatively static data). The skeletal data of the subject is as described in this embodiment.
 被験者の健康状態に関するデータは、様々な方法で取得可能である。被験者の健康状態に関するデータは、被験者の運動前、運動中、または運動後のいずれのタイミングで取得されてもよい。被験者の健康状態に関するデータは、被験者、またはその担当医からの申告に基づいて取得されてもよいし、医療情報システムにおいて被験者に紐づけられている情報を抽出することで取得されてもよいし、被験者のアプリ(例えばヘルスケアアプリ)経由で取得されてもよい。 Data on the health status of subjects can be obtained in various ways. The data regarding the health condition of the subject may be obtained before, during, or after the subject's exercise. Data on the subject's health condition may be obtained based on a report from the subject or the attending physician, or may be obtained by extracting information linked to the subject in the medical information system. , may be obtained via the subject's app (eg, health care app).
(7-3)推定モデル
 変形例1において、サーバ30によって用いられる推定モデルは、教師データセット(図8)を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
(7-3) Estimation Model In Modification 1, the estimation model used by the server 30 is a trained model created by supervised learning using a teacher data set (FIG. 8), or a derived model of the trained model. Or it corresponds to the distillation model.
(7-4)情報処理
 変形例1の情報処理について図6を用いて説明する。
(7-4) Information Processing The information processing of Modification 1 will be described with reference to FIG.
 変形例1において、クライアント装置10は図6と同様に、センシング(S110)を実行する。 In Modified Example 1, the client device 10 performs sensing (S110) in the same manner as in FIG.
 ステップS110の後に、クライアント装置10は、データの取得(S111)を実行する。
 具体的には、クライアント装置10は、ステップS110において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置10は、カメラ16からユーザ動画データを取得し、深度センサ17からユーザ深度データを取得する。
After step S110, the client device 10 executes data acquisition (S111).
Specifically, the client device 10 acquires sensing results generated by various sensors enabled in step S110. For example, the client device 10 acquires user video data from the camera 16 and acquires user depth data from the depth sensor 17 .
 さらに、クライアント装置10は、ユーザの健康状態に関するデータ(以下、「ユーザ健康状態データ」という)を取得する。例えば、クライアント装置10は、ユーザ、またはその担当医による操作(申告)に基づいてユーザ健康状態データを取得してもよいし、医療情報システムにおいてユーザに紐づけられている情報を抽出することでユーザ健康状態データを取得してもよいし、ユーザのアプリ(例えばヘルスケアアプリ)経由でユーザ健康状態データを取得してもよい。ただし、クライアント装置10は、ステップS111とは異なるタイミング(例えば、ステップS110よりも前、ステップS110と同じタイミング、ステップS111よりも後のタイミング)で、ユーザ健康状態データを取得してもよい。 Furthermore, the client device 10 acquires data regarding the user's health condition (hereinafter referred to as "user health condition data"). For example, the client device 10 may acquire user health condition data based on an operation (report) by the user or the doctor in charge, or extract information linked to the user in the medical information system. User health data may be acquired, or user health data may be acquired via a user's app (for example, a healthcare app). However, the client device 10 may acquire user health condition data at a timing different from step S111 (for example, before step S110, at the same timing as step S110, or after step S111).
 ステップS111の後に、クライアント装置10は、リクエスト(S112)を実行する。
 具体的には、クライアント装置10は、ステップS111において取得したデータを参照し、リクエストを生成する。クライアント装置10は、生成したリクエストをサーバ30へ送信する。リクエストは、例えば、以下の少なくとも1つを含むことができる。
・ステップS111において取得したデータ(例えば、ユーザ動画データ、ユーザ深度データ、またはユーザ健康状態データ)
・ステップS111において取得したデータを加工したデータ
・ステップS111において取得したユーザ動画データ(或いは、ユーザ動画データおよびユーザ深度データ)を解析することで取得したユーザ骨格データ
After step S111, the client device 10 executes the request (S112).
Specifically, the client device 10 refers to the data acquired in step S111 and generates a request. The client device 10 transmits the generated request to the server 30 . The request can include, for example, at least one of the following.
- Data acquired in step S111 (for example, user video data, user depth data, or user health data)
・Data obtained by processing the data obtained in step S111 ・User skeleton data obtained by analyzing the user moving image data (or user moving image data and user depth data) obtained in step S111
 ステップS112の後に、サーバ30は、換気指標に関する推定(S130)を実行する。
 具体的には、サーバ30は、クライアント装置10から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザ骨格データ、およびユーザ健康状態データを含む。サーバ30は、入力データに推定モデルを適用することで、ユーザの呼吸運動に伴う換気指標に関する推定を行う。一例として、サーバ30は、換気指標の少なくとも1つを推定する。
After step S112, server 30 performs an estimation (S130) on the ventilation index.
Specifically, the server 30 acquires the input data of the estimation model based on the request acquired from the client device 10 . The input data includes user skeleton data and user health data as well as teacher data. The server 30 applies the estimation model to the input data to estimate the ventilation index associated with the user's respiratory motion. As an example, server 30 estimates at least one of the ventilation indices.
 ステップS130の後に、サーバ30は図6と同様に、レスポンス(S131)を実行する。
 ステップS131の後に、クライアント装置10は図6と同様に、情報提示(S113)を実行する。
After step S130, the server 30 executes a response (S131) as in FIG.
After step S131, the client device 10 executes information presentation (S113) as in FIG.
(7-5)小括
 以上説明したように、変形例1の情報処理システム1は、ユーザ動画およびユーザの健康状態の双方に基づく入力データに推定モデルを適用することで、当該ユーザの呼吸運動に伴う換気指標に関する推定を行う。これにより、ユーザの健康状態をさらに考慮して、高精度な推定を行うことができる。例えば、ユーザの健康状態と、教師データの元となった被験者の健康状態との間に差異がある場合であっても、妥当な推定を行うことができる。
(7-5) Summary As described above, the information processing system 1 of Modification 1 applies an estimation model to input data based on both the user's video and the user's health condition, so that the user's respiratory motion Make an estimate of the ventilation index associated with This makes it possible to perform highly accurate estimation by further considering the health condition of the user. For example, even if there is a difference between the user's health condition and the subject's health condition from which the training data is based, a reasonable estimation can be made.
(8)その他の変形例
 記憶装置11は、ネットワークNWを介して、クライアント装置10と接続されてもよい。ディスプレイ15は、クライアント装置10に内蔵されてもよい。記憶装置31は、ネットワークNWを介して、サーバ30と接続されてもよい。
(8) Other Modifications The storage device 11 may be connected to the client device 10 via the network NW. The display 15 may be built into the client device 10 . Storage device 31 may be connected to server 30 via network NW.
 実施形態および変形例1の情報処理システムを、クライアント/サーバ型のシステムによって実装する例を示した。しかしながら、実施形態および変形例1の情報処理システムは、スタンドアロン型のコンピュータによって実装することもできる。一例として、クライアント装置10が単独で、推定モデルを用いて、換気指標に関する推定を行ってもよい。 An example of implementing the information processing system of the embodiment and modification 1 by a client/server system has been shown. However, the information processing system of the embodiment and modification 1 can also be implemented by a stand-alone computer. As an example, the client device 10 alone may use the estimation model to estimate the ventilation index.
 上記の情報処理の各ステップは、クライアント装置10及びサーバ30の何れでも実行可能である。一例として、クライアント装置10の代わりにサーバ30が、ユーザ動画(或いは、ユーザ動画およびユーザ深度)を解析することでユーザ骨格データを取得してもよい。 Each step of the above information processing can be executed by either the client device 10 or the server 30. As an example, instead of the client device 10, the server 30 may acquire the user skeleton data by analyzing the user moving image (or the user moving image and the user depth).
 上記説明では、クライアント装置10のカメラ16を用いてユーザ動画を撮影する例を示した。しかしながら、ユーザ動画は、カメラ16とは別のカメラを用いて撮影されてもよい。クライアント装置10の深度センサ17を用いてユーザ深度を計測する例を示した。しかしながら、ユーザ深度は、深度センサ17とは別の深度センサを用いて計測されてもよい。 In the above description, an example of shooting a user video using the camera 16 of the client device 10 has been shown. However, the user moving image may be shot using a camera other than camera 16 . An example of measuring the user depth using the depth sensor 17 of the client device 10 has been shown. However, the user depth may be measured using a depth sensor other than depth sensor 17 .
 本実施形態および変形例1の情報処理システム1は、プレイヤーの身体の動きに応じてゲーム進行が制御されるビデオゲームにも適用可能である。一例として、情報処理システム1は、ゲームプレイ中に、ユーザの換気指標に関する推定を行い、当該推定の結果に応じて、以下のいずれか1つを決定してもよい。これにより、ビデオゲームがユーザの健康増進に与える効果を高めることができる。
・ユーザに与えられる、ビデオゲームに関する課題(例えば、ステージ、ミッション、クエスト)の質(例えば難易度)、または量
・ユーザに与えられる、ビデオゲームに関する特典(例えば、ゲーム内通貨、アイテム、ボーナス)の質(例えば種類)、または量
The information processing system 1 of the present embodiment and Modification 1 can also be applied to a video game in which the progress of the game is controlled according to the body movements of the player. As an example, the information processing system 1 may estimate the user's ventilation index during game play, and determine any one of the following according to the result of the estimation. As a result, it is possible to enhance the effect of the video game on promoting the user's health.
- Quality (e.g., difficulty) or quantity of video game-related tasks (e.g., stages, missions, quests) given to users - Video game-related benefits (e.g., in-game currency, items, bonuses) given to users the quality (e.g. kind) or quantity of
 クライアント装置10に搭載されたマイクロホン、またはクライアント装置10に接続されたマイクロホンが、ユーザ動画の撮影時にユーザが発する音波(例えば、呼吸、または発声に伴って生じる音)を受信し、音データを生成してもよい。音データは、ユーザ骨格データとともに推定モデルに対する入力データを構成し得る。 A microphone mounted on the client device 10 or a microphone connected to the client device 10 receives sound waves emitted by the user when shooting a user moving image (for example, sounds caused by breathing or vocalization), and generates sound data. You may Sound data, together with user skeleton data, may constitute input data for the estimation model.
 上記説明では、呼気ガスに関する検査として、CPX検査を例示した。CPX検査では、検査対象者に対して漸増的に運動負荷が与えられる。しかしながら、ユーザ動画の撮影時にユーザに与える運動負荷を漸増させる必要はない。具体的には、リアルタイムの換気指標は、ユーザに一定、または随時変更可能な運動負荷を与えた状態でも推定可能であるし、ユーザの安静時にも推定可能である。例えば、ユーザが行う運動は、自重運動、体操、筋力トレーニングであってもよい。 In the above explanation, the CPX test was exemplified as a test related to exhaled gas. In the CPX examination, an exercise load is gradually applied to the examinee. However, it is not necessary to gradually increase the exercise load given to the user when shooting the user moving image. Specifically, the real-time ventilation index can be estimated even when the user is given a constant or variable exercise load, and can be estimated even when the user is at rest. For example, the exercise performed by the user may be body weight exercise, gymnastics, or strength training.
 変形例1では、健康状態に基づく入力データに推定モデルを適用する例を示した。しかしながら、被験者の健康状態(の少なくとも一部)に基づいて、複数の推定モデルを構築することも可能である。この場合に、ユーザの健康状態(の少なくとも一部)が、推定モデルを選択するために参照されてもよい。このさらなる変形例において、推定モデルの入力データは、ユーザの健康状態に基づかないデータであってもよいし、ユーザの健康状態およびユーザ動画に基づくデータ(例えばユーザ骨格データ)であってもよい。 In Modified Example 1, an example of applying an estimation model to input data based on health conditions was shown. However, it is also possible to build multiple estimation models based on (at least in part) the subject's health status. In this case, (at least part of) the user's health may be referenced to select the estimation model. In this further variation, the input data for the estimation model may be data not based on the user's health, or data based on the user's health and user videos (eg, user skeleton data).
 推定モデルに対する入力データの一部として加速度データを用いることも可能である。或いは、加速度データを参照してユーザの骨格を解析してもよい。加速度データは、例えば、ユーザ動画の撮影時にユーザに加速度センサを備えたクライアント装置10またはウェアラブルデバイスをユーザに携行または装着させることで取得可能である。 It is also possible to use acceleration data as part of the input data for the estimation model. Alternatively, the user's skeleton may be analyzed with reference to acceleration data. Acceleration data can be obtained, for example, by having the user carry or wear the client device 10 or wearable device equipped with an acceleration sensor when shooting a user moving image.
 推定モデルに対する入力データの一部として酸素飽和度データを用いることも可能である。酸素飽和度データは、例えば、ユーザ動画の撮影時に血中酸素濃度を測定可能なセンサ(例えば光学センサ)を備えたウェアラブルデバイス、またはパルスオキシメータをユーザに装着させることで取得可能である。酸素飽和度データは、例えばユーザ動画データに対してrPPG(Remote Photo-plethysmography)解析を行うことで推定されてもよい。 It is also possible to use oxygen saturation data as part of the input data for the estimation model. Oxygen saturation data can be obtained, for example, by having the user wear a wearable device equipped with a sensor (for example, an optical sensor) capable of measuring the blood oxygen concentration or a pulse oximeter when shooting a user video. Oxygen saturation data may be estimated, for example, by performing rPPG (Remote Photo-plethysmography) analysis on user video data.
 以上、本発明の実施形態および変形例について詳細に説明したが、本発明の範囲は上記の実施形態および変形例に限定されない。また、上記の実施形態および変形例は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。 Although the embodiments and modifications of the present invention have been described in detail above, the scope of the present invention is not limited to the above embodiments and modifications. Also, the above embodiments and modifications can be modified and modified in various ways without departing from the scope of the present invention. Also, the above embodiments and modifications can be combined.
1    :情報処理システム
10   :クライアント装置
11   :記憶装置
12   :プロセッサ
13   :入出力インタフェース
14   :通信インタフェース
15   :ディスプレイ
16   :カメラ
17   :深度センサ
30   :サーバ
31   :記憶装置
32   :プロセッサ
33   :入出力インタフェース
34   :通信インタフェース
1: information processing system 10: client device 11: storage device 12: processor 13: input/output interface 14: communication interface 15: display 16: camera 17: depth sensor 30: server 31: storage device 32: processor 33: input/output interface 34: communication interface

Claims (12)

  1.  コンピュータを、
     ユーザの外観の写ったユーザ動画を取得する手段、
     前記ユーザ動画に基づく入力データに推定モデルを適用することで、前記ユーザの呼吸運動に伴う換気指標に関する推定を行う手段
     として機能させるプログラム。
    the computer,
    Means for acquiring a user video showing the appearance of the user;
    A program that functions as means for estimating a ventilation index associated with the user's breathing exercise by applying an estimation model to input data based on the user's moving image.
  2.  前記推定モデルは、被験者の外観の写った被験者動画に関するデータを含む入力データと、当該入力データの各々に関連付けられた正解データとを含む教師データセットを用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する、
     請求項1に記載のプログラム。
    The estimation model is trained by supervised learning using a supervised learning using a teacher data set containing input data including data related to a subject video showing the subject's appearance and correct data associated with each of the input data model, or equivalent to a derived or distilled model of such trained model,
    A program according to claim 1.
  3.  前記推定モデルを適用される入力データは、前記ユーザの骨格に関するデータを含む、
     請求項1または請求項2に記載のプログラム。
    The input data to which the estimation model is applied includes data related to the user's skeleton,
    3. The program according to claim 1 or 2.
  4.  前記推定モデルを適用される入力データは、基準点から前記ユーザの各部位までの深度に関するデータにさらに基づく、
     請求項1乃至請求項3のいずれかに記載のプログラム。
    input data to which the estimation model is applied is further based on data on depth from a reference point to each part of the user;
    4. The program according to any one of claims 1 to 3.
  5.  前記換気指標は、換気量、換気速度、または換気加速度の少なくとも1つを含む、
     請求項1乃至請求項4のいずれかに記載のプログラム。
    the ventilation index includes at least one of ventilation volume, ventilation rate, or ventilation acceleration;
    A program according to any one of claims 1 to 4.
  6.  前記ユーザ動画は、少なくとも前記ユーザの上半身が撮影範囲に含まれるように当該ユーザを撮影した動画である、
     請求項1乃至請求項5のいずれかに記載のプログラム。
    The user video is a video in which the user is shot such that at least the user's upper body is included in the shooting range.
    6. The program according to any one of claims 1 to 5.
  7.  前記ユーザの上半身は、前記ユーザの肩、胸、または腹部の少なくとも1つを含む、
     請求項6に記載のプログラム。
    the user's upper body includes at least one of the user's shoulders, chest, or abdomen;
    7. A program according to claim 6.
  8.  前記被験者は、前記ユーザと同一人物である、
     請求項2に記載のプログラム。
    The subject is the same person as the user,
    3. A program according to claim 2.
  9.  前記コンピュータを、前記ユーザの換気指標の推定の結果に基づく情報を提示する手段としてさらに機能させる、
     請求項1乃至請求項8のいずれかに記載のプログラム。
    further causing the computer to serve as a means for presenting information based on the results of the estimation of the user's ventilation index;
    A program according to any one of claims 1 to 8.
  10.  前記提示する手段は、前記ユーザの換気指標の経時的変化に関する情報を提示する、
     請求項9に記載のプログラム。
    the means for presenting presents information about changes in the user's ventilation index over time;
    10. A program according to claim 9.
  11.  ユーザの外観の写ったユーザ動画を取得する手段と、
     前記ユーザ動画に基づく入力データに推定モデルを適用することで、前記ユーザの呼吸運動に伴う換気指標に関する推定を行う手段と
     を具備する、情報処理装置。
    a means for acquiring a user animation showing the user's appearance;
    and means for estimating a ventilation index associated with the user's breathing exercise by applying an estimation model to input data based on the user moving image.
  12.  コンピュータが、
     ユーザの外観の写ったユーザ動画を取得することと、
     前記ユーザ動画に基づく入力データに推定モデルを適用することで、前記ユーザの呼吸運動に伴う換気指標に関する推定を行う手段
     として機能させるプログラム。
    the computer
    obtaining a user video showing the appearance of the user;
    A program that functions as means for estimating a ventilation index associated with the user's breathing exercise by applying an estimation model to input data based on the user's moving image.
PCT/JP2022/029579 2021-08-26 2022-08-02 Program, information processing device, and information processing method WO2023026785A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023509559A JP7356666B2 (en) 2021-08-26 2022-08-02 Program, information processing device, and information processing method
JP2023147874A JP2023160961A (en) 2021-08-26 2023-09-12 Program, information processing device, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-137935 2021-08-26
JP2021137935 2021-08-26

Publications (1)

Publication Number Publication Date
WO2023026785A1 true WO2023026785A1 (en) 2023-03-02

Family

ID=85323025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/029579 WO2023026785A1 (en) 2021-08-26 2022-08-02 Program, information processing device, and information processing method

Country Status (2)

Country Link
JP (2) JP7356666B2 (en)
WO (1) WO2023026785A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017217298A (en) * 2016-06-09 2017-12-14 青木 広宙 Non-contact respiration measurement device and non-contact respiration measurement method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6014846B2 (en) 2012-07-24 2016-10-26 公立大学法人広島市立大学 Respiration measurement method and apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017217298A (en) * 2016-06-09 2017-12-14 青木 広宙 Non-contact respiration measurement device and non-contact respiration measurement method

Also Published As

Publication number Publication date
JPWO2023026785A1 (en) 2023-03-02
JP2023160961A (en) 2023-11-02
JP7356666B2 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
Al Osman et al. Ubiquitous biofeedback serious game for stress management
KR101811888B1 (en) Visualization testing and/or training
AU2017386412A1 (en) Systems and methods for real-time data quantification, acquisition, analysis, and feedback
JP2020017153A (en) Health condition diagnosis system
JP2018503413A (en) Cardiopulmonary adaptability assessment
US11179065B2 (en) Systems, devices, and methods for determining an overall motion and flexibility envelope
KR20160138682A (en) Active Spinning Training System using Complex Physiological Signals
Chen et al. Using Virtual Reality–Based Rehabilitation in Sarcopenic Older Adults in Rural Health Care Facilities—A Quasi-Experimental Study
US20190117129A1 (en) Systems, devices, and methods for determining an overall strength envelope
JP2019063091A (en) Maintenance system, maintenance method, and maintenance program
Montes Validation and reliability of the Hexoskin and Fitbit Flex wearable BIO collection devices
WO2023026785A1 (en) Program, information processing device, and information processing method
JP7333537B2 (en) Program, information processing device, and information processing method
Georgiadis et al. A remote rehabilitation training system using Virtual Reality
Morando et al. Biophysical and motion features extraction for an effective home-based rehabilitation
WO2023027046A1 (en) Program, information processing device, and information processing method
Sprint et al. Designing wearable sensor-based analytics for quantitative mobility assessment
JP7303595B1 (en) Program, information processing device, and information processing method
Li et al. How do you breathe-a non-contact monitoring method using depth data
KR20220098064A (en) User customized exercise method and system
Fan et al. Aerobics player’s energy level monitoring using IoT
Peeters Design guidelines for vibrotactile motion steering
Boerhout et al. The Method of Stamp Strike Shout: Force production as behavioural measure of anger coping Part I: Instrumentation and reliability of force parameters
Oh Exploring Design Opportunities for Technology-Supported Yoga Practices at Home
Dalangin FIXTRATE: AN IOT-BASED POSTURE DETECTION AND CORRECTION SYSTEM

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2023509559

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22861076

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE