JP7344560B2 - How to control training equipment - Google Patents
How to control training equipment Download PDFInfo
- Publication number
- JP7344560B2 JP7344560B2 JP2020069733A JP2020069733A JP7344560B2 JP 7344560 B2 JP7344560 B2 JP 7344560B2 JP 2020069733 A JP2020069733 A JP 2020069733A JP 2020069733 A JP2020069733 A JP 2020069733A JP 7344560 B2 JP7344560 B2 JP 7344560B2
- Authority
- JP
- Japan
- Prior art keywords
- training
- user
- information
- image
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Rehabilitation Tools (AREA)
Description
本発明は、トレーニング機器の制御方法に関する。 The present invention relates to a method for controlling training equipment.
従来、トレーニングジムに設置されたトレーニング機器の動作に係る情報を収集し、管理する方法が考案されている。特に、特許文献1には、ウェイトトレーニング機器に重量と距離をセンシングするセンサを備え、センサによって取得された情報からウェイトの昇降回数を算出し、トレーニング状況情報を生成する技術が開示されている。 Conventionally, methods have been devised for collecting and managing information regarding the operation of training equipment installed in a training gym. In particular, Patent Document 1 discloses a technique in which a weight training device is equipped with a sensor that senses weight and distance, calculates the number of times the weight is raised and lowered from information acquired by the sensor, and generates training status information.
しかしながら、特許文献1に開示の技術によって、トレーニング状況を管理することができるとしても、例えば、無人トレーニングジムにおいて、トレーナの支援なしに、ユーザが効果的にトレーニングを行う方法までが開示されたものとはいえない。 However, even if the training situation can be managed by the technology disclosed in Patent Document 1, for example, the technique disclosed does not even disclose a method for a user to effectively train in an unmanned training gym without the support of a trainer. I can't say that.
本発明はこのような背景を鑑みてなされたものであり、無人トレーニングにおいて、ユーザが、効果的にトレーニングを行う方法を提供することを目的とする。 The present invention was made in view of this background, and an object of the present invention is to provide a method for a user to effectively perform training in unmanned training.
上記課題を解決するための本発明の主たる発明は、トレーニング機器の制御方法であって、サーバは、ユーザのトレーニング情報を参照し、トレーニング機器情報を取得し、前記トレーニング機器情報を解析し、前記解析したトレーニング機器情報と、前記参照したトレーニング情報とに基づいて、前記トレーニング機器を制御する。 The main invention of the present invention for solving the above problems is a training equipment control method, in which a server refers to training information of a user, acquires training equipment information, analyzes the training equipment information, and The training equipment is controlled based on the analyzed training equipment information and the referenced training information.
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。 Other problems disclosed in the present application and methods for solving the problems will be made clear by the section of the embodiments of the invention and the drawings.
本発明によれば、効果的に身体運動を支援することができる。 According to the present invention, physical exercise can be effectively supported.
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による運動支援システムは、以下のような構成を備える。 The contents of the embodiments of the present invention will be listed and explained. The exercise support system according to the embodiment of the present invention has the following configuration.
[項目1]
トレーニング機器の制御方法であって、
サーバは、
ユーザのトレーニング情報を参照し、
トレーニング機器情報を取得し、
前記トレーニング機器情報を解析し、
前記解析したトレーニング機器情報と、前記参照したトレーニング情報とに基づいて、前記トレーニング機器を制御する、
トレーニング機器の提供方法。
[項目2]
項目1に記載のトレーニング機器の制御方法であって、
前記トレーニング機器情報は、
前記トレーニング機器の所定の部位に対する負荷に関する情報、当該所定の部位の移動距離に関する情報、当該所定の部位に印加される圧力に関する情報及び前記トレーニング機器に備えられた駆動装置のトルクに関する情報のいずれかを含む、
トレーニング機器の制御方法。
[項目3]
項目1に記載のトレーニング機器の制御方法であって、
前記トレーニング機器を制御することは、
前記トレーニング機器の駆動装置のトルクを調整することを含む、
トレーニング機器の制御方法。
[項目4]
請求項1に記載のトレーニング機器の制御方法であって、
前記トレーニング情報は、
前記ユーザのレペティションマキシマムを含む、
トレーニング機器の制御方法。
[項目5]
項目1に記載のトレーニング機器の制御方法であって、
さらに、前記ユーザのトレーニングの動画を取得することを含む、
トレーニング機器の制御方法。
[Item 1]
A method for controlling training equipment, the method comprising:
The server is
View user training information,
Get training equipment information,
Analyzing the training equipment information,
controlling the training equipment based on the analyzed training equipment information and the referenced training information;
How training equipment is provided.
[Item 2]
A method for controlling the training device according to item 1, comprising:
The training equipment information is
Any of information regarding the load on a predetermined part of the training equipment, information regarding the moving distance of the predetermined part, information regarding the pressure applied to the predetermined part, and information regarding the torque of a drive device provided in the training equipment. including,
How to control training equipment.
[Item 3]
A method for controlling the training device according to item 1, comprising:
Controlling the training equipment includes:
adjusting the torque of a drive device of the training equipment;
How to control training equipment.
[Item 4]
A method for controlling a training device according to claim 1, comprising:
The training information is
including a repetition maximum of the user;
How to control training equipment.
[Item 5]
A method for controlling the training device according to item 1, comprising:
further comprising obtaining a training video of the user;
How to control training equipment.
(第一実施形態)
図1は、本実施形態に係る無人トレーニングシステムの全体構成例を示す図である。同図に示すように、無人トレーニングシステム1において、サーバ装置20が、インターネット等の通信ネットワーク23を介して、トレーニングジム24と接続されている。トレーニングジムとしては、従来のトレーニングジムであってもよいし、カラオケ店舗、貸会議室、ビルのテナントの空き部屋、屋内外のスペース等トレーニングを行うために必要な一定の空間であってもよい。通信ネットワーク23は、たとえば、インターネットやLAN(Local Area Network)であり、公衆電話回線網、専用電話回線網、携帯電話回線網、イーサネット(登録商標)、無線通信路などにより構築される。サーバ装置20はまた、トレーニング機器10及びトレーニング機器を利用するユーザ端末11と接続されている。トレーニングジム24内に設置されたカメラ21、ユーザ端末11、及び/またはディスプレイ22に備えられたカメラは、トレーニング機器10を利用するユーザの運動を所定の角度から撮影することができ、撮影した動画を、ネットワーク23を介してサーバ20に送信することができる。サーバ装置20は、トレーニングジム24(端末及び/または店舗内に備えられた各種センサ)、トレーニングジム内のカメラ21、トレーニング機器10、ユーザ端末11、及びディスプレイ22の各々から、ジムを利用するユーザの運動支援に必要な情報、ジムの稼動状況に関連する情報、機器に関する情報等を受信することができ、トレーニングジム24の端末、ユーザ端末11、及びディスプレイ22の各々に、必要な情報を送信することができる。
(First embodiment)
FIG. 1 is a diagram showing an example of the overall configuration of an unmanned training system according to this embodiment. As shown in the figure, in the unmanned training system 1, a server device 20 is connected to a training gym 24 via a communication network 23 such as the Internet. The training gym may be a conventional training gym, or it may be a certain space necessary for training, such as a karaoke store, a rental conference room, a vacant room of a building tenant, or an indoor/outdoor space. . The communication network 23 is, for example, the Internet or a LAN (Local Area Network), and is constructed from a public telephone line network, a private telephone line network, a mobile phone line network, Ethernet (registered trademark), a wireless communication path, and the like. The server device 20 is also connected to the training device 10 and the user terminal 11 that uses the training device. The camera 21 installed in the training gym 24, the user terminal 11, and/or the camera equipped on the display 22 can photograph the exercise of the user using the training equipment 10 from a predetermined angle, and the photographed video can be sent to the server 20 via the network 23. The server device 20 receives information about users who use the gym from each of a training gym 24 (a terminal and/or various sensors provided in the store), a camera 21 in the training gym, a training device 10, a user terminal 11, and a display 22. information necessary for exercise support, information related to the operating status of the gym, information regarding equipment, etc. can be received, and the necessary information is transmitted to each of the terminals of the training gym 24, the user terminal 11, and the display 22. can do.
上述したように、サーバ装置20とカメラ21およびディスプレイ22とが通信ネットワーク23を介して互いに通信可能に接続されている。 As described above, the server device 20, the camera 21, and the display 22 are connected to each other via the communication network 23 so as to be able to communicate with each other.
トレーニング機器を用いてユーザが身体運動をしている様子を所定の角度からカメラで撮影し、撮影した画像(静止画像であっても動画像であってもよいが、本実施形態では動画像であるものとする。)から、トレーニングの回数をカウントするとともに、トレーニング中のユーザの身体の姿勢や動きを評価することができる。 A camera captures a user performing physical exercise using a training device from a predetermined angle, and the captured image (which may be a still image or a moving image, but in this embodiment, a moving image is used). ), it is possible to count the number of training sessions and to evaluate the user's body posture and movement during training.
カメラ21は、トレーニング中のユーザ1及びトレーニング機器10を撮影する。カメラ21は、たとえば監視カメラを利用してもよいし、トレーニング機器にカメラ21を取り付けるなど、カメラ21をトレーニング場所に設置したりしてもよい。カメラ21は、TCP/IPやBluetooth(登録商標)などのプロトコルにより、撮影した画像をサーバ装置20に送信することができる。カメラ21は、常時撮影するようにしてもよいし、ユーザ1が近傍に来たことを検出して撮影開始するようにしてもよいし、ユーザ1からの指示に応じて撮影を開始するようにしてもよい。 The camera 21 photographs the user 1 and the training equipment 10 during training. The camera 21 may be, for example, a surveillance camera, or may be installed at a training location, such as by attaching the camera 21 to training equipment. The camera 21 can transmit captured images to the server device 20 using protocols such as TCP/IP and Bluetooth (registered trademark). The camera 21 may be configured to take pictures all the time, to start taking pictures when it detects that the user 1 has come nearby, or to start taking pictures in response to an instruction from the user 1. It's okay.
ディスプレイ22は、トレーニング前およびトレーニング中にユーザ1から視認可能に設置される。ディスプレイ22は、通信ネットワーク23を介してサーバ装置20からの制御により情報を出力するものとする。なお、ディスプレイ22にコンピュータを接続し、当該コンピュータとサーバ装置20とが通信を行うことにより、サーバ20からの指示に応じて情報をディスプレイ22に出力することができる。また、ディスプレイ22とともに、またはディスプレイ22に替えて、ユーザ1にヘッドフォン、イヤフォン、ネックスピーカなどの音声出力装置を装着させて、情報を音声として出力することもできる。また、HMD(ヘッドマウントディスプレイ)、BMI(ブレインマシンインターフェース)等のインターフェースを介して情報をユーザに対して出力することもできる。また、ディスプレイ22に備えられた(図示しない)カメラにより、トレーニング中のユーザ及びトレーニング機器10を撮影することもできる。 The display 22 is installed so that it can be viewed by the user 1 before and during training. It is assumed that the display 22 outputs information under the control of the server device 20 via the communication network 23. Note that by connecting a computer to the display 22 and communicating with the server device 20, information can be output to the display 22 in response to instructions from the server 20. Further, together with the display 22 or in place of the display 22, the user 1 can be made to wear an audio output device such as headphones, earphones, or a neck speaker, so that the information can be output as audio. Further, information can also be output to the user via an interface such as an HMD (Head Mounted Display) or a BMI (Brain Machine Interface). Furthermore, a camera (not shown) provided on the display 22 can also photograph the user and the training equipment 10 during training.
ユーザ端末11は、ユーザまたはその支援者が操作するコンピュータである。ユーザ端末10は、たとえば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどである。ユーザ端末11がカメラ等の撮像装置を備え、これにより運動中におけるユーザの身体及びトレーニング機器10を撮像するようにしてもよい。ディスプレイ22に表示されていた情報は、サーバ装置20からユーザ端末11にも提供される。ユーザは後からユーザ端末11を確認することで、トレーニングに関する情報を閲覧することができる。 The user terminal 11 is a computer operated by the user or his/her supporter. The user terminal 10 is, for example, a smartphone, a tablet computer, a personal computer, or the like. The user terminal 11 may be equipped with an imaging device such as a camera, and may be configured to take images of the user's body and the training equipment 10 during exercise. The information displayed on the display 22 is also provided from the server device 20 to the user terminal 11. The user can view information regarding training by checking the user terminal 11 later.
サーバ装置20は、トレーニングを支援するコンピュータである。サーバ装置20は、たとえば、ワークステーションやパーソナルコンピュータ、クラウドコンピューティングにより論理的に実現される仮想コンピュータなどである。サーバ装置20は、トレーニング機器10から各種トレーニング機器情報、及び/またはユーザ端末10が撮影した動画像を受信し、受信した情報及び/または動画像を解析して機器の動作の解析及び身体運動の評価を行う。 The server device 20 is a computer that supports training. The server device 20 is, for example, a workstation, a personal computer, a virtual computer logically realized by cloud computing, or the like. The server device 20 receives various types of training equipment information from the training equipment 10 and/or moving images taken by the user terminal 10, analyzes the received information and/or moving images, and analyzes the operation of the equipment and the physical exercise. Evaluate.
図2は、トレーニング機器10のハードウェア構成例を示す図である。トレーニング機器10は、演算装置101、メモリ102、記憶装置103、通信インタフェース104、入力装置105、出力装置106、モータ等の駆動装置107、加速度センサ等のセンサ108を備える。演算装置201は、各種の演算処理を行う、たとえば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)である。記憶装置203は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース204は、通信ネットワーク30に接続するためのインタフェースであり、例えばイーサネット(登録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのUSB(Universal Serial Bus)コネクタやRS232Cコネクタなどである。入力装置205は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置206は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。なお、入力装置205及び出力装置206は、ユーザ端末11、ディスプレイ22、その他外部の端末装置で置き換えることもできる。駆動装置107は、例えば、トレーニング機器10がスミスマシンである場合、シャフトの上下方向の可動域における動きを駆動するモータを含み、演算装置101から送信される制御信号により上下方向にかかる負荷を調整することができる。また、センサ108は、駆動装置107またはシャフトの任意の箇所に設けられ、重量センサ、加速度センサ、角速度センサ、力センサ(歪みセンサを含む)、静電容量センサ、トルクセンサ等とすることができ、シャフトの上下方向の可動域における距離を計測したり、シャフトにかかる負荷を計測することができる。速度及び距離の計測については、加速度センサを使用したり、モータの回転角度を測定するセンサ(エンコーダ)を使用することができる。また、ロードセンサを使用することで、6軸方向の力を測定が可能となり、力の方向性を取得することも可能となる。 FIG. 2 is a diagram showing an example of the hardware configuration of the training device 10. The training device 10 includes a calculation device 101, a memory 102, a storage device 103, a communication interface 104, an input device 105, an output device 106, a drive device 107 such as a motor, and a sensor 108 such as an acceleration sensor. The calculation device 201 is, for example, a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit) that performs various calculation processes. The storage device 203 stores various data and programs, and is, for example, a hard disk drive, solid state drive, flash memory, or the like. The communication interface 204 is an interface for connecting to the communication network 30, and includes, for example, an adapter for connecting to Ethernet (registered trademark), a modem for connecting to a public telephone line, and a wireless communication device for performing wireless communication. , a USB (Universal Serial Bus) connector for serial communication, an RS232C connector, etc. The input device 205 is, for example, a keyboard, mouse, touch panel, button, microphone, or the like for inputting data. The output device 206 outputs data, such as a display, printer, or speaker. Note that the input device 205 and the output device 206 can be replaced with the user terminal 11, the display 22, or other external terminal devices. For example, when the training device 10 is a Smith machine, the drive device 107 includes a motor that drives the movement of the shaft in the vertical movable range, and adjusts the load applied in the vertical direction by a control signal transmitted from the calculation device 101. can do. Further, the sensor 108 is provided at an arbitrary location on the drive device 107 or the shaft, and can be a weight sensor, an acceleration sensor, an angular velocity sensor, a force sensor (including a strain sensor), a capacitance sensor, a torque sensor, etc. , it is possible to measure the distance in the vertical range of motion of the shaft, and to measure the load applied to the shaft. For speed and distance measurement, an acceleration sensor or a sensor (encoder) that measures the rotation angle of the motor can be used. Furthermore, by using a load sensor, it is possible to measure force in six axial directions, and it is also possible to obtain the directionality of force.
図3は、サーバ装置20のハードウェア構成例を示す図である。サーバ装置20は、演算装置201、メモリ202、記憶装置203、通信インタフェース204、入力装置205、出力装置206を備える。演算装置201は、各種の演算処理を行う、たとえば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)である。記憶装置203は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース204は、通信ネットワーク30に接続するためのインタフェースであり、例えばイーサネット(登録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのUSB(Universal Serial Bus)コネクタやRS232Cコネクタなどである。入力装置205は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置206は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。 FIG. 3 is a diagram showing an example of the hardware configuration of the server device 20. As shown in FIG. The server device 20 includes a calculation device 201, a memory 202, a storage device 203, a communication interface 204, an input device 205, and an output device 206. The calculation device 201 is, for example, a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit) that performs various calculation processes. The storage device 203 stores various data and programs, and is, for example, a hard disk drive, solid state drive, flash memory, or the like. The communication interface 204 is an interface for connecting to the communication network 30, and includes, for example, an adapter for connecting to Ethernet (registered trademark), a modem for connecting to a public telephone line, and a wireless communication device for performing wireless communication. , a USB (Universal Serial Bus) connector for serial communication, an RS232C connector, etc. The input device 205 is, for example, a keyboard, mouse, touch panel, button, microphone, or the like for inputting data. The output device 206 outputs data, such as a display, printer, or speaker.
図4は、サーバ装置20のソフトウェア構成例を示す図である。同図に示すように、サーバ装置20は、ユーザ認証部210、トレーニング情報管理部211、情報取得部212、画像解析部213、機器情報解析部214、評価部215、機器制御部216等の各機能部と、トレーニング情報記憶部231、ユーザ情報記憶部232、画像データ記憶部233、機器情報記憶部234等の各記憶部とを備える。 FIG. 4 is a diagram showing an example of the software configuration of the server device 20. As shown in FIG. As shown in the figure, the server device 20 includes a user authentication section 210, a training information management section 211, an information acquisition section 212, an image analysis section 213, a device information analysis section 214, an evaluation section 215, a device control section 216, etc. It includes a functional unit and storage units such as a training information storage unit 231, a user information storage unit 232, an image data storage unit 233, and a device information storage unit 234.
なお、上記各機能部は、サーバ装置20が備える演算装置201が記憶装置203に記憶されているプログラムをメモリ202に読み出して実行することにより実現され、上記各記憶部は、サーバ装置20が備えるメモリ202および記憶装置203が提供する記憶領域の一部として実現される。 Note that each of the above functional units is realized by the arithmetic unit 201 included in the server device 20 reading a program stored in the storage device 203 into the memory 202 and executing it; It is realized as part of the storage area provided by the memory 202 and the storage device 203.
トレーニング情報記憶部231は、トレーニングに関する情報を記憶する。トレーニングに関する情報は、例えば、トレーニングの説明である。トレーニングの説明には、トレーニング器具の使い方、トレーニング器具を利用した効果的なトレーニングの仕方などを含む。図5は、トレーニング情報記憶部231の構成例を示す図である。同図に示すように、トレーニング情報記憶部231には、トレーニング情報を記憶している。トレーニング情報は、トレーニングに関する情報である。トレーニング情報には、トレーニングのメニューを特定するための情報(メニューID)及びそれに紐づくトレーニング機器、トレーニング目的、トレーニング内容、回数、負荷等の情報が含まれる。トレーニング機器として、例えば、スミスマシン、トレッドミル、エアロバイク(登録商標)、レッグプレス等の機器が挙げられるが、ユーザが負荷をかけて所定回数の反復運動が可能な機器であればこれらに限られない。また、トレーニングの目的は、たとえば、運動不足の解消や、筋肉量の増加など、トレーニングにより求める結果を示す。トレーニングの内容は、トレーニング機器及び目的に応じた内容であり、スミスマシンでいえば、デッドリフト、スクワット、ベンチプレス等が挙げられる。その他、トレーニングに関する注意点など、任意の情報を設定することができる。また、トレーニング内容に対応した動画データを格納することもできる。動画データとしては、例えば、トレーニングの仕方をデモンストレーションした人を撮影した動画、トレーニング機械の使い方を示すチュートリアル動画が挙げられる。トレーニングの回数及び負荷(重量)は、ユーザの選択またはトレーニング目的及び内容によって決定でき、また、RM(レペティション・マキシマム)に基づいて決定することができる。RMは、所定の負荷に対し、関節運動を行う回数を設定するものであり、下記ユーザ情報として設定された、ユーザの身体情報、運動能力、トレーニング目的等によって負荷及び回数を設定することもできる。ユーザはトレーニングメニューをディスプレイ22で見ながら、利用するトレーニング機器、目的に応じて選択し、必要に応じて変更または調整することができる。また、ユーザのトレーニングにより実測される負荷に基づいて、1回当たりの負荷や回数を変更または調整することもできる。 The training information storage unit 231 stores information regarding training. The information regarding training is, for example, a description of the training. The training explanation includes how to use the training equipment and how to effectively train using the training equipment. FIG. 5 is a diagram showing a configuration example of the training information storage section 231. As shown in FIG. As shown in the figure, the training information storage section 231 stores training information. Training information is information related to training. The training information includes information for specifying a training menu (menu ID) and associated information such as training equipment, training purpose, training content, number of training sessions, and load. Training equipment includes, for example, Smith machines, treadmills, exercise bikes (registered trademarks), leg presses, etc., but is limited to equipment that allows the user to exercise repeatedly a predetermined number of times while applying a load. I can't do it. Further, the purpose of training indicates the result sought through training, such as resolving lack of exercise or increasing muscle mass. The content of the training depends on the training equipment and purpose, and examples of the Smith machine include deadlifts, squats, and bench presses. In addition, any information such as precautions regarding training can be set. It is also possible to store video data corresponding to training content. Examples of video data include videos of people demonstrating how to train, and tutorial videos showing how to use training machines. The number of training sessions and load (weight) can be determined by the user's selection or training purpose and content, and can also be determined based on RM (Repetition Maximum). RM sets the number of joint movements for a given load, and the load and number of times can also be set according to the user's physical information, athletic ability, training purpose, etc. set as the user information below. . While viewing the training menu on the display 22, the user can select the training equipment to be used and the purpose, and change or adjust the training menu as necessary. Furthermore, the load and number of times per session can be changed or adjusted based on the load actually measured by the user's training.
ユーザ情報記憶部232は、ユーザに関する情報(以下、ユーザ情報という。)を記憶する。図6は、ユーザ情報記憶部232の構成例を示す図である。同図に示すように、ユーザ情報記憶部232が記憶するユーザ情報には、ユーザを特定するユーザIDに対応付けて、ユーザ情報(例えば、ユーザ名、生年月日、住所、性別、会員ステータス等)、身体情報(例えば、身長、体重、体脂肪、筋肉量、柔軟性)、認証情報(例えば、パスワード、顔写真の画像等の認証データ)、健康情報(例えば、体温、血圧、血糖値、ヘモグロビン値、病歴)などが含まれる。認証情報は、ユーザ1を認証するために使用可能な情報である。なお、認証情報は、たとえば、顔認証に用いるためのユーザ1の顔部分の特徴量であってもよいし、ユーザ端末10の機器IDであってもよいし、ユーザ名とパスワードとの組み合わせであってもよいし、ユーザ1の公開鍵であってもよいが、ユーザ1の認証を行うことが可能な情報であればこれらに限られない。また、ユーザ情報には上記の項目以外にも、測定または評価可能なユーザの身体に関する各種の情報を含めることができる。さらに、ユーザ情報として、そのユーザのトレーニング履歴を格納することもできる。トレーニング履歴としては、ユーザが(機器IDで特定される)特定の機器を使ってトレーニングを実施したメニューID及び実際に反復運動を行ったときの負荷及び回数に関する情報を格納することができる。また、トレーニング履歴として、消費カロリー、反復運動の平均速度や平均時間といった情報を取得することができる。トレーニング履歴は、ユーザがトレーニングを行う際中にリアルタイムで機器10からサーバ装置20に送信することもできるし、機器10のメモリに一時的に情報を記憶し、所定時間毎やユーザがトレーニングを完了する毎に情報を送信することもできる。 The user information storage unit 232 stores information regarding users (hereinafter referred to as user information). FIG. 6 is a diagram showing a configuration example of the user information storage section 232. As shown in FIG. As shown in the figure, the user information stored in the user information storage unit 232 includes user information (for example, user name, date of birth, address, gender, membership status, etc.) in association with a user ID that identifies the user. ), physical information (e.g., height, weight, body fat, muscle mass, flexibility), authentication information (e.g., password, authentication data such as face photo image), health information (e.g., body temperature, blood pressure, blood sugar level, This includes hemoglobin levels, medical history), etc. Authentication information is information that can be used to authenticate user 1. Note that the authentication information may be, for example, the feature amount of the face part of the user 1 used for face authentication, the device ID of the user terminal 10, or a combination of a user name and password. The information may be the public key of the user 1, but is not limited to these as long as it is information that can authenticate the user 1. In addition to the above-mentioned items, the user information can also include various types of information regarding the user's body that can be measured or evaluated. Furthermore, the user's training history can also be stored as user information. As the training history, information regarding the menu ID under which the user performed training using a specific device (identified by the device ID) and the load and number of times when the user actually performed repetitive exercise can be stored. In addition, information such as calorie consumption, average speed and average time of repetitive exercise can be acquired as a training history. The training history can be transmitted from the device 10 to the server device 20 in real time while the user is training, or the information can be temporarily stored in the memory of the device 10 and transmitted at predetermined intervals or when the user completes the training. You can also send information each time you do so.
画像データ記憶部233は、カメラ21が撮影した画像を記憶する。図7は、画像データ記憶部233の構成例を示す図である。同図に示すように、画像データ記憶部233は画像情報を記憶し、画像情報には、撮影したカメラ21を特定するカメラIDに対応付けて、画像データが含まれる。画像データは、カメラ21が撮影した画像を表示するためのデータである。画像データは、たとえば、MP4、MPEG2、AVI、MOVなど任意の形式のデータとすることができる。 The image data storage unit 233 stores images taken by the camera 21. FIG. 7 is a diagram showing an example of the configuration of the image data storage section 233. As shown in the figure, the image data storage unit 233 stores image information, and the image information includes image data in association with a camera ID that identifies the camera 21 that took the image. The image data is data for displaying an image taken by the camera 21. The image data may be in any format such as MP4, MPEG2, AVI, MOV, etc., for example.
機器情報記憶部234は、トレーニング機器10に関する情報を(以下、機器情報という。)を記憶する。図8は、機器情報記憶部234の構成例を示す図である。同図に示すように、機器情報記憶部234は機器情報を記憶し、機器情報には、トレーニング機器のID、機器詳細情報(機器の種別、名称、型番等)、機器の動作情報(例えば、スミスマシンでいえば、モータやセンサから取得される、モータまたはシャフトにかかる負荷、シャフトの移動距離、モータのトルク値等の情報)、機器の動作履歴(上記動作情報の履歴)、その機器を利用したユーザのトレーニング履歴(例えば、メニューID、RMに関する情報、消費カロリー)等が含まれる。その他、機器10が、機器の所定の部位の地面からの反力を計測する反力計を備えている場合は、反力計から得られる反力に関する情報も含むことができる。 The equipment information storage unit 234 stores information regarding the training equipment 10 (hereinafter referred to as equipment information). FIG. 8 is a diagram showing a configuration example of the device information storage section 234. As shown in the figure, the device information storage unit 234 stores device information, and the device information includes the training device ID, device detailed information (device type, name, model number, etc.), and device operation information (for example, In the case of a Smith machine, information such as the load on the motor or shaft, the distance traveled by the shaft, and the torque value of the motor obtained from the motor or sensor, the operating history of the equipment (the history of the operating information above), and the It includes the user's training history (for example, menu ID, information regarding RM, burned calories), etc. In addition, if the device 10 is equipped with a reaction force meter that measures the reaction force from the ground at a predetermined portion of the device, information regarding the reaction force obtained from the reaction force meter can also be included.
ユーザ認証部210は、ディスプレイ22を見ているユーザ1を認証する。ユーザ認証部210は、ユーザ情報の認証情報を用いてユーザ1を認証することができる。本実施形態では、ユーザ情報の認証情報はユーザ1の顔部分の特徴量であり、ユーザ認証部210は、カメラ21が撮影した画像からその特徴量を抽出できたことによりユーザ1を認証することを想定する。なお、ユーザ認証部210は、たとえば、ユーザ端末10との間で通信を行い、ユーザ1を認証するようにしてもよいし、ディスプレイ22がユーザ端末10との間で通信を行うことによりユーザ1を認証し、その結果をディスプレイ22からユーザ認証部210に送信するようにしてもよい。なお、ユーザ認証については、顔認証に限らず、ユーザに必要情報を入力させることで実行することもできるし、トレーニングジム内またはトレーニングジム内のトレーニング機器近くの所定の位置にユーザが通過または静止したことを検出することに基づいて実行することもできる。 The user authentication unit 210 authenticates the user 1 viewing the display 22. The user authentication unit 210 can authenticate the user 1 using the authentication information of the user information. In this embodiment, the authentication information of the user information is the feature amount of the face part of the user 1, and the user authentication unit 210 authenticates the user 1 by extracting the feature amount from the image taken by the camera 21. Assume that Note that the user authentication unit 210 may communicate with the user terminal 10 to authenticate the user 1, or the display 22 may communicate with the user terminal 10 to authenticate the user 1. The user may be authenticated and the result may be transmitted from the display 22 to the user authentication section 210. Note that user authentication is not limited to facial recognition; it can also be performed by having the user input necessary information, or by having the user pass or stand still in the training gym or at a predetermined position near the training equipment in the training gym. It can also be performed based on detecting that the
トレーニング情報管理部211は、トレーニング情報記憶部トレーニング情報を管理する。トレーニング情報管理部211は、トレーニング情報記憶部231にトレーニング情報を格納したり、トレーニング情報記憶部231に格納されたトレーニング情報を参照する。また、トレーニング情報管理部211は、ディスプレイ22を示すディスプレイIDに対応するメニューIDをディスプレイ情報から特定し、特定したメニューIDに対応するトレーニング情報の内容および動画データをディスプレイ22に出力する。トレーニング情報管理部211は、ディスプレイ22の近傍にユーザが来たこと(たとえば、ディスプレイ22が人感センサを備え、人感センサがユーザを検知し、あるいはディスプレイ22がユーザ端末11と通信を行う通信機能を備え、ディスプレイ22がユーザ端末11と通信可能となったことを検知することにより、ユーザが近傍にいることを検知することができる。)、または、ディスプレイ22の前でユーザが所定のポーズを取ったこと、所定の位置に静止したこと、あるいはディスプレイに備えられたカメラの視野角において、ユーザが所定の大きさとして認識されたこと、を契機として、当該ディスプレイ22に対してトレーニング情報を出力し、必要に応じて、ユーザから選択や確定処理を受け付けることができる。ユーザは、トレーニング前またはトレーニング中に、ディスプレイ22に出力されたトレーニング内容や動画を見てトレーニングの参考とすることができる。なお、ディスプレイ22が存在しない場合は、トレーニング情報の出力先をユーザ端末11とすることもできる。 The training information management unit 211 manages training information in the training information storage unit. The training information management section 211 stores training information in the training information storage section 231 or refers to training information stored in the training information storage section 231. Further, the training information management unit 211 specifies a menu ID corresponding to the display ID indicating the display 22 from the display information, and outputs the content of training information and video data corresponding to the specified menu ID to the display 22. The training information management unit 211 determines that the user has come near the display 22 (for example, the display 22 is equipped with a motion sensor, the motion sensor detects the user, or the display 22 communicates with the user terminal 11). function, and by detecting that the display 22 is able to communicate with the user terminal 11, it is possible to detect that the user is nearby. Training information is transmitted to the display 22 when the user takes a picture, stops at a predetermined position, or is recognized as having a predetermined size in the viewing angle of the camera equipped on the display. It is possible to output the information and accept selection and confirmation processing from the user as necessary. Before or during training, the user can view the training content and video output on the display 22 and use it as a reference for training. Note that if the display 22 is not present, the training information may be output to the user terminal 11.
例えば、トレーニング情報の出力画面には、トレーニングの目的と、トレーニング内容と、動画が表示されている。動画データは、複数含まれてよく、複数の動画が出力画面に表示されてよい。 For example, the training information output screen displays the purpose of the training, the training content, and a video. A plurality of moving images may be included, and a plurality of moving images may be displayed on the output screen.
なお、トレーニング情報管理部211は、ユーザの身体情報及び/または健康情報に基づいて、トレーニング情報の内容を補正するようにしてもよい。たとえば、トレーニング情報管理部211は、身長に応じて、トレーニング機器の椅子の高さを変更したり、身長および体重に応じて、ウェイトの重さや回数を設定したり、提案したりすることができる。 Note that the training information management unit 211 may correct the content of the training information based on the user's physical information and/or health information. For example, the training information management unit 211 can change the height of the chair of the training device depending on your height, set the weight and number of weights to use, and make suggestions based on your height and weight. .
また、トレーニング情報管理部211は、ユーザ1のトレーニング履歴に応じてトレーニング情報の内容を補正するようにしてもよい。例えば、トレーニング情報管理部211は、ユーザ情報記憶部232からユーザを示すユーザIDに対応するトレーニング履歴を読み出し、読み出したトレーニング履歴に含まれている設定情報(ウェイトの重さや椅子の高さなど)や回数に応じて、例えば、前回の設定情報の内容と同様の情報または前回のウェイトよりも所定値だけ重いウェイト若しくは軽いウェイト、または、前回の回数よりも所定値だけ多い若しくは少ない回数を提案するようにトレーニング情報の内容に含めるようにすることができる。 Further, the training information management unit 211 may correct the content of the training information according to the training history of the user 1. For example, the training information management unit 211 reads out the training history corresponding to the user ID indicating the user from the user information storage unit 232, and sets information (such as the weight of weights and the height of the chair) included in the read out training history. For example, it may suggest information similar to the content of the previous setting information, a weight that is heavier or lighter than the previous weight by a predetermined value, or a number of times that is larger or smaller than the previous weight by a predetermined value. This can be included in the content of the training information.
情報取得部212は、機器10から送信された機器情報を取得し、及び/または、カメラ21が撮影した、ユーザが機器10を利用してトレーニングを行っている動画像を取得する。本実施形態では、機器10は機器情報を通信によりサーバ装置20に送信し、情報取得部212は機器情報を機器IDに対応付けて機器情報記憶部234に登録する。ままた、カメラ21は撮影した画像データを通信によりサーバ装置20に送信し、情報取得部212は、カメラ21から送信される画像データを、当該カメラ21を示すカメラIDに対応付けて画像データ記憶部233に登録する。なお、情報取得部212は、ユーザ認証部210がユーザ1の認証に成功したことを契機として、カメラ21に指示を送信し、カメラ21が撮影を開始するようにしてもよい。ユーザ認証が行われている場合は、機器機器情報や画像データをユーザIDと紐づけて登録することもできる。ここで、トレーニングジム24にカメラ21が備えられていない場合は、画像取得部212は、ディスプレイ22またはユーザ端末11に備えたカメラが撮影した画像を取得することもできる。 The information acquisition unit 212 acquires device information transmitted from the device 10 and/or acquires a moving image captured by the camera 21 in which a user is training using the device 10. In this embodiment, the device 10 transmits device information to the server device 20 through communication, and the information acquisition section 212 registers the device information in the device information storage section 234 in association with the device ID. Furthermore, the camera 21 transmits the captured image data to the server device 20 via communication, and the information acquisition unit 212 associates the image data transmitted from the camera 21 with the camera ID indicating the camera 21 and stores the image data. 233. Note that the information acquisition unit 212 may transmit an instruction to the camera 21 so that the camera 21 starts capturing images when the user authentication unit 210 successfully authenticates the user 1. If user authentication is performed, device information and image data can also be registered in association with the user ID. Here, if the training gym 24 is not equipped with the camera 21, the image acquisition unit 212 can also acquire an image taken by a camera equipped on the display 22 or the user terminal 11.
画像解析部213は、画像データを解析する。画像解析部213は、画像データを解析して、トレーニング機器10の特定の部位の特徴量を抽出し、当該部位の位置の移動距離を算出する。また、画像解析部213は、ユーザの身体の各部位の特徴量を抽出し、各部位の画像における位置を特定することもできる。なお、画像解析部213による画像解析の手法については一般的なものを採用するものとして、ここでは詳細な説明を省略する。画像解析部213は、フレームごとまたはキーフレーム毎に画像データを解析するようにしてもよいし、ランダムなタイミングで解析するようにしてもよい。 The image analysis unit 213 analyzes image data. The image analysis unit 213 analyzes the image data, extracts the feature amount of a specific part of the training device 10, and calculates the movement distance of the position of the part. The image analysis unit 213 can also extract the feature amount of each part of the user's body and specify the position of each part in the image. It should be noted that a general method of image analysis by the image analysis unit 213 is adopted, and a detailed explanation will be omitted here. The image analysis unit 213 may analyze the image data frame by frame or key frame by frame, or may analyze the image data at random timing.
また、画像解析部213は、ユーザ1の身体の動作を認識することもできる。この場合、画像解析部213は、たとえば、動画データから身体の動作(たとえば、スクワットやプッシュアップなど)を認識可能なモデルを作成しておき、機械学習により当該モデルを用いて動作を認識することができる。この場合において、画像解析部213は、例えば、複数のGPUを用いて並列処理を行うことにより実現するようにしてもよい。その他、このような姿勢推定の技術として、機械学習のほか、ディープラーニングを用いた姿勢推定技術も挙げられる。 Further, the image analysis unit 213 can also recognize the movement of the user's 1 body. In this case, the image analysis unit 213 may, for example, create a model that can recognize body movements (for example, squats, push-ups, etc.) from the video data, and use the model to recognize the movements through machine learning. I can do it. In this case, the image analysis unit 213 may be implemented, for example, by performing parallel processing using a plurality of GPUs. Other posture estimation techniques include machine learning and posture estimation techniques that use deep learning.
機器情報解析部214は、機器情報を解析する。スミスマシンから取得される機器情報の例においては、モータまたはシャフトにかかる負荷と、加速度センサから取得されるシャフトの移動距離に係る情報とから、ユーザによるシャフトの上下動の反復回数をカウントし、RMの成否を判定する。また、機器情報に機器10の反力計の情報が含まれる場合は、反力から負荷及びユーザの反復運動を推定し、カウントアップを行うことができる。ここで、他のカウント方法として、画像データを解析する方法も考えられる。画像解析部213が解析した、ユーザの各部位の位置を用いて、ユーザが(他の姿勢から)所定の姿勢に変化した回数をカウントすることができる。また、例えば、画像解析部213が解析した各部位のそれぞれについて、部位の位置と、位置基準情報に含まれている位置との距離が所定値以内になっている場合にカウントアップすることができる。また、角度基準情報に含まれている関節部位を頂点とした2つの部位の角度が所定値以内である場合にカウントアップするようにしてもよい。また、画像解析部213は、例えば、身体の姿勢を教師データとし、各部位の位置(相対的な位置関係)を入力データとした姿勢推定モデルを事前に準備しておき、当該モデルを用いてユーザの姿勢を特定し、所定の姿勢になったときにカウントアップするようにしてもよい。その他、ユーザの身体の所定の部位の位置の加速度が所定値以内になっている場合にカウントアップしてもよい。 The device information analysis unit 214 analyzes device information. In an example of device information obtained from a Smith machine, the number of repetitions of vertical movement of the shaft by the user is counted from the load applied to the motor or shaft and the information related to the movement distance of the shaft obtained from the acceleration sensor. Determine the success or failure of RM. Furthermore, if the device information includes information on the reaction force meter of the device 10, the load and the user's repetitive motion can be estimated from the reaction force and counted up. Here, as another counting method, a method of analyzing image data may also be considered. Using the position of each part of the user analyzed by the image analysis unit 213, it is possible to count the number of times the user changes to a predetermined posture (from another posture). Further, for example, for each part analyzed by the image analysis unit 213, if the distance between the position of the part and the position included in the position reference information is within a predetermined value, the count can be increased. . Alternatively, the count may be increased when the angles of two parts with the joint parts included in the angle reference information as apexes are within a predetermined value. In addition, the image analysis unit 213 prepares in advance a posture estimation model that uses the body posture as training data and the position (relative positional relationship) of each part as input data, and uses the model to estimate the posture. The user's posture may be specified and the count may be counted up when the user reaches a predetermined posture. Alternatively, the count may be increased when the acceleration at a predetermined position of the user's body is within a predetermined value.
なお、画像解析部213または機器情報解析部214は、トレーニングの回数及びトレーニングのセット数をカウントし、これらの数値にウェイトの重さを掛け合わせ、トレーニングボリュームを算出することでユーザの仕事量を計算することもできる。このトレーニングボリュームをユーザの疲労度を測る一指標として利用することができる。このトレーニングボリュームをユーザ記憶部232に記憶しておくことで、ユーザは、所望のタイミングで、このトレーニングボリューム及びその推移をディスプレイ22等に表示して確認することができる。 The image analysis unit 213 or the equipment information analysis unit 214 counts the number of training sessions and the number of sets of training sessions, multiplies these numbers by the weight of the weights, and calculates the training volume to calculate the user's workload. It can also be calculated. This training volume can be used as an index for measuring the user's fatigue level. By storing this training volume in the user storage unit 232, the user can check the training volume and its transition by displaying it on the display 22 or the like at a desired timing.
評価部215は、ユーザの身体の動きを評価する。具体的には、評価部215は、上記トレーニングボリュームやRMを所定の評価条件情報(例えば、目標値や平均値)と比較し、条件を満たしているか否かを決定し、比較結果に応じて評価ランク及びコメントを表示させる。また、評価部215は、画像データから特定された、ユーザの身体の各部位の位置、姿勢及び動作を、基準となる各部位の位置情報、姿勢及び/または動作情報と比較し、各部位の位置、姿勢及び動作が基準となる位置、姿勢値及び動作指標に対して所定の範囲であるか或いは値を上回っているか等を決定し、結果に応じて評価ランク及びコメントを表示させる。また、ユーザの実測値と諸条件とを比較して、数値を示して表示させたり、グラフ等に視覚化して表示させたり、また、ユーザの身体の部位の位置、姿勢及び動作を、基準となる位置、姿勢及び動作と容易に比較できるよう、撮影された動画に基準あるいは参考となる位置、姿勢及び動作を並べて表示させたり、重畳させて表示させたりすることができる。 The evaluation unit 215 evaluates the user's body movements. Specifically, the evaluation unit 215 compares the training volume and RM with predetermined evaluation condition information (e.g., target value and average value), determines whether the conditions are satisfied, and evaluates the training volume and RM according to the comparison result. Display the evaluation rank and comments. In addition, the evaluation unit 215 compares the position, posture, and motion of each body part of the user identified from the image data with the reference position information, posture, and/or motion information of each body part, and It is determined whether the position, posture, and motion are within a predetermined range or exceed the reference position, posture value, and motion index, and an evaluation rank and comment are displayed according to the results. In addition, the user's actual measured values and various conditions can be compared and displayed as numerical values, visualized in graphs, etc., and the positions, postures, and movements of the user's body parts can be compared with standards. In order to easily compare the positions, postures, and movements with the positions, postures, and movements that will occur, the positions, postures, and movements that serve as a reference or reference can be displayed side by side or superimposed on the captured video.
機器制御部216は、解析された機器情報及び/または解析された画像を基に、機器10を制御する指示信号を生成する。例えば、スミスマシンの場合、機器情報解析部214が、負荷とユーザの上下動の反復回数とを監視し、ユーザが所定のRM(例えば、負荷(60kg)x10回=10RM)をクリアしたか、を決定し、決定に基づいて、機器制御部216は、所定のRMより少ないRM(例えば、8RM)で終了した場合、ユーザの次の試行において、10RMを実現できるような負荷に調整するため(例えば、60kgの負荷を48kgに下げる)、機器10の駆動装置107のトルク値を調整する(上昇させる)よう制御する指示信号を生成する。または、機器情報解析部214が、負荷とユーザの上下動の反復回数とを監視し、ユーザが所定のRM(例えば、負荷(60kg)x10回=10RM)に到達せず、8RMで終了した(若しくは9RMまで所定時間が経過した)、と決定した場合、残り2RMを完了できるよう負荷を下げるために、機器10の駆動装置107のトルク値を調整する(上昇させる)よう制御する指示信号を生成することもできる。 The device control unit 216 generates an instruction signal to control the device 10 based on the analyzed device information and/or the analyzed image. For example, in the case of a Smith machine, the device information analysis unit 214 monitors the load and the number of repetitions of vertical movement by the user, and determines whether the user has cleared a predetermined RM (for example, load (60 kg) x 10 times = 10 RM). is determined, and based on the determination, the device control unit 216 adjusts the load to such a level that 10 RM can be achieved in the user's next trial if the user ends up with less RM than the predetermined RM (for example, 8 RM). For example, an instruction signal is generated to control the torque value of the drive device 107 of the device 10 to be adjusted (increased) by reducing the load of 60 kg to 48 kg. Alternatively, the device information analysis unit 214 monitors the load and the number of repetitions of vertical movement of the user, and the user does not reach a predetermined RM (for example, load (60 kg) x 10 times = 10 RM) and ends at 8 RM ( or a predetermined time has elapsed to reach 9RM), an instruction signal is generated to control the torque value of the drive device 107 of the device 10 to be adjusted (increased) in order to reduce the load so that the remaining 2RM can be completed. You can also.
図9は、第一実施形態に係るトレーニング機器の制御方法の一例を示す図である。 FIG. 9 is a diagram illustrating an example of a method for controlling the training equipment according to the first embodiment.
まず、サーバ装置20のユーザ認証部210は、ユーザがトレーニング機器10の近傍に来たことを検出する(S101)。ユーザの検出は、たとえば、人感センサを機器10またはディスプレイ22付近に設置してもよいし、カメラ21からの画像を監視し、画像から人間を検出するようにしてもよく、様々な方法によって検出可能である。 First, the user authentication unit 210 of the server device 20 detects that the user has come near the training device 10 (S101). The user may be detected by various methods, for example, by installing a human sensor near the device 10 or the display 22, or by monitoring an image from the camera 21 and detecting a person from the image. Detectable.
次にユーザ認証部210は、ユーザ1の認証を行う(S102)。ユーザ1の認証は、たとえば、画像から顔部分の特徴量を抽出してユーザ情報の認証情報に含まれている特徴量と比較することにより行うことができる。また、ユーザ認証部210は、たとえば、ユーザ端末11との間の通信(たとえば、ユーザ端末11からユーザIDおよびパスワード、あるいは公開鍵などの認証情報の入力を受け付けることなど)によりユーザの認証を行うようにしてもよい。また、機器10またはディスプレイ22付近にICカードリーダを設置して会員証を用いて認証を行うようにしてもよい。 Next, the user authentication unit 210 authenticates the user 1 (S102). Authentication of the user 1 can be performed, for example, by extracting the feature amount of the facial part from the image and comparing it with the feature amount included in the authentication information of the user information. Further, the user authentication unit 210 authenticates the user by, for example, communicating with the user terminal 11 (for example, accepting input of authentication information such as a user ID and password or a public key from the user terminal 11). You can do it like this. Alternatively, an IC card reader may be installed near the device 10 or the display 22 to perform authentication using a membership card.
ユーザが認証されると、トレーニング情報管理部211は、ユーザが利用しようとする機器10に対応するトレーニングメニューを、トレーニング情報記憶部231に格納されたトレーニング情報を参照する(S103)。また、トレーニング情報管理部211は、参照したトレーニング情報をトレーニングメニューとしてディスプレイ21等に出力させる。ここで認証されたユーザIDに関連付けられたトレーニング履歴をユーザ情報記憶部232に格納されたユーザ情報から参照し、トレーニングメニューを修正したり、ユーザが以前実施したトレーニングメニューと同じメニューを実施するか、選択肢を提供することもできる。トレーニング情報管理部211は、例えば、ユーザが更新した身長や体重、筋肉量等のユーザ情報に応じて、機器10がスミスマシンであれば、ウェイトの重さや回数などを修正することができる。また、トレーニング情報管理部211は、ここでユーザから目的の入力を受け付けるようにして、目的とメニューIDとに対応するトレーニング情報を読み出すようにしてもよい。ユーザが所望のトレーニングメニューを選択し、実行することで、スミスマシンの場合であれば、ウェイトの重量(負荷)及び反復運動の回数が設定される。 When the user is authenticated, the training information management unit 211 refers to the training information stored in the training information storage unit 231 for a training menu corresponding to the device 10 that the user intends to use (S103). Further, the training information management unit 211 outputs the referenced training information to the display 21 or the like as a training menu. Here, the training history associated with the authenticated user ID is referred to from the user information stored in the user information storage unit 232, and the training menu is modified or whether the user performs the same training menu as the previous training menu. , can also provide options. For example, if the equipment 10 is a Smith machine, the training information management unit 211 can modify the weight of the weights, the number of repetitions, etc., according to user information such as height, weight, and muscle mass updated by the user. Further, the training information management unit 211 may receive an input of the purpose from the user, and read training information corresponding to the purpose and menu ID. When a user selects and executes a desired training menu, in the case of a Smith machine, the weight (load) of the weights and the number of repetitions are set.
トレーニングが始まると、情報取得部212は、機器10から情報を取得して機器情報記憶部234に情報を格納する(S104)。例えば、機器10がスミスマシンの場合、モータまたはシャフトにかかる負荷と、加速度センサから取得されるシャフトの移動距離に係る情報を取得する。または、機器10に反力計が備えられている場合は、床反力に係る情報を取得するもできる。情報取得部212は、ユーザが機器10を利用してトレーニングを行っている間継続的に機器10から情報を取得することもできるし、機器10に蓄積された情報を一定期間毎に一括で取得することもできる。特に、反力によらずにモータまたはシャフトにかかる負荷を直接測定することで、ユーザが負荷を上げたまま静止した状態におけるアイソメトリックパワーを測定することができる。 When training begins, the information acquisition unit 212 acquires information from the device 10 and stores the information in the device information storage unit 234 (S104). For example, if the device 10 is a Smith machine, information regarding the load applied to the motor or shaft and the moving distance of the shaft obtained from the acceleration sensor is acquired. Alternatively, if the device 10 is equipped with a reaction force meter, information regarding the floor reaction force can also be acquired. The information acquisition unit 212 can continuously acquire information from the device 10 while the user is training using the device 10, or can acquire information accumulated in the device 10 all at once at regular intervals. You can also. In particular, by directly measuring the load applied to the motor or shaft without relying on reaction force, it is possible to measure isometric power in a state where the user stands still with an increased load.
続いて、機器情報解析部214は、取得した機器情報を解析する(S105)。例えば、スミスマシンから取得される機器情報の例においては、機器情報解析部214は、モータまたはシャフトにかかる負荷と、加速度センサから取得されるシャフトの移動距離に係る情報とから、ユーザによるシャフトの上下動の反復回数をカウントし、RMの成否を判定する。または、力センサ、ロードセンサ等により、力または距離を計測することで、反復回数をカウントすることもできる。また、機器情報に機器10の反力計の情報が含まれる場合は、反力から負荷とユーザの反復運動を推定し、カウントアップを行うことができる。また、機器情報解析部214は、単位時間当たりの負荷の移動距離を算出することで、パワー効率を決定することもできる。機器情報解析部214で解析された解析結果はトレーニング履歴として、機器IDと紐づけて機器情報記憶部234に、または、ユーザIDと紐づけてユーザ情報記憶部232に格納することができる。また、モータあるいはシャフトにかかる負荷及び反復運動の回数はリアルタイムでディスプレイ22等に出力させることができる。 Subsequently, the device information analysis unit 214 analyzes the acquired device information (S105). For example, in the example of device information obtained from a Smith machine, the device information analysis unit 214 analyzes the load applied to the motor or shaft and the information related to the movement distance of the shaft obtained from the acceleration sensor. The number of repetitions of vertical movement is counted to determine whether RM is successful or not. Alternatively, the number of repetitions can be counted by measuring force or distance using a force sensor, load sensor, or the like. Furthermore, if the device information includes information on the reaction force meter of the device 10, the load and the user's repetitive motion can be estimated from the reaction force and counted up. The device information analysis unit 214 can also determine power efficiency by calculating the distance traveled by the load per unit time. The analysis result analyzed by the device information analysis section 214 can be stored as a training history in the device information storage section 234 in association with the device ID or in the user information storage section 232 in association with the user ID. Further, the load applied to the motor or shaft and the number of repetitive motions can be output on the display 22 or the like in real time.
続いて、機器制御部216は、機器情報解析部214で解析された情報を基に機器10を制御する(S106)。例えば、スミスマシンの場合、機器情報解析部214が、負荷とユーザの上下動の反復回数とを監視し、図10(a)に示すように、ユーザが所定のRM(例えば、負荷(60kg)x10回=10RM)をクリアしたか、を決定し、決定に基づいて、機器制御部216は、所定のRMより少ないRM(例えば、8RM)で終了した場合、図10(b)に示すように、ユーザの次の試行において、10RMを実現できるような負荷に調整するため(例えば、60kgの負荷を48kgに下げる)、機器10の駆動装置107のトルク値を調整する(上昇させる)よう制御する指示信号を生成する。または、機器情報解析部214が、負荷とユーザの上下動の反復回数とを監視し、図11に示すように、ユーザが所定のRM(例えば、負荷(60kg)x10回=10RM)に到達せず、8RMで終了した(若しくは9RMまで所定時間が経過した)、と決定した場合、残り2RMを完了できるよう負荷を下げるために、機器10の駆動装置107のトルク値を調整する(上昇させる)よう制御する指示信号を生成することもできる。その他、RM1回における負荷のピークに達する時間を監視し、所定時間以上かかることを検知した場合に、負荷を下げるようトルク値を調整し、ユーザがシャフトを上げやすくするよう支援することもできる。また、ユーザの疲労等に起因してシャフトを支える力が弱まったことを検知した場合に、シャフトを下げるタイミングでシャフトを支える力を付加するようトルク調整を行うこともできる。 Subsequently, the device control unit 216 controls the device 10 based on the information analyzed by the device information analysis unit 214 (S106). For example, in the case of a Smith machine, the device information analysis unit 214 monitors the load and the number of repetitions of vertical movement by the user, and as shown in FIG. x 10 times = 10 RM), and based on the determination, the device control unit 216 determines whether the RM is cleared with less than the predetermined RM (for example, 8 RM), as shown in FIG. 10(b). , in the user's next trial, control is performed to adjust (increase) the torque value of the drive device 107 of the device 10 in order to adjust the load to such a level that 10RM can be achieved (for example, lowering the 60 kg load to 48 kg). Generate an instruction signal. Alternatively, the device information analysis unit 214 monitors the load and the number of repetitions of vertical movement of the user, and as shown in FIG. First, when it is determined that the process has ended at 8RM (or a predetermined time has passed until 9RM), the torque value of the drive device 107 of the device 10 is adjusted (increased) in order to reduce the load so that the remaining 2RM can be completed. It is also possible to generate an instruction signal to control the process. In addition, it is also possible to monitor the time it takes for the load to reach its peak in one RM, and if it is detected that it takes longer than a predetermined time, the torque value can be adjusted to reduce the load to help the user raise the shaft more easily. Furthermore, when it is detected that the force supporting the shaft has weakened due to user fatigue or the like, the torque can be adjusted so that the force supporting the shaft is added at the timing of lowering the shaft.
以上により、機器を制御することで、ユーザが本来達成すべきトレーニングメニューを確実に完了することができ、トレーニング効果を得られるよう支援することができる。 As described above, by controlling the equipment, it is possible to reliably complete the training menu that the user is originally supposed to accomplish, and it is possible to support the user to obtain training effects.
(第二実施形態)
図12は、第二実施形態に係るトレーニング機器の制御方法の一例と示す図である。第二実施形態におけるシステム構成は、第一実施形態の構成と実質的同一とすることができるので、説明を省略する。
(Second embodiment)
FIG. 12 is a diagram illustrating an example of a method for controlling a training device according to the second embodiment. The system configuration in the second embodiment can be substantially the same as the configuration in the first embodiment, so a description thereof will be omitted.
まず、サーバ装置20のユーザ認証部210は、ユーザがトレーニング機器10の近傍に来たことを検出する(S201)。ユーザの検出は、たとえば、人感センサを機器10またはディスプレイ22付近に設置してもよいし、カメラ21からの画像を監視し、画像から人間を検出するようにしてもよく、様々な方法によって検出可能である。 First, the user authentication unit 210 of the server device 20 detects that the user has come near the training device 10 (S201). The user may be detected by various methods, for example, by installing a human sensor near the device 10 or the display 22, or by monitoring an image from the camera 21 and detecting a person from the image. Detectable.
次にユーザ認証部210は、ユーザ1の認証を行う(S202)。ユーザ1の認証は、たとえば、画像から顔部分の特徴量を抽出してユーザ情報の認証情報に含まれている特徴量と比較することにより行うことができる。また、ユーザ認証部210は、たとえば、ユーザ端末11との間の通信(たとえば、ユーザ端末11からユーザIDおよびパスワード、あるいは公開鍵などの認証情報の入力を受け付けることなど)によりユーザの認証を行うようにしてもよい。また、機器10またはディスプレイ22付近にICカードリーダを設置して会員証を用いて認証を行うようにしてもよい。 Next, the user authentication unit 210 authenticates the user 1 (S202). Authentication of the user 1 can be performed, for example, by extracting the feature amount of the facial part from the image and comparing it with the feature amount included in the authentication information of the user information. Further, the user authentication unit 210 authenticates the user by, for example, communicating with the user terminal 11 (for example, accepting input of authentication information such as a user ID and password or a public key from the user terminal 11). You can do it like this. Alternatively, an IC card reader may be installed near the device 10 or the display 22 to perform authentication using a membership card.
ユーザが認証されると、トレーニング情報管理部211は、ユーザが利用しようとする機器10に対応するトレーニングメニューを、トレーニング情報記憶部231に格納されたトレーニング情報を参照する(S203)。また、トレーニング情報管理部211は、参照したトレーニング情報をトレーニングメニューとしてディスプレイ21等に出力させる。ここで認証されたユーザIDに関連付けられたトレーニング履歴をユーザ情報記憶部232に格納されたユーザ情報から参照し、トレーニングメニューを修正したり、ユーザが以前実施したトレーニングメニューと同じメニューを実施するか、選択肢を提供することもできる。トレーニング情報管理部211は、例えば、ユーザが更新した身長や体重、筋肉量等のユーザ情報に応じて、機器10がスミスマシンであれば、ウェイトの重さや回数などを修正することができる。また、トレーニング情報管理部211は、ここでユーザから目的の入力を受け付けるようにして、目的とメニューIDとに対応するトレーニング情報を読み出すようにしてもよい。ユーザが所望のトレーニングメニューを選択し、実行することで、スミスマシンの場合であれば、ウェイトの重量(負荷)及び反復運動の回数が設定される。 When the user is authenticated, the training information management unit 211 refers to the training information stored in the training information storage unit 231 for the training menu corresponding to the device 10 that the user intends to use (S203). Further, the training information management unit 211 outputs the referenced training information to the display 21 or the like as a training menu. Here, the training history associated with the authenticated user ID is referred to from the user information stored in the user information storage unit 232, and the training menu is modified or whether the user performs the same training menu as the previous training menu. , can also provide options. For example, if the equipment 10 is a Smith machine, the training information management unit 211 can modify the weight of the weights, the number of repetitions, etc., according to user information such as height, weight, and muscle mass updated by the user. Further, the training information management unit 211 may receive an input of the purpose from the user, and read training information corresponding to the purpose and menu ID. When a user selects and executes a desired training menu, in the case of a Smith machine, the weight (load) of the weights and the number of repetitions are set.
トレーニングが始まると、情報取得部212は、機器10から情報を取得して機器情報記憶部234に情報を格納する(S204)。例えば、機器10がスミスマシンの場合、モータまたはシャフトにかかる負荷と、加速度センサから取得されるシャフトの移動距離に係る情報を取得する。または、機器10に反力計が備えられている場合は、床反力に係る情報を取得する。情報取得部212は、ユーザが機器10を利用してトレーニングを行っている間継続的に機器10から情報を取得することもできるし、機器10に蓄積された情報を一定期間毎に一括で取得することもできる。特に、反力によらずにモータまたはシャフトにかかる負荷を直接測定することで、ユーザが負荷を上げたまま静止した状態におけるアイソメトリックパワーを測定することができる。 When training begins, the information acquisition unit 212 acquires information from the device 10 and stores the information in the device information storage unit 234 (S204). For example, if the device 10 is a Smith machine, information regarding the load applied to the motor or shaft and the moving distance of the shaft obtained from the acceleration sensor is acquired. Alternatively, if the device 10 is equipped with a reaction force meter, information regarding the floor reaction force is acquired. The information acquisition unit 212 can continuously acquire information from the device 10 while the user is training using the device 10, or can acquire information accumulated in the device 10 all at once at regular intervals. You can also. In particular, by directly measuring the load applied to the motor or shaft without relying on reaction force, it is possible to measure isometric power in a state where the user stands still with an increased load.
情報取得部212はまた、カメラ21からの画像を取得して画像データ記憶部233に登録する(S205)。カメラ21は、ユーザの身体の動き及び/または機器10の特定の部位の動きを含む動画を撮影する。例えば、機器10がスミスマシンの場合は、カメラ21は、シャフトを上下動させるユーザのトレーニングの様子を所定の位置から撮影する。のちの画像処理でシャフトの上下動を認識するために、正面を向くユーザに対して側面の方向から撮影することが望ましい。ここで、トレーニングジムにカメラ21が備えられていない場合は、ディスプレイ22にカメラが備えられている場合は当該カメラ、または、ユーザ端末11に備えられたカメラから画像を取得することもできる。また、ユーザの操作により撮影を開始することもできるし、センサがユーザの動作開始を検知して自動的に撮影を開始し、カメラが撮影した画像をサーバ装置20に送信することもできる。 The information acquisition unit 212 also acquires an image from the camera 21 and registers it in the image data storage unit 233 (S205). The camera 21 captures a moving image that includes the movement of the user's body and/or the movement of a specific part of the device 10. For example, if the device 10 is a Smith machine, the camera 21 photographs the user's training by moving the shaft up and down from a predetermined position. In order to recognize the vertical movement of the shaft in later image processing, it is desirable to photograph the user facing the front from the side. Here, if the training gym is not equipped with the camera 21, images can also be acquired from the camera if the display 22 is equipped with a camera, or the camera equipped on the user terminal 11. Furthermore, photographing can be started by the user's operation, or the sensor can detect the start of the user's operation and automatically start photographing, and the image taken by the camera can be sent to the server device 20.
機器情報解析部214は、取得した機器情報を解析する(S206)。例えば、スミスマシンから取得される機器情報の例においては、機器情報解析部214は、モータまたはシャフトにかかる負荷を監視し、負荷の変化をトラッキングすることができる。加速度センサから取得されるシャフトの移動距離に係る情報から、ユーザによるシャフトの上下動の反復回数をカウントし、RMの成否を判定する。また、機器情報に機器10の反力計の情報が含まれる場合は、反力から負荷とユーザの反復運動を推定し、カウントアップを行うことができる。また、機器情報解析部214は、単位時間当たりの負荷の移動距離を算出することで、パワー効率を決定することもできる。機器情報解析部214で解析された解析結果はトレーニング履歴として、機器IDと紐づけて機器情報記憶部234に、または、ユーザIDと紐づけてユーザ情報記憶部232に格納することができる。また、モータあるいはシャフトにかかる負荷及び反復運動の回数はリアルタイムでディスプレイ22等に出力させることができる。 The device information analysis unit 214 analyzes the acquired device information (S206). For example, in the example of equipment information obtained from a Smith machine, the equipment information analysis unit 214 can monitor the load on the motor or shaft and track changes in the load. The number of repetitions of vertical movement of the shaft by the user is counted from information regarding the moving distance of the shaft obtained from the acceleration sensor, and the success or failure of RM is determined. Furthermore, if the device information includes information on the reaction force meter of the device 10, the load and the user's repetitive motion can be estimated from the reaction force and counted up. The device information analysis unit 214 can also determine power efficiency by calculating the distance traveled by the load per unit time. The analysis result analyzed by the device information analysis section 214 can be stored as a training history in the device information storage section 234 in association with the device ID or in the user information storage section 232 in association with the user ID. Further, the load applied to the motor or shaft and the number of repetitive motions can be output on the display 22 or the like in real time.
画像解析部213は、カメラ21から取得した画像データを解析する(S207)。具体的には、ユーザの身体の各部位の位置または機器10の特定の部位(スミスマシンの場合はシャフトの位置)を特定する。ここで、本実施形態において画像を取得可能な場合は、上記機器情報によらずに、取得画像からシャフトの位置に基づいて、ユーザが行ったトレーニングの回数をカウントすることができる。または、ユーザの身体の部位に基づいてカウントを行うこともできる。例えば、ユーザの膝の角度が所定角度以内になった場合に、足の屈伸を1回行ったとカウントしたり、臀部の位置が床上所定距離以内になった場合に、スクワットを1回行ったとカウントしたりすることができる。続いて、画像解析部213は、画像から認識可能なシャフトの最上点及び最下点の位置に基づき、移動距離を算出し、機器情報から得られる負荷と、画像解析から得られるシャフトの移動距離に係る情報とから、ユーザによるシャフトの上下動の反復回数をカウントし、RMの成否を判定する。画像解析部213及び機器情報解析部214で解析された解析結果はトレーニング履歴として、機器IDと紐づけて機器情報記憶部234に、または、ユーザIDと紐づけてユーザ情報記憶部232に格納することができる。また、モータあるいはシャフトにかかる負荷及び反復運動の回数はリアルタイムでディスプレイ22等に出力させることができる。単位時間当たりの負荷の移動距離を算出することで、パワー効率を決定することもできる。 The image analysis unit 213 analyzes the image data acquired from the camera 21 (S207). Specifically, the position of each part of the user's body or a specific part of the device 10 (in the case of a Smith machine, the position of the shaft) is specified. Here, in the case where an image can be acquired in this embodiment, the number of training sessions performed by the user can be counted based on the position of the shaft from the acquired image, without depending on the device information. Alternatively, counting can also be done based on the user's body parts. For example, when the angle of the user's knees falls within a certain angle, it is counted as one bending and stretching of the legs, and when the position of the buttocks falls within a certain distance above the floor, it is counted as one squat. You can do it. Next, the image analysis unit 213 calculates the moving distance based on the positions of the highest and lowest points of the shaft that can be recognized from the image, and calculates the load obtained from the device information and the moving distance of the shaft obtained from the image analysis. The number of repetitions of vertical movement of the shaft by the user is counted based on the information related to this, and the success or failure of RM is determined. The analysis results analyzed by the image analysis section 213 and the device information analysis section 214 are stored as training history in the device information storage section 234 in association with the device ID or in the user information storage section 232 in association with the user ID. be able to. Further, the load applied to the motor or shaft and the number of repetitive motions can be output on the display 22 or the like in real time. Power efficiency can also be determined by calculating the distance traveled by the load per unit time.
続いて、機器制御部216は、画像解析部213及び機器情報解析部214で解析された情報を基に機器10を制御する(S208)。例えば、スミスマシンの場合、画像解析部213及び機器情報解析部214が、負荷とユーザの上下動の反復回数とを監視し、図10(a)に示すように、ユーザが所定のRM(例えば、負荷(60kg)x10回=10RM)をクリアしたか、を決定し、決定に基づいて、機器制御部216は、所定のRMより少ないRM(例えば、8RM)で終了した場合、図10(b)に示すように、ユーザの次の試行において、10RMを実現できるような負荷に調整するため(例えば、60kgの負荷を48kgに下げる)、機器10の駆動装置107のトルク値を調整する(上昇させる)よう制御する指示信号を生成する。または、画像解析部213及び機器情報解析部214が、負荷とユーザの上下動の反復回数とを監視し、図11に示すように、ユーザが所定のRM(例えば、負荷(60kg)x10回=10RM)に到達せず、8RMで終了した(若しくは9RMまで所定時間が経過した)、と決定した場合、残り2RMを完了できるよう負荷を下げるために、機器10の駆動装置107のトルク値を調整する(上昇させる)よう制御する指示信号を生成することもできる。その他、RM1回における負荷のピークに達する時間を監視し、所定時間以上かかることを検知した場合に、負荷を下げるようトルク値を調整し、ユーザがシャフトを上げやすくするよう支援することもできる。また、ユーザの疲労等に起因してシャフトを支える力が弱まったことを検知した場合に、シャフトを下げるタイミングでシャフトを支える力を付加するようトルク調整を行うこともできる。 Subsequently, the device control section 216 controls the device 10 based on the information analyzed by the image analysis section 213 and the device information analysis section 214 (S208). For example, in the case of a Smith machine, the image analysis unit 213 and the device information analysis unit 214 monitor the load and the number of repetitions of the user's vertical movement, and as shown in FIG. , load (60 kg) x 10 times = 10 RM), and based on the determination, the device control unit 216 determines whether the load (60 kg) x 10 times = 10 RM) has been cleared, and based on the determination, if the device control unit 216 has cleared the RM that is less than the predetermined RM (for example, 8 RM), ), in the user's next trial, the torque value of the drive device 107 of the device 10 is adjusted (increased generates an instruction signal to control the Alternatively, the image analysis unit 213 and the device information analysis unit 214 monitor the load and the number of repetitions of vertical movement of the user, and as shown in FIG. If it is determined that the process has finished at 8RM (or a predetermined time has passed until 9RM) without reaching 10RM, the torque value of the drive device 107 of the device 10 is adjusted in order to reduce the load so that the remaining 2RM can be completed. It is also possible to generate an instruction signal for controlling the temperature to increase (increase). In addition, it is also possible to monitor the time it takes for the load to reach its peak in one RM, and if it is detected that it takes longer than a predetermined time, the torque value can be adjusted to lower the load to help the user raise the shaft more easily. Further, when it is detected that the force supporting the shaft has weakened due to user fatigue or the like, the torque can be adjusted so as to add the force supporting the shaft at the timing of lowering the shaft.
以上により、本実施形態により、機器にセンサを設置することなく、画像解析技術によってユーザのトレーニング情報を取得することができ、効果的にトレーニング支援を行うことができる。なお、図12において、例えば、機器情報の取得と動画取得の時期は同時であっても、いずれかが前後してもよく、また、情報解析と画像解析の時期も同様にその前後は問わないものとすることができる。 As described above, according to the present embodiment, training information of a user can be acquired using image analysis technology without installing a sensor in a device, and training support can be effectively provided. In addition, in FIG. 12, for example, the timing of acquiring device information and the timing of video acquisition may be the same or before or after the other, and similarly the timing of information analysis and image analysis may be either before or after the same. can be taken as a thing.
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。 Although the present embodiment has been described above, the above embodiment is for facilitating understanding of the present invention, and is not for construing the present invention in a limited manner. The present invention may be modified and improved without departing from the spirit thereof, and the present invention also includes equivalents thereof.
また、たとえば、本実施形態では、サーバ装置20において画像の解析を行うものとしたが、これに限らず、カメラ21またはユーザ端末10において画像の解析を行い、各部位の位置関係を特定するようにしてもよい。 Further, for example, in the present embodiment, the image is analyzed in the server device 20, but the invention is not limited to this, and the image may be analyzed in the camera 21 or the user terminal 10 to identify the positional relationship of each part. You can also do this.
また、本実施形態では、部位の位置は2次元の画像上の位置であることを想定したが、これに限らず、3次元の位置としてもよい。たとえば、2次元画像もしくは動画から、所定の画像認識技術を用いて、所定の部位の2次元画像上の位置のほか、深度情報を特定する方法、所定の画像認識技術を用いて、所定の部位の2次元画像上の位置を特定し、機械学習を用いて、特定した部位について、2次元画像上の位置から3次元位置を特定する方法、または、複数のカメラを用いて、所定の画像認識技術により、所定の部位の各々の2次元画像上の位置を特定し、機械学習等を用いて、特定した部位について、2次元画像上の位置から3次元位置を特定する方法等が挙げられる。さらに、カメラ21に加えて、トレーニング器具の設置場所にデプスカメラを配置し、カメラ21からの画像と、デプスカメラからの深度マップとに基づいて、部位の3次元の位置を特定することができる。なお、カメラ21に代えてデプスカメラを設けるようにし、デプスカメラからの深度マップのみから3次元の位置を特定することも可能である。 Further, in this embodiment, it is assumed that the position of the part is a position on a two-dimensional image, but the position is not limited to this, and may be a three-dimensional position. For example, from a two-dimensional image or video, using a predetermined image recognition technology, in addition to the position of a predetermined part on a two-dimensional image, a method of specifying depth information; A method of specifying the position on a two-dimensional image of the body part and using machine learning to specify the three-dimensional position of the specified part from the position on the two-dimensional image, or using a predetermined image recognition method using multiple cameras. Examples include a method in which the position of each predetermined part on a two-dimensional image is specified using technology, and the three-dimensional position of the specified part is specified from the position on the two-dimensional image using machine learning or the like. Furthermore, in addition to the camera 21, a depth camera can be placed at the location where the training equipment is installed, and the three-dimensional position of the body part can be specified based on the image from the camera 21 and the depth map from the depth camera. . Note that it is also possible to provide a depth camera instead of the camera 21 and specify the three-dimensional position only from the depth map from the depth camera.
また、本実施形態では、カメラで撮影するユーザの身体の部位は、ユーザの正面方向または横方向から見た部位であることを想定したが、これに限らず、ユーザより上方に設置するカメラの特性を活かし、ユーザの頭上方向から見た部位であることとしてもよい。この場合、頭上から見たユーザの頭の中心及び両肩の二次元上の位置を特定して解析を行うことができる。 In addition, in this embodiment, it is assumed that the part of the user's body photographed by the camera is the part seen from the front or side of the user, but the camera is not limited to this. Taking advantage of the characteristics, the region may be viewed from above the user's head. In this case, analysis can be performed by specifying the two-dimensional positions of the center of the user's head and both shoulders when viewed from above.
また、本実施形態では、運動中のユーザの身体を撮像した画像がカメラ21からサーバ装置20に送信されるものとしたが、これに限らず、トレーニング器具の設置場所にコンピュータを配置し、当該コンピュータにおいて画像から特徴量を抽出し、特徴量をサーバ装置20に送信するようにしてもよいし、当該コンピュータが特徴量に基づいて身体の部位を推定し、部位の絶対的な位置(画像のXY座標上の位置としてもよいし、基準位置(たとえば、地面や足先、頭、身体の重心など)からの実寸での距離としてもよいし、その他の任意の座標系での位置とすることもできる。)または複数部位間の相対的な位置関係を取得し、これらの絶対的な位置や相対的な位置関係をサーバ装置20に送信するようにしてもよい。 Further, in the present embodiment, an image of the user's body during exercise is transmitted from the camera 21 to the server device 20, but the present invention is not limited to this, and a computer may be placed at the location where the training equipment is installed, and the A computer may extract feature amounts from the image and send the feature amounts to the server device 20, or the computer may estimate body parts based on the feature amounts and determine the absolute position of the part (in the image). It may be a position on the XY coordinates, it may be an actual distance from a reference position (for example, the ground, toes, head, center of gravity of the body, etc.), or it may be a position in any other coordinate system. ), or the relative positional relationships between a plurality of parts may be acquired, and these absolute positions and relative positional relationships may be transmitted to the server device 20.
また、本実施形態では、所定の機能の実行及び情報の記憶を、ユーザ端末またはサーバ装置で行うものとしているが、これに限らず、いずれか一方の装置で当該機能の実行及び情報の記憶を行うこととしてもよい。または、本実施形態とは異なる形態で、機能部及び記憶部を分散して設けてもよい。 Further, in this embodiment, the execution of a predetermined function and the storage of information are performed by the user terminal or the server device, but the present invention is not limited to this, and the execution of the function and the storage of information are performed by either one of the devices. It can also be done. Alternatively, the functional unit and the storage unit may be provided in a distributed manner in a form different from this embodiment.
また、本実施形態では、基準情報(位置基準情報および角度基準情報)は予め設定されているものとしたが、これに限らず、複数のユーザを撮影した画像データから基準情報を作製するようにしてもよい。この場合、たとえば、ユーザの姿勢や運動が正しいか否かの入力を受け付けて、正しいと評価されたもののみに基づいて、基準情報を作成するようにすることができる。 Further, in this embodiment, the reference information (position reference information and angle reference information) is set in advance, but the reference information is not limited to this, and the reference information may be created from image data taken of multiple users. It's okay. In this case, for example, it is possible to receive an input as to whether the user's posture or movement is correct, and to create reference information based only on those evaluated as correct.
(第三実施形態)
図13は、第二実施形態に係るトレーニング機器の制御方法の一例と示す図である。第三実施形態におけるシステム構成は、第一実施形態の構成と実質的同一とすることができるので、説明を省略する。
(Third embodiment)
FIG. 13 is a diagram showing an example of a method for controlling a training device according to the second embodiment. The system configuration in the third embodiment can be substantially the same as the configuration in the first embodiment, so a description thereof will be omitted.
本実施形態は、機器10(例えば、スミスマシン)を利用するユーザのトレーニングの用途や目的に応じて負荷を制御することに関わる。ユーザによって、例えば、ユーザの筋力、強化したい筋肉部位、または、取り組んでいる競技や運動等の目的に応じて、シャフトの上下運動に際して、短縮性筋収縮(コンセントリック・コントラクション)、等尺性筋収縮(アイソメトリック・コントラクション)及び伸張性筋収縮(エキセントリック・コントラクション)のいずれを重視した制御が好ましいか決定され得る。 The present embodiment relates to controlling the load according to the purpose and purpose of training of a user who uses the device 10 (for example, a Smith machine). Depending on the user, for example, depending on the user's muscle strength, the muscle part he or she wants to strengthen, or the purpose of the competition or exercise he or she is participating in, concentric contraction, isometric contraction, etc. may be used when moving the shaft up and down. It can be determined whether control that emphasizes muscle contraction (isometric contraction) or extensible muscle contraction (eccentric contraction) is preferable.
まず、サーバ装置20の情報取得部212は、機器10に対するユーザの入力に基づいて、機器10から、「伸張性収縮(エキセントリック)」、「短縮性収縮(コンセントリック)」及び「等尺性収縮(アイソメトリック)」のいずれかを選択するためのメニュー設定要求を受信する(S301)。ここで、ユーザは、機器10に備えられた入力用のインターフェースまたはユーザ端末11のユーザインターフェースを介してメニュー設定を実行することができる。ユーザによるメニュー設定要求に応じて、「伸縮性収縮(エキセントリック)」、「短縮性収縮(コンセントリック)」、または、「等尺性収縮(アイソメトリック)」を選択するためのメニューが提供される。また、「伸張性収縮(エキセントリック)」、「短縮性収縮(コンセントリック)」及び「等尺性収縮(アイソメトリック)」の意味を理解できないユーザのため、サーバ装置20のトレーニング情報管理部211は、ユーザに対し、トレーニングの目的、強化した筋肉の部位、または、普段取り組んでいるスポーツ等の質問を提供することで、いずれの筋収縮のメニューがユーザに向いているか、決定することもできる。 First, the information acquisition unit 212 of the server device 20 acquires information from the device 10 based on the user's input to the device 10, such as “extension contraction (eccentric),” “contraction contraction (concentric),” and “isometric contraction.” (Isometric)" (S301). Here, the user can perform menu settings via the input interface provided in the device 10 or the user interface of the user terminal 11. In response to a menu setting request by the user, a menu is provided for selecting "elastic contraction (eccentric)," "contraction contraction (concentric)," or "isometric contraction (isometric)." Additionally, for users who do not understand the meanings of "extensive contraction (eccentric)," "contractive contraction (concentric)," and "isometric contraction (isometric)," the training information management unit 211 of the server device 20 It is also possible to determine which muscle contraction menu is suitable for the user by asking the user questions such as the purpose of training, the parts of the muscles that have been strengthened, or the sports that the user usually engages in.
そして、ユーザのメニュー選択に応じて、サーバ装置の情報取得部212は、「伸張性収縮(エキセントリック)」、「短縮性収縮(コンセントリック)」、または、「等尺性収縮(アイソメトリック)」に係るトレーニング要求を受信する(S302-304)。ここで、各々の筋収縮形態の組み合わせの選択を受け付けることもできる。 Then, in accordance with the user's menu selection, the information acquisition unit 212 of the server device selects “extension contraction (eccentric),” “contraction contraction (concentric),” or “isometric contraction (isometric).” The training request is received (S302-304). Here, it is also possible to accept the selection of a combination of each muscle contraction form.
トレーニング要求を受信することに応じて、サーバ装置20の機器制御部216は、トレーニングを開始する旨指示信号を機器10に送信する(S305)。 In response to receiving the training request, the device control unit 216 of the server device 20 transmits an instruction signal to the device 10 to start training (S305).
続いて、機器制御部216は、選択されたメニューに基づいて機器10を制御する(S306)。機器10の制御に際して、例えば機器10がスミスマシンである場合、機器制御部216は、いずれの筋収縮であるかに基づいて、ユーザによるシャフトの上下動(に限らず、斜め方向の移動等も想定されるが、以下説明の便宜上上下動を例に説明する)に応じてスミスマシンの負荷(ウェイトの重さ)の設定を可変とすることで、シャフトの上下動の速度または上下動に伴うパワー(単位時間あたりの、力に移動距離を乗じた値)を調整することができる。例えば、ユーザが「伸張性収縮(エキセントリック)」を選択した場合、機器制御部216は、ユーザがシャフトを持ち上げるタイミングで負荷を大きくし、下げるタイミングで負荷を小さくすることができる。複数の筋収縮運動形態を組み合わせる場合は、トレーニングの途中で負荷を調整することができる。ここで、シャフトの上下動は、カメラ21またはユーザ端末11に備えられたカメラにより取得された画像を解析することで判定することもできる。画像解析部213及び機器情報解析部214は、負荷とユーザの上下動の反復回数とを監視し、選択された筋収縮運動形態について、ユーザが所定の重さ/回数(例えば、負荷(60kg)x10回)をクリアしたか、を監視することができる。ここで、機器制御部216は、ユーザにより事前に設定された筋収縮運動に基づいて、負荷(ウェイトの重さ)を制御するが、トレーニング実施中、すなわち、ユーザのシャフトの上下動の速度またはパワーを監視しながら負荷(ウェイトの重さ)を制御することで、ユーザの筋収縮運動の傾向に応じて、「伸張性収縮(エキセントリック)」、「短縮性収縮(コンセントリック)」、または、「等尺性収縮(アイソメトリック)」を切り替えることもできる。例えば、あるユーザが重さを持ち上げるスピードが遅い場合に、ウェイトを軽くするよう調整することで、伸張性筋収縮(エキセントリック)を促進するよう制御することもできる。加えて、V B T(Velocity Based Training)などの速度を利用したトレーニングメニューの設定も可能である。 Subsequently, the device control unit 216 controls the device 10 based on the selected menu (S306). When controlling the device 10, for example, when the device 10 is a Smith machine, the device control unit 216 controls the user's vertical movement of the shaft (not only vertical movement, etc.) based on which muscle contraction is occurring. By making the load (weight of the weight) of the Smith machine variable according to the speed of the vertical movement of the shaft or the vertical movement Power (force multiplied by distance traveled per unit time) can be adjusted. For example, if the user selects "extension contraction (eccentric)", the device control unit 216 can increase the load when the user lifts the shaft, and decrease the load when the user lowers the shaft. When combining multiple muscle contraction exercise forms, the load can be adjusted during training. Here, the vertical movement of the shaft can also be determined by analyzing an image acquired by the camera 21 or the camera provided in the user terminal 11. The image analysis unit 213 and the device information analysis unit 214 monitor the load and the number of repetitions of the user's up and down movements, and for the selected muscle contraction exercise form, the image analysis unit 213 and the device information analysis unit 214 monitor the load and the number of repetitions of the user's vertical movement, and for the selected muscle contraction exercise form, the image analysis unit 213 and the device information analysis unit 214 x10 times) can be monitored. Here, the equipment control unit 216 controls the load (weight of the weight) based on the muscle contraction movement set in advance by the user, but during training, that is, the vertical movement speed of the user's shaft or By controlling the load (weight of the weight) while monitoring the power, it is possible to perform "extension contraction (eccentric)", "contraction contraction (concentric)", or You can also switch between "isometric contractions". For example, if a certain user lifts a weight at a slow speed, the weight can be adjusted to be lighter to promote eccentric muscle contraction. In addition, it is also possible to set training menus that utilize velocity, such as VB T (Velocity Based Training).
以上により、ユーザは、トレーナがいないような無人トレーニングジムにおいても所望の筋収縮運動を実施することができる。なお、本実施形態において、上記機器制御部、画像解析部、機器情報解析部等は、サーバ装置20が有する旨記載しているが、これに限らず、機器10内またはその他の装置が有することとしてもよい。 As described above, the user can perform desired muscle contraction exercises even in an unmanned training gym where no trainer is present. Note that in this embodiment, the device control section, the image analysis section, the device information analysis section, etc. are described as being included in the server device 20, but are not limited to this, and may be included in the device 10 or other devices. You can also use it as
1 トレーニング機器
11 ユーザ端末
20 サーバ装置
21 カメラ
22 ディスプレイ
23 通信ネットワーク
24 ジム店舗
30 管理者端末
210 ユーザ認証部
211 トレーニング情報出力部
212 情報取得部
213 画像解析部
214 機器情報解析部
215 評価部
216 機器制御部
231 トレーニング情報記憶部
232 ユーザ情報記憶部
233 画像データ記憶部
234 機器情報記憶部
1 Training equipment 11 User terminal 20 Server device 21 Camera 22 Display 23 Communication network 24 Gym store 30 Administrator terminal 210 User authentication unit 211 Training information output unit 212 Information acquisition unit 213 Image analysis unit 214 Equipment information analysis unit 215 Evaluation unit 216 Equipment Control unit 231 Training information storage unit 232 User information storage unit 233 Image data storage unit 234 Equipment information storage unit
Claims (3)
サーバは、
ユーザのトレーニング中の画像を解析して、前記トレーニング機器の所定の部位の移動距離に関する情報を取得し、
前記トレーニング機器の所定の部位に対する負荷に関する情報と、前記移動距離に関する情報とに基づいて、前記トルクを制御する、
トレーニング機器の制御方法。 A method for controlling torque of a drive device of training equipment, the method comprising:
The server is
Analyzing images of the user during training to obtain information regarding the distance traveled by a predetermined part of the training equipment;
controlling the torque based on information regarding the load on a predetermined part of the training equipment and information regarding the moving distance;
How to control training equipment.
請求項1に記載のトレーニング機器の制御方法。 authenticating the user based on the image, and starting to capture the image upon successful authentication;
A method for controlling a training device according to claim 1.
請求項1または2に記載のトレーニング機器の制御方法。 presenting a training explanation to the user when it is determined that the user is in a predetermined position based on the image;
A method for controlling training equipment according to claim 1 or 2.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023138160A JP2023162333A (en) | 2019-12-20 | 2023-08-28 | Control method of training device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019230351 | 2019-12-20 | ||
JP2019230351 | 2019-12-20 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023138160A Division JP2023162333A (en) | 2019-12-20 | 2023-08-28 | Control method of training device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021097990A JP2021097990A (en) | 2021-07-01 |
JP7344560B2 true JP7344560B2 (en) | 2023-09-14 |
Family
ID=76542035
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020069733A Active JP7344560B2 (en) | 2019-12-20 | 2020-04-08 | How to control training equipment |
JP2023138160A Pending JP2023162333A (en) | 2019-12-20 | 2023-08-28 | Control method of training device |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023138160A Pending JP2023162333A (en) | 2019-12-20 | 2023-08-28 | Control method of training device |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7344560B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118266040A (en) * | 2021-11-25 | 2024-06-28 | 株式会社CaTe | Program, information processing apparatus, and information processing method |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005198867A (en) | 2004-01-16 | 2005-07-28 | Konami Sports Life Corp | Measuring instrument |
JP2005296672A (en) | 2005-06-07 | 2005-10-27 | Konami Sports Life Corp | Training apparatus |
JP2012170754A (en) | 2011-02-24 | 2012-09-10 | Casio Computer Co Ltd | Training management device, training device and program |
WO2014040660A1 (en) | 2012-09-14 | 2014-03-20 | Egym Gmbh | Training method and device |
JP2014113388A (en) | 2012-12-11 | 2014-06-26 | Medimo World Co Ltd | Training system |
US20150374283A1 (en) | 2011-12-15 | 2015-12-31 | Fabian Walke | Method and device for mobile training data acquisition and analysis of strength training |
US20170368413A1 (en) | 2016-03-12 | 2017-12-28 | Arie Shavit | Training system and methods for designing, monitoring and providing feedback of training |
US20180214729A1 (en) | 2017-01-30 | 2018-08-02 | LiftLab, Inc. | Systems for dynamic resistance training |
JP2018175663A (en) | 2017-04-19 | 2018-11-15 | 株式会社リバース・フィット・デザイン | Training device and training method |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001314538A (en) * | 2000-05-02 | 2001-11-13 | Sewoo System Co Ltd | Control method for health enhancing apparatus through internet and health enhancing system using this method |
JP2003062140A (en) * | 2001-08-24 | 2003-03-04 | Nec Soft Ltd | Training support system, training information providing device and training support program |
JP3878125B2 (en) * | 2002-12-12 | 2007-02-07 | 株式会社コナミスポーツ&ライフ | Exercise data management server device, exercise data management program, exercise data management method, and exercise data management system |
JP2005230068A (en) * | 2004-02-17 | 2005-09-02 | Hokuriyou Denko Kk | Method and device for supporting exercise |
JP2007143748A (en) * | 2005-11-25 | 2007-06-14 | Sharp Corp | Image recognition device, fitness aid device, fitness aid system, fitness aid method, control program and readable recording medium |
US20080204225A1 (en) * | 2007-02-22 | 2008-08-28 | David Kitchen | System for measuring and analyzing human movement |
JP2009018026A (en) * | 2007-07-12 | 2009-01-29 | Nec Corp | Training system, training information transmission method, and mobile terminal |
JP5065837B2 (en) * | 2007-09-28 | 2012-11-07 | パナソニック株式会社 | Exercise system |
JP2009082428A (en) * | 2007-09-28 | 2009-04-23 | Panasonic Electric Works Co Ltd | Exercise prescription proposing apparatus |
JP5348983B2 (en) * | 2008-09-22 | 2013-11-20 | 株式会社コナミスポーツ&ライフ | Training equipment |
JP2011110215A (en) * | 2009-11-26 | 2011-06-09 | Toyota Motor Kyushu Inc | Rehabilitation system, program and computer-readable recording medium recording program |
IT1399855B1 (en) * | 2010-04-28 | 2013-05-09 | Technogym Spa | APPARATUS FOR THE ASSISTED EXECUTION OF A GYMNASTIC EXERCISE. |
JP5471980B2 (en) * | 2010-08-31 | 2014-04-16 | ブラザー工業株式会社 | Exercise support device, exercise support system, exercise support method, and program |
JP2019058285A (en) * | 2017-09-25 | 2019-04-18 | パナソニックIpマネジメント株式会社 | Activity support method, program, and activity support system |
CN109621334A (en) * | 2019-01-30 | 2019-04-16 | 重庆勤鸟圈科技有限公司 | Body-building equipment self-adjusting method |
-
2020
- 2020-04-08 JP JP2020069733A patent/JP7344560B2/en active Active
-
2023
- 2023-08-28 JP JP2023138160A patent/JP2023162333A/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005198867A (en) | 2004-01-16 | 2005-07-28 | Konami Sports Life Corp | Measuring instrument |
JP2005296672A (en) | 2005-06-07 | 2005-10-27 | Konami Sports Life Corp | Training apparatus |
JP2012170754A (en) | 2011-02-24 | 2012-09-10 | Casio Computer Co Ltd | Training management device, training device and program |
US20150374283A1 (en) | 2011-12-15 | 2015-12-31 | Fabian Walke | Method and device for mobile training data acquisition and analysis of strength training |
WO2014040660A1 (en) | 2012-09-14 | 2014-03-20 | Egym Gmbh | Training method and device |
JP2014113388A (en) | 2012-12-11 | 2014-06-26 | Medimo World Co Ltd | Training system |
US20170368413A1 (en) | 2016-03-12 | 2017-12-28 | Arie Shavit | Training system and methods for designing, monitoring and providing feedback of training |
US20180214729A1 (en) | 2017-01-30 | 2018-08-02 | LiftLab, Inc. | Systems for dynamic resistance training |
JP2018175663A (en) | 2017-04-19 | 2018-11-15 | 株式会社リバース・フィット・デザイン | Training device and training method |
Also Published As
Publication number | Publication date |
---|---|
JP2023162333A (en) | 2023-11-08 |
JP2021097990A (en) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230338778A1 (en) | Method and system for monitoring and feed-backing on execution of physical exercise routines | |
KR100772497B1 (en) | Golf clinic system and application method thereof | |
US20220219046A1 (en) | Smart Gym | |
US9195304B2 (en) | Image processing device, image processing method, and program | |
US9223936B2 (en) | Fatigue indices and uses thereof | |
US20190118066A1 (en) | Method and apparatus for providing interactive fitness equipment via a cloud-based networking | |
JP2020174910A (en) | Exercise support system | |
CN107341351A (en) | Intelligent body-building method, apparatus and system | |
CN103127691A (en) | Video generating apparatus and method | |
CN107930048B (en) | Space somatosensory recognition motion analysis system and motion analysis method | |
KR101446653B1 (en) | Health and rehabilitation game apparatus, system and game method | |
JP2023162333A (en) | Control method of training device | |
JP7492722B2 (en) | Exercise evaluation system | |
JP7008342B2 (en) | Exercise evaluation system | |
KR102356685B1 (en) | Home training providing system based on online group and method thereof | |
TWI679557B (en) | Adaptive sport posture sensing system and method | |
JP2024016153A (en) | Program, device, and method | |
WO2022145563A1 (en) | User-customized exercise training method and system | |
JP7023004B2 (en) | Motion analysis system, motion analysis program, and motion analysis method | |
Meleiro et al. | Natural user interfaces in the motor development of disabled children | |
JP2021068069A (en) | Providing method for unmanned training | |
WO2021261529A1 (en) | Physical exercise assistance system | |
WO2022030619A1 (en) | Guidance support system | |
CN113517052A (en) | Multi-perception man-machine interaction system and method in commercial fitness scene | |
CN113058210A (en) | Body-building auxiliary system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230406 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230727 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230828 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7344560 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |