JP7275811B2 - Video output device, video output method and program - Google Patents

Video output device, video output method and program Download PDF

Info

Publication number
JP7275811B2
JP7275811B2 JP2019083511A JP2019083511A JP7275811B2 JP 7275811 B2 JP7275811 B2 JP 7275811B2 JP 2019083511 A JP2019083511 A JP 2019083511A JP 2019083511 A JP2019083511 A JP 2019083511A JP 7275811 B2 JP7275811 B2 JP 7275811B2
Authority
JP
Japan
Prior art keywords
angular velocity
velocity information
inertial sensor
output
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019083511A
Other languages
Japanese (ja)
Other versions
JP2020178860A (en
Inventor
将司 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2019083511A priority Critical patent/JP7275811B2/en
Publication of JP2020178860A publication Critical patent/JP2020178860A/en
Application granted granted Critical
Publication of JP7275811B2 publication Critical patent/JP7275811B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Navigation (AREA)

Description

本発明は、映像出力装置、映像出力方法及びプログラムに関する。 The present invention relates to a video output device, video output method and program.

従来、実施者が技能（例えば、ゴルフ）に関する身体動作（例えば、ゴルフのスイング）を行いながら、自分（実施者）の動きと規範技能者の動きとを比較検討し、規範技能者の動きを的確に再現できているかどうかを自分自身で確認することができる身体技能習得支援装置が開示されている（例えば、特許文献１参照）。 Conventionally, while performing a physical action (e.g. golf swing) related to a skill (e.g. golf), the performer compares and examines the movement of himself (the performer) with the movement of the standard skilled person, and compares the movement of the standard skilled person. A physical skill acquisition support device has been disclosed that allows oneself to confirm whether or not a physical skill has been accurately reproduced (see, for example, Patent Literature 1).

特開２０１１－１５２３３３号公報JP 2011-152333 A

しかしながら、上記特許文献１に開示されている身体技能習得支援装置では、実施者の身体動作と規範技能者の動作とを同期させて表示しようとした場合、ユーザー操作に基づいて、実施者の画像と規範画像とのそれぞれの再生開始タイミングを調整しなければならないため面倒であるという問題がある。 However, in the physical skill learning support device disclosed in Patent Document 1, when trying to display the body motion of the implementer and the motion of the reference skilled worker in synchronization, based on the user's operation, the image of the implementer is displayed. There is a problem that it is troublesome because it is necessary to adjust the playback start timing of each of the reference image and the reference image.

本発明は、このような問題に鑑みてなされたものであり、手本の動作と当該手本と比較する比較対象者の動作を同期させた表示を簡便に行うことを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of such problems, and an object of the present invention is to easily perform a display in which a model's motion and a comparison subject's motion to be compared with the model are displayed in synchronization.

上記課題を解決するため、本発明に係る映像出力装置は、
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段と、
前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段と、
前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段と、
前記慣性センサーが装着された体の部位を推定する推定手段と、
前記推定手段によって推定された前記体の部位に関する角速度情報を前記手本映像データに付帯している前記所定の運動情報から導出する第１の導出手段と、
前記慣性センサーを装着した前記ユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した第２の映像データを取得する取得手段と、
前記取得手段によって取得された前記第２の映像データに基づいて、前記ユーザーの体の各部位の角速度情報を導出する第２の導出手段と、
前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報のうちの前記推定手段によって推定された前記体の部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、当該慣性センサーから得られた角速度情報が示す角速度の値が第１の閾値よりも大きく、且つ、当該慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、の差の絶対値が第２の閾値よりも小さくなるタイミングの角速度情報を抽出する抽出手段と、
前記抽出手段によって抽出された角速度情報に基づいて、前記慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、が一致する回転行列を導出する第３の導出手段と、
を備え、
前記特定手段は、前記第１の出力手段によって出力される前記センサーデータとしての角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記第１の導出手段によって導出された前記角速度情報に基づいて特定し、
前記推定手段は、前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位を前記慣性センサーが装着された体の部位として推定し、前記第３の導出手段によって導出された回転行列に基づいて、前記慣性センサーの装着姿勢を推定する、
ことを特徴とする。 In order to solve the above problems, the video output device according to the present invention includes:
a first output means for outputting sensor data obtained from an inertial sensor worn by the user while exercising, together with first video data obtained by continuously photographing the user exercising;
Attaching the timing at which each point corresponding to each point of the sensor data output by the first output means appears to the model video data that is performing the same exercise as the exercise that is continuously photographed identifying means for identifying based on predetermined motion information that is present;
The frame image of the model video data corresponding to the timing at which each of the points specified by the specifying means appears is matched with the timing at which each point of the sensor data output by the first output means appears. a second output means for outputting;
estimating means for estimating a body part to which the inertial sensor is attached;
a first deriving means for deriving angular velocity information related to the body part estimated by the estimating means from the predetermined movement information attached to the model image data;
Acquisition means for acquiring second image data obtained by continuously capturing images of the user wearing the inertial sensor when the user is caused to perform an arbitrary action;
a second derivation means for deriving angular velocity information of each part of the user's body based on the second image data acquired by the acquisition means;
angular velocity information of the body part estimated by the estimation means out of the angular velocity information of each part of the user's body derived by the second derivation means; The angular velocity value indicated by the angular velocity information obtained from the inertial sensor is greater than a first threshold based on the angular velocity information obtained from the inertial sensor, and the angular velocity indicated by the angular velocity information obtained from the inertial sensor and the angular velocity indicated by the angular velocity information of the body part estimated by the estimating means and an extracting means for extracting the angular velocity information at the timing when the absolute value of the difference between the angular velocity information and the angular velocity information becomes smaller than a second threshold;
Rotation in which the angular velocity indicated by the angular velocity information obtained from the inertial sensor and the angular velocity indicated by the angular velocity information of the body part estimated by the estimating means match, based on the angular velocity information extracted by the extracting means. a third derivation means for deriving a matrix;
with
The specifying means determines the timing at which each point corresponding to each point of the angular velocity information as the sensor data output by the first output means appears in the angular velocity information derived by the first deriving means. identified based on
The estimating means is based on the angular velocity information of each part of the user's body derived by the second deriving means and the angular velocity information obtained from the inertial sensor during the arbitrary motion. estimating the part of the body from which the angular velocity information with the highest correlation is derived as the part of the body on which the inertial sensor is mounted, and determining whether the inertial sensor is worn based on the rotation matrix derived by the third deriving means; to estimate pose,
It is characterized by

本発明によれば、手本の動作と当該手本と比較する比較対象者の動作を同期させた表示を簡便に行うことができる。 ADVANTAGE OF THE INVENTION According to this invention, the display which synchronizes the operation|movement of a model and the operation|movement of the comparison object compared with the said model can be performed simply.

映像出力装置の概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of a video output device; FIG. 映像出力処理の流れを示すフローチャートである。4 is a flowchart showing the flow of video output processing; 装着位置推定処理の流れを示すフローチャートである。4 is a flow chart showing the flow of mounting position estimation processing. 映像出力制御処理の流れを示すフローチャートである。4 is a flowchart showing the flow of video output control processing; 伸縮マッチング処理の説明図である。FIG. 10 is an explanatory diagram of expansion/contraction matching processing; ランニングフォーム比較画面の一例を示す図である。It is a figure which shows an example of a running form comparison screen. 変形例の装着位置推定処理の流れを示すフローチャートである。It is a flow chart which shows the flow of mounting position estimation processing of a modification. 変形例の映像出力制御処理の流れを示すフローチャートである。It is a flow chart which shows a flow of video output control processing of a modification.

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. It should be noted that the present invention is not limited to the illustrated examples.

≪映像出力装置１の構成≫
本実施形態の映像出力装置１は、運動の様子を連続的に撮影した手本映像における当該運動の動作と、この手本映像に映っている運動と同じ運動を行っているユーザーを連続的に撮影した映像における当該運動の動作とを同期させ所定の表示部（例えば、映像出力装置１と接続された外部の大型ディスプレイ）に表示する装置である。以下では、上記運動としてランニングを例に挙げて説明を行う。 <<Configuration of Video Output Device 1>>
The video output device 1 of the present embodiment continuously displays the motion of the exercise in the model video in which the state of the exercise is continuously photographed, and the user performing the same exercise as the exercise shown in the model video. This is a device for synchronizing motions of movement in a captured image and displaying them on a predetermined display unit (for example, an external large display connected to the image output device 1). In the following description, running is taken as an example of the exercise.

図１は、本発明を適用した一実施形態の映像出力装置１の概略構成を示すブロック図である。
図１に示すように、映像出力装置１は、ＣＰＵ（Central Processing Unit）１１と、ＲＡＭ（Random Access Memory）１２と、記憶部１３と、操作部１４と、表示部１５と、通信部１６とを備える。 FIG. 1 is a block diagram showing a schematic configuration of a video output device 1 according to one embodiment to which the invention is applied.
As shown in FIG. 1, the video output device 1 includes a CPU (Central Processing Unit) 11, a RAM (Random Access Memory) 12, a storage section 13, an operation section 14, a display section 15, and a communication section 16. Prepare.

ＣＰＵ（第１の出力手段、特定手段、第２の出力手段、推定手段、第１の導出手段、取得手段、第２の導出手段）１１は、映像出力装置１の各部を制御する。ＣＰＵ１１は、記憶部１３に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出してＲＡＭ１２に展開し、当該プログラムとの協働で各種処理を実行する。 A CPU (first output means, identification means, second output means, estimation means, first derivation means, acquisition means, second derivation means) 11 controls each part of the video output device 1 . The CPU 11 reads a designated program out of the system programs and application programs stored in the storage unit 13, develops it in the RAM 12, and executes various processes in cooperation with the program.

ＲＡＭ１２は、揮発性のメモリであり、各種のデータやプログラムを一時的に格納するワークエリアを形成する。 The RAM 12 is a volatile memory and forms a work area for temporarily storing various data and programs.

記憶部１３は、例えば、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＨＤＤ（Hard Disk Drive）などにより構成される。記憶部１３には、ＣＰＵ１１で実行されるシステムプログラムやアプリケーションプログラム、これらのプログラムの実行に必要なデータ等が記憶されている。 The storage unit 13 is configured by, for example, a flash memory, an EEPROM (Electrically Erasable Programmable ROM), an HDD (Hard Disk Drive), or the like. The storage unit 13 stores system programs and application programs executed by the CPU 11, data necessary for executing these programs, and the like.

また、記憶部１３には、所定の手本映像データを記憶するための手本映像記憶部（図示省略）が設けられている。ここで、所定の手本映像データとは、手本となるランナーがトレッドミルを用いてランニングを行っている様子を連続的に撮影した手本映像に関する映像データである。手本映像記憶部には、手本映像の撮影の際に、例えば、モーションキャプチャ技術を用いることにより得られる手本となるランナーの体の各部位（セグメント）の位置と姿勢を示す骨格情報が当該手本映像と同期が取られた状態で記憶されている。 The storage unit 13 is also provided with a model image storage unit (not shown) for storing predetermined model image data. Here, the predetermined model video data is video data relating to a model video in which a model runner is continuously photographed running on a treadmill. The model video storage unit stores skeletal information indicating the position and posture of each part (segment) of the body of a model runner, which is obtained by using motion capture technology, for example, when shooting the model video. It is stored in a state in which it is synchronized with the model video.

また、記憶部１３には、後述する装着位置推定処理の実行の際に用いられる推定処理用映像データを記憶するための推定処理用映像記憶部（図示省略）が設けられている。推定処理用映像データとは、ジャイロセンサー（慣性センサー）２（図６参照）を装着した体の部位を動かしているユーザーを連続的に撮影した映像（第２の映像）に関する映像データである。この推定処理用映像記憶部に推定処理用映像データが記憶される際、当該推定処理用映像データの映像の撮影時にユーザーに装着されたジャイロセンサー２から取得され、当該映像と同期が取れている角速度情報が対応付けられて記憶される。 Further, the storage unit 13 is provided with an estimation processing image storage unit (not shown) for storing estimation processing image data used when performing mounting position estimation processing described later. The image data for estimation processing is image data related to images (second images) continuously captured by the user wearing the gyro sensor (inertial sensor) 2 (see FIG. 6) and moving parts of the body. When the image data for estimation processing is stored in the image storage unit for estimation processing, it is acquired from the gyro sensor 2 worn by the user when the image of the image data for estimation processing is captured, and is synchronized with the image. Angular velocity information is associated and stored.

操作部１４は、例えば、タッチパネルを備え、ユーザーからのタッチ入力を受け付け、その操作情報をＣＰＵ１１に出力する。
タッチパネルは、表示部１５と一体となって形成され、例えば、静電容量方式、抵抗膜方式、超音波表面弾性波方式等の各種方式により、ユーザーによる表示部１５上の接触位置のＸＹ座標を検出する。そして、タッチパネルは、接触位置のＸＹ座標に係る位置信号をＣＰＵ１１に出力する。 The operation unit 14 includes, for example, a touch panel, receives touch input from the user, and outputs the operation information to the CPU 11 .
The touch panel is formed integrally with the display unit 15, and the XY coordinates of the touch position on the display unit 15 by the user can be changed by various methods such as a capacitance method, a resistive film method, and an ultrasonic surface acoustic wave method. To detect. Then, the touch panel outputs a position signal related to the XY coordinates of the contact position to the CPU 11 .

表示部１５は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electro Luminescence）ディスプレイ等で構成され、ＣＰＵ１１から指示された表示情報に従い各種表示を行う。 The display unit 15 is composed of an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, or the like, and performs various displays according to display information instructed by the CPU 11 .

通信部１６は、モデム、ルータ、ネットワークカード等により構成される。通信部１６は、通信ネットワークを介して接続された外部機器とのデータ送受信を行う。 The communication unit 16 is composed of a modem, router, network card, and the like. The communication unit 16 transmits and receives data to and from an external device connected via a communication network.

≪映像出力装置１の動作≫
［映像出力処理］
次に、図２を用いて映像出力装置１により実行される映像出力処理について説明する。 <<Operation of Video Output Device 1>>
[Video output processing]
Next, video output processing executed by the video output device 1 will be described with reference to FIG.

図２に示すように、まず、ＣＰＵ１１は、操作部１４を介して、ユーザー所望の手本映像データの指定がなされたか否かを判定する（ステップＳ１）。 As shown in FIG. 2, first, the CPU 11 determines whether or not the user's desired model video data has been designated via the operation unit 14 (step S1).

ステップＳ１において、ユーザー所望の手本映像データの指定がなされていないと判定された場合（ステップＳ１；ＮＯ）、ＣＰＵ１１は、ユーザー所望の手本映像データの指定がなされるまでの間、ステップＳ１の判定処理を繰り返し行う。
一方、ステップＳ１において、ユーザー所望の手本映像データの指定がなされたと判定された場合（ステップＳ１；ＹＥＳ）、ＣＰＵ１１は、記憶部１３の手本映像記憶部からユーザー所望の手本映像データを取得する（ステップＳ２）。 If it is determined in step S1 that the user's desired model video data has not been specified (step S1; NO), the CPU 11 waits until the user's desired model video data is specified. is repeated.
On the other hand, if it is determined in step S1 that the user's desired model image data has been specified (step S1; YES), the CPU 11 retrieves the user's desired model image data from the model image storage unit 13. acquire (step S2).

次いで、ＣＰＵ１１は、ジャイロセンサー２の装着位置を推定する装着位置推定処理（ステップＳ３）を行う。なお、装着位置推定処理の詳細については後述する。 Next, the CPU 11 performs mounting position estimation processing (step S3) for estimating the mounting position of the gyro sensor 2 . Details of the mounting position estimation process will be described later.

次いで、ＣＰＵ１１は、映像出力制御処理（ステップＳ４）を行い、映像出力処理を終了する。なお、映像出力制御処理の詳細については後述する。 Next, the CPU 11 performs video output control processing (step S4), and terminates the video output processing. Details of the video output control process will be described later.

［装着位置推定処理］
次に、図３を用いて装着位置推定処理について説明する。図３は、装着位置推定処理の流れを示すフローチャートである。なお、本実施形態では、例えば、ジャイロセンサー２を手首に装着する場合には、このジャイロセンサー２を手の甲側に装着するといったように、ジャイロセンサー２の装着姿勢に関する取り決めがなされているものとする。つまり、本実施形態の装着位置推定処理は、ジャイロセンサー２の装着姿勢を推定する必要がない点で後述する変形例の装着位置推定処理とは異なっている。 [Wearing position estimation process]
Next, the mounting position estimation processing will be described with reference to FIG. FIG. 3 is a flowchart showing the flow of mounting position estimation processing. It should be noted that in the present embodiment, for example, when the gyro sensor 2 is worn on the wrist, the gyro sensor 2 is worn on the back side of the hand. . In other words, the mounting position estimation processing of this embodiment differs from the mounting position estimation processing of the modified example described later in that it is not necessary to estimate the mounting orientation of the gyro sensor 2 .

図３に示すように、まず、ＣＰＵ１１は、記憶部１３の推定処理用映像記憶部に推定処理用映像データが登録されたか否かを判定する（ステップＳ１１）。この推定処理用映像データの登録は、ジャイロセンサー２を体の所定の部位に装着したユーザーに、装着箇所を中心とした任意の回転運動を行わせ、当該運動を行っているユーザーを連続的に撮影した映像とともに、当該運動を行っているときのユーザーに装着されたジャイロセンサー２から得られる角速度情報を同期して登録するものである。 As shown in FIG. 3, first, the CPU 11 determines whether or not the image data for estimation processing is registered in the image storage unit for estimation processing of the storage unit 13 (step S11). The registration of the image data for estimation processing is performed by having the user, who wears the gyro sensor 2 on a predetermined part of the body, perform an arbitrary rotational movement around the mounting position, and continuously watching the user performing the exercise. Angular velocity information obtained from the gyro sensor 2 worn by the user during the exercise is synchronously registered together with the photographed image.

ステップＳ１１において、推定処理用映像データが登録されていないと判定された場合（ステップＳ１１；ＮＯ）、ＣＰＵ１１は、推定処理用映像データが登録されるまでの間、ステップＳ１１の判定処理を繰り返し行う。
一方、ステップＳ１１において、推定処理用映像データが登録されたと判定された場合（ステップＳ１１；ＹＥＳ）、ＣＰＵ１１は、ステップＳ１１で登録された推定処理用映像データに対応付けられているジャイロセンサー２の角速度情報（Ｇｙｒ１）を取得する（ステップＳ１２）。 When it is determined in step S11 that the image data for estimation processing is not registered (step S11; NO), the CPU 11 repeats the determination processing in step S11 until the image data for estimation processing is registered. .
On the other hand, if it is determined in step S11 that the image data for estimation processing has been registered (step S11; YES), the CPU 11 selects the gyro sensor 2 associated with the image data for estimation processing registered in step S11. Angular velocity information (Gyr1) is acquired (step S12).

次いで、ＣＰＵ１１は、ステップＳ１１で登録された推定処理用映像データの推定処理用映像からユーザーの体の各部位の角速度情報（Ｇｙｒ２）をそれぞれ導出する。具体的には、ＣＰＵ１１は、例えば、ディープラーニングを用いてユーザーの体の各部位の姿勢を推定する姿勢推定処理を行うことにより、当該ユーザーの体の各部位の角速度情報（Ｇｙｒ２）をそれぞれ導出する。 Next, the CPU 11 derives angular velocity information (Gyr2) of each part of the user's body from the image for estimation processing of the image data for estimation processing registered in step S11. Specifically, the CPU 11 performs posture estimation processing for estimating the posture of each part of the user's body using, for example, deep learning, thereby deriving angular velocity information (Gyr2) of each part of the user's body. do.

次いで、ＣＰＵ１１は、ステップＳ１２で取得された角速度情報（Ｇｙｒ１）とステップＳ１２で導出されたユーザーの体の各部位の角速度情報（Ｇｙｒ２）の大きさの相関が最大となる角速度情報（Ｇｙｒ２）が導出された体の部位をジャイロセンサー２の装着位置と推定し（ステップＳ１４）、装着位置推定処理を終了して映像出力処理へ戻る。 Next, the CPU 11 determines the angular velocity information (Gyr2) that maximizes the correlation between the angular velocity information (Gyr1) acquired in step S12 and the angular velocity information (Gyr2) of each part of the user's body derived in step S12. The derived part of the body is estimated as the mounting position of the gyro sensor 2 (step S14), the mounting position estimation process is terminated, and the process returns to the image output process.

［映像出力制御処理］
次に、図４を用いて映像出力制御処理について説明する。図４は、映像出力制御処理の流れを示すフローチャートである。 [Video output control processing]
Next, video output control processing will be described with reference to FIG. FIG. 4 is a flowchart showing the flow of video output control processing.

図４に示すように、まず、ＣＰＵ１１は、トレッドミルを用いてランニングを行っているユーザーの連続的な撮影がビデオカメラ（図示省略）により開始されたか否かを判定する（ステップＳ２１）。 As shown in FIG. 4, first, the CPU 11 determines whether or not the video camera (not shown) has started to continuously photograph the user running on the treadmill (step S21).

ステップＳ２１において、撮影が開始されていないと判定された場合（ステップＳ２１；ＮＯ）、ＣＰＵ１１は、当該撮影が開始されるまでの間、ステップＳ２１の判定処理を繰り返し行う。
一方、ステップＳ２１において、撮影が開始されたと判定された場合（ステップＳ２１；ＹＥＳ）、ＣＰＵ１１は、上述の装着位置推定処理で装着位置と推定された体の部位の角速度情報を、ステップＳ２で取得された手本映像データに付帯している骨格情報から導出する（ステップＳ２２）。 If it is determined in step S21 that the shooting has not started (step S21; NO), the CPU 11 repeats the determination process of step S21 until the shooting starts.
On the other hand, if it is determined in step S21 that the photographing has started (step S21; YES), the CPU 11 acquires in step S2 the angular velocity information of the part of the body estimated as the wearing position in the above-described wearing position estimation process. It is derived from the skeleton information attached to the model image data obtained (step S22).

次いで、ＣＰＵ１１は、ランニングを行っているユーザーに装着されているジャイロセンサー２（図６参照）から角速度情報を取得する（ステップＳ２３）。 Next, the CPU 11 acquires angular velocity information from the gyro sensor 2 (see FIG. 6) worn by the running user (step S23).

次いで、ＣＰＵ１１は、ステップＳ２２で導出された角速度情報とステップＳ２３で取得された角速度情報とに基づいて伸縮マッチング処理（ステップＳ２４）を行う。具体的には、まず、ＣＰＵ１１は、図５（ａ）に示すように、ステップＳ２３で取得された角速度情報が示す信号波形Ｗ０から過去の周期Ｔを特定するとともに、この過去の周期Ｔにおいて、現在時刻ｔｎに対応する時刻ｔ１を特定する。次いで、ＣＰＵ１１は、図５（ｂ）に示すように、この周期Ｔの期間の信号波形を切り出して切出波形Ｗ１を取得する。そして、ＣＰＵ１１は、図５（ｃ）に示すように、ステップＳ２２で導出された角速度情報に基づく１周期分の信号波形Ｗ２と切出波形Ｗ１との間においてマッチングする各位置（ポイント）を算出する。そして、ＣＰＵ１１は、切出波形Ｗ１と信号波形Ｗ２との対応関係から、信号波形Ｗ２において、切出波形Ｗ１の時刻ｔ１、すなわち現在時刻ｔｎに対応する時刻ｔ２を特定する。 Next, the CPU 11 performs expansion/contraction matching processing (step S24) based on the angular velocity information derived in step S22 and the angular velocity information acquired in step S23. Specifically, first, as shown in FIG. 5A, the CPU 11 identifies the past period T from the signal waveform W0 indicated by the angular velocity information acquired in step S23, and in this past period T, Identify the time t1 corresponding to the current time tn. Next, as shown in FIG. 5B, the CPU 11 obtains a cutout waveform W1 by cutting out the signal waveform during the period of the cycle T. As shown in FIG. Then, as shown in FIG. 5C, the CPU 11 calculates each matching position (point) between the signal waveform W2 for one cycle and the cutout waveform W1 based on the angular velocity information derived in step S22. do. Then, the CPU 11 identifies the time t1 of the cutout waveform W1, that is, the time t2 corresponding to the current time tn in the signal waveform W2 from the corresponding relationship between the cutout waveform W1 and the signal waveform W2.

次いで、ＣＰＵ１１は、ステップＳ２３で角速度情報が取得された現在時刻ｔｎに対応する時刻ｔ２（図５（ｃ）参照）に撮影された画像（フレーム画像）Ｇ２を手本映像から取得する（ステップＳ２５）。 Next, the CPU 11 acquires an image (frame image) G2 captured at time t2 (see FIG. 5C) corresponding to the current time tn at which the angular velocity information was acquired in step S23 from the model video (step S25). ).

次いで、ＣＰＵ１１は、ステップＳ２５で取得された画像Ｇ２とステップＳ２３で角速度情報が取得された現在時刻ｔｎに対応して撮影されたユーザーの画像Ｇ１を出力し（ステップＳ２６）、図６に示すように、ランニングフォーム比較画面２０を外部ディスプレイに表示させる。 Next, the CPU 11 outputs the image G2 obtained in step S25 and the image G1 of the user photographed corresponding to the current time tn at which the angular velocity information was obtained in step S23 (step S26). Then, the running form comparison screen 20 is displayed on the external display.

次いで、ＣＰＵ１１は、ランニングを行っているユーザーの連続的な撮影が終了したか否かを判定する（ステップＳ２７）。 Next, the CPU 11 determines whether continuous shooting of the running user has ended (step S27).

ステップＳ２７において、ランニングを行っているユーザーの連続的な撮影が終了していないと判定された場合（ステップＳ２７；ＮＯ）、ＣＰＵ１１は、処理をステップＳ２３へ戻し、それ以降の処理を繰り返し行う。
一方、ステップＳ２７において、ランニングを行っているユーザーの連続的な撮影が終了したと判定された場合（ステップＳ２７；ＹＥＳ）、ＣＰＵ１１は、映像出力制御処理を終了し、映像出力処理に戻り当該映像出力処理を終了する。 If it is determined in step S27 that the continuous shooting of the running user has not ended (step S27; NO), the CPU 11 returns the process to step S23, and repeats the subsequent processes.
On the other hand, if it is determined in step S27 that the continuous shooting of the running user has ended (step S27; YES), the CPU 11 ends the video output control process, returns to the video output process, and returns to the video output process. End output processing.

以上のように、映像出力装置１によれば、ランニングを行っているユーザーを連続的に撮影した映像データ（第１の映像データ）とともに、ランニングを行っているときのユーザーに装着されたジャイロセンサー２から得られるセンサーデータを出力し、出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影されたランニングを行っている手本映像データに付帯している骨格情報に基づいて特定し、特定されたポイントのそれぞれが出現するタイミングに対応する手本映像データの画像（フレーム画像Ｇ２）を、センサーデータの各ポイントが出現するタイミングに合わせて出力するので、手本の動作と当該手本と比較するユーザーの動作を同期させた表示を簡便に行うことができる。 As described above, according to the image output device 1, along with image data (first image data) continuously photographing the user who is running, the gyro sensor attached to the user who is running The sensor data obtained from 2 is output, and the timing at which each point corresponding to each point of the output sensor data appears is attached to the continuously captured model video data of running. An image (frame image G2) of the model video data corresponding to the timing at which each of the identified points appears is output in accordance with the timing at which each point of the sensor data appears. It is possible to easily perform a display in which a model's motion and a user's motion for comparison with the model are synchronized.

また、映像出力装置１によれば、ジャイロセンサー２が装着された体の部位を推定し、推定された体の部位に関する角速度情報を手本映像データに付帯している骨格情報から導出し、ランニングを行っているユーザーに装着されたジャイロセンサー２から取得される角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、上記骨格情報から導出された角速度情報に基づいて特定するので、手本の動作と当該手本と比較するユーザーの動作との同期を適切に行うことができる。 Further, according to the image output device 1, the part of the body to which the gyro sensor 2 is attached is estimated, the angular velocity information related to the estimated part of the body is derived from the skeletal information attached to the model image data, and the running is performed. Based on the angular velocity information derived from the skeleton information, the timing at which each point corresponding to each point of the angular velocity information obtained from the gyro sensor 2 worn by the user who is performing the exercise appears is specified based on the angular velocity information. Synchronization of the action of the book and the action of the user comparing it to the exemplar can be done well.

また、映像出力装置１によれば、骨格情報から導出された角速度情報の各ポイントとランニングを行っているユーザーに装着されたジャイロセンサー２から取得される角速度情報の各ポイントとの位置関係に基づいて、当該ランニングを行っているユーザーを連続的に撮影した映像データのフレーム画像が撮影されたタイミングに対応するタイミングを算出し、算出された当該タイミングに撮影された手本映像データのフレーム画像を出力するので、手本の動作と当該手本と比較するユーザーの動作との同期をより適切に行うことができる。 Further, according to the video output device 1, based on the positional relationship between each point of the angular velocity information derived from the skeleton information and each point of the angular velocity information acquired from the gyro sensor 2 worn by the user who is running. Then, the timing corresponding to the timing at which the frame images of the video data of the user who is running is continuously shot is calculated, and the frame images of the model video data shot at the calculated timing are calculated. Since it is output, it is possible to more appropriately synchronize the behavior of the model and the behavior of the user to be compared with the model.

また、映像出力装置１によれば、ジャイロセンサー２を装着したユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した推定処理用映像データを取得し、当該推定処理用映像データの映像に基づいて、ユーザーの体の各部位の角速度情報を導出し、導出されたユーザーの体の各部位の角速度情報と、上記任意の動作がなされている際にジャイロセンサー２から得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位をジャイロセンサー２が装着された体の部位として推定するので、ジャイロセンサー２の装着位置の推定を適切に行うことができる。 In addition, according to the image output device 1, image data for estimation processing is obtained by continuously capturing images of the user wearing the gyro sensor 2 when the user is caused to make an arbitrary action, and the image data for estimation processing is acquired. Based on the image, the angular velocity information of each part of the user's body is derived, and the derived angular velocity information of each part of the user's body and the angular velocity obtained from the gyro sensor 2 when the above arbitrary action is performed Since the body part from which the angular velocity information with the highest correlation is derived is estimated as the body part on which the gyro sensor 2 is mounted, the mounting position of the gyro sensor 2 can be appropriately estimated. .

＜変形例＞
次に、上記実施形態の変形例について説明する。なお、上記実施形態と同様の構成要素には同一の符号を付し、その説明を省略する。
変形例では、上記実施形態とは異なり、ジャイロセンサー２の装着姿勢に関する取り決めがなされていない、すなわち、ジャイロセンサー２を体の各部位において所望の姿勢で装着（例えば、ジャイロセンサー２を手首に装着する場合、手の甲側に装着、手のひら側に装着、親指側に装着、小指側に装着、等）することができるようになっている。このため、変形例の装着位置推定処理では、ジャイロセンサー２の装着姿勢を推定する処理が必要となっている。 <Modification>
Next, a modification of the above embodiment will be described. In addition, the same code|symbol is attached|subjected to the component similar to the said embodiment, and the description is abbreviate|omitted.
In the modified example, unlike the above-described embodiment, no arrangement is made regarding the mounting posture of the gyro sensor 2. That is, the gyro sensor 2 is worn in a desired posture on each part of the body (for example, the gyro sensor 2 is worn on the wrist). In that case, it can be attached to the back side of the hand, the palm side, the thumb side, the little finger side, etc.). Therefore, in the mounting position estimation processing of the modified example, processing for estimating the mounting posture of the gyro sensor 2 is required.

［装着位置推定処理］
次に、図７を用いて変形例の装着位置推定処理について説明する。図７は、変形例の装着位置推定処理の流れを示すフローチャートである。 [Wearing position estimation process]
Next, the mounting position estimation processing of the modified example will be described with reference to FIG. FIG. 7 is a flowchart showing the flow of mounting position estimation processing according to the modification.

図７に示すように、ＣＰＵ（抽出手段）１１は、上記実施形態の装着位置推定処理と同様にステップＳ１１～ステップＳ１４の処理を行った後、角速度情報（Ｇｙｒ１）が示す角速度の値が第１の閾値ＴＨ１よりも大きく、角速度情報（Ｇｙｒ１）が示す角速度と角速度情報（Ｇｙｒ２）が示す角速度の差の絶対値が第２の閾値ＴＨ２よりも小さいという条件を満たすタイミングの角速度情報（Ｇｙｒ１）と角速度情報（Ｇｙｒ２）を抽出する（ステップＳ１５）。 As shown in FIG. 7, after the CPU (extracting means) 11 performs the processing of steps S11 to S14 in the same manner as the mounting position estimation processing of the above embodiment, the angular velocity value indicated by the angular velocity information (Gyr1) is 1 and the absolute value of the difference between the angular velocity indicated by the angular velocity information (Gyr1) and the angular velocity indicated by the angular velocity information (Gyr2) is smaller than the second threshold TH2. and angular velocity information (Gyr2) (step S15).

次いで、ＣＰＵ（第３の導出手段）１１は、ステップＳ１５で抽出された角速度情報（Ｇｙｒ１）が示す角速度と角速度情報（Ｇｙｒ２）が示す角速度と、が一致する回転行列Ｒを導出し、導出された回転行列Ｒからジャイロセンサー２の装着姿勢を推定し（ステップＳ１６）、映像出力処理へ戻る。 Next, the CPU (third deriving means) 11 derives a rotation matrix R in which the angular velocity indicated by the angular velocity information (Gyr1) extracted in step S15 matches the angular velocity indicated by the angular velocity information (Gyr2). The mounting posture of the gyro sensor 2 is estimated from the obtained rotation matrix R (step S16), and the process returns to the image output process.

ここで、回転行列Ｒの導出方法について説明する。
数１に示すように、ステップＳ１５で抽出された角速度情報（Ｇｙｒ１）として、Ｇｙｒ１１とＧｙｒ１２が抽出され、角速度情報（Ｇｙｒ２）として、Ｇｙｒ２１とＧｙｒ２２が抽出された場合、Ｇｙｒ２１＝Ｒ・Ｇｙｒ１１及びＧｙｒ２２＝Ｒ・Ｇｙｒ１２の両式を満たす回転行列Ｒを導出する。 Here, a method for deriving the rotation matrix R will be described.
As shown in Equation 1, when Gyr1 1 and Gyr1 2 are extracted as the angular velocity information (Gyr1 ) extracted in step S15, and Gyr2 1 and Gyr2 2 are extracted as the angular velocity information (Gyr2), Gyr2 1 = A rotation matrix R is derived that satisfies both the equations R·Gyr1 1 and Gyr2 2 =R·Gyr1 2 .

Figure 0007275811000001
Figure 0007275811000001

回転行列Ｒの導出にあたり、まず、Ｇｙｒ１＝［Ｇｙｒ１１ Ｇｙｒ１２］、Ｇｙｒ２＝［Ｇｙｒ２１ Ｇｙｒ２２］のように、各ベクトルを横に並べた行列を作成し、下記の行列を作成する。
Ａ＝Ｇｙｒ１Ｔ・Ｇｙｒ２ In deriving the rotation matrix R, first, a matrix is created by arranging each vector horizontally such as Gyr1=[Gyr1 1 Gyr1 2 ] and Gyr2=[Gyr2 1 Gyr2 2 ] to create the following matrix.
A = Gyr1 T · Gyr2

次に、上述の行列の“Ａ”を特異値分解し、Ｕ、Ｓ、ＶＴを得る。
Ｕ・Ｓ・ＶＴ＝Ａ （Ｓ；対角行列） Next, singular value decomposition is performed on "A" in the above matrix to obtain U, S, and VT .
U·S·V T =A (S; diagonal matrix)

次に、下記の式により“Ｈ”を算出する。
Ｈ＝ｄｉａｇ（１，１，ｄｅｔ（Ｖ・ＵＴ））
ここで、ｄｉａｇ（）は（）内を成分とする対角行列であり、ｄｅｔは行列式である。
そして、回転行列Ｒは、下記のように導出される。
Ｒ＝Ｖ・Ｈ・ＵＴ Next, "H" is calculated by the following formula.
H=diag(1,1,det(V· UT ))
Here, diag( ) is a diagonal matrix whose elements are in ( ), and det is a determinant.
The rotation matrix R is then derived as follows.
R=V・H・UT

［映像出力制御処理］
次に、図８を用いて変形例の映像出力制御処理について説明する。図８は、変形例の映像出力制御処理の流れを示すフローチャートである。 [Video output control processing]
Next, video output control processing according to a modification will be described with reference to FIG. FIG. 8 is a flowchart showing the flow of video output control processing according to the modification.

図８に示すように、ＣＰＵ（補正手段）１１は、上記実施形態の映像出力制御処理と同様にステップＳ２１～ステップＳ２３の処理を行った後、ステップＳ２２で導出された角速度情報を、上述の装着位置推定処理のステップＳ１６で推定された装着姿勢に対応した角速度情報に補正する（ステップＳ３０）。そして、ＣＰＵ１１は、ステップＳ３０で補正された角速度情報とステップＳ２３で取得された角速度情報とに基づいて伸縮マッチング処理（ステップＳ２４）を行う。そして、ＣＰＵ１１は、上記実施形態の映像出力制御処理と同様にステップＳ２５～ステップＳ２７の処理を行い、映像出力処理へ戻る。 As shown in FIG. 8, the CPU (correction means) 11 performs the processing of steps S21 to S23 in the same manner as the video output control processing of the above embodiment, and then converts the angular velocity information derived in step S22 into the above-described Angular velocity information corresponding to the wearing attitude estimated in step S16 of the wearing position estimation process is corrected (step S30). Then, the CPU 11 performs expansion/contraction matching processing (step S24) based on the angular velocity information corrected in step S30 and the angular velocity information acquired in step S23. Then, the CPU 11 performs steps S25 to S27 in the same manner as the video output control processing of the above embodiment, and returns to the video output processing.

以上のように、変形例の映像出力装置１によれば、装着位置推定処理において、体の部位に対するジャイロセンサー２の装着姿勢を推定し、映像出力制御処理において、手本映像に付帯されている骨格情報から導出された角速度情報を、推定された装着姿勢に対応した角速度情報に補正し、ランニングを行っているユーザーに装着されたジャイロセンサー２から取得される角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、上記骨格情報から導出された角速度情報であって装着姿勢に対応した角速度情報に補正された当該角速度情報に基づいて特定するので、手本の動作と当該手本と比較するユーザーの動作との同期を適切に行うことができる。 As described above, according to the video output device 1 of the modified example, the wearing posture of the gyro sensor 2 with respect to the part of the body is estimated in the wearing position estimation process, and attached to the model video in the video output control process. The angular velocity information derived from the skeleton information is corrected to the angular velocity information corresponding to the estimated wearing posture, and points corresponding to each point of the angular velocity information obtained from the gyro sensor 2 worn by the user who is running. is specified based on the angular velocity information derived from the skeleton information and corrected to the angular velocity information corresponding to the wearing attitude, the movement of the model and the model are specified. Synchronization with user actions to be compared can be done properly.

以上、本発明を実施形態に基づいて具体的に説明してきたが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
例えば、上記実施形態において、運動としてランニングを一例に挙げて説明を行ったが、当該運動はランニングに限定されるものではなく、ウォーキング、ゴルフ（ゴルフのスイング）、野球（バットスイング）、ダンス、自転車などの運動を対象としてもよい。 Although the present invention has been specifically described above based on the embodiments, the present invention is not limited to the above embodiments, and can be modified without departing from the scope of the invention.
For example, in the above embodiment, running was described as an example of exercise, but the exercise is not limited to running, and includes walking, golf (golf swing), baseball (bat swing), dance, Exercise such as bicycling may also be targeted.

また、上記実施形態において、ユーザーが装着するジャイロセンサー２は、１個に限定されるものではなく、２個以上のジャイロセンサー２をそれぞれ装着するようにしてもよい。 In the above embodiment, the number of gyro sensors 2 worn by the user is not limited to one, and two or more gyro sensors 2 may be worn.

以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として記憶部１３にフラッシュメモリ、ＥＥＰＲＯＭ、ＨＤＤを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。 In the above description, an example of using a flash memory, an EEPROM, and an HDD as a computer-readable medium for the program according to the present invention has been disclosed as the storage unit 13, but the present invention is not limited to this example. A portable recording medium can be applied as another computer-readable medium. A carrier wave is also applied to the present invention as a medium for providing program data according to the present invention via a communication line.

本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
〔付記〕
＜請求項１＞
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段と、
前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段と、
前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段と、
を備えることを特徴とする映像出力装置。
＜請求項２＞
前記慣性センサーが装着された体の部位を推定する推定手段と、
前記推定手段によって推定された前記体の部位に関する角速度情報を前記手本映像データに付帯している前記所定の運動情報から導出する第１の導出手段と、
を備え、
前記特定手段は、前記第１の出力手段によって出力される前記センサーデータとしての角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記第１の導出手段によって導出された前記角速度情報に基づいて特定する、
ことを特徴とする請求項１に記載の映像出力装置。
＜請求項３＞
前記第２の出力手段は、前記特定手段によって特定された前記第１の導出手段により導出された前記角速度情報の各ポイントと第１の出力手段によって出力される前記角速度情報の各ポイントとの位置関係に基づいて、前記第１の映像データのフレーム画像が撮影されたタイミングに対応するタイミングを算出し、算出された当該タイミングに撮影された前記手本映像データのフレーム画像を出力する、
ことを特徴とする請求項２に記載の映像出力装置。
＜請求項４＞
前記推定手段は、更に、前記体の部位に対する前記慣性センサーの装着姿勢を推定し、
前記第１の導出手段によって導出された前記角速度情報を、前記推定手段によって推定された前記装着姿勢に対応した角速度情報に補正する補正手段を備え、
前記特定手段は、前記第１の出力手段によって出力される前記角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記補正手段によって補正された前記装着姿勢に対応した角速度情報に基づいて特定する、
ことを特徴とする請求項２に記載の映像出力装置。
＜請求項５＞
前記慣性センサーを装着した前記ユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した第２の映像データを取得する取得手段と、
前記取得手段によって取得された前記第２の映像データに基づいて、前記ユーザーの体の各部位の角速度情報を導出する第２の導出手段と、
を備え、
前記推定手段は、前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位を前記慣性センサーが装着された体の部位として推定する、
ことを特徴とする請求項２～４のいずれか一項に記載の映像出力装置。
＜請求項６＞
前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報のうちの前記推定手段によって推定された前記体の部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、当該慣性センサーから得られた角速度情報が示す角速度の値が第１の閾値よりも大きく、且つ、当該慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、の差の絶対値が第２の閾値よりも小さくなるタイミングの角速度情報を抽出する抽出手段と、
前記抽出手段によって抽出された角速度情報に基づいて、前記慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、が一致する回転行列を導出する第３の導出手段と、
を備え、
前記推定手段は、前記第３の導出手段によって導出された回転行列に基づいて、前記慣性センサーの装着姿勢を推定する、
ことを特徴とする請求項５に記載の映像出力装置。
＜請求項７＞
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力工程と、
前記第１の出力工程によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定工程と、
前記特定工程によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力工程によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力工程と、
を含むことを特徴とする映像出力方法。
＜請求項８＞
コンピュータを、
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段、
前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段、
前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段、
として機能させることを特徴とするプログラム。 Although embodiments of the present invention have been described, the scope of the present invention is not limited to the above-described embodiments, but includes the scope of the invention described in the claims and equivalents thereof.
The invention described in the scope of claims originally attached to the application form of this application is additionally described below. The claim numbers of the claims described in the supplementary notes are as in the claims originally attached to the request of this application.
[Appendix]
<Claim 1>
a first output means for outputting sensor data obtained from an inertial sensor worn by the user while exercising, together with first video data obtained by continuously photographing the user exercising;
Attaching the timing at which each point corresponding to each point of the sensor data output by the first output means appears to the model video data that is performing the same exercise as the exercise that is continuously photographed identifying means for identifying based on predetermined motion information that is present;
The frame image of the model video data corresponding to the timing at which each of the points specified by the specifying means appears is matched with the timing at which each point of the sensor data output by the first output means appears. a second output means for outputting;
A video output device comprising:
<Claim 2>
estimating means for estimating a body part to which the inertial sensor is attached;
a first deriving means for deriving angular velocity information related to the body part estimated by the estimating means from the predetermined movement information attached to the model image data;
with
The specifying means determines the timing at which each point corresponding to each point of the angular velocity information as the sensor data output by the first output means appears in the angular velocity information derived by the first deriving means. identify based on
2. The video output device according to claim 1, wherein:
<Claim 3>
The second output means determines the position of each point of the angular velocity information derived by the first derivation means specified by the specifying means and each point of the angular velocity information output by the first output means. calculating a timing corresponding to the timing at which the frame image of the first video data was captured based on the relationship, and outputting the frame image of the model video data captured at the calculated timing;
3. The video output device according to claim 2, characterized by:
<Claim 4>
The estimating means further estimates a mounting posture of the inertial sensor with respect to the part of the body,
correction means for correcting the angular velocity information derived by the first derivation means to angular velocity information corresponding to the mounting posture estimated by the estimation means;
The identifying means determines the timing at which each point corresponding to each point of the angular velocity information output by the first output means appears, based on the angular velocity information corresponding to the mounting attitude corrected by the correcting means. to identify
3. The video output device according to claim 2, characterized by:
<Claim 5>
Acquisition means for acquiring second image data obtained by continuously capturing images of the user wearing the inertial sensor when the user is caused to perform an arbitrary action;
a second derivation means for deriving angular velocity information of each part of the user's body based on the second image data acquired by the acquisition means;
with
The estimating means is based on the angular velocity information of each part of the user's body derived by the second deriving means and the angular velocity information obtained from the inertial sensor during the arbitrary motion. , estimating the part of the body from which the angular velocity information with the highest correlation is derived as the part of the body to which the inertial sensor is attached;
The video output device according to any one of claims 2 to 4, characterized in that:
<Claim 6>
angular velocity information of the body part estimated by the estimation means out of the angular velocity information of each part of the user's body derived by the second derivation means; The angular velocity value indicated by the angular velocity information obtained from the inertial sensor is greater than a first threshold based on the angular velocity information obtained from the inertial sensor, and the angular velocity indicated by the angular velocity information obtained from the inertial sensor and the angular velocity indicated by the angular velocity information of the body part estimated by the estimating means and an extracting means for extracting the angular velocity information at the timing when the absolute value of the difference between the angular velocity information and the angular velocity information becomes smaller than a second threshold;
Rotation in which the angular velocity indicated by the angular velocity information obtained from the inertial sensor and the angular velocity indicated by the angular velocity information of the body part estimated by the estimating means match, based on the angular velocity information extracted by the extracting means. a third derivation means for deriving a matrix;
with
The estimation means estimates the mounting posture of the inertial sensor based on the rotation matrix derived by the third derivation means.
6. The video output device according to claim 5, characterized by:
<Claim 7>
a first output step of outputting sensor data obtained from an inertial sensor worn by the user while exercising, together with first video data obtained by continuously photographing the user exercising;
The timing at which each point corresponding to each point of the sensor data output by the first output step appears is attached to the model video data that is performing the same exercise as the exercise that is continuously photographed. an identifying step of identifying based on predetermined exercise information;
frame images of the model image data corresponding to the timings at which the points identified by the identification step appear, in accordance with the timings at which the points of the sensor data output by the first output step appear; a second output step of outputting;
A video output method comprising:
<Claim 8>
the computer,
a first output means for outputting sensor data obtained from an inertial sensor worn by the user while exercising, together with first video data obtained by continuously photographing the user exercising;
Attaching the timing at which each point corresponding to each point of the sensor data output by the first output means appears to the model video data that is performing the same exercise as the exercise that is continuously photographed Identifying means for identifying based on predetermined exercise information,
The frame image of the model video data corresponding to the timing at which each of the points specified by the specifying means appears is matched with the timing at which each point of the sensor data output by the first output means appears. second output means for outputting,
A program characterized by functioning as

１ 映像出力装置
１１ ＣＰＵ（第１の出力手段、特定手段、第２の出力手段、推定手段、第１の導出手段、取得手段、第２の導出手段） 1 video output device 11 CPU (first output means, identification means, second output means, estimation means, first derivation means, acquisition means, second derivation means)

Claims (5)

運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段と、
前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段と、
前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段と、
前記慣性センサーが装着された体の部位を推定する推定手段と、
前記推定手段によって推定された前記体の部位に関する角速度情報を前記手本映像データに付帯している前記所定の運動情報から導出する第１の導出手段と、
前記慣性センサーを装着した前記ユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した第２の映像データを取得する取得手段と、
前記取得手段によって取得された前記第２の映像データに基づいて、前記ユーザーの体の各部位の角速度情報を導出する第２の導出手段と、
前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報のうちの前記推定手段によって推定された前記体の部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、当該慣性センサーから得られた角速度情報が示す角速度の値が第１の閾値よりも大きく、且つ、当該慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、の差の絶対値が第２の閾値よりも小さくなるタイミングの角速度情報を抽出する抽出手段と、
前記抽出手段によって抽出された角速度情報に基づいて、前記慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、が一致する回転行列を導出する第３の導出手段と、
を備え、
前記特定手段は、前記第１の出力手段によって出力される前記センサーデータとしての角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記第１の導出手段によって導出された前記角速度情報に基づいて特定し、
前記推定手段は、前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位を前記慣性センサーが装着された体の部位として推定し、前記第３の導出手段によって導出された回転行列に基づいて、前記慣性センサーの装着姿勢を推定する、
ことを特徴とする映像出力装置。 a first output means for outputting sensor data obtained from an inertial sensor worn by the user while exercising, together with first video data obtained by continuously photographing the user exercising;
Attaching the timing at which each point corresponding to each point of the sensor data output by the first output means appears to the model video data that is performing the same exercise as the exercise that is continuously photographed identifying means for identifying based on predetermined motion information that is present;
The frame image of the model video data corresponding to the timing at which each of the points specified by the specifying means appears is matched with the timing at which each point of the sensor data output by the first output means appears. a second output means for outputting;
estimating means for estimating a body part to which the inertial sensor is attached;
a first deriving means for deriving angular velocity information related to the body part estimated by the estimating means from the predetermined movement information attached to the model image data;
Acquisition means for acquiring second image data obtained by continuously capturing images of the user wearing the inertial sensor when the user is caused to perform an arbitrary action;
a second derivation means for deriving angular velocity information of each part of the user's body based on the second image data acquired by the acquisition means;
angular velocity information of the body part estimated by the estimation means out of the angular velocity information of each part of the user's body derived by the second derivation means; The angular velocity value indicated by the angular velocity information obtained from the inertial sensor is greater than a first threshold based on the angular velocity information obtained from the inertial sensor, and the angular velocity indicated by the angular velocity information obtained from the inertial sensor and the angular velocity indicated by the angular velocity information of the body part estimated by the estimating means and an extracting means for extracting the angular velocity information at the timing when the absolute value of the difference between the angular velocity information and the angular velocity information becomes smaller than a second threshold;
Rotation in which the angular velocity indicated by the angular velocity information obtained from the inertial sensor and the angular velocity indicated by the angular velocity information of the body part estimated by the estimating means match, based on the angular velocity information extracted by the extracting means. a third derivation means for deriving a matrix;
with
The specifying means determines the timing at which each point corresponding to each point of the angular velocity information as the sensor data output by the first output means appears in the angular velocity information derived by the first deriving means. identified based on
The estimating means is based on the angular velocity information of each part of the user's body derived by the second deriving means and the angular velocity information obtained from the inertial sensor during the arbitrary motion. estimating the part of the body from which the angular velocity information with the highest correlation is derived as the part of the body on which the inertial sensor is mounted, and determining whether the inertial sensor is worn based on the rotation matrix derived by the third deriving means; to estimate pose,
A video output device characterized by: 前記第２の出力手段は、前記特定手段によって特定された前記第１の導出手段により導出された前記角速度情報の各ポイントと第１の出力手段によって出力される前記角速度情報の各ポイントとの位置関係に基づいて、前記第１の映像データのフレーム画像が撮影されたタイミングに対応するタイミングを算出し、算出された当該タイミングに撮影された前記手本映像データのフレーム画像を出力する、
ことを特徴とする請求項１に記載の映像出力装置。 The second output means determines the position of each point of the angular velocity information derived by the first derivation means specified by the specifying means and each point of the angular velocity information output by the first output means. calculating a timing corresponding to the timing at which the frame image of the first video data was captured based on the relationship, and outputting the frame image of the model video data captured at the calculated timing;
2. The video output device according to claim 1 , wherein: 前記推定手段は、更に、前記体の部位に対する前記慣性センサーの装着姿勢を推定し、
前記第１の導出手段によって導出された前記角速度情報を、前記推定手段によって推定された前記装着姿勢に対応した角速度情報に補正する補正手段を備え、
前記特定手段は、前記第１の出力手段によって出力される前記角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記補正手段によって補正された前記装着姿勢に対応した角速度情報に基づいて特定する、
ことを特徴とする請求項１に記載の映像出力装置。 The estimating means further estimates a mounting posture of the inertial sensor with respect to the part of the body,
correction means for correcting the angular velocity information derived by the first derivation means to angular velocity information corresponding to the mounting posture estimated by the estimation means;
The identifying means determines the timing at which each point corresponding to each point of the angular velocity information output by the first output means appears, based on the angular velocity information corresponding to the mounting attitude corrected by the correcting means. to identify
2. The video output device according to claim 1 , wherein: 運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力工程と、
前記第１の出力工程によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定工程と、
前記特定工程によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力工程によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力工程と、
前記慣性センサーが装着された体の部位を推定する推定工程と、
前記推定工程によって推定された前記体の部位に関する角速度情報を前記手本映像データに付帯している前記所定の運動情報から導出する第１の導出工程と、
前記慣性センサーを装着した前記ユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した第２の映像データを取得する取得工程と、
前記取得工程によって取得された前記第２の映像データに基づいて、前記ユーザーの体の各部位の角速度情報を導出する第２の導出工程と、
前記第２の導出工程によって導出された前記ユーザーの体の各部位の角速度情報のうちの前記推定工程によって推定された前記体の部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、当該慣性センサーから得られた角速度情報が示す角速度の値が第１の閾値よりも大きく、且つ、当該慣性センサーから得られた角速度情報が示す角速度と、前記推定工程によって推定された前記体の部位の角速度情報が示す角速度と、の差の絶対値が第２の閾値よりも小さくなるタイミングの角速度情報を抽出する抽出工程と、
前記抽出工程によって抽出された角速度情報に基づいて、前記慣性センサーから得られた角速度情報が示す角速度と、前記推定工程によって推定された前記体の部位の角速度情報が示す角速度と、が一致する回転行列を導出する第３の導出工程と、
を含み、
前記特定工程は、前記第１の出力工程によって出力される前記センサーデータとしての角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記第１の導出工程によって導出された前記角速度情報に基づいて特定し、
前記推定工程は、前記第２の導出工程によって導出された前記ユーザーの体の各部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位を前記慣性センサーが装着された体の部位として推定し、前記第３の導出工程によって導出された回転行列に基づいて、前記慣性センサーの装着姿勢を推定する、
ことを特徴とする映像出力方法。 a first output step of outputting sensor data obtained from an inertial sensor worn by the user while exercising, together with first video data obtained by continuously photographing the user exercising;
The timing at which each point corresponding to each point of the sensor data output by the first output step appears is attached to the model video data that is performing the same exercise as the exercise that is continuously photographed. an identifying step of identifying based on predetermined exercise information;
frame images of the model image data corresponding to the timings at which the points identified by the identification step appear, in accordance with the timings at which the points of the sensor data output by the first output step appear; a second output step of outputting;
an estimating step of estimating a body part to which the inertial sensor is attached;
a first deriving step of deriving angular velocity information about the body part estimated by the estimating step from the predetermined movement information attached to the model image data;
an acquisition step of acquiring second video data continuously photographing the user wearing the inertial sensor when the user is caused to make an arbitrary action;
a second deriving step of deriving angular velocity information of each part of the user's body based on the second image data obtained by the obtaining step;
the angular velocity information of the body part estimated by the estimation step out of the angular velocity information of each part of the user's body derived by the second deriving step; The angular velocity value indicated by the angular velocity information obtained from the inertial sensor is greater than a first threshold based on the angular velocity information obtained from the inertial sensor, and the angular velocity indicated by the angular velocity information obtained from the inertial sensor and an extracting step of extracting angular velocity information at a timing when the absolute value of the difference between the angular velocity indicated by the angular velocity information of the body part estimated by the estimating step becomes smaller than a second threshold;
Rotation in which the angular velocity indicated by the angular velocity information obtained from the inertial sensor and the angular velocity indicated by the angular velocity information of the body part estimated by the estimating step match, based on the angular velocity information extracted by the extracting step. a third derivation step of deriving a matrix;
including
In the identifying step, the angular velocity information derived by the first deriving step determines the timing at which each point corresponding to each point of the angular velocity information as the sensor data output by the first outputting step appears. identified based on
The estimating step is based on the angular velocity information of each part of the user's body derived by the second deriving step and the angular velocity information obtained from the inertial sensor during the arbitrary motion. estimating the part of the body from which the angular velocity information with the highest correlation is derived as the part of the body on which the inertial sensor is attached, and determining the attachment of the inertial sensor based on the rotation matrix derived in the third deriving step; to estimate pose,
A video output method characterized by: コンピュータを、
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段、
前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段、
前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段、
前記慣性センサーが装着された体の部位を推定する推定手段、
前記推定手段によって推定された前記体の部位に関する角速度情報を前記手本映像データに付帯している前記所定の運動情報から導出する第１の導出手段、
前記慣性センサーを装着した前記ユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した第２の映像データを取得する取得手段、
前記取得手段によって取得された前記第２の映像データに基づいて、前記ユーザーの体の各部位の角速度情報を導出する第２の導出手段、
前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報のうちの前記推定手段によって推定された前記体の部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、当該慣性センサーから得られた角速度情報が示す角速度の値が第１の閾値よりも大きく、且つ、当該慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、の差の絶対値が第２の閾値よりも小さくなるタイミングの角速度情報を抽出する抽出手段、
前記抽出手段によって抽出された角速度情報に基づいて、前記慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、が一致する回転行列を導出する第３の導出手段、
として機能させ、
前記特定手段は、前記第１の出力手段によって出力される前記センサーデータとしての角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記第１の導出手段によって導出された前記角速度情報に基づいて特定し、
前記推定手段は、前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位を前記慣性センサーが装着された体の部位として推定し、前記第３の導出手段によって導出された回転行列に基づいて、前記慣性センサーの装着姿勢を推定する、
ことを特徴とするプログラム。 the computer,
a first output means for outputting sensor data obtained from an inertial sensor worn by the user while exercising, together with first video data obtained by continuously photographing the user exercising;
Attaching the timing at which each point corresponding to each point of the sensor data output by the first output means appears to the model video data that is performing the same exercise as the exercise that is continuously photographed Identifying means for identifying based on predetermined exercise information,
The frame image of the model video data corresponding to the timing at which each of the points specified by the specifying means appears is matched with the timing at which each point of the sensor data output by the first output means appears. second output means for outputting,
estimating means for estimating a body part to which the inertial sensor is attached;
a first deriving means for deriving angular velocity information related to the body part estimated by the estimating means from the predetermined movement information attached to the model image data;
Acquisition means for acquiring second image data continuously photographing the user wearing the inertial sensor when the user is caused to perform an arbitrary action;
a second deriving means for deriving angular velocity information of each part of the user's body based on the second video data acquired by the acquiring means;
angular velocity information of the body part estimated by the estimation means out of the angular velocity information of each part of the user's body derived by the second derivation means; The angular velocity value indicated by the angular velocity information obtained from the inertial sensor is greater than a first threshold based on the angular velocity information obtained from the inertial sensor, and the angular velocity indicated by the angular velocity information obtained from the inertial sensor and an angular velocity indicated by the angular velocity information of the body part estimated by the estimating means, extracting means for extracting angular velocity information at a timing when an absolute value of a difference between the angular velocity information and the angular velocity information of the body part estimated by the estimating means becomes smaller than a second threshold;
Rotation in which the angular velocity indicated by the angular velocity information obtained from the inertial sensor and the angular velocity indicated by the angular velocity information of the body part estimated by the estimating means match, based on the angular velocity information extracted by the extracting means. a third derivation means for deriving a matrix;
function as
The specifying means determines the timing at which each point corresponding to each point of the angular velocity information as the sensor data output by the first output means appears in the angular velocity information derived by the first deriving means. identified based on
The estimating means is based on the angular velocity information of each part of the user's body derived by the second deriving means and the angular velocity information obtained from the inertial sensor during the arbitrary motion. estimating the part of the body from which the angular velocity information with the highest correlation is derived as the part of the body on which the inertial sensor is mounted, and determining whether the inertial sensor is worn based on the rotation matrix derived by the third deriving means; to estimate pose,
A program characterized by
JP2019083511A 2019-04-25 2019-04-25 Video output device, video output method and program Active JP7275811B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019083511A JP7275811B2 (en) 2019-04-25 2019-04-25 Video output device, video output method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019083511A JP7275811B2 (en) 2019-04-25 2019-04-25 Video output device, video output method and program

Publications (2)

Publication Number Publication Date
JP2020178860A JP2020178860A (en) 2020-11-05
JP7275811B2 true JP7275811B2 (en) 2023-05-18

Family

ID=73022651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019083511A Active JP7275811B2 (en) 2019-04-25 2019-04-25 Video output device, video output method and program

Country Status (1)

Country Link
JP (1) JP7275811B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI832584B (en) * 2022-11-25 2024-02-11 陳 潔玲 Smart treadmill

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6514081B1 (en) 1999-08-06 2003-02-04 Jeffrey L. Mengoli Method and apparatus for automating motion analysis
US20080190202A1 (en) 2006-03-03 2008-08-14 Garmin Ltd. Method and apparatus for determining the attachment position of a motion sensing apparatus
US20130041291A1 (en) 2010-04-23 2013-02-14 Cyrille Soubeyrat System for analysing a user's strides
JP2014110832A (en) 2012-12-05 2014-06-19 Seiko Epson Corp Motion analyzing system and motion analyzing method
JP2015119833A (en) 2013-12-24 2015-07-02 カシオ計算機株式会社 Exercise support system, exercise support method, and exercise support program
JP2016112108A (en) 2014-12-12 2016-06-23 カシオ計算機株式会社 Exercise information display system, exercise information display method, and exercise information display program
JP2018153295A (en) 2017-03-16 2018-10-04 セイコーエプソン株式会社 Motion analysis device, motion analysis method, and motion analysis system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6514081B1 (en) 1999-08-06 2003-02-04 Jeffrey L. Mengoli Method and apparatus for automating motion analysis
US20080190202A1 (en) 2006-03-03 2008-08-14 Garmin Ltd. Method and apparatus for determining the attachment position of a motion sensing apparatus
US20130041291A1 (en) 2010-04-23 2013-02-14 Cyrille Soubeyrat System for analysing a user's strides
JP2014110832A (en) 2012-12-05 2014-06-19 Seiko Epson Corp Motion analyzing system and motion analyzing method
JP2015119833A (en) 2013-12-24 2015-07-02 カシオ計算機株式会社 Exercise support system, exercise support method, and exercise support program
JP2016112108A (en) 2014-12-12 2016-06-23 カシオ計算機株式会社 Exercise information display system, exercise information display method, and exercise information display program
JP2018153295A (en) 2017-03-16 2018-10-04 セイコーエプソン株式会社 Motion analysis device, motion analysis method, and motion analysis system

Also Published As

Publication number Publication date
JP2020178860A (en) 2020-11-05

Similar Documents

Publication Publication Date Title
JP5314049B2 (en) Method and apparatus for improving the quality of photographic images
KR101503761B1 (en) Information processing apparatus, information processing method, and recording medium, for displaying information of object
US8165844B2 (en) Motion tracking system
CN107613867B (en) Action display system and recording medium
JP5959923B2 (en) Detection device, control method thereof, control program, imaging device and display device
WO2015146046A1 (en) Correlation coefficient correction method, motion analysis method, correlation coefficient correction device, and program
Hwang et al. Real-time gait analysis using a single head-worn inertial measurement unit
WO2019142329A1 (en) Information processing device, information processing system, information processing method, and program
US20100145232A1 (en) Methods and apparatuses for correcting sport postures captured by a digital image processing apparatus
JP5961123B2 (en) Person detection tracking device, person detection tracking method, and person detection tracking program
US20160339293A1 (en) Imu system for assessing head and torso orientation during physical motion
JP7275811B2 (en) Video output device, video output method and program
US20220057856A1 (en) Method and system for providing real-time virtual feedback
JP2019045967A (en) Attitude estimation device, method and program
US20220084244A1 (en) Information processing apparatus, information processing method, and program
CN112044023B (en) Walking training system, storage medium storing control program for walking training system, and method for controlling walking training system
JP6833483B2 (en) Subject tracking device, its control method, control program, and imaging device
JP2018180894A (en) Information processing device, information processing method, and program
JP2000268161A (en) Real time expression detector
JP7343237B2 (en) Tracking method
JP2017112504A (en) Imaging apparatus, visible light communication identification information registration method, and program
JP7275807B2 (en) Motion analysis device, motion analysis method and program
JP7113274B2 (en) Lower limb muscle strength estimation system, lower limb muscle strength estimation method, and program
JP7216222B2 (en) Information processing device, control method for information processing device, and program
WO2021039642A1 (en) Three-dimensional reconstruction device, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R150 Certificate of patent or registration of utility model

Ref document number: 7275811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150