WO2018003147A1 - 再生システム、再生方法、プログラム、および記録媒体 - Google Patents

再生システム、再生方法、プログラム、および記録媒体 Download PDF

Info

Publication number
WO2018003147A1
WO2018003147A1 PCT/JP2016/089169 JP2016089169W WO2018003147A1 WO 2018003147 A1 WO2018003147 A1 WO 2018003147A1 JP 2016089169 W JP2016089169 W JP 2016089169W WO 2018003147 A1 WO2018003147 A1 WO 2018003147A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
reproduction
target
target moving
point
Prior art date
Application number
PCT/JP2016/089169
Other languages
English (en)
French (fr)
Inventor
勇介 中尾
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to JP2018524868A priority Critical patent/JP6947407B2/ja
Publication of WO2018003147A1 publication Critical patent/WO2018003147A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Definitions

  • the present invention relates to a playback system, a playback method, a program, and a recording medium.
  • an object of the present invention is to provide a playback system, a playback method, a program, and a recording medium that can easily compare the operations of the two parties.
  • the playback system of the present invention provides: Storage means including first target moving image information and second target moving image information relating to a predetermined operation; Analyzing means for collating the moving image information of the first object and the moving image information of the second object and analyzing the timing of the same operation along the time axis; Playback means for playing back the first target video and the second target video; and Control means for controlling the reproduction of the second target moving image with respect to the reproduction of the first target moving image; The control means reproduces the second target moving image so that the operation of the second target moving image is linked with the operation of the first target moving image based on the analysis result of the analyzing means. It is characterized by controlling.
  • the reproduction method of the present invention includes: An analysis step of collating the first target moving image information and the second target moving image information regarding the predetermined operation and analyzing the timing of the same operation along the time axis; A playback step of playing back the first target video and the second target video; and A control step of controlling the reproduction of the second target moving image with respect to the reproduction of the first target moving image; In the control step, based on the analysis result in the analysis step, reproduction of the second target moving image is performed so that an operation in the second target moving image is linked with an operation in reproduction of the first target moving image. It is characterized by controlling.
  • the program of the present invention is characterized in that the playback method of the present invention can be executed on a computer.
  • the computer-readable recording medium of the present invention records the program of the present invention.
  • the two parties' moving images are played back in a state in which the operation timings are aligned, not in a state in which the time axes between the two parties are aligned as in normal simultaneous playback, Can be easily compared.
  • FIG. 1 is a block diagram showing an example (Embodiment 1) of the reproduction system of the present invention.
  • FIG. 2 is a flowchart showing an example of the reproducing method of the present invention (Embodiment 1).
  • FIG. 3 is a diagram illustrating operating points in the operations of the first target and the second target.
  • the moving image information includes operation information and execution time information of the operation on the time axis.
  • the motion information is a trajectory of the movement of the first object and a trajectory of the movement of the second object
  • the analysis means includes the trajectory of the first object and the first trajectory.
  • the movement points of the two objects are collated, and an operation point where the distance between the two objects is equal to or less than a threshold is extracted, and the control unit is configured such that the operation point in the moving image of the second object is the moving image of the moving object of the first object.
  • the reproduction of the second target moving image is controlled so as to be at the same timing as the same operation point during reproduction.
  • the trajectory is a trajectory of a moving point with respect to an arbitrary fixed point in the object.
  • the fixed point is a shoulder joint
  • the moving point is a wrist
  • the playback means displays a timeline together with the first target video and the second target video.
  • the reproduction unit displays a code corresponding to the operating point extracted by the analysis unit on the timeline.
  • the moving image information includes operation information and execution time information of the operation on the time axis.
  • the motion information is a movement trajectory of the first object and a movement trajectory of the second object
  • the analysis step the movement trajectory of the first object and the first trajectory.
  • the movement points of the two objects are collated, and an operation point where the distance between the two objects is equal to or less than a threshold is extracted.
  • the control step the operation point in the moving image of the second object
  • the reproduction of the second target moving image is controlled so as to be at the same timing as the same operation point during reproduction.
  • the trajectory is a trajectory of a moving point with respect to an arbitrary fixed point in the object.
  • the fixed point is a shoulder joint
  • the moving point is a wrist
  • the playback step displays a timeline together with the first target moving image and the second target moving image.
  • a code corresponding to the operating point extracted in the analysis step is displayed on the timeline.
  • Embodiment 1 relates to a playback system and a playback method of the present invention.
  • FIG. 1 shows a block diagram of a playback system in the present embodiment.
  • the reproduction system 10 of this embodiment includes a storage unit 11, an analysis unit 121, a reproduction unit 122, and a control unit 123.
  • the analysis unit 121, the reproduction unit 122, and the control unit 123 may be incorporated in a processing unit (processing device) 12 that is hardware, or software or hardware in which the software is incorporated. But you can.
  • the processing means 12 may include a central processing unit (CPU).
  • the storage unit 11 is connected to the analysis unit 121 and the reproduction unit 122, the analysis unit 121 is connected to the reproduction unit 122 and the control unit 123, and the reproduction unit 122 is connected to the control unit 123. Connected. Since the reproduction system 10 of this embodiment includes the storage unit 11, the analysis unit 121, the reproduction unit 122, and the control unit 123 as one body, it can also be referred to as a reproduction device, for example.
  • the reproduction system 10 includes, for example, a terminal and a server, and the terminal and the server may be connectable via a communication line network in or outside the system.
  • the terminal includes, for example, display means for displaying a moving image
  • the server includes, for example, analysis means, reproduction means, and control means.
  • the storage unit 11 includes first target moving image information and second target moving image information related to a predetermined operation.
  • Examples of the storage means 11 include a random access memory (RAM), a read only memory (ROM), a flash memory, a hard disk (HD), an optical disk, and a floppy (registered trademark) disk (FD).
  • the storage unit 11 may be a device built-in type or an external type such as an external storage device.
  • the object is, for example, a person.
  • the types of the at least two objects are not particularly limited, and may be any two or more arbitrary objects whose operations are compared. Examples of the at least two subjects include a skilled person and a beginner, a professional and an amateur, an adult and a child, a younger and older age group, a male and a female, and the like.
  • the moving image information may be information that can be reproduced as a moving image, for example.
  • the “reproduction” may be, for example, reproduction of a moving image obtained by photographing an object, or reproduction of a two-dimensional or three-dimensional animation moving image constructed from the photographing information of the object.
  • the type of the moving image information is the same type, for example, between objects to be compared (that is, the first object and the second object).
  • the moving image information is, for example, a combination of operation information and time information, and specifically includes operation information and execution time information of the operation on the time axis.
  • the type of the motion information is not particularly limited, for example, motion video such as 2D or 3D video, 2D or 3D motion sensor data acquired by a sensor, motion analyzed by a motion analysis table, etc. Analytical data, etc.
  • the operation information may be data obtained by motion capture, such as KINET (registered trademark) manufactured by Microsoft Corporation, Perception Neuron manufactured by noisytom Corporation, or the like.
  • the execution time information of the operation is, for example, an elapsed time when each operation of the target is performed when the start time of the target motion is set to 0 hours.
  • the motion information includes, for example, a trajectory of the target motion.
  • the trajectory is, for example, a trajectory of a moving point with respect to an arbitrary fixed point in the target.
  • a combination in which the fixed point is a shoulder joint and the moving point is a wrist a combination in which the fixed point is a hip joint, the moving point is a knee or an ankle, the moving point is a hip, and the fixing point is a cervical vertebra or a head And the like.
  • the analyzing unit 121 collates the moving image information of the first target and the moving image information of the second target, and analyzes the timing of the same operation along the time axis.
  • the reproduction is usually performed with the time axis aligned.
  • reproduction is performed at the timing of the operation, for example, without aligning the time axis. For this reason, in the analysis means 121, the timing of the same operation
  • the analysis unit 121 compares, for example, the execution time information of the first target and the execution time information of the second target for the same operation, that is, the difference in the same operation. Can also be analyzed.
  • An example of the analysis unit 121 is the CPU.
  • the analysis unit 121 checks, for example, the movement trajectory of the first target and the movement trajectory of the second target, and the distance between the two is determined. You may extract the operating point which becomes below a threshold value.
  • an operating point with a relatively small distance between them means that they are performing the same operation, and an operating point with a relatively large distance between them. Means that they are operating differently. Therefore, with respect to the distance between the two, for example, a threshold value that can be determined to perform the same operation is set, and an operation point that is equal to or less than the threshold value is extracted, thereby analyzing a timing shift between the two operations. it can.
  • the threshold value is not particularly limited and can be arbitrarily set.
  • the threshold value is set to a relatively low value, and the same operation is roughly the same timing.
  • a relatively high value can be set.
  • the reproduction means 122 reproduces the first target moving image and the second target moving image.
  • An example of the reproducing unit 122 is the CPU.
  • the reproduction of the moving image by the reproducing unit is performed on, for example, a display unit on which the moving image is displayed.
  • Examples of the display means include a television, a personal computer (PC), a tablet, and a smartphone.
  • the display form of the first target moving image and the second target moving image is not particularly limited.
  • each of the first target moving image and the second target moving image may be displayed on separate screens. May be displayed. In the latter case, for example, each object may be displayed with the same size, the main object may be displayed larger, and the other objects may be displayed smaller.
  • the control unit 123 controls the reproduction of the second target moving image with respect to the reproduction of the first target moving image, and based on the analysis result by the analyzing unit 121, the operation of the second target moving image is The reproduction of the moving image of the second target is controlled so as to be interlocked with the operation in the reproduction of the moving image of the first object.
  • An example of the control means 123 is the CPU.
  • the control unit 123 determines that the operation point in the second target video is the first target video. It is possible to control the reproduction of the second target moving image so that it has the same timing as the same operating point in reproduction. As described above, since the analysis unit 121 analyzes the operating point at which the same operation is performed, if the moving image is reproduced so that the operating point is aligned in both, the same operation can be reproduced at the same timing. It becomes possible, and comparison of both becomes easy.
  • the analysis unit 121 and the reproduction unit 122 may be executed separately or simultaneously.
  • the reproducing means 122 and the control means 123 can be executed simultaneously, for example.
  • FIG. 2 shows a flowchart of the reproduction method in the present embodiment.
  • the reproduction method of this embodiment is implemented as follows using the reproduction system 10 of FIG. 1, for example.
  • the regeneration method of this embodiment includes an analysis process (step S121), a regeneration process (step S122), and a control process (step S123).
  • the first target moving image information and the second target moving image information are prepared.
  • step S121 In the analysis step (step S121), the moving image information of the first target and the moving image information of the second target are collated, and the timing of the same operation is analyzed along the time axis.
  • step S122 Regeneration process In the reproduction step (step S122), the first target moving image and the second target moving image are reproduced.
  • step S121 an analysis process (step S121) and a reproduction
  • control process In the control step (step S123), the reproduction of the second target moving image is controlled with respect to the reproduction of the first target moving image. Based on the analysis result in the analysis step (step S121), the second target moving image is reproduced. The reproduction of the second target moving image is controlled so that the operation of the second moving image is interlocked with the operation of reproducing the first target moving image.
  • the playback of the second target moving image may be controlled such that the operation of the second target moving image is linked with the operation of the playback of the first target moving image. it can. For this reason, for example, the user can easily compare the operations of two persons (for example, an expert and a beginner), and can easily grasp the difference between the operations of the two. As a result, for example, correction to a better operation can be performed more easily.
  • the reproduction unit 122 may display a timeline in combination with the first target moving image and the second target moving image, for example. Thereby, for example, it is possible to easily grasp at which timing each operation of each object is performed from the start. Since the present invention does not play each target movie on the same time axis, but plays the movie at the same timing of the operation, the timeline is displayed together in this way, thereby reducing the timing of the operation. Can be grasped more easily.
  • a code corresponding to the operation point extracted by the analyzing unit 121 (for example, a number indicating each operation, an alphabet, or the like) may be displayed on the timeline. Thereby, the user can grasp
  • the present invention will be described in detail with reference to FIG. 3, using an example of a combination in which the action is a ball throw, the fixed point is a shoulder joint, and the moving point is a wrist. To do.
  • the following form is an example, and the present invention is not limited to this example.
  • the wrist that is the moving point is, for example, a position that is closer to the shoulder joint that is the fixed point (the elbow is bent), and a position that is far from the shoulder joint (the elbow is extended).
  • the trajectory is drawn again, returning to a position close to the shoulder joint (bending elbow).
  • the video information of the throwing motion is acquired for the first target and the second target.
  • the movement trajectory of the first object is compared with the movement trajectory of the second object, and an operating point at which the distance between the two is equal to or less than a threshold is extracted.
  • operating points A, B, and C are extracted by collation.
  • the operating point A is a state where the elbow is bent
  • the operating point B is a state where the elbow is extended
  • the operating point C is a state where the elbow is bent and returned to the original state.
  • the lower right arrow indicates the time axis
  • t A1 , t B1 , and t C1 are the execution times of the operating points A to C of the first target
  • t A2 , t B2 , t C2 is the execution time of the operation points A to C of the second object, respectively.
  • the implementation time (t A1 , t A2 ) of the operating point A (the elbow is bent) is the same, and no deviation occurs. For this reason, both videos are simultaneously played back along the time axis.
  • the execution time (t B2 ) of the second object is earlier than the execution time (t B1 ) of the first object, and the movement is shifted. Has occurred. Therefore, when the reproduction of the second target moving image reaches the operating point B, the reproduction of the second target moving image is temporarily stopped and only the first target moving image is continued to be reproduced. Then, when the reproduction of the first target moving image reaches the operating point B, the reproduction of the second target moving image is started.
  • the operating point C (the state in which the elbow is bent and returned) is slower in the second object implementation time (t c2 ) than in the first object implementation time (t C1 ).
  • the reproduction of the first target moving image is temporarily stopped, and only the second target moving image is continuously reproduced.
  • the reproduction of the second target moving image reaches the operating point C, the first target moving image is started to be reproduced until the end.
  • the operation of the operating point B is performed by the beginner (the second object). Since it is understood that the operation is performed at an earlier timing than the first target), a beginner can objectively understand that the operation of the operation point B should be performed at a slightly later timing based on this information. Further, since it is understood that the beginner (the second object) is performing the operation at the operation point C at a later timing than the expert (the first object), the operation at the operation point C is performed based on this information. The beginner can objectively understand that this should be done at a slightly earlier timing.
  • the execution time of each operation (t A1 , t B1 , t C1 , t A2 , t B2 , t C2 )
  • the codes “A”, “B”, and “C” are displayed on the timeline corresponding to the operations. This makes it easier to understand the type of operation and the timing shift.
  • the fixed point and the moving point are not limited to the combination of the shoulder joint and the wrist, and can be arbitrarily determined, for example, a combination of a hip joint and an ankle according to the operation to be reproduced. .
  • the program of this embodiment is a program that can execute the above-described reproduction method on a computer.
  • the program of this embodiment may be recorded on a computer-readable recording medium, for example.
  • the recording medium is not particularly limited, and examples thereof include a random access memory (RAM), a read-only memory (ROM), a hard disk (HD), an optical disk, and a floppy (registered trademark) disk (FD).
  • the operation between the two parties can be easily compared. For this reason, for example, it can be said that it is a very useful technique in the field of learning such as know-how.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

本発明は、２者間の動作を簡便に比較可能な、再生システムを提供する。　本発明の再生システム（１０）は、所定の動作に関する、第１対象の動画情報および第２対象の動画情報を含む記憶手段（１１）、 前記第１対象の動画情報と前記第２対象の動画情報とを照合し、時間軸に沿って、同じ動作のタイミングを分析する分析手段（１２１）、 前記第１対象の動画および前記第２対象の動画を、再生する再生手段（１２２）、および、 前記第１対象の動画の再生に対して、前記第２対象の動画の再生を制御する制御手段（１２３）を含み、 制御手段（１２３）は、分析手段（１２１）による前記分析結果に基づいて、前記第２対象の動画における動作が、前記第１対象の動画の再生における動作と連動するように、前記第２対象の動画の再生を制御することを特徴とする。

Description

再生システム、再生方法、プログラム、および記録媒体
　本発明は、再生システム、再生方法、プログラム、および記録媒体に関する。
　２者（例えば、熟練者と初心者）が同じ動作を行った場合でも、両者において動作の効率や動作により得られる結果が異なるのが一般的である。このため、初心者が熟練者の動作を学び、効率や結果を向上させることが望まれる。しかし、実際には、初心者が熟練者の動きのどこにポイントがあるのかを見出すことは困難で、簡単にはまねることができない。
　そこで、２者の動作を対比してポイントを見出すために、２者の動作映像を再生し、動作を比較することが考えられる。
　しかしながら、例えば、熟練者と初心者とでは、同じ動作でも、そもそも、動作の早さや実際の動き方が異なるため、比較が困難である。
　そこで、本発明は、２者の動作を簡便に比較可能な、再生システム、再生方法、プログラム、および記録媒体の提供を目的とする。
　前記目的を達成するために、本発明の再生システムは、
所定の動作に関する、第１対象の動画情報および第２対象の動画情報を含む記憶手段、
前記第１対象の動画情報と前記第２対象の動画情報とを照合し、時間軸に沿って、同じ動作のタイミングを分析する分析手段、
前記第１対象の動画および前記第２対象の動画を、再生する再生手段、および、
前記第１対象の動画の再生に対して、前記第２対象の動画の再生を制御する制御手段を含み、
前記制御手段は、前記分析手段による前記分析結果に基づいて、前記第２対象の動画における動作が、前記第１対象の動画の再生における動作と連動するように、前記第２対象の動画の再生を制御することを特徴とする。
　本発明の再生方法は、
所定の動作に関する、第１対象の動画情報と第２対象の動画情報とを照合し、時間軸に沿って、同じ動作のタイミングを分析する分析工程、
前記第１対象の動画および前記第２対象の動画を、再生する再生工程、および、
前記第１対象の動画の再生に対して、前記第２対象の動画の再生を制御する制御工程を含み、
前記制御工程は、前記分析工程における前記分析結果に基づいて、前記第２対象の動画における動作が、前記第１対象の動画の再生における動作と連動するように、前記第２対象の動画の再生を制御することを特徴とする。
　本発明のプログラムは、前記本発明の再生方法をコンピュータ上で実行可能なことを特徴とする。
　本発明のコンピュータ読み取り可能な記録媒体は、前記本発明のプログラムを記録していることを特徴とする。
　本発明によれば、例えば、通常の同時再生のように、２者間の時間軸を揃えた状態ではなく、動作のタイミングを揃えた状態で２者の動画を再生するため、２者の動作を簡便に比較できる。
図１は、本発明の再生システムの一例（実施形態１）を示すブロック図である。 図２は、本発明の再生方法の一例（実施形態１）を示すフローチャートである。 図３は、第１対象および第２対象の動作における各動作点を示した図である。
　本発明の再生システムにおいて、例えば、前記動画情報は、動作情報と、時間軸における前記動作の実施時間情報とを含む。
　本発明の再生システムにおいて、例えば、前記動作情報は、前記第１対象の動きの軌跡および前記第２対象の動きの軌跡であり、前記分析手段は、前記第１対象の動きの軌跡と前記第２対象の動きの軌跡とを照合し、前記両者の距離が閾値以下となる動作点を抽出し、前記制御手段は、前記第２対象の動画における前記動作点が、前記第１対象の動画の再生における同じ動作点と同じタイミングになるように、前記第２対象の動画の再生を制御する。
　本発明の再生システムにおいて、例えば、前記軌跡は、前記対象における任意の固定点に対する移動点の軌跡である。
　本発明の再生システムにおいて、例えば、前記固定点は、肩関節であり、前記移動点は、手首である。
　本発明の再生システムにおいて、例えば、前記再生手段は、前記第１対象の動画および前記第２対象の動画に、タイムラインをあわせて表示する。
　本発明の再生システムは、例えば、前記再生手段において、前記タイムラインに、前記分析手段で抽出された動作点に対応する符号を表示する。
　本発明の再生方法において、例えば、前記動画情報は、動作情報と、時間軸における前記動作の実施時間情報とを含む。
　本発明の再生方法において、例えば、前記動作情報は、前記第１対象の動きの軌跡および前記第２対象の動きの軌跡であり、前記分析工程において、前記第１対象の動きの軌跡と前記第２対象の動きの軌跡とを照合し、前記両者の距離が閾値以下となる動作点を抽出し、前記制御工程において、前記第２対象の動画における前記動作点が、前記第１対象の動画の再生における同じ動作点と同じタイミングになるように、前記第２対象の動画の再生を制御する。
　本発明の再生方法において、例えば、前記軌跡は、前記対象における任意の固定点に対する移動点の軌跡である。
　本発明の再生方法において、例えば、前記固定点は、肩関節であり、前記移動点は、手首である。
　本発明の再生方法において、例えば、前記再生工程は、前記第１対象の動画および前記第２対象の動画に、タイムラインをあわせて表示する。
　本発明の再生方法は、例えば、前記再生工程において、前記タイムラインに、前記分析工程で抽出した動作点に対応する符号を表示する。
　つぎに、本発明の実施形態について、図を用いて説明する。本発明は、以下の実施形態によって何ら限定および制限されない。以下の図１から図３において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、さらに、組合せ可能である。
［実施形態１］
　実施形態１は、本発明の再生システムおよび再生方法に関する。
　図１に、本実施形態における再生システムのブロック図を示す。図１に示すように、本実施形態の再生システム１０は、記憶手段１１、分析手段１２１、再生手段１２２および制御手段１２３を含む。分析手段１２１、再生手段１２２および制御手段１２３は、例えば、図１に示すように、ハードウェアである処理手段（処理装置）１２に組み込まれてもよく、ソフトウェアまたは前記ソフトウェアが組み込まれたハードウェアでもよい。処理手段１２は、中央演算装置（ＣＰＵ）等を備えてもよい。本実施形態の再生システム１０において、記憶手段１１は、分析手段１２１および再生手段１２２に、分析手段１２１は、再生手段１２２および制御手段１２３に、再生手段１２２は、制御手段１２３に、それぞれ、電気的に接続されている。本実施形態の再生システム１０は、記憶手段１１、分析手段１２１、再生手段１２２および制御手段１２３を一体として含むため、例えば、再生装置ということもできる。
　再生システム１０は、例えば、端末とサーバとを含み、前記端末と前記サーバとは、システム内または外の通信回線網を介して、接続可能であってもよい。この場合、前記端末は、例えば、動画を表示する表示手段を含み、前記サーバは、例えば、分析手段、再生手段、制御手段を含む。
　記憶手段１１は、所定の動作に関する、第１対象の動画情報および第２対象の動画情報を含む。記憶手段１１は、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリー、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。記憶手段１１は、装置内蔵型であってもよいし、外部記憶装置のような外付け型であってもよい。
　本発明において、記憶される動画情報の対象は、少なくとも２つ（前記第１対象および前記第２対象）であるが、２つ以上でもよく、上限は、特に制限されない。前記対象は、例えば、人である。前記少なくとも２つの対象の種類は、特に制限されず、動作を比較する２以上の任意の対象であればよい。前記少なくとも２つの対象としては、例えば、熟練者と初心者、プロとアマチュア、大人と子供、若年層と高年齢層、男性と女性等があげられる。
　前記動画情報は、例えば、動画として再生可能な情報であればよい。「再生」とは、例えば、対象を撮影した動画の再生でもよいし、対象の撮影情報から構築される２次元または３次元のアニメーションの動画の再生でもよい。なお、本発明において、前記動画情報の種類は、例えば、対比させる対象間（すなわち、前記第１対象および前記第２対象）で同じ種類であることが好ましい。
　前記動画情報は、例えば、動作情報と時間情報との組合せであり、具体的には、動作情報と、時間軸における前記動作の実施時間情報とを含む。前記動作情報の種類は、特に制限されず、例えば、２次元または３次元の映像等の動作映像、センサ等により取得した２次元または３次元の動作センサデータ、動作分析表等により分析された動作分析データ等があげられる。また、前記動作情報は、例えば、マイクロソフト社製のＫＩＮＥＣＴ（登録商標）、Ｎｏｉｔｏｍ社製のＰｅｒｃｅｐｔｉｏｎ　Ｎｅｕｒｏｎ等のモーションキャプチャにより得られるデータであってもよい。前記動作の実施時間情報は、例えば、前記対象の動きの開始時を０時間とした場合に、前記対象の各動作が行われた時点の経過時間である。
　前記動作情報は、例えば、前記対象の動きの軌跡等があげられる。前記軌跡は、例えば、前記対象における任意の固定点に対する移動点の軌跡である。具体例として、前記固定点を肩関節、前記移動点を手首とする組合せ、前記固定点を股関節、前記移動点をひざまたは足首とする組合せ、前記移動点を臀部、前記固定点を頸椎または頭とする組合せ等があげられる。
　分析手段１２１は、前記第１対象の動画情報と前記第２対象の動画情報とを照合し、時間軸に沿って、同じ動作のタイミングを分析する。２つ以上の対象の動画情報を同時に再生する場合、通常は、時間軸を揃えて再生がなされる。これに対して、本発明では、時間軸を揃えるのではなく、例えば、動作のタイミングをあわせて再生を行う。このため、分析手段１２１においては、前記第１対象と前記第２対象とについて、同じ動作のタイミングが分析される。また、同じ動作のタイミングを分析することから、分析手段１２１は、同じ動作について、例えば、前記第１対象の実施時間情報と前記第２対象の実施時間情報との比較、つまり、同じ動作のズレを分析することもできる。分析手段１２１は、例えば、前記ＣＰＵ等があげられる。
　前記動作情報が、前述のように前記動きの軌跡の場合、分析手段１２１は、例えば、前記第１対象の動きの軌跡と前記第２対象の動きの軌跡とを照合し、前記両者の距離が閾値以下となる動作点を抽出してもよい。前記対象間の軌跡を照合した場合に、例えば、両者の距離が相対的に小さい動作点は、両者が同じような動作を行っていることを意味し、両者の距離が相対的に大きい動作点は、両者が異なる動作を行っていることを意味する。したがって、前記両者の距離に関して、例えば、同じような動作を行っていると判断できる閾値を設定し、前記閾値以下となる動作点を抽出することで、同じ動作についての両者のタイミングのずれを分析できる。前記閾値は、特に制限されず、任意に設定でき、例えば、同じ動作が厳密に同じタイミングであることを分析する場合は、相対的に低い値に設定し、同じ動作が大まかに同じタイミングであることを分析する場合は、相対的に高い値に設定することができる。これにより、後述する制御手段１２３においては、前記第１対象と前記第２対象とについて、同じ動作点を同じタイミングとなるように再生を制御することができる。
　再生手段１２２は、前記第１対象の動画および前記第２対象の動画を、再生する。再生手段１２２は、例えば、前記ＣＰＵ等があげられる。前記再生手段による動画の再生は、例えば、動画が表示される表示手段に対して行われる。前記表示手段は、例えば、テレビ、パーソナルコンピュータ（ＰＣ）、タブレット、スマートフォン等があげられる。前記表示手段において、前記第１対象の動画と前記第２対象の動画の表示形態は、特に制限されず、例えば、それぞれ別個の画面に表示されてもよいし、同じ画面を分割して両者が表示されてもよい。後者の場合、例えば、各対象を同じ大きさで表示してもよいし、主となる対象を大きく表示し、他の対象を小さく表示してもよい。
　制御手段１２３は、前記第１対象の動画の再生に対して、前記第２対象の動画の再生を制御し、分析手段１２１による前記分析結果に基づいて、前記第２対象の動画における動作が、前記第１対象の動画の再生における動作と連動するように、前記第２対象の動画の再生を制御する。制御手段１２３は、例えば、前記ＣＰＵ等があげられる。
　分析手段１２１において、前述のように、軌跡の照合を行い、閾値以下となる動作点を抽出した場合、制御手段１２３は、前記第２対象の動画における前記動作点が、前記第１対象の動画の再生における同じ動作点と同じタイミングになるように、前記第２対象の動画の再生を制御することができる。前述のように、分析手段１２１において、同じ動作を行っている動作点を分析しているため、この動作点が両者において揃うように動画を再生すれば、同じ動作について、同じタイミングでの再生が可能となり、両者の比較が容易になる。
　本発明において、例えば、分析手段１２１および再生手段１２２は、別々に実行してもよいし、同時に実行してもよい。また、本発明において、再生手段１２２と制御手段１２３は、例えば、同時に実行できる。
　つぎに、図２に、本実施形態における再生方法のフローチャートを示す。本実施形態の再生方法は、例えば、図１の再生システム１０を用いて、つぎのように実施する。図２に示すように、本実施形態の再生方法は、分析工程（ステップＳ１２１）、再生工程（ステップＳ１２２）および制御工程（ステップＳ１２３）を含む。
　まず、分析工程（ステップＳ１２１）に先立ち、前記第１対象の動画情報および前記第２対象の動画情報を準備する。
（１）分析工程（ステップＳ１２１）
　分析工程（ステップＳ１２１）では、前記第１対象の動画情報と前記第２対象の動画情報とを照合し、時間軸に沿って、同じ動作のタイミングを分析する。
（２）再生工程（ステップＳ１２２）
　再生工程（ステップＳ１２２）では、前記第１対象の動画および前記第２対象の動画を、再生する。
　なお、分析工程（ステップＳ１２１）および再生工程（ステップＳ１２２）は、この順で行ってもよいが、同時に行ってもよい。
（３）制御工程（ステップＳ１２３）
　制御工程（ステップＳ１２３）では、前記第１対象の動画の再生に対して、前記第２対象の動画の再生を制御し、分析工程（ステップＳ１２１）における前記分析結果に基づいて、前記第２対象の動画における動作が、前記第１対象の動画の再生における動作と連動するように、前記第２対象の動画の再生を制御する。
　本実施形態の再生システムおよび再生方法では、前記第２対象の動画における動作が、前記第１対象の動画の再生における動作と連動するように、前記第２対象の動画の再生を制御することができる。このため、ユーザは、例えば、２者（例えば、熟練者と初心者）の動作を簡便に比較、両者の動作の相違点等を容易に把握できる。その結果、例えば、より良い動作への修正が、より簡便に行えるようになる。なお、これらの効果については、後述の実施形態においても同様である。
　再生手段１２２は、例えば、前記第１対象の動画および前記第２対象の動画に、タイムラインをあわせて表示してもよい。これにより、例えば、各対象のそれぞれの動作が、開始からどのタイミングで行われているかを容易に把握できる。本発明は、同じ時間軸で各対象の動画を再生するのではなく、動作のタイミングを揃えて動画を再生するため、このようにタイムラインをあわせて表示することで、動作のタイミングのずれを、より容易に把握できる。また、再生手段１２２において、前記タイムラインに、例えば、分析手段１２１で抽出された動作点に対応する符号（例えば、各動作を示す数字、アルファベット等）を表示してもよい。これにより、ユーザは、例えば、２者（例えば、熟練者と初心者）の動作の時間的なずれを容易に把握できる。
　以下、本発明について、動作をボールの投球とし、前記固定点を肩関節とし、前記移動点を手首とする組合せを例にあげて、図３を用いて、動画再生の制御を具体的に説明する。なお、以下の形態は、一例であって、本発明は、この例には制限されない。
　野球ボールを投げる場合、前記移動点である手首は、例えば、前記固定点である肩関節に対して近い位置（ひじを曲げた状態）から、前記肩関節に対して遠い位置（ひじを伸ばした状態）に移動し、再度、前記肩関節に対して近い位置（ひじを曲げた状態）に戻る軌跡を描く。
　まず、第１対象と第２対象について、投球動作の動画情報を取得する。そして、つぎに、前記第１対象の動きの軌跡と前記第２対象の動きの軌跡とを照合し、前記両者の距離が閾値以下となる動作点を抽出する。
　投球動作の場合、例えば、図３に示すように、照合により、動作点Ａ、ＢおよびＣが抽出される。動作点Ａは、ひじを曲げた状態であり、動作点Ｂは、ひじを伸ばした状態であり、動作点Ｃは、ひじを曲げて元に戻した状態である。図３において、下の右向きの矢印は、時間軸を示し、ｔＡ１、ｔＢ１、ｔＣ１は、それぞれ、第１対象の動作点Ａ～Ｃの実施時間であり、ｔＡ２、ｔＢ２、ｔＣ２は、それぞれ、第２対象の動作点Ａ～Ｃの実施時間である。図３に示すように、両者の動作点Ａ（ひじを曲げた状態）の実施時間（ｔＡ１、ｔＡ２）は、同じであり、ずれは生じていない。このため、両者の動画は、再生を時間軸にそって同時に進めていく。しかし、つぎの動作点Ｂ（ひじを伸ばした状態）は、第１対象の実施時間（ｔＢ１）よりも第２対象の実施時間（ｔＢ２）の方が早くなっており、動作にずれが生じている。そこで、第２対象の動画の再生が、動作点Ｂに達した段階で、第２対象の動画の再生は、一時停止とし、第１対象の動画の再生のみを続ける。そして、第１対象の動画の再生が、動作点Ｂに達した段階で、第２対象の動画の再生を開始する。つぎに、動作点Ｃ（ひじを曲げて元に戻した状態）は、第１対象の実施時間（ｔＣ１）よりも、第２対象の実施時間（ｔｃ２）の方が遅くなっており、動作にずれが生じている。そこで、第１対象の動画の再生が、動作点Ｃに達した段階で、第１対象の動画の再生は、一時停止とし、第２対象の動画の再生のみを続ける。そして、第２対象の動画の再生が、動作点Ｃに達した段階で、第１対象の動画の再生を開始し、同時に終了まで行う。
　このような再生方法によれば、例えば、前記第１対象が熟練者であり、前記第２対象が初心者の場合、動作点Ｂの動作を、初心者（前記第２対象）は、熟練者（前記第１対象）よりも早いタイミングで行っていることがわかるため、この情報に基づいて、動作点Ｂの動作をもう少し遅いタイミングで行うべきであると、初心者が客観的に理解することができる。また、動作点Ｃの動作を、初心者（前記第２対象）は、熟練者（前記第１対象）よりも遅いタイミングで行っていることがわかるため、この情報に基づいて、動作点Ｃの動作をもう少し早いタイミングで行うべきであると、初心者が客観的に理解することができる。
　また、動画再生の際、前記第１対象と前記第２対象の動画再生に加えて、両者の各動作の実施時間（ｔＡ１、ｔＢ１、ｔＣ１、ｔＡ２、ｔＢ２、ｔＣ２）をタイムラインとして表示したり、動作点Ａ～Ｃの動作が再生される際に、例えば、動作に対応して、「Ａ」、「Ｂ」および「Ｃ」という符号を、タイムラインに表示することで、動作の種類およびタイミングのずれをより理解しやすくなる。
　なお、前記固定点と前記移動点とは、前記肩関節と前記手首との組み合わせに限定されるものではなく、再生する動作等に応じて、例えば、股関節と足首の組み合わせ等、任意に決定できる。
［実施形態２］
　本実施形態のプログラムは、前述の再生方法を、コンピュータ上で実行可能なプログラムである。本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。
　以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
　この出願は、２０１６年６月２８日に出願された日本出願特願２０１６－１２８１７８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明によれば、２者間の動作を簡便に比較可能である。このため、例えば、ノウハウ等の学習等の分野において、極めて有用な技術といえる。
１０　　　　　　　再生システム
１１　　　　　　　記憶手段
１２　　　　　　　処理手段
１２１　　　　　　分析手段
１２２　　　　　　再生手段
１２３　　　　　　制御手段

 

Claims (16)

  1. 所定の動作に関する、第１対象の動画情報および第２対象の動画情報を含む記憶手段、
    前記第１対象の動画情報と前記第２対象の動画情報とを照合し、時間軸に沿って、同じ動作のタイミングを分析する分析手段、
    前記第１対象の動画および前記第２対象の動画を、再生する再生手段、および、
    前記第１対象の動画の再生に対して、前記第２対象の動画の再生を制御する制御手段を含み、
    前記制御手段は、前記分析手段による前記分析結果に基づいて、前記第２対象の動画における動作が、前記第１対象の動画の再生における動作と連動するように、前記第２対象の動画の再生を制御することを特徴とする、再生システム。
  2. 前記動画情報が、動作情報と、時間軸における前記動作の実施時間情報とを含む、請求項１記載の再生システム。
  3. 前記動作情報が、前記第１対象の動きの軌跡および前記第２対象の動きの軌跡であり、
    前記分析手段は、前記第１対象の動きの軌跡と前記第２対象の動きの軌跡とを照合し、前記両者の距離が閾値以下となる動作点を抽出し、
    前記制御手段は、前記第２対象の動画における前記動作点が、前記第１対象の動画の再生における同じ動作点と同じタイミングになるように、前記第２対象の動画の再生を制御する、請求項１または２記載の再生システム。
  4. 前記軌跡が、前記対象における任意の固定点に対する移動点の軌跡である、請求項３記載の再生システム。
  5. 前記固定点が、肩関節であり、前記移動点が、手首である、請求項４記載の再生システム。
  6. 前記再生手段は、前記第１対象の動画および前記第２対象の動画に、タイムラインをあわせて表示する、請求項１から５のいずれか一項に記載の再生システム。
  7. 前記再生手段において、前記タイムラインに、前記分析手段で抽出された動作点に対応する符号を表示する、請求項６記載の再生システム。
  8. 所定の動作に関する、第１対象の動画情報と第２対象の動画情報とを照合し、時間軸に沿って、同じ動作のタイミングを分析する分析工程、
    前記第１対象の動画および前記第２対象の動画を、再生する再生工程、および、
    前記第１対象の動画の再生に対して、前記第２対象の動画の再生を制御する制御工程を含み、
    前記制御工程は、前記分析工程における前記分析結果に基づいて、前記第２対象の動画における動作が、前記第１対象の動画の再生における動作と連動するように、前記第２対象の動画の再生を制御することを特徴とする、再生方法。
  9. 前記動画情報が、動作情報と、時間軸における前記動作の実施時間情報とを含む、請求項８記載の再生方法。
  10. 前記動作情報が、前記第１対象の動きの軌跡および前記第２対象の動きの軌跡であり、
    前記分析工程において、前記第１対象の動きの軌跡と前記第２対象の動きの軌跡とを照合し、前記両者の距離が閾値以下となる動作点を抽出し、
    前記制御工程において、前記第２対象の動画における前記動作点が、前記第１対象の動画の再生における同じ動作点と同じタイミングになるように、前記第２対象の動画の再生を制御する、請求項８または９記載の再生方法。
  11. 前記軌跡が、前記対象における任意の固定点に対する移動点の軌跡である、請求項１０記載の再生方法。
  12. 前記固定点が、肩関節であり、前記移動点が、手首である、請求項１１記載の再生方法。
  13. 前記再生工程は、前記第１対象の動画および前記第２対象の動画に、タイムラインをあわせて表示する、請求項８から１２のいずれか一項に記載の再生方法。
  14. 前記再生工程において、前記タイムラインに、前記分析工程で抽出した動作点に対応する符号を表示する、請求項１３記載の再生方法。
  15. 請求項８から１４のいずれか一項に記載の再生方法をコンピュータ上で実行可能なことを特徴とする、プログラム。
  16. 請求項１５記載のプログラムを記録していることを特徴とする、コンピュータ読み取り可能な記録媒体。

     
PCT/JP2016/089169 2016-06-28 2016-12-28 再生システム、再生方法、プログラム、および記録媒体 WO2018003147A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018524868A JP6947407B2 (ja) 2016-06-28 2016-12-28 再生システム、再生方法、プログラム、および記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016128178 2016-06-28
JP2016-128178 2016-06-28

Publications (1)

Publication Number Publication Date
WO2018003147A1 true WO2018003147A1 (ja) 2018-01-04

Family

ID=60785452

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/089169 WO2018003147A1 (ja) 2016-06-28 2016-12-28 再生システム、再生方法、プログラム、および記録媒体

Country Status (2)

Country Link
JP (1) JP6947407B2 (ja)
WO (1) WO2018003147A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022170303A (ja) * 2021-04-28 2022-11-10 高木 りか 姿勢評価システム、姿勢評価プログラム、姿勢評価方法、及び姿勢評価装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6514081B1 (en) * 1999-08-06 2003-02-04 Jeffrey L. Mengoli Method and apparatus for automating motion analysis
JP2003117045A (ja) * 2001-10-18 2003-04-22 Takasago Electric Ind Co Ltd スイングフォーム診断装置
JP2011155477A (ja) * 2010-01-27 2011-08-11 Canon Inc 映像処理装置、映像処理方法及びプログラム
JP2012213020A (ja) * 2011-03-31 2012-11-01 Casio Comput Co Ltd 画像処理装置及びプログラム
JP2014064109A (ja) * 2012-09-20 2014-04-10 Casio Comput Co Ltd 再生制御装置、再生制御方法及びプログラム
JP2014183560A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2014186167A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 表示制御装置、表示制御方法及びプログラム
JP2014225772A (ja) * 2013-05-16 2014-12-04 カシオ計算機株式会社 動画再生装置、動画再生方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5413616B2 (ja) * 2011-03-18 2014-02-12 カシオ計算機株式会社 再生制御装置、画像同期システム、再生制御方法及びプログラム
JP2014164644A (ja) * 2013-02-27 2014-09-08 Nikon Corp 信号処理装置、表示装置、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6514081B1 (en) * 1999-08-06 2003-02-04 Jeffrey L. Mengoli Method and apparatus for automating motion analysis
JP2003117045A (ja) * 2001-10-18 2003-04-22 Takasago Electric Ind Co Ltd スイングフォーム診断装置
JP2011155477A (ja) * 2010-01-27 2011-08-11 Canon Inc 映像処理装置、映像処理方法及びプログラム
JP2012213020A (ja) * 2011-03-31 2012-11-01 Casio Comput Co Ltd 画像処理装置及びプログラム
JP2014064109A (ja) * 2012-09-20 2014-04-10 Casio Comput Co Ltd 再生制御装置、再生制御方法及びプログラム
JP2014183560A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2014186167A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 表示制御装置、表示制御方法及びプログラム
JP2014225772A (ja) * 2013-05-16 2014-12-04 カシオ計算機株式会社 動画再生装置、動画再生方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022170303A (ja) * 2021-04-28 2022-11-10 高木 りか 姿勢評価システム、姿勢評価プログラム、姿勢評価方法、及び姿勢評価装置

Also Published As

Publication number Publication date
JPWO2018003147A1 (ja) 2019-04-11
JP6947407B2 (ja) 2021-10-13

Similar Documents

Publication Publication Date Title
JP7362806B2 (ja) 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム
RU2530708C2 (ru) Связывание анимаций
US9298263B2 (en) Show body position
Bloom et al. G3D: A gaming action dataset and real time action recognition evaluation framework
US11701586B2 (en) Drama engine for dramatizing video gaming
KR101855639B1 (ko) 프리젠테이션을 위한 카메라 탐색
CN102448561B (zh) 姿势教练
US9069381B2 (en) Interacting with a computer based application
CN102331840B (zh) 基于回环运动的用户选择和导航
US20160314620A1 (en) Virtual reality sports training systems and methods
US10811055B1 (en) Method and system for real time synchronization of video playback with user motion
US10885691B1 (en) Multiple character motion capture
TW201203089A (en) User tracking feedback
CN102184020A (zh) 用于操纵用户界面的姿势和姿势修改
CN102222431A (zh) 基于机器的手语翻译器
WO2018003147A1 (ja) 再生システム、再生方法、プログラム、および記録媒体
CN116017082A (zh) 一种信息处理方法和电子设备
CN117716398A (zh) 将实况嵌入式跟踪数据用于实况体育视频流内的方法和系统
US20130321464A1 (en) Apparatus and method of augmenting video
Bernardes Jr et al. Design and implementation of a flexible hand gesture command interface for games based on computer vision
CN110996149A (zh) 一种信息处理方法、装置和系统
US20190339771A1 (en) Method, System and Apparatus For Brainwave and View Based Recommendations and Story Telling
KR20230082702A (ko) 연속된 움직임이 포함된 원본영상과 시퀀스별로 구분되는 적어도 하나 이상의 정지영상을 포함하는 고스트영상을 비교하는 장치 및 방법
CN117950491A (zh) 元宇宙影音系统、控制方法、电子设备及存储介质
Bloom Multiple Action Recognition for Video Games (MARViG)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16907378

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018524868

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16907378

Country of ref document: EP

Kind code of ref document: A1