JP6677319B2 - Sports motion analysis support system, method and program - Google Patents

Sports motion analysis support system, method and program Download PDF

Info

Publication number
JP6677319B2
JP6677319B2 JP2018558560A JP2018558560A JP6677319B2 JP 6677319 B2 JP6677319 B2 JP 6677319B2 JP 2018558560 A JP2018558560 A JP 2018558560A JP 2018558560 A JP2018558560 A JP 2018558560A JP 6677319 B2 JP6677319 B2 JP 6677319B2
Authority
JP
Japan
Prior art keywords
time
model
data
image data
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018558560A
Other languages
Japanese (ja)
Other versions
JPWO2018122956A1 (en
Inventor
洋介 本橋
洋介 本橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018122956A1 publication Critical patent/JPWO2018122956A1/en
Application granted granted Critical
Publication of JP6677319B2 publication Critical patent/JP6677319B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Description

本発明は、スポーツにおける動作解析を支援するスポーツ動作解析支援システム、スポーツ動作解析支援方法およびスポーツ動作解析支援プログラムに関する。   The present invention relates to a sports motion analysis support system, a sports motion analysis support method, and a sports motion analysis support program that support motion analysis in sports.

スポーツにおける動作の解析に利用可能な技術として、モーションキャプチャが知られている。   Motion capture is known as a technique that can be used for analyzing motion in sports.

また、スポーツをしている人を撮像して得られた動画に基づいて、身体の特定の部位(例えば、足首)等の軌跡を表示するアプリケーションソフトウェアが存在する。また、手本となるフォームと、スポーツをしている人のフォームとの差を表示するアプリケーションソフトウェアが存在する。   In addition, there is application software that displays a trajectory of a specific part of a body (for example, an ankle) based on a moving image obtained by imaging a person playing sports. In addition, there is application software that displays a difference between a model form and a sports form.

また、特許文献1には、画像のフレーム差分の測定値から、ルールベースモデルを使用して、ゴルフのスウィング段階および主要な位置を特定することが記載されている。さらに特許文献1には、この場合に、隠れマルコフモデル、状態空間モデル、有限状態マシン、回帰法、サポートベクトルマシン、ニューラルネットワークおよびファジー理論等が使用されてもよいことが記載されている。   Patent Document 1 describes that a swing stage and a main position of golf are specified from a measured value of a frame difference of an image using a rule-based model. Further, Patent Document 1 describes that in this case, a hidden Markov model, a state space model, a finite state machine, a regression method, a support vector machine, a neural network, a fuzzy theory, or the like may be used.

また、特許文献2には、10試行の動作画像データを収集し、そのうちの5試行を学習用データとして使用し隠れマルコフモデルのパラメータを推定し、残りの5試行をテストデータとして認識実験を行ったことが記載されている。そして、特許文献2には、比較的低周波成分の離散コサイン変換係数が人物動作の画像認識のための特徴量として有効であることが分かったと記載されている。   In Patent Document 2, motion image data of 10 trials is collected, five trials are used as learning data, parameters of a hidden Markov model are estimated, and a recognition experiment is performed using the remaining five trials as test data. Is described. Patent Literature 2 describes that it has been found that a discrete cosine transform coefficient of a relatively low frequency component is effective as a feature amount for image recognition of a human motion.

特表2014−521139号公報JP 2014-521139 A 特開平10−013832号公報JP-A-10-013832

上記の種々のアプリケーションソフトウェアによって、スポーツをする人は、自分や他人のフォームを解析することができる。   With the various application software described above, a sporter can analyze his or her own form.

ここで、フォームと、そのフォームを含む動作の結果とが、完全に対応しているとは限らない。例えば、ある人のフォームがよくても、その人のコンディションがよくなかったために、よい成績が出なかったということが生じ得る。また、例えば、ある人のフォームがよくても、雨や風等の外的要因により、よい成績が出なかったということが生じ得る。   Here, the form and the result of the operation including the form do not always correspond completely. For example, even if a person's form is good, the condition may not be good and the person may not have performed well. Also, for example, even if a person's form is good, it may happen that good results are not obtained due to external factors such as rain and wind.

しかし、統計的には、このようなフォームであればよい成績が出やすいという傾向や、このようなフォームであればボールが特定の方向に飛びやすい等といった傾向は存在する。   However, statistically, there is a tendency that a good result is easily obtained with such a form, and a tendency that a ball is likely to fly in a specific direction with such a form.

また、人が動作を行っている時間の中のある時間帯のフォームが、結果に対して大きな影響を与える重要なフォームであると言えると、本願発明の発明者は考えた。   In addition, the inventor of the present invention considered that a form in a certain time period during which a person is performing an operation is an important form that has a great influence on the result.

なお、結果の例として、スポーツの成績を示す数値が挙げられる。成績を示す数値以外の結果の例として、事象が挙げられる。事象の具体例として、例えば、サッカーのPK(penalty kick)後にボールがどちらの方向に飛んだかという事項のような、スポーツで用いる用具の動きに関する事項等が挙げられる。   It should be noted that an example of the result is a numerical value indicating a performance of a sport. An example of a result other than the numerical value indicating the performance is an event. Specific examples of the event include, for example, items relating to the movement of equipment used in sports, such as items in which direction the ball flew after penalty kick (PK) in soccer.

本発明は、スポーツにおける一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯を把握できるようにユーザを支援することができるスポーツ動作解析支援システム、スポーツ動作解析支援方法およびスポーツ動作解析支援プログラムを提供することを目的とする。   The present invention provides a sports motion analysis support system and a sports motion analysis support method capable of supporting a user to grasp a time zone in which a form has a great effect on a result among times when a series of motions in a sport are performed. And a sports motion analysis support program.

本発明によるスポーツ動作解析支援システムは、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習部と、モデルを用いて予測された結果の予測精度を、時間区分毎に算出する評価部とを備えることを特徴とする。   A sports motion analysis support system according to the present invention includes a data storage unit that stores a plurality of data in which image data of a moving image representing a series of motions in a sport and the results of the motions are associated with each other. A learning unit that learns a model representing a relationship between an operation in the time section and a result corresponding to the operation for each of a plurality of time sections determined based on the time point representing the action, An evaluation unit that calculates the prediction accuracy of the predicted result for each time section.

また、本発明によるスポーツ動作解析支援システムは、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習部と、モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する特定部とを備えることを特徴とする。   Further, the sports motion analysis support system according to the present invention uses a data storage unit that stores a plurality of data in which image data of a moving image representing a series of motions in a sport and a result of the motion are associated with each other, A learning unit that learns a model representing a relationship between an operation in a time section and a result corresponding to the operation for each of a plurality of time sections determined based on a time point representing a predetermined operation; And a specifying unit that specifies a time zone capable of specifying a time zone in which the degree of improvement in the prediction accuracy of the result predicted by using the time zone is large.

また、本発明によるスポーツ動作解析支援方法は、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習し、モデルを用いて予測された結果の予測精度を、時間区分毎に算出することを特徴とする。   Further, the sports motion analysis support method according to the present invention includes a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of motions in a sport and the results of the motions are associated with each other. Using, for each of a plurality of time segments determined based on the time point representing a predetermined operation, learning a model representing the relationship between the operation in the time segment and the result corresponding to the operation, learning the model It is characterized in that the prediction accuracy of the result predicted by using the above is calculated for each time section.

また、本発明によるスポーツ動作解析支援方法は、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習し、モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定することを特徴とする。   Further, the sports motion analysis support method according to the present invention includes a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of motions in a sport and the results of the motions are associated with each other. Using, for each of a plurality of time segments determined based on the time point representing a predetermined operation, learning a model representing the relationship between the operation in the time segment and the result corresponding to the operation, learning the model It is characterized in that a time section in which a time zone in which the degree of improvement in the prediction accuracy of a result predicted using the prediction result is large is specified is specified.

また、本発明によるスポーツ動作解析支援プログラムは、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、コンピュータに、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習処理、および、モデルを用いて予測された結果の予測精度を、時間区分毎に算出する評価処理を実行させることを特徴とする。   Further, the sports operation analysis support program according to the present invention is a sports operation analysis program installed in a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of operations in sports are associated with the results of the operations. An analysis support program that, for a computer, uses a plurality of data to correspond to an operation in a time section and the operation in each of a plurality of time sections defined based on a time point representing a predetermined operation. A learning process for learning a model representing a relationship with a result to be performed, and an evaluation process for calculating prediction accuracy of a result predicted by using the model for each time section.

また、本発明によるスポーツ動作解析支援プログラムは、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、コンピュータに、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習処理、および、モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する特定処理を実行させることを特徴とする。   Further, the sports operation analysis support program according to the present invention is a sports operation analysis program installed in a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of operations in sports are associated with the results of the operations. An analysis support program that, for a computer, uses a plurality of data to correspond to an operation in a time section and the operation in each of a plurality of time sections defined based on a time point representing a predetermined operation. To perform a learning process of learning a model representing a relationship with a result to be performed, and a specifying process of specifying a time zone capable of specifying a time zone in which a degree of improvement in prediction accuracy of a result predicted using the model is large. It is characterized by.

本発明によれば、スポーツにおける一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯を把握できるようにユーザを支援することができる。   ADVANTAGE OF THE INVENTION According to this invention, a user can be assisted so that the time zone which a form has a big influence on a result among the time which performs a series of operation | movements in a sport can be grasped.

本発明の第1の実施形態のスポーツ動作解析支援システムの例を示すブロック図である。1 is a block diagram illustrating an example of a sports motion analysis support system according to a first embodiment of the present invention. 走り幅跳びを行う選手の一連の動作を示す模式図である。It is a schematic diagram which shows a series of operation | movement of the player who performs long jump. 複数の時間区分の例を示す模式図である。It is a schematic diagram which shows the example of a some time division. 各画像データにおける時間区分毎に得られた静止画の集合の識別情報を示す説明図である。FIG. 9 is an explanatory diagram showing identification information of a set of still images obtained for each time section in each image data. 表示部が表示するグラフの例を示す説明図である。FIG. 4 is an explanatory diagram illustrating an example of a graph displayed by a display unit. 本発明の第1の実施形態の処理経過の例を示すフローチャートである。6 is a flowchart illustrating an example of processing progress according to the first exemplary embodiment of the present invention. 本発明の第2の実施形態の処理経過の例を示すフローチャートである。It is a flowchart which shows the example of a process progress of 2nd Embodiment of this invention. ステップS12における時間区分の表示態様の例を示す説明図である。FIG. 9 is an explanatory diagram illustrating an example of a display mode of a time section in step S12. 第2の実施形態の一つの変形例を示すブロック図である。It is a block diagram showing one modification of a 2nd embodiment. 表示部が表示する画面の例を示す模式図である。It is a schematic diagram which shows the example of the screen which a display part displays. データ取得部を備える場合の構成例を示すブロック図である。FIG. 4 is a block diagram illustrating a configuration example when a data acquisition unit is provided. 本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。FIG. 3 is a schematic block diagram illustrating a configuration example of a computer according to each embodiment of the present invention. 本発明の概要を示すブロック図である。It is a block diagram showing the outline of the present invention. 本発明の概要を示す他のブロック図である。It is another block diagram which shows the outline | summary of this invention.

以下、スポーツとして、走り幅跳びを例にして説明する。ただし、本発明は、走り幅跳び以外のスポーツにも適用可能である。また、以下の説明では、走り幅跳びの動作の結果が、成績(本例では、跳躍距離)である場合を例にして説明する。この例では、結果は数値で表される。   Hereinafter, a long jump is described as an example of sports. However, the present invention is also applicable to sports other than long jump. In the following description, an example will be described in which the result of the long jump operation is a result (jump distance in this example). In this example, the result is represented numerically.

ただし、前述のように、スポーツにおける動作の結果は、ボールがどちらの方向に飛んだか等のような事象であってもよい。動作の結果が事象である場合を本発明に適用する際には、結果を事象の内容に応じた値(例えば、“0”と“1”の二値等)で表す。動作の結果が事象である場合については、後述する。   However, as described above, the result of the action in the sport may be an event such as in which direction the ball flew. When the case where the result of the operation is an event is applied to the present invention, the result is represented by a value (for example, a binary value of “0” and “1”) according to the content of the event. The case where the result of the operation is an event will be described later.

実施形態1.
図1は、本発明の第1の実施形態のスポーツ動作解析支援システムの例を示すブロック図である。本発明の第1の実施形態のスポーツ動作解析支援システム1は、データ記憶部2と、時間区分画像抽出部3と、学習部4と、予測部5と、評価部6と、表示部7とを備える。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing an example of a sports motion analysis support system according to the first embodiment of the present invention. The sports motion analysis support system 1 according to the first embodiment of the present invention includes a data storage unit 2, a time-segmented image extraction unit 3, a learning unit 4, a prediction unit 5, an evaluation unit 6, a display unit 7, Is provided.

データ記憶部2は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶する記憶装置である。本例では、各データにおいて、走り幅跳びを行う人の一連の動作を表す動画の画像データと、その動作の結果として得られた成績(跳躍距離)とが対応付けられている。データ記憶部2は、そのようなデータを複数記憶する。   The data storage unit 2 is a storage device that stores a plurality of data in which image data of a moving image representing a series of operations in a sport and results of the operations are associated with each other. In this example, in each data, moving image data representing a series of motions of a person performing a long jump and a result (jump distance) obtained as a result of the motion are associated with each other. The data storage unit 2 stores a plurality of such data.

画像データと成績との対応付けの態様は、特に限定されない。例えば、成績が画像データとは別のデータとして存在し、画像データと成績とが対応付けられていてもよい。また、例えば、画像データの動画に成績が内包される態様(換言すれば、成績が動画上に表される態様)で、画像データと成績とが対応付けられていてもよい。この点は、後述の実施形態でも同様である。   The manner of associating the image data with the results is not particularly limited. For example, the result may exist as data different from the image data, and the image data and the result may be associated with each other. Further, for example, the image data and the result may be associated with each other in such a manner that the result is included in the moving image of the image data (in other words, the result is displayed on the moving image). This is the same in the embodiment described later.

図2は、走り幅跳びを行う人(以下、選手と記す。)の一連の動作を示す模式図である。なお、図2では、図面を簡単にするために、例えば、助走しているときの選手の姿勢として、同一の姿勢を図示しているが、実際の選手は、手足等を動かしながら、一連の動作を行う。この点は、図3に示す模式図に関しても同様である。選手は、助走をして、踏切板11で跳躍し、その後、着地する。この一連の動作をビデオカメラで撮像することによって、一連の動作を表す動画の画像データを得ることができる。そして、その画像データと、その時の成績とを対応付けたデータが1つのデータとなる。データ記憶部2は、予め、そのようなデータを複数記憶する。   FIG. 2 is a schematic diagram showing a series of actions of a person performing a long jump (hereinafter, referred to as a player). In FIG. 2, for simplicity of the drawing, for example, the same posture is shown as the posture of the athlete during the run, but the actual athlete performs a series of operations while moving his limbs and the like. Perform the operation. This is the same for the schematic diagram shown in FIG. The athlete makes a run, jumps at the crossing board 11, and then lands. By capturing the series of operations with a video camera, moving image data representing the series of operations can be obtained. Then, data associating the image data with the result at that time becomes one data. The data storage unit 2 stores a plurality of such data in advance.

なお、特定の選手を対象にして解析を行う場合には、その特定の選手の練習時や競技時に撮像を行って得られた動画の画像データとその時の成績とを対応付けたデータを、データ記憶部2に複数、記憶させておけばよい。以下、データ記憶部2が、特定の選手に関するデータを複数記憶している場合を例にして説明する。また、この特定の選手は、本発明のスポーツ動作解析支援システム1を利用する選手自身、または、スポーツ動作解析支援システム1を利用するコーチ等によって指導される選手であってもよい。あるいは、上記の特定の選手は、本発明のスポーツ動作解析支援システム1を利用するユーザにとって、競争相手となる選手であってもよい。この点は、後述の他の実施形態においても同様である。   When performing analysis for a specific player, data that associates the image data of a moving image obtained by imaging during the practice or competition of the specific player with the performance at that time is used as the data. What is necessary is just to store a plurality of them in the storage unit 2. Hereinafter, a case where the data storage unit 2 stores a plurality of pieces of data relating to a specific player will be described as an example. The specific player may be a player who uses the sports motion analysis support system 1 of the present invention, or a player who is instructed by a coach or the like who uses the sports motion analysis support system 1. Alternatively, the above-mentioned specific player may be a competitor for a user using the sports motion analysis support system 1 of the present invention. This is the same in other embodiments described later.

動画は、選手の一連の動作を表しているので、その動画は、その選手の各時点でのフォームも表している。   Since the animation represents a series of actions of the player, the animation also represents the form of the player at each point in time.

ここで、本発明における時間区分について説明する。本発明における時間区分は、動画が選手の特定の動作を表している時点を基準として定められた時間の区分である。走り幅跳びの例では、動画が踏切動作を表している時点を基準とし、この基準の時刻を0とする。また、基準(時刻0)よりも前の時刻を負で表し、基準よりも後の時刻を正で表すこととする。時間区分は、動画が踏切動作を表している時点を基準の時刻を0として、開始時刻および終了時刻を定めることによって、定めることができる。また、時間区分は、予め複数定められている。また、時間区分の長さはそれぞれ異なっていてもよく、また、複数の時間区分が、共通の時間帯を含んでいてもよい。   Here, the time division in the present invention will be described. The time section in the present invention is a time section determined based on the time point at which the moving image represents a specific action of the player. In the example of the long jump, the time at which the moving image represents the level crossing operation is set as a reference, and the reference time is set to 0. Also, a time before the reference (time 0) is represented by a negative value, and a time after the reference is represented by a positive value. The time section can be determined by defining the start time and the end time with the time at which the moving image represents the level crossing operation as 0 as a reference time. Also, a plurality of time sections are determined in advance. Further, the lengths of the time sections may be different from each other, and a plurality of time sections may include a common time zone.

図3は、複数の時間区分の例を示す模式図である。図3に示す例では、複数の時間区分a〜gを示している。図3に例示する“a”〜“g”は、時間区分の識別情報である。図3に示す例では、時間区分aは、時刻“−2.5”から時刻“−2.0”までの範囲である(図3参照)。また、時間区分bは、時刻“−2.5”から時刻“−1.5”までの範囲である(図3参照)。他の時間区分c,d,e,・・・も同様に、開始時刻および終了時刻が定められている。また、図3に示す例では、各時間区分の開始時刻をいずれも“−2.5”としているが、各時間区分の開始時刻“−2.5”は例示である。各時間区分の開始時刻は、“−2.5”より早い時刻であっても、“−2.5”より遅い時刻であってもよい。また、図3に示す例では、各時間区分の開始時刻を共通としているが、各時間区分の開始時刻が共通でなくてもよい。   FIG. 3 is a schematic diagram illustrating an example of a plurality of time segments. In the example shown in FIG. 3, a plurality of time segments a to g are shown. “A” to “g” illustrated in FIG. 3 are identification information of time segments. In the example shown in FIG. 3, the time segment a is in the range from time “−2.5” to time “−2.0” (see FIG. 3). The time section b is a range from the time “−2.5” to the time “−1.5” (see FIG. 3). Similarly, the start time and the end time are determined for the other time segments c, d, e,. Further, in the example illustrated in FIG. 3, the start time of each time section is set to “−2.5”, but the start time of each time section is “−2.5”. The start time of each time segment may be a time earlier than “−2.5” or a time later than “−2.5”. Further, in the example illustrated in FIG. 3, the start times of the time segments are common, but the start times of the time segments do not have to be common.

また、それぞれの時間区分は、他の時間区分と共通の時間帯を含まないように連続して定められていてもよい。例えば、時刻“−2.5”から時刻“−2.0”までを時間区分aとし、時刻“−2.0”から時刻“−1.5”までを時間区分bとし、時刻“−1.5”から時刻“−1.0”までを時間区分cとするというように、各時間区分を定めてもよい。   Further, each time section may be continuously determined so as not to include a common time zone with other time sections. For example, the time segment “a” from time “−2.5” to time “−2.0” is defined as time segment “a”, the time segment from time “−2.0” to time “−1.5” is defined as time segment “b”, and the time segment “−1”. .5 "to time" -1.0 "may be defined as the time section c.

また、終了時刻を共通として、開始時刻が異なるように、各時間区分が定められていてもよい。このとき、基準となる時刻“0”が共通の終了時刻として定められていてもよい。   Further, each time section may be determined such that the end time is common and the start time is different. At this time, the reference time “0” may be determined as a common end time.

また、複数の時間区分は、時刻に基づいて順序付けられるように定められることが好ましい。図3に示す例では、各時間区分の開始時刻が共通であり、終了時刻が異なっている。従って、図3に示す時間区分は、終了時刻順に、a,b,c,d,e,f,gの順に順序付けることができる。以下、時間区分が、時刻に基づいて順序付けられるように定められている場合を例にして説明する。   Preferably, the plurality of time segments are determined so as to be ordered based on the time. In the example shown in FIG. 3, the start time of each time segment is common, and the end time is different. Accordingly, the time segments shown in FIG. 3 can be ordered in the order of end time, a, b, c, d, e, f, and g. Hereinafter, a case will be described as an example where the time segments are determined so as to be ordered based on the time.

時間区分画像抽出部3は、データ記憶部2に記憶されている画像データ毎に、予め定められている複数の時間区分のそれぞれに該当する範囲を特定する。そして、時間区分画像抽出部3は、画像データ毎に、それぞれの時間区分に該当する範囲から静止画を抽出し、個々の画像データの個々の時間区分毎に、静止画の集合を生成する。   The time-segmented image extracting unit 3 specifies, for each image data stored in the data storage unit 2, a range corresponding to each of a plurality of predetermined time segments. Then, the time-segmented image extracting unit 3 extracts a still image from the range corresponding to each time segment for each image data, and generates a set of still images for each time segment of each image data.

例えば、1番目の画像データを画像データ#1とし、任意のn番目の画像データを画像データ#nとする。時間区分画像抽出部3は、画像データ#1において、時間区分に該当する範囲を、時間区分毎に特定する。すなわち、時間区分画像抽出部3は、画像データ#1において、時間区分aに該当する範囲、時間区分bに該当する範囲等をそれぞれ特定する。そして、時間区分画像抽出部3は、画像データ#1における時間区分aに該当する範囲から、静止画を抽出し、画像データ#1における時間区分aに対応する静止画の集合を生成する。時間区分画像抽出部3は、動画の画像データから静止画を抽出する場合、所定時間毎に静止画を抽出すればよい。例えば、時間区分画像抽出部3は、画像データ#1における時間区分aに対応する静止画を抽出する場合、時間区分aに該当する範囲から0.1秒毎に静止画を抽出すればよい。ここでは、上述の所定時間の例として0.1秒を例示したが、上述の所定時間は0.1秒に限定されない。   For example, assume that the first image data is image data # 1 and the arbitrary n-th image data is image data #n. The time section image extraction unit 3 specifies a range corresponding to the time section in the image data # 1 for each time section. That is, the time section image extraction unit 3 specifies a range corresponding to the time section a, a range corresponding to the time section b, and the like in the image data # 1. Then, the time division image extraction unit 3 extracts a still image from the range corresponding to the time division a in the image data # 1, and generates a set of still images corresponding to the time division a in the image data # 1. When extracting a still image from image data of a moving image, the time-division image extracting unit 3 may extract the still image every predetermined time. For example, when extracting a still image corresponding to the time segment a in the image data # 1, the time segmented image extracting unit 3 may extract the still image every 0.1 seconds from the range corresponding to the time segment a. Here, 0.1 seconds is illustrated as an example of the above-mentioned predetermined time, but the above-mentioned predetermined time is not limited to 0.1 second.

同様に、時間区分画像抽出部3は、画像データ#1における各時間区分に該当する範囲から、それぞれ静止画を抽出し、時間区分毎に静止画の集合を生成する。   Similarly, the time-segmented image extracting unit 3 extracts still images from the range corresponding to each time segment in the image data # 1, and generates a set of still images for each time segment.

時間区分画像抽出部3は、画像データ#1以外のそれぞれの画像データに対しても同様の処理を行い、各画像データにおける時間区分毎に、静止画の集合を生成する。   The time-segmented image extracting unit 3 performs the same process on each image data other than the image data # 1, and generates a set of still images for each time segment in each image data.

各画像データにおける時間区分毎に得られた静止画の集合は、対応する時間区分における選手の動作およびフォームを表している。   A set of still images obtained for each time section in each image data represents the movement and form of the player in the corresponding time section.

以下、便宜的に、各画像データにおける時間区分毎に得られた静止画の集合を、その集合の識別情報で表すこととする。任意の画像データにおける任意の時間区分に対応する静止画の集合の識別情報は、その画像データの識別情報と、その時間区分の識別情報を並べた符号で表すこととする。図4は、各画像データにおける時間区分毎に得られた静止画の集合の識別情報を示す説明図である。例えば、画像データ#1における時間区分aから抽出された静止画の集合を“#1,a”と表す(図4参照)。他の静止画の集合の識別情報も、同様の規則で表される。また、図4では、各画像データに対応する成績も示している。   Hereinafter, for convenience, a set of still images obtained for each time section in each image data is represented by identification information of the set. The identification information of a set of still images corresponding to an arbitrary time section in arbitrary image data is represented by a code in which the identification information of the image data and the identification information of the time section are arranged. FIG. 4 is an explanatory diagram showing identification information of a set of still images obtained for each time section in each image data. For example, a set of still images extracted from the time section a in the image data # 1 is represented as “# 1, a” (see FIG. 4). The identification information of another set of still images is represented by the same rule. FIG. 4 also shows the results corresponding to each image data.

学習部4は、複数の時間区分のそれぞれに対して、時間区分における動作と、その動作に対応する成績(跳躍距離)との関係を表すモデルを、機械学習によって学習する(換言すれば、生成する)。   The learning unit 4 learns, by machine learning, a model representing a relationship between an action in the time section and a result (jump distance) corresponding to the action for each of the plurality of time sections (in other words, generation). Do).

このモデルは、より具体的には、時間区分におけるフォーム(時間区分に対応する静止画の集合が表わしているフォーム)と、成績との関係を示すモデルである。また、学習部4は、このモデルとして、フォームを表している静止画の集合を説明変数とし、成績を目的変数とするモデルを学習する。従って、学習によって得られたモデルと、静止画の集合とを用いて、成績の予測値を算出することが可能である。   More specifically, this model is a model showing a relationship between a form in a time section (a form representing a set of still images corresponding to the time section) and a grade. In addition, the learning unit 4 learns a model in which a set of still images representing a form is used as an explanatory variable and the result is an objective variable. Therefore, it is possible to calculate the predicted value of the performance using the model obtained by learning and the set of still images.

1つの時間区分に着目した場合、画像データ毎に、その時間区分に対応する静止画の集合が得られていて、また、画像データ毎に、対応する成績がデータ記憶部2に記憶されている。学習部4は、画像データ毎に、着目している時間区分に対応する静止画の集合と成績の組み合わせを定め、画像データ毎に定めた組み合わせを学習用データとして用いて、着目している時間区分に対応するモデルを、機械学習によって学習すればよい。機械学習のアルゴリズムは、上記のように成績の予測値を算出するモデルを学習可能なアルゴリズムであればよい。   When focusing on one time section, a set of still images corresponding to the time section is obtained for each image data, and the corresponding result is stored in the data storage unit 2 for each image data. . The learning unit 4 determines, for each image data, a combination of a set of still images and a result corresponding to the time segment of interest, and uses the combination determined for each image data as learning data to determine the time of interest. The model corresponding to the section may be learned by machine learning. The machine learning algorithm may be any algorithm that can learn the model for calculating the predicted value of the grade as described above.

以下、図4を参照して説明する。例えば、学習部4が、時間区分aに対応するモデルを学習するとする。この場合、学習部4は、静止画の集合“#1,a”と成績“5.8m”との組み合わせ、静止画の集合“#2,a”と成績“6.5m”との組み合わせ、静止画の集合“#3,a”と成績“7.1m”との組み合わせ、静止画の集合“#4,a”と成績“6.2m”との組み合わせ等(図4参照)を、画像データ毎に定め、それらの組み合わせを学習用データとして用いて、時間区分aにおけるフォーム(時間区分aに対応する静止画の集合)と、成績との関係を示すモデルを学習する。   Hereinafter, description will be made with reference to FIG. For example, it is assumed that the learning unit 4 learns a model corresponding to the time section a. In this case, the learning unit 4 combines the set of still images “# 1, a” with the result “5.8 m”, the combination of the set of still images “# 2, a” and the result “6.5 m”, The combination of the still image set “# 3, a” and the result “7.1 m”, the combination of the still image set “# 4, a” and the result “6.2 m” (see FIG. 4), A model indicating the relationship between the form in time section a (a set of still images corresponding to time section a) and the performance is determined using the combination as learning data.

学習部4が、他の時間区分b,c,d,・・・に関しても同様に、それぞれの時間区分に対応するモデルを学習する。   Similarly, the learning unit 4 learns models corresponding to the other time segments b, c, d,...

学習部4の処理によって、時間区分毎にモデルが得られる。   By the processing of the learning unit 4, a model is obtained for each time section.

予測部5は、個々の画像データに関して、それぞれの時間区分に対応するモデルを用いて、成績の予測値を算出する。   The prediction unit 5 calculates a predicted value of the performance of each image data using a model corresponding to each time section.

例えば、予測部5は、画像データ#1に関して、時間区分aに対応するモデルを用いて成績の予測値を算出する。この場合、予測部5は、画像データ#1における時間区分aに対応する静止画の集合“#1,a”を、時間区分aに対応するモデルに適用することによって、成績の予測値を算出する。予測部5は、画像データ#1に関して、他の各時間区分に対応するモデルに基づく成績の予測値もそれぞれ同様に算出する。すなわち、予測部5は、画像データ#1に関して、それぞれの時間区分に対応するモデル毎に、成績の予測値を算出する。   For example, the prediction unit 5 calculates a predicted value of the performance of the image data # 1 using a model corresponding to the time section a. In this case, the prediction unit 5 calculates the predicted value of the score by applying the set “# 1, a” of the still images corresponding to the time section a in the image data # 1 to the model corresponding to the time section a. I do. The prediction unit 5 similarly calculates a predicted value of the performance based on the model corresponding to each of the other time segments with respect to the image data # 1. That is, the prediction unit 5 calculates a predicted value of the performance for the image data # 1 for each model corresponding to each time section.

従って、予測部5は、1つの画像データに関して、時間区分の個数だけ、成績の予測値を算出する。   Therefore, the prediction unit 5 calculates the predicted value of the performance for one image data by the number of time segments.

予測部5は、画像データ#1以外のそれぞれの画像データに関しても同様に、時間区分の個数だけ、成績の予測値を算出する。   The prediction unit 5 similarly calculates the predicted value of the performance for each image data other than the image data # 1 by the number of time segments.

画像データの個数をN個とすると、予測部5によって、時間区分aに対応する予測値がN個算出される。同様に、他の各時間区分に対応する予測値も、それぞれN個算出される。   Assuming that the number of image data is N, the prediction unit 5 calculates N prediction values corresponding to the time section a. Similarly, N prediction values corresponding to each of the other time segments are also calculated.

評価部6は、時間区分毎に、時間区分に対応する複数の予測値(画像データの個数分の予測値)と、成績の真値とを用いて、予測値の予測精度を算出する。評価部6は、時間区分毎に、モデルの予測精度を評価しているということができる。   The evaluation unit 6 calculates the prediction accuracy of the predicted value for each time section using a plurality of predicted values (predicted values for the number of image data) corresponding to the time sections and the true values of the results. It can be said that the evaluation unit 6 evaluates the prediction accuracy of the model for each time section.

成績の真値は、画像データに対応付けられて、データ記憶部2に記憶されている成績の値である。   The true value of the score is a score value stored in the data storage unit 2 in association with the image data.

例えば、評価部6は、時間区分毎に、成績の予測値を成績の真値で除算した値の平均値を算出してもよい。この値は、予測精度を表す値であると言える。例えば、評価部6は、画像データ#1の時間区分aに基づいて算出された予測値を、画像データ#1に対応付けられている成績の値(真値)で除算する。評価部6は、他の各画像データに関しても、時間区分aに基づいて算出された予測値を、着目している画像データに対応付けられている成績の値(真値)で除算する。評価部6は、画像データ毎に得られた除算結果の平均値を、時間区分aに対応する予測精度(より具体的には、時間区分aに対応するモデルの予測精度)として算出する。評価部6は、他のそれぞれの時間区分に関しても同様に、時間区分に対応する予測精度を算出する。   For example, the evaluation unit 6 may calculate an average value of values obtained by dividing the predicted value of the result by the true value of the result for each time section. This value can be said to be a value representing the prediction accuracy. For example, the evaluation unit 6 divides the predicted value calculated based on the time segment a of the image data # 1 by the value of the result (true value) associated with the image data # 1. For each of the other image data, the evaluation unit 6 also divides the predicted value calculated based on the time segment a by the value of the grade (true value) associated with the image data of interest. The evaluation unit 6 calculates the average value of the division results obtained for each image data as the prediction accuracy corresponding to the time section a (more specifically, the prediction accuracy of the model corresponding to the time section a). The evaluation unit 6 similarly calculates prediction accuracy corresponding to each of the other time segments.

予測精度の算出方法は、上記の例に限定されない。例えば、評価部6は、時間区分毎に、成績の予測値と成績の真値との差の絶対値をその真値で除算した値の平均値を算出してもよい。この値も、予測精度を表す値であると言える。   The calculation method of the prediction accuracy is not limited to the above example. For example, the evaluation unit 6 may calculate an average value of values obtained by dividing the absolute value of the difference between the predicted value of the result and the true value of the result by the true value for each time section. This value can also be said to be a value representing the prediction accuracy.

表示部7は、時間区分と、時間区分に対応する予測精度(より具体的には、時間区分に対応するモデルの予測精度)との関係を表示する。表示部7は、例えば、時間区分と、時間区分に対応するモデルの予測精度とを対応付けて、テキスト情報として表示してもよい。ただし、表示された情報を見る者にとっての分かりやすさの観点から、表示部7は、時間区分と、時間区分に対応するモデルの予測精度との関係をグラフで表示することが特に好ましい。   The display unit 7 displays the relationship between the time section and the prediction accuracy corresponding to the time section (more specifically, the prediction accuracy of the model corresponding to the time section). The display unit 7 may display the time segment and the prediction accuracy of the model corresponding to the time segment as text information, for example. However, it is particularly preferable that the display unit 7 graphically displays the relationship between the time segment and the prediction accuracy of the model corresponding to the time segment, from the viewpoint of easy understanding of the displayed information by a viewer.

図5は、表示部7が表示するグラフの例を示す説明図であり、時間区分と、時間区分に対応するモデルの予測精度との関係を示すグラフを例示している。図5に示すグラフの縦軸は、モデルの予測精度を表している。また、グラフの横軸は、時間区分を表している。本例では、各時間区分の開始時刻が共通であり、終了時刻が異なっている。そのため、各時間区分を、終了時刻順に順序付けることができる。本例では、表示部7は、各時間区分を終了時刻順に順序付け、その順番に、横軸に沿って各時間区分の識別情報を表示する(図5参照)。そして、表示部7は、各時間区分に対応する予測精度の変化を示すグラフを、例えば、図5に例示するように表示する。   FIG. 5 is an explanatory diagram illustrating an example of a graph displayed by the display unit 7, and illustrates a graph indicating a relationship between a time segment and a prediction accuracy of a model corresponding to the time segment. The vertical axis of the graph shown in FIG. 5 represents the prediction accuracy of the model. The horizontal axis of the graph represents time division. In this example, the start times of the time segments are common, and the end times are different. Therefore, each time section can be ordered in the order of the end time. In this example, the display unit 7 orders the time segments in order of the end time, and displays the identification information of each time segment along the horizontal axis in that order (see FIG. 5). Then, the display unit 7 displays a graph indicating a change in prediction accuracy corresponding to each time segment, for example, as illustrated in FIG.

時間区分画像抽出部3、学習部4、予測部5、評価部6および表示部7は、例えば、ディスプレイ装置(図1において図示略)を有するコンピュータのCPU(Central Processing Unit )によって実現される。この場合、CPUは、コンピュータのプログラム記憶装置(図1において図示略)等のプログラム記録媒体からスポーツ動作解析支援プログラムを読み込み、そのスポーツ動作解析支援プログラムに従って、時間区分画像抽出部3、学習部4、予測部5、評価部6および表示部7として動作すればよい。表示部7のうち、表示内容(例えば、グラフ)を定め、その表示内容をディスプレイ装置に表示させる部分が、CPUによって実現させる。表示部7のうち、実際に表示を行う部分は、ディスプレイ装置によって実現される。また、上記のコンピュータは、パーソナルコンピュータであってもよく、あるいは、スマートフォン等の携帯型のコンピュータであってもよい。これらの点は、後述の他の実施形態においても同様である。   The time segmented image extraction unit 3, the learning unit 4, the prediction unit 5, the evaluation unit 6, and the display unit 7 are realized by, for example, a CPU (Central Processing Unit) of a computer having a display device (not shown in FIG. 1). In this case, the CPU reads the sports motion analysis support program from a program recording medium such as a computer program storage device (not shown in FIG. 1), and according to the sports motion analysis support program, the time-segmented image extraction unit 3 and the learning unit 4 , The prediction unit 5, the evaluation unit 6, and the display unit 7. A portion of the display unit 7 for determining display contents (for example, a graph) and displaying the display contents on a display device is realized by the CPU. The part of the display unit 7 that actually performs display is realized by a display device. Further, the above computer may be a personal computer or a portable computer such as a smartphone. These points are the same in other embodiments described later.

また、スポーツ動作解析支援システム1は、2つ以上の物理的に分離した装置が有線または無線で接続されている構成であってもよい。例えば、スポーツ動作解析支援システム1は、スマートフォン等の携帯型のコンピュータとサーバとが連携したシステムとして実現されてもよい。この点も、後述の他の実施形態において同様である。   The sports motion analysis support system 1 may have a configuration in which two or more physically separated devices are connected by wire or wirelessly. For example, the sports motion analysis support system 1 may be realized as a system in which a portable computer such as a smartphone and a server cooperate. This is the same in other embodiments described later.

次に、処理経過について説明する。図6は、本発明の第1の実施形態の処理経過の例を示すフローチャートである。以下に示す各ステップの動作の詳細については、既に説明しているので、ここでは、詳細な説明を省略する。   Next, the processing progress will be described. FIG. 6 is a flowchart illustrating an example of the progress of processing according to the first embodiment of this invention. Since the details of the operation of each step described below have already been described, the detailed description is omitted here.

なお、データ記憶部2には、予め複数のデータが記憶されているものとする。   It is assumed that a plurality of data are stored in the data storage unit 2 in advance.

時間区分画像抽出部3は、データ記憶部2に記憶されている画像データ毎に、予め定められている複数の時間区分のそれぞれに該当する範囲を特定する。そして、時間区分画像抽出部3は、画像データ毎に、それぞれの時間区分に該当する範囲から静止画を抽出し、個々の画像データの個々の時間区分毎に、静止画の集合を生成する(ステップS1)。   The time-segmented image extracting unit 3 specifies, for each image data stored in the data storage unit 2, a range corresponding to each of a plurality of predetermined time segments. Then, the time-segmented image extracting unit 3 extracts a still image from the range corresponding to each time segment for each image data, and generates a set of still images for each time segment of each image data ( Step S1).

次に、学習部4は、複数の時間区分のそれぞれに対して、時間区分におけるフォームと成績との関係を表すモデルを、機械学習によって学習する(ステップS2)。   Next, the learning unit 4 learns, for each of the plurality of time sections, a model representing the relationship between the form and the performance in the time section by machine learning (step S2).

次に、予測部5は、個々の画像データに関して、それぞれの時間区分に対応するモデルを用いて、成績の予測値を算出する(ステップS3)。   Next, the prediction unit 5 calculates a predicted value of the performance of each image data using a model corresponding to each time section (step S3).

次に、評価部6は、時間区分毎に、時間区分に対応する複数の予測値と、成績の真値とを用いて、時間区分に対応するモデルの予測精度を算出する(ステップS4)。   Next, for each time section, the evaluation unit 6 calculates the prediction accuracy of the model corresponding to the time section using the plurality of predicted values corresponding to the time section and the true value of the score (step S4).

次に、表示部7は、時間区分と、時間区分に対応するモデルの予測精度との関係を表示する(ステップS5)。ステップS5において、表示部7は、時間区分と、時間区分に対応するモデルの予測精度とを対応付けて、テキスト情報として表示してもよい。ただし、表示部7は、時間区分と、時間区分に対応するモデルの予測精度との関係を、図5に例示するようなグラフで表示することが好ましい。   Next, the display unit 7 displays the relationship between the time segment and the prediction accuracy of the model corresponding to the time segment (Step S5). In step S5, the display unit 7 may display the time segment as text information in association with the prediction accuracy of the model corresponding to the time segment. However, it is preferable that the display unit 7 displays the relationship between the time segment and the prediction accuracy of the model corresponding to the time segment in a graph as illustrated in FIG.

本実施形態の効果について説明する。本実施形態では、前述のように、1つの時間区分に対応するモデルは、静止画の集合と成績との組み合わせを複数個用いて生成される。従って、このモデルによって成績の予測値を算出した場合、モデルの予測精度がよければ、その予測値は、フォームに応じた成績の傾向を統計的によく表しているということができる。そして、本実施形態によれば、評価部6が、時間区分毎に、時間区分に対応するモデルの予測精度を算出する。そして、表示部7が、時間区分と、時間区分に対応するモデルの予測精度との関係を表示する。従って、スポーツ動作解析支援システム1のユーザ(データ記憶部2に画像データおよび成績が記憶されている選手、あるいは、そのコーチ等)は、時刻に基づいて順序付けられている時間区分毎の予測精度を確認することができ、その予測精度の変化に基づいて、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を把握することができる。上記のように、モデルの予測精度がよければ、そのモデルを用いて得られた成績の予測値は、フォームに応じた成績の傾向を統計的によく表していると言える。従って、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を把握できるということは、フォームが結果に対して大きな影響を与える時間帯を把握できるということを意味する。よって、本実施形態によれば、スポーツ(本例では走り幅跳び)における一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯をユーザが把握できるように支援することができる。   The effect of the present embodiment will be described. In the present embodiment, as described above, a model corresponding to one time section is generated using a plurality of combinations of a set of still images and a grade. Therefore, when the predicted value of the performance is calculated by this model, if the prediction accuracy of the model is good, it can be said that the predicted value statistically expresses the tendency of the performance according to the form. Then, according to the present embodiment, the evaluation unit 6 calculates, for each time section, the prediction accuracy of the model corresponding to the time section. Then, the display unit 7 displays the relationship between the time segment and the prediction accuracy of the model corresponding to the time segment. Therefore, the user of the sports motion analysis support system 1 (the player whose image data and results are stored in the data storage unit 2 or his coach or the like) can estimate the prediction accuracy for each time section that is ordered based on the time. It is possible to confirm and, based on the change in the prediction accuracy, it is possible to grasp a time zone in which the degree of improvement in the prediction accuracy of the results predicted using the model is large. As described above, if the prediction accuracy of the model is good, it can be said that the predicted value of the performance obtained by using the model statistically expresses the tendency of the performance according to the form. Therefore, to be able to grasp the time period in which the degree of improvement in the prediction accuracy of the result predicted using the model is large means that the time period in which the form has a great influence on the result can be grasped. Therefore, according to the present embodiment, it is possible to support the user so that the user can grasp the time zone in which the form has a great influence on the result among the time period for performing a series of actions in the sport (the long jump in this example). .

例えば、図5に例示するグラフが表示されたとする。時間区分a,bに関しては、対応するモデルの予測精度は微増である。同様に、時間区分c〜gに関しても、対応するモデルの予測精度は微増である。一方、時間区分cに対応するモデルの予測精度は、時間区分bに対応するモデルの予測精度に比べて、向上の度合いが大きい。従って、ユーザは、時間区分cと時間区分bとの差に該当する時間帯(具体的には、時刻“−1.5”から時刻“−1.0”までの時間帯。図3参照。)が、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯であると認識することができる。従って、ユーザは、その時間帯が、走り幅跳びの一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯であると把握することができる。   For example, assume that a graph illustrated in FIG. 5 is displayed. For the time segments a and b, the prediction accuracy of the corresponding model is slightly increased. Similarly, for the time sections c to g, the prediction accuracy of the corresponding model is slightly increased. On the other hand, the degree of improvement in the prediction accuracy of the model corresponding to the time section c is greater than that of the model corresponding to the time section b. Therefore, the user can select a time zone corresponding to the difference between time segment c and time segment b (specifically, a time zone from time “−1.5” to time “−1.0”; see FIG. 3). ) Can be recognized as a time zone in which the degree of improvement in the prediction accuracy of the results predicted using the model is large. Therefore, the user can understand that the time zone is the time zone in which the form has a great influence on the result among the time period for performing a series of long jump operations.

そして、そのような時間帯(本例では、時刻“−1.5”から時刻“−1.0”までの時間帯)を把握することができれば、ユーザは、その時間帯のフォームを重点的に確認することによって、選手の成績の向上に寄与することができる。   If such a time zone (in this example, the time zone from time “−1.5” to time “−1.0”) can be grasped, the user focuses on the form of the time zone. This can contribute to improving the performance of the players.

実施形態2.
第1の実施形態のスポーツ動作解析支援システム1は、例えば、図5に例示するグラフを表示することによって、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯をユーザが把握できるようにした。本発明の第2の実施形態のスポーツ動作解析支援システムは、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定し、その時間区分を表示する。
Embodiment 2. FIG.
The sports motion analysis support system 1 according to the first embodiment displays, for example, a graph illustrated in FIG. 5 so that the user can select a time zone in which the degree of improvement in the prediction accuracy of the results predicted using the model is large. I was able to understand. The sports motion analysis support system according to the second embodiment of the present invention specifies a time section that can specify a time zone in which the degree of improvement in prediction accuracy of a result predicted using a model is large, and displays the time section. I do.

本発明の第2の実施形態のスポーツ動作解析支援システムは、第1の実施形態のスポーツ動作解析支援システム1と同様に、図1に示すブロックで表すことができるので、図1を用いて第2の実施形態を説明する。第1の実施形態と同様の事項については、適宜説明を省略する。   The sports motion analysis support system according to the second embodiment of the present invention can be represented by the blocks shown in FIG. 1 similarly to the sports motion analysis support system 1 according to the first embodiment. A second embodiment will be described. The description of the same items as in the first embodiment will be omitted as appropriate.

データ記憶部2、時間区分画像抽出部3、学習部4および予測部5は、第1の実施形態のデータ記憶部2、時間区分画像抽出部3、学習部4および予測部5と同様であり、説明を省略する。   The data storage unit 2, the time division image extraction unit 3, the learning unit 4, and the prediction unit 5 are the same as the data storage unit 2, the time division image extraction unit 3, the learning unit 4, and the prediction unit 5 of the first embodiment. The description is omitted.

第2の実施形態の評価部6は、第1の実施形態の評価部6と同様の動作を行い、さらに、以下に述べる動作も行う。   The evaluation unit 6 of the second embodiment performs the same operation as the evaluation unit 6 of the first embodiment, and also performs the operation described below.

評価部6は、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する。   The evaluation unit 6 specifies a time section that can specify a time zone in which the degree of improvement in the prediction accuracy of the result predicted using the model is large.

例えば、評価部6は、時刻に基づいて時間区分を順序付け、順序が隣り合う2つの時間区分に対応するモデルの予測精度の差をそれぞれ算出する。この場合、評価部6は、時間区分bに対応するモデルの予測精度から、時間区分aに対応するモデルの予測精度を減算した値を算出する。評価部6は、時間区分b,cの組、時間区分c,dの組等、順序が隣り合う時間区分の他の組に関してもそれぞれ、順序が後の時間区分に対応するモデルの予測精度から、順序が先の時間区分に対応するモデルの予測精度を減算した値を算出する。   For example, the evaluation unit 6 orders the time segments based on the time, and calculates the difference between the prediction accuracy of the models corresponding to two time segments in adjacent order. In this case, the evaluation unit 6 calculates a value obtained by subtracting the prediction accuracy of the model corresponding to the time segment a from the prediction accuracy of the model corresponding to the time segment b. The evaluation unit 6 also calculates the other sets of time sections having adjacent orders, such as a set of time sections b and c and a set of time sections c and d, from the prediction accuracy of the model corresponding to the time section having the later order. , A value obtained by subtracting the prediction accuracy of the model corresponding to the preceding time segment.

そして、評価部6は、例えば、予測精度の差が最大となっている時間区分の組において、順序が後の時間区分を、予測精度の向上の度合いが大きい時間帯を特定可能な時間区分として特定すればよい。例えば、時間区分b,cの組における予測精度の差が、予測精度の差の中で最大であるとする。この場合、評価部6は、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分として、時間区分cを特定すればよい。   Then, for example, in the set of time segments in which the difference in prediction accuracy is maximum, the evaluation unit 6 regards the time segments in the later order as time segments in which a time zone in which the degree of improvement in prediction accuracy is large can be specified. It should be specified. For example, it is assumed that the difference in prediction accuracy between the sets of time segments b and c is the largest among the differences in prediction accuracy. In this case, the evaluation unit 6 may specify the time section c as a time section that can specify a time zone in which the degree of improvement in the prediction accuracy of the results predicted using the model is large.

また、例えば、予測精度の差が所定の閾値以上となっている時間区分の組において、順序が後の時間区分を、予測精度の向上の度合いが大きい時間帯を特定可能な時間区分として特定してもよい。例えば、時間区分b,cの組における予測精度の差が閾値以上であるとする。この場合、評価部6は、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分として、時間区分cを特定すればよい。なお、閾値は予め定めておけばよい。   Also, for example, in a set of time segments in which the difference in prediction accuracy is equal to or greater than a predetermined threshold, a time segment in a later order is specified as a time segment in which a time zone in which the degree of improvement in prediction accuracy is large can be specified. You may. For example, it is assumed that the difference in prediction accuracy between a set of time segments b and c is equal to or greater than a threshold. In this case, the evaluation unit 6 may specify the time section c as a time section that can specify a time zone in which the degree of improvement in the prediction accuracy of the results predicted using the model is large. Note that the threshold may be determined in advance.

モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する方法は、上記の方法に限定されず、他の方法であってもよい。   A method of specifying a time section that can specify a time zone in which the degree of improvement in the prediction accuracy of a result predicted using a model is large is not limited to the above method, and may be another method.

表示部7は、評価部6によって特定された時間区分を表示する。   The display unit 7 displays the time segment specified by the evaluation unit 6.

図7は、本発明の第2の実施形態の処理経過の例を示すフローチャートである。第2の実施形態におけるステップS1〜S4(図7参照)は、第1の実施形態におけるステップS1〜S4(図6参照)と同様であり、説明を省略する。   FIG. 7 is a flowchart illustrating an example of the progress of processing according to the second embodiment of this invention. Steps S1 to S4 (see FIG. 7) in the second embodiment are the same as steps S1 to S4 (see FIG. 6) in the first embodiment, and a description thereof will be omitted.

ステップS4の後、評価部6は、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する(ステップS11)。この評価部6の動作の例については、既に説明したので、ここでは説明を省略する。   After step S4, the evaluation unit 6 specifies a time section that can specify a time zone in which the degree of improvement in the prediction accuracy of the results predicted using the model is large (step S11). An example of the operation of the evaluation unit 6 has already been described, and the description is omitted here.

ステップS11の後、表示部7は、ステップS11で特定された時間区分(モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分)を表示する(ステップS12)。   After step S11, the display unit 7 displays the time segment specified in step S11 (a time segment that can specify a time zone in which the degree of improvement in the prediction accuracy of the results predicted using the model is large) (step S11). S12).

図8は、ステップS12における時間区分の表示態様の例を示す説明図である。ここでは、ステップS11において、時間区分cが特定されたものとして説明する。表示部7は、時間区分毎に、時間区分の識別情報を表すアイコン21を表示する。また、表示部7は、時間区分の開始時刻および終了時刻も表示する。そして、表示部7は、ステップS11で特定された時間区分のアイコン21(本例では、時間区分cのアイコン21)を、他の各時間区分のアイコン21とは異なる態様で表示する。図8に示す例では、時間区分cのアイコン21の枠線を、他の各アイコン21の枠線よりも太く表示する場合を例示している。すなわち、表示部7は、時間区分cのアイコン21の枠線を、他の各アイコン21の枠線よりも太く表示することによって、時間区分cがステップS11で特定された時間区分であることを表している。   FIG. 8 is an explanatory diagram illustrating an example of a display mode of the time section in step S12. Here, a description will be given assuming that the time section c is specified in step S11. The display unit 7 displays an icon 21 representing the identification information of the time section for each time section. The display unit 7 also displays the start time and the end time of the time section. Then, the display unit 7 displays the icon 21 of the time segment specified in step S11 (in this example, the icon 21 of the time segment c) in a manner different from the icons 21 of the other time segments. The example illustrated in FIG. 8 illustrates a case where the frame of the icon 21 of the time section c is displayed thicker than the frame of the other icons 21. That is, the display unit 7 displays the frame of the icon 21 of the time section c thicker than the frame of each of the other icons 21 to confirm that the time section c is the time section specified in step S11. Represents.

図8は、ステップS12における表示態様の一例であり、ステップS12における表示態様は、図8に示す例に限定されない。   FIG. 8 is an example of the display mode in step S12, and the display mode in step S12 is not limited to the example illustrated in FIG.

本実施形態では、評価部6が、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する。そして、表示部7が、その時間区分を表示する。従って、ユーザは、第1の実施形態と同様に、走り幅跳びの一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯を把握することができる。例えば、評価部6がステップS11で時間区分cを特定し、表示部7が時間分cを表示したとする。この場合、ユーザは、時間区分cと、その1つ前の時間区分bとの差に該当する時間帯(具体的には、時刻“−1.5”から時刻“−1.0”までの時間帯。図3、図8を参照。)が、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯であると認識することができる。従って、ユーザは、その時間帯が、走り幅跳びの一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯であると把握することができる。   In the present embodiment, the evaluation unit 6 specifies a time section that can specify a time zone in which the degree of improvement in the prediction accuracy of the result predicted using the model is large. Then, the display unit 7 displays the time segment. Therefore, as in the first embodiment, the user can grasp the time zone in which the form has a great influence on the result among the time for performing a series of long jump operations. For example, it is assumed that the evaluation unit 6 specifies the time segment c in step S11, and the display unit 7 displays the time segment c. In this case, the user selects a time zone corresponding to the difference between the time segment c and the immediately preceding time segment b (specifically, the time zone from the time “−1.5” to the time “−1.0”). Time zone (see FIGS. 3 and 8)) can be recognized as a time zone in which the degree of improvement in the prediction accuracy of the results predicted using the model is large. Therefore, the user can understand that the time zone is the time zone in which the form has a great influence on the result among the time period for performing a series of long jump operations.

次に、第2の実施形態の種々の変形例について説明する。   Next, various modifications of the second embodiment will be described.

表示部7は、ステップS12において、第1の実施形態におけるステップS5の動作を合わせて行ってもよい。すなわち、表示部7は、ステップS11で特定された時間区分を表示するとともに、時間区分と、時間区分に対応するモデルの予測精度との関係を表示してもよい。例えば、表示部7は、図8に例示する態様で時間区分cを表示するとともに、図5に例示するグラフを表示してもよい。   The display unit 7 may perform the operation of Step S5 in the first embodiment in Step S12. That is, the display unit 7 may display the time section specified in step S11 and also display the relationship between the time section and the prediction accuracy of the model corresponding to the time section. For example, the display unit 7 may display the time section c in the mode illustrated in FIG. 8 and also display the graph illustrated in FIG.

また、スポーツ動作解析支援システムは、外部(例えば、ユーザ)から時間区分を指定された場合、その時間区分に関する情報をさらに表示してもよい。図9は、第2の実施形態の一つの変形例を示すブロック図である。図9に示すスポーツ動作解析支援システム1は、図1に示す各構成要素に加えて、さらに、操作部8を備える。ステップS12までの動作は、第2の実施形態で説明した動作または、前述の変形例における動作と同様である。以下の説明では、表示部7が、ステップS12において、図8に例示する態様で各時間区分のアイコン21を表示する場合を例にして説明する。   In addition, when a time segment is designated from outside (for example, a user), the sports motion analysis support system may further display information on the time segment. FIG. 9 is a block diagram showing a modification of the second embodiment. The sports motion analysis support system 1 shown in FIG. 9 further includes an operation unit 8 in addition to the components shown in FIG. The operation up to step S12 is the same as the operation described in the second embodiment or the operation in the above-described modification. In the following description, a case will be described as an example where the display unit 7 displays the icons 21 of the respective time segments in the mode illustrated in FIG. 8 in step S12.

操作部8は、ユーザが時間区分を指定するためのユーザインタフェースであり、例えば、マウス等によって実現される。ユーザは、操作部8を操作して、図8に例示するように表示されたアイコン21を指定する。表示部7は、その操作に応じて、時間区分の指定を受け付ける。   The operation unit 8 is a user interface for a user to specify a time section, and is realized by, for example, a mouse or the like. The user operates the operation unit 8 to specify the icon 21 displayed as illustrated in FIG. The display unit 7 accepts the designation of the time section according to the operation.

ここでは、ステップS11で特定された時間区分が指定されたものとして説明する。例えば、図8に示す各アイコン21のうち、時間区分cのアイコン21に対して、クリック等の操作が行われたものとして説明する。   Here, a description will be given assuming that the time segment specified in step S11 is specified. For example, among the icons 21 shown in FIG. 8, a description will be given assuming that an operation such as a click has been performed on the icon 21 of the time section c.

表示部7は、外部から時間区分cの指定を受け付けると、その時間区分cに対応するモデルの予測精度を表示する。   When receiving the designation of the time section c from the outside, the display unit 7 displays the prediction accuracy of the model corresponding to the time section c.

さらに、表示部7は、ステップS3においてそのモデル(時間区分cに対応するモデル)を用いて算出された成績の予測値が最大となっている画像データと、ステップS3においてそのモデルを用いて算出された成績の予測値が最小となっている画像データとを特定する。走り幅跳びの例では、成績(跳躍距離)の値が大きいほどより成績がよく、成績の値が小さいほど成績は悪い。スポーツの種類によっては、成績の値が大きいほど成績が悪く、成績の値が小さいほど成績がよいと言える場合もあり得る。いずれの場合であっても、表示部7は、指定された時間区分に対応するモデルを用いて算出された成績の予測値が最大となっている画像データと、そのモデルを用いて算出された成績の予測値が最小となっている画像データとを特定する。このように画像データを特定することによって、表示部7は、成績が最もよいと予測される画像データと、成績が最も悪いと予測される画像データとを特定することになる。なお、ここで、最大とは、指定された時間区分cに対応するモデルを用いて算出された予測値の中での最大を意味し、最小とは、指定された時間区分cに対応するモデルを用いて算出された予測値の中での最小を意味する。   Further, the display unit 7 displays the image data in which the predicted value of the result calculated using the model (the model corresponding to the time section c) in step S3 is the maximum, and calculates the image data using the model in step S3. The image data with the smallest predicted value of the grade is specified. In the example of long jump, the higher the grade (jump distance) value, the better the grade, and the smaller the grade value, the worse the grade. Depending on the type of sport, the higher the score, the worse the score, and the lower the score, the better the score. In any case, the display unit 7 displays the image data in which the predicted value of the performance calculated using the model corresponding to the designated time section is the maximum, and the image data calculated using the model. The image data with the minimum predicted value of the result is specified. By specifying the image data in this manner, the display unit 7 specifies the image data that is predicted to have the best performance and the image data that is predicted to have the worst performance. Here, the maximum means the maximum among the predicted values calculated using the model corresponding to the specified time section c, and the minimum means the model corresponding to the specified time section c. Means the minimum of the predicted values calculated using

表示部7は、予測値が最大となっている画像データにおける、指定された時間区分cに該当する範囲の動画と、予測値が最小となっている画像データにおける、指定された時間区分cに該当する範囲の動画とをそれぞれ表示する。   The display unit 7 displays the moving image in the range corresponding to the designated time section c in the image data with the largest predicted value and the designated time section c in the image data with the smallest predicted value. The video in the corresponding range is displayed.

図10は、ステップS12の後に時間区分が指定されたときに、表示部7が表示する画面の例を示す模式図である。予測精度表示欄31は、指定された時間区分に対応するモデルの予測精度を表示する欄である。第1の画像表示欄32は、予測値が最大となっている画像データにおける、指定された時間区分に該当する範囲の動画を表示する欄である。第2の画像表示欄32は、予測値が最小となっている画像データにおける、指定された時間区分に該当する範囲の動画を表示する欄である。   FIG. 10 is a schematic diagram showing an example of a screen displayed on the display unit 7 when a time section is designated after step S12. The prediction accuracy display column 31 is a column for displaying the prediction accuracy of the model corresponding to the designated time section. The first image display column 32 is a column for displaying a moving image in a range corresponding to the designated time section in the image data having the maximum predicted value. The second image display column 32 is a column for displaying a moving image in a range corresponding to the designated time section in the image data having the minimum predicted value.

表示部7は、時間区分が指定されると、図10に例示する画面を表示する。   When the time section is designated, the display unit 7 displays a screen illustrated in FIG.

本変形例では、表示部7が、予測値が最大となっている画像データと、予測値が最小となっている画像データとを特定する場合を説明した。表示部7は、指定された時間区分に対応するモデルを用いて算出された成績の予測値が上位1番目から上位所定番目までに該当している各画像データと、そのモデルを用いて算出された成績の予測値が下位1番目から下位所定番目までに該当している各画像データとを特定してもよい。そして、表示部7は、予測値が上位1番目から上位所定番目までに該当している各画像データにおける、指定された時間区分に該当する範囲の動画と、予測値が下位1番目から下位所定番目までに該当している各画像データにおける、指定された時間区分に該当する範囲の動画とを、それぞれ表示してもよい。上位所定番目および下位所定番目を表す値は、予め定められていてもよい。あるいは、上位所定番目および下位所定番目を表す値をユーザがスポーツ動作解析支援システム1に入力するための入力デバイス(ユーザインタフェース)がスポーツ動作解析支援システム1に設けられていてもよい。   In the present modified example, the case where the display unit 7 specifies the image data having the maximum predicted value and the image data having the minimum predicted value has been described. The display unit 7 displays each of the image data in which the predicted value of the result calculated using the model corresponding to the designated time section corresponds to the first to the top predetermined, and the image data calculated using the model. Each of the image data whose predicted value of the grade corresponds to the first to the lower predetermined order may be specified. Then, the display unit 7 displays a moving image in a range corresponding to the designated time section in each image data whose predicted value corresponds to the first to upper predetermined positions, and a moving image whose predicted value corresponds to the lower first to lower predetermined values. The moving image in the range corresponding to the designated time section in each of the image data corresponding to the first may be displayed. The values representing the upper predetermined number and the lower predetermined number may be predetermined. Alternatively, the sports motion analysis support system 1 may be provided with an input device (user interface) for allowing the user to input values representing the upper predetermined number and the lower predetermined number to the sports motion analysis support system 1.

本変形例によれば、成績が最もよいと予測される動画であって、フォームが結果に対して大きな影響を与える時間帯の動画を表示することができ、また、成績が最も悪いと予測される動画であって、フォームが結果に対して大きな影響を与える時間帯の動画を表示することができる。従って、それらの画像を解析したり、比較したりすることによって、フォームの改善、フォームの癖の発見等に利用することができる。   According to this modification, it is possible to display a video that is predicted to have the best performance, that is, a video during a time period when the form has a significant effect on the result, and that the performance is predicted to be the worst. Video that has a significant effect on the results. Therefore, by analyzing or comparing those images, the images can be used for improving the form, discovering the habit of the form, and the like.

なお、表示部7は、ステップS11で特定された時間区分が指定された場合にのみ、上記の表示動作を行ってもよい。また、表示部7は、任意の時間区分が指定された場合に、指定された時間区分に応じて、上記の表示動作を行ってもよい。   The display unit 7 may perform the above-described display operation only when the time segment specified in step S11 is specified. Further, when an arbitrary time segment is designated, the display unit 7 may perform the above-described display operation according to the designated time segment.

上記の第1の実施形態、並びに、第2の実施形態およびその変形例では、動作の結果が成績であり、数値で表される場合を例に説明した。スポーツにおける動作の結果が、事象であってもよい。以下、サッカーにおけるPK(penalty kick)の場面を本発明に適用する場合を例にして説明する。そして、PKの動作の結果が、「ボールが右に飛んだ。」、「ボールが左に飛んだ。」という二種類の事象のいずれかであるものとして説明する。上記の第1の実施形態、並びに、第2の実施形態およびその変形例と同様の事項については、説明を省略する。   In the first embodiment, the second embodiment, and the modifications thereof, the case where the result of the operation is a result and is represented by a numerical value has been described as an example. The result of the action in the sport may be an event. Hereinafter, a case where a PK (penalty kick) scene in soccer is applied to the present invention will be described as an example. The description will be made assuming that the result of the PK operation is one of two types of events: "the ball has flew to the right" and "the ball has flew to the left." The description of the same items as those in the first embodiment, the second embodiment, and the modifications thereof will be omitted.

「ボールが右に飛んだ。」という事象を“1”で表し、「ボールが左に飛んだ。」という事象を“0”で表すものとする。すなわち、PKの動作の結果(事象)を二値で表すものとする。   The event “the ball flew to the right” is represented by “1”, and the event “the ball flew to the left” is represented by “0”. That is, the result (event) of the PK operation is represented by a binary value.

データ記憶部2には、PKを行う人(以下、選手と記す。)の一連の動作を表す動画の画像データと、その動作の結果(事象“1”または事象“0”)とを対応付けたデータを、予め複数記憶させておく。この動作の結果は、例えば、名義尺度であるということができる。   The data storage unit 2 associates image data of a moving image representing a series of motions of a person performing PK (hereinafter, referred to as a player) with a result of the motion (event “1” or event “0”). Are stored in advance. The result of this operation can be, for example, a nominal measure.

また、本例では、動画が選手のキック動作を表している時点を基準として、複数の時間区分を定めておけばよい。   Further, in this example, a plurality of time sections may be determined based on the time point at which the moving image represents the kicking motion of the player.

本例では、学習部4は、複数の時間区分のそれぞれに対して、時間区分における動作と、事象“1”が生じる確率または事象“0”が生じる確率との関係を表すモデルを学習する。事象“1”が生じる確率または事象“0”が生じる確率は、1つの目的変数で表される。ここでは、この目的変数の取り得る範囲は0〜1であるものとする。目的変数の値が0.5よりも大きければ、その値は、事象“1” (すなわち、「ボールが右に飛ぶ。」という事象)が生じる確率を表わしていて、その値が1に近いほど、事象“1”が生じる確率が高く、その値が0.5に近いほど、事象“1”が生じる確率が低いということを表している。また、目的変数の値が0.5よりも小さければ、その値は、事象“0”(すなわち、「ボールが左に飛ぶ。」という事象)が生じる確率を表わしていて、その値が0に近いほど、事象“0”が生じる確率が高く、その値が0.5に近いほど、事象“0”が生じる確率が低いということを表している。このようなモデルを学習する場合、学習部4は、機械学習のアルゴリズムとして、例えば、ロジスティック回帰分析を用いればよい。   In this example, the learning unit 4 learns, for each of a plurality of time segments, a model representing the relationship between the operation in the time segment and the probability that the event “1” occurs or the probability that the event “0” occurs. The probability that the event "1" occurs or the probability that the event "0" occurs is represented by one objective variable. Here, the possible range of the objective variable is 0 to 1. If the value of the objective variable is greater than 0.5, the value represents the probability that an event "1" (i.e., the event "ball will fly to the right") will occur, and the closer the value is to 1, the more likely it is. The probability that the event “1” occurs is high, and the closer the value is to 0.5, the lower the probability that the event “1” occurs. If the value of the objective variable is smaller than 0.5, the value represents the probability that an event “0” (that is, the event “the ball flies to the left”) will occur, and the value becomes 0. The closer the value is, the higher the probability of occurrence of the event “0” is, and the closer the value is to 0.5, the lower the probability of occurrence of the event “0” is. When learning such a model, the learning unit 4 may use, for example, logistic regression analysis as an algorithm of machine learning.

学習部4は、画像データ毎に、着目している時間区分に対応する静止画の集合と、結果(“1”または“0”)との組み合わせを定め、画像データ毎に定めた組み合わせを学習用データとして用いて、着目している時間区分に対応するモデルを、機械学習(例えば、ロジスティック回帰分析)によって学習すればよい。   The learning unit 4 determines a combination of a set of still images corresponding to a time segment of interest and a result (“1” or “0”) for each image data, and learns a combination determined for each image data. A model corresponding to a time segment of interest may be learned by machine learning (for example, logistic regression analysis) by using the data as the application data.

また、学習部4は、時間区分毎に、モデルを学習する。   The learning unit 4 learns a model for each time section.

予測部5は、個々の画像データに関して、それぞれの時間区分に対応するモデルを用いて、結果の予測値を算出する。予測値は、目的変数の値であり、事象“1”が生じる確率または事象“0”が生じる確率を表している。予測部5によって算出される確率(目的変数の値)は、0〜1の範囲の値をとり得る連続値である。よって、予測部5によって算出される目的変数の値は、例えば、順序尺度であるということができる。   The prediction unit 5 calculates a predicted value of a result for each image data using a model corresponding to each time section. The predicted value is the value of the objective variable, and represents the probability that the event “1” occurs or the probability that the event “0” occurs. The probability (value of the objective variable) calculated by the prediction unit 5 is a continuous value that can take a value in the range of 0 to 1. Therefore, it can be said that the value of the target variable calculated by the prediction unit 5 is, for example, an ordinal scale.

評価部6が、時間区分毎に、時間区分に対応するモデルの予測精度を算出する場合、評価部6は、以下の処理を行えばよい。なお、結果の真値は“1”または“0”であり、画像データに対応付けられて、データ記憶部2に記憶されている。   When the evaluation unit 6 calculates the prediction accuracy of the model corresponding to the time section for each time section, the evaluation section 6 may perform the following processing. The true value of the result is “1” or “0” and is stored in the data storage unit 2 in association with the image data.

ここでは、時間区分aに着目して、評価部6が、時間区分aに対応するモデルの予測精度を算出する場合を例にして説明する。予測部5は、時間区分aに対応するモデルを用いて、画像データ毎に予測値を算出しているものとする。時間区分aに関して算出されている予測値の数は、画像データの個数である。評価部6は、個々の予測値を“1”または“0”とみなす。すなわち、評価部6は、1つの予測値が0.5よりも大きければ、その予測値を“1”とみなし、その予測値が0.5よりも小さければ、その予測値を“0”とみなす。そして、評価部6は、“1”または“0”とみなした予測値と、結果の真値とが一致しているか否かを判定し、真値と一致している予測値の個数をカウントする。   Here, the case where the evaluation unit 6 calculates the prediction accuracy of the model corresponding to the time section a by focusing on the time section a will be described as an example. It is assumed that the prediction unit 5 calculates a predicted value for each image data using a model corresponding to the time section a. The number of prediction values calculated for the time section a is the number of image data. The evaluation unit 6 regards each predicted value as “1” or “0”. That is, the evaluation unit 6 regards the predicted value as “1” if one predicted value is larger than 0.5, and sets the predicted value as “0” if the predicted value is smaller than 0.5. I reckon. Then, the evaluation unit 6 determines whether or not the predicted value regarded as “1” or “0” matches the true value of the result, and counts the number of predicted values that match the true value. I do.

例えば、時間区分aに対応するモデルを画像データ#1に適用して算出した予測値が“0.8”であったとする。また、画像データ#1に対応する結果の真値が“1”であったとする。0.8>0.5であるので、評価部6は、予測値“0.8”を“1”とみなし、真値“1”と一致すると判定する。この場合において、真値が“0”であったならば、評価部6は、予測値“0.8”を“1”とみなし、真値“0”と一致しないと判定すればよい。   For example, it is assumed that a prediction value calculated by applying the model corresponding to the time section a to the image data # 1 is “0.8”. It is also assumed that the true value of the result corresponding to image data # 1 is "1". Since 0.8> 0.5, the evaluation unit 6 regards the predicted value “0.8” as “1” and determines that it matches the true value “1”. In this case, if the true value is “0”, the evaluation unit 6 may regard the predicted value “0.8” as “1” and determine that it does not match the true value “0”.

また、例えば、時間区分aに対応するモデルを画像データ#2に適用して算出した予測値が“0.3”であったとする。また、画像データ#2に対応する結果の真値が“0”であったとする。0.3<0.5であるので、評価部6は、予測値“0.3”を“0”とみなし、真値“0”と一致すると判定する。この場合において、真値が“1”であったならば、評価部6は、予測値“0.3”を“0”とみなし、真値“1”と一致しないと判定すればよい。   Further, for example, it is assumed that a predicted value calculated by applying the model corresponding to the time section a to the image data # 2 is “0.3”. It is also assumed that the true value of the result corresponding to image data # 2 is “0”. Since 0.3 <0.5, the evaluation unit 6 regards the predicted value “0.3” as “0” and determines that it matches the true value “0”. In this case, if the true value is “1”, the evaluation unit 6 may regard the predicted value “0.3” as “0” and determine that it does not match the true value “1”.

このように、評価部6は、画像データに対応する予測値毎に、予測値を“1”または“0”とみなし、その値と真値とが一致している予測値の個数をカウントする。そして、評価部6は、そのカウント値を、時間区分aに関して算出されている予測値の数で除算した値を、時間区分aに対応するモデルの予測精度とする。このように、上記のカウント値を予測値の数で除算した値は、一致率と称することもできる。   As described above, the evaluation unit 6 regards the predicted value as “1” or “0” for each predicted value corresponding to the image data, and counts the number of predicted values whose values match the true values. . Then, the evaluation unit 6 sets the value obtained by dividing the count value by the number of predicted values calculated for the time section a as the prediction accuracy of the model corresponding to the time section a. As described above, a value obtained by dividing the above count value by the number of predicted values can also be referred to as a coincidence rate.

評価部6は、他の各時間区分に関してもそれぞれ、時間区分に対応するモデルの予測精度を算出する。   The evaluation unit 6 calculates the prediction accuracy of the model corresponding to each of the other time segments.

その他の点は、前述の第1の実施形態や第2の実施形態と同様である。よって、動作の結果が事象である場合も、第1の実施形態や第2の実施形態に適用可能である。そして、第1の実施形態や第2の実施形態と同様の効果を得ることができる。すなわち、ユーザは、PKの一連の動作を行う時間のうち、フォームが結果(本例では、ボールの進行方向)に対して大きな影響を与える時間帯を把握することができる。   The other points are the same as those of the above-described first embodiment and second embodiment. Therefore, even when the result of the operation is an event, the present invention can be applied to the first embodiment and the second embodiment. Then, the same effects as in the first embodiment and the second embodiment can be obtained. In other words, the user can grasp the time zone in which the form has a great effect on the result (in this example, the traveling direction of the ball) in the time period for performing a series of PK operations.

特に、本例では、競争相手(対戦チームの選手)に関するデータをデータ記憶部2に記憶させておけば、フォームが結果に対して大きな影響を与える時間帯を把握した上で、その時間帯のフォームを重点的に確認することができる。すると、キーパは、対戦チームの選手の癖等を見つけやすくなり、キーパのPK阻止率に寄与することができる。   In particular, in this example, if data relating to competitors (players of the opposing team) is stored in the data storage unit 2, the time zone in which the form has a great influence on the result is grasped, and You can focus on the form. Then, the keeper can easily find out the habits and the like of the players of the opponent team, and can contribute to the PK rejection rate of the keeper.

また、第2の実施形態の変形例の1つとして示したように、ステップS12の後、外部から時間区分の指定を受ける場合においても、動作の結果が事象であってもよい。例えば、ステップS12において、表示部7が、図8に例示する態様で各時間区分のアイコン21を表示し、その後、時間区分cが指定されたとする。この場合、表示部7は、その時間区分cに対応するモデルの予測精度を表示する。   Further, as shown as one of the modifications of the second embodiment, the operation result may be an event even when a time division is externally designated after step S12. For example, it is assumed that, in step S12, the display unit 7 displays the icon 21 of each time section in a mode illustrated in FIG. 8, and thereafter, the time section c is designated. In this case, the display unit 7 displays the prediction accuracy of the model corresponding to the time section c.

さらに、表示部7は、そのモデルを用いて算出された予測値が最大となっている画像データと、そのモデルを用いて算出された予測値が最小となっている画像データとを特定する。本例では、値が大きいほど、キック後にボールが右に飛ぶ確率が高く、値が小さいほど、キック後にボールが左に飛ぶ確率が高い。すなわち、表示部7は、キック後にボールが右に飛ぶ確率が最も高いと予測されるフォームの画像データと、キック後にボールが左に飛ぶ確率が最も高いと予測されるフォームの画像データとを特定していることになる。   Further, the display unit 7 specifies the image data having the maximum predicted value calculated using the model and the image data having the minimum predicted value calculated using the model. In this example, the larger the value, the higher the probability that the ball will fly right after kicking, and the smaller the value, the higher the probability that the ball will fly left after kicking. That is, the display unit 7 identifies the image data of the form in which the probability that the ball will fly to the right after the kick is the highest, and the image data of the form in which the probability that the ball will fly to the left after the kick is the highest. You are doing.

表示部7は、予測値が最大となっている画像データにおける、指定された時間区分cに該当する範囲の動画と、予測値が最小となっている画像データにおける、指定された時間区分cに該当する範囲の動画とをそれぞれ表示する。   The display unit 7 displays the moving image in the range corresponding to the designated time section c in the image data with the largest predicted value and the designated time section c in the image data with the smallest predicted value. The video in the corresponding range is displayed.

時間区分が指定された場合に表示部7が表示する画面は、図10に例示する画面と同様でよい。なお、図10に示す「成績:良」、「成績:悪」等のテキスト情報はそれぞれ、「ボール進行方向:右」、「ボール進行方向:左」等として表示すればよい。   The screen displayed by the display unit 7 when the time section is designated may be the same as the screen illustrated in FIG. Note that the text information such as “Result: good” and “Result: bad” shown in FIG. 10 may be displayed as “ball traveling direction: right”, “ball traveling direction: left”, and the like, respectively.

この場合には、ボールが最も右に飛びやすいと予測される動画であって、フォームが結果に対して大きな影響を与える時間帯の動画を表示することができ、また、ボールが最も左に飛びやすいと予測される動画であって、フォームが結果に対して大きな影響を与える時間帯の動画を表示することができる。従って、それらの画像を解析したり、比較したりすることによって、フォームの改善、フォームの癖の発見等に利用することができる。   In this case, it is possible to display a video in which the ball is predicted to be most likely to fly to the right, and a video during a time when the form has a great influence on the result. It is possible to display a moving image that is expected to be easy and that is in a time zone in which the form has a great influence on the result. Therefore, by analyzing or comparing those images, the images can be used for improving the form, discovering the habit of the form, and the like.

また、本発明の各実施形態やその変形例において、スポーツ動作解析支援システム1は、データ記憶部2に記憶させるデータを外部から取得するデータ取得部を備えていてもよい。図11は、データ取得部を備える場合の構成例を示すブロック図である。データ記憶部2、時間区分画像抽出部3、学習部4、予測部5、評価部6および表示部7は、第1の実施形態におけるそれらの要素や、第2の実施形態やその変形例におけるそれらの要素と同様であり、説明を省略する。   In each embodiment of the present invention and its modifications, the sports motion analysis support system 1 may include a data acquisition unit that acquires data to be stored in the data storage unit 2 from outside. FIG. 11 is a block diagram illustrating a configuration example when a data acquisition unit is provided. The data storage unit 2, the time-segmented image extraction unit 3, the learning unit 4, the prediction unit 5, the evaluation unit 6, and the display unit 7 include those elements in the first embodiment, and those in the second embodiment and its modifications. They are the same as those elements, and the description is omitted.

データ取得部9は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数取得し、データ記憶部2に記憶させる。   The data acquisition unit 9 acquires a plurality of pieces of data in which image data of a moving image representing a series of actions in sports and the results of the actions are associated with each other, and stores the data in the data storage unit 2.

例えば、上記のデータが外部の装置(図示略)に複数記憶されているとする。この場合、データ取得部9は、その装置にアクセスして、その装置からデータを複数取得して、データ記憶部2に記憶させればよい。データ取得部9が複数のデータをデータ記憶部2に記憶させた後の処理は、第1の実施形態で説明した処理、または、第2の実施形態やその変形例で説明した処理と同様である。   For example, it is assumed that a plurality of the above data are stored in an external device (not shown). In this case, the data acquisition unit 9 may access the device, acquire a plurality of data from the device, and store the data in the data storage unit 2. The processing after the data acquisition unit 9 stores a plurality of data in the data storage unit 2 is the same as the processing described in the first embodiment, or the processing described in the second embodiment or its modification. is there.

データ取得部9は、例えば、スポーツ動作解析支援プログラムに従って動作するコンピュータのCPUによって実現される。   The data acquisition unit 9 is realized by, for example, a CPU of a computer that operates according to a sports motion analysis support program.

以上の説明では、走り幅跳びやサッカーにおけるPKを例にして説明した。本発明が適用されるスポーツの動作は、これらに限定されない。例えば、ゴルフにおけるスイング動作の画像データと、成績(飛距離)とを対応付けたデータを、複数データ記憶部2に記憶させておいてもよい。この場合、ゴルフクラブでボールを打つ時点を基準の時刻とすればよい。また、例えば、バレーボールのセッターがトスする動作の画像データと、ボールが右に飛んだか、左に飛んだかを示す結果とを対応付けたデータを、複数データ記憶部2に記憶させておいてもよい。この場合、セッターがトスする時点を基準の時刻とすればよい。また、例えば、野球におけるピッチャーの投球動作、ラグビーのフォーメーション、または、アメリカンフットボールのフォーメーション等にも、本発明を適用可能である。このように、本発明は、種々のスポーツの動作に適用可能である。   In the above description, a long jump or PK in soccer has been described as an example. The sports operation to which the present invention is applied is not limited to these. For example, data in which image data of a swing operation in golf and results (flying distance) are associated with each other may be stored in the multiple data storage unit 2. In this case, the time when the golf club hits the ball may be set as the reference time. Further, for example, data in which the image data of the action of the toss of the volleyball setter and the result indicating whether the ball flew to the right or left may be stored in the multiple data storage unit 2. Good. In this case, the time when the setter tosses may be set as the reference time. Further, for example, the present invention can be applied to a pitching operation of a pitcher in baseball, a formation of rugby, or a formation of American football. As described above, the present invention is applicable to various sports operations.

図12は、本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ1000は、CPU1001と、主記憶装置1002と、補助記憶装置1003と、インタフェース1004と、ディスプレイ装置1005と、入力デバイス1006とを備える。入力デバイス1006は、図9に示す操作部8に相当する。   FIG. 12 is a schematic block diagram illustrating a configuration example of a computer according to each embodiment of the present invention. The computer 1000 includes a CPU 1001, a main storage device 1002, an auxiliary storage device 1003, an interface 1004, a display device 1005, and an input device 1006. The input device 1006 corresponds to the operation unit 8 shown in FIG.

本発明の各実施形態のスポーツ動作解析支援システム1は、コンピュータ1000に実装される。スポーツ動作解析支援システム1の動作は、プログラム(スポーツ動作解析支援プログラム)の形式で補助記憶装置1003に記憶されている。CPU1001は、プログラムを補助記憶装置1003から読み出して主記憶装置1002に展開し、そのプログラムに従って上記の処理を実行する。   The sports motion analysis support system 1 according to each embodiment of the present invention is mounted on a computer 1000. The operation of the sports motion analysis support system 1 is stored in the auxiliary storage device 1003 in the form of a program (sport motion analysis support program). The CPU 1001 reads out the program from the auxiliary storage device 1003, expands the program in the main storage device 1002, and executes the above processing according to the program.

補助記憶装置1003は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース1004を介して接続される磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ1000に配信される場合、配信を受けたコンピュータ1000がそのプログラムを主記憶装置1002に展開し、上記の処理を実行してもよい。   The auxiliary storage device 1003 is an example of a non-transitory tangible medium. Other examples of the non-transitory tangible medium include a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, and a semiconductor memory connected via the interface 1004. When the program is distributed to the computer 1000 via a communication line, the computer 1000 that has received the program may load the program into the main storage device 1002 and execute the above processing.

また、プログラムは、前述の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置1003に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。   Further, the program may be for realizing a part of the processing described above. Furthermore, the program may be a difference program that implements the above-described processing in combination with another program already stored in the auxiliary storage device 1003.

また、各構成要素の一部または全部は、汎用または専用の回路(circuitry )、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。   A part or all of the components may be realized by a general-purpose or dedicated circuit, a processor, or a combination thereof. These may be configured by a single chip, or may be configured by a plurality of chips connected via a bus. Some or all of the components may be realized by a combination of the above-described circuit and the like and a program.

各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。   When some or all of the components are realized by a plurality of information processing devices, circuits, and the like, the plurality of information processing devices, circuits, and the like may be centrally arranged or distributed. For example, the information processing device, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system or a cloud computing system.

次に、本発明の概要について説明する。図13は、本発明の概要を示すブロック図である。本発明のスポーツ動作解析支援システムは、データ記憶部2と、学習部4と、評価部6とを備える。   Next, the outline of the present invention will be described. FIG. 13 is a block diagram showing an outline of the present invention. The sports motion analysis support system of the present invention includes a data storage unit 2, a learning unit 4, and an evaluation unit 6.

データ記憶部2は、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶する。   The data storage unit 2 stores a plurality of pieces of data in which image data of a moving image representing a series of actions in sports and results of the actions are associated.

学習部4は、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する。   The learning unit 4 uses a plurality of data to determine, for each of a plurality of time segments determined based on a time point representing a predetermined operation, a relationship between an operation in the time segment and a result corresponding to the operation. Learn a model that represents.

評価部6は、モデルを用いて予測された結果の予測精度を、時間区分毎に算出する。   The evaluation unit 6 calculates the prediction accuracy of the result predicted using the model for each time section.

そのような構成によって、スポーツにおける一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯を把握できるようにユーザを支援することができる。   With such a configuration, it is possible to assist the user so that the user can grasp the time zone in which the form has a great influence on the result among the time periods for performing a series of actions in the sport.

また、図14は、本発明の概要を示す他のブロック図である。本発明のスポーツ動作解析支援システムは、データ記憶部2と、学習部4と、特定部16とを備えていてもよい。   FIG. 14 is another block diagram showing an outline of the present invention. The sports motion analysis support system of the present invention may include the data storage unit 2, the learning unit 4, and the specifying unit 16.

データ記憶部2および学習部4は、図13に示すデータ記憶部2および学習部4と同様である。   The data storage unit 2 and the learning unit 4 are the same as the data storage unit 2 and the learning unit 4 shown in FIG.

特定部16(例えば、第2の実施形態における評価部6)は、モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する。   The specifying unit 16 (for example, the evaluation unit 6 in the second embodiment) specifies a time section that can specify a time zone in which the degree of improvement in prediction accuracy of a result predicted using a model is large.

この場合にも、スポーツにおける一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯を把握できるようにユーザを支援することができる。   In this case as well, it is possible to assist the user so that the user can grasp the time zone in which the form has a great influence on the result among the time periods for performing a series of actions in the sport.

上記の各実施形態は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。   Each of the above embodiments may be described as the following supplementary notes, but is not limited thereto.

(付記1)
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習部と、
モデルを用いて予測された結果の予測精度を、時間区分毎に算出する評価部とを備える
ことを特徴とするスポーツ動作解析支援システム。
(Appendix 1)
A data storage unit that stores a plurality of image data of moving images representing a series of actions in sports, and a plurality of data in which the results of the actions are associated
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. A learning unit to learn,
A sports motion analysis support system, comprising: an evaluation unit that calculates prediction accuracy of a result predicted using a model for each time section.

(付記2)
時間区分と、時間区分に対応するモデルの予測精度との関係を示すグラフを表示する表示部を備える
付記1に記載のスポーツ動作解析支援システム。
(Appendix 2)
The sports motion analysis support system according to claim 1, further comprising a display unit that displays a graph indicating a relationship between the time section and a prediction accuracy of a model corresponding to the time section.

(付記3)
評価部は、モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する
付記1または付記2に記載のスポーツ動作解析支援システム。
(Appendix 3)
The sports motion analysis support system according to Supplementary Note 1 or 2, wherein the evaluation unit specifies a time section that can specify a time zone in which a degree of improvement in prediction accuracy of a result predicted using the model is large.

(付記4)
表示部は、外部から指定された時間区分に対応するモデルの予測精度を表示するとともに、前記モデルを用いて予測された予測値に基づいて所定数の画像データを特定し、特定した各画像データにおける前記時間区分の動画を表示する
付記1から付記3のうちのいずれかに記載のスポーツ動作解析支援システム。
(Appendix 4)
The display unit displays the prediction accuracy of the model corresponding to the time section specified from the outside, specifies a predetermined number of image data based on a predicted value predicted using the model, and specifies each specified image data. The sports motion analysis support system according to any one of Supplementary Notes 1 to 3, wherein a moving image of the time section is displayed.

(付記5)
画像データに対応付けられる動作の結果は、成績を示す数値であり、
学習部は、時間区分毎に、時間区分における動作と、成績を示す数値との関係を表すモデルを学習する
付記1から付記4のうちのいずれかに記載のスポーツ動作解析支援システム。
(Appendix 5)
The result of the operation associated with the image data is a numerical value indicating the grade,
The sports motion analysis support system according to any one of Supplementary notes 1 to 4, wherein the learning unit learns a model representing a relationship between an action in the time section and a numerical value indicating a result for each time section.

(付記6)
画像データに対応付けられる動作の結果は、事象であり、
学習部は、時間区分毎に、時間区分における動作と、事象が生じる確率との関係を表すモデルを学習する
付記1から付記4のうちのいずれかに記載のスポーツ動作解析支援システム。
(Appendix 6)
The result of the operation associated with the image data is an event,
The sports motion analysis support system according to any one of Supplementary notes 1 to 4, wherein the learning unit learns a model representing a relationship between an action in the time section and a probability of occurrence of an event for each time section.

(付記7)
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習部と、
モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する特定部とを備える
ことを特徴とするスポーツ動作解析支援システム。
(Appendix 7)
A data storage unit that stores a plurality of image data of a moving image representing a series of operations in sports, and a plurality of data in which the results of the operations are associated with each other;
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. A learning unit to learn,
A sports motion analysis support system, comprising: a specification unit that specifies a time zone that can specify a time zone in which a degree of improvement in prediction accuracy of a result predicted using a model is large.

(付記8)
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習し、
モデルを用いて予測された結果の予測精度を、時間区分毎に算出する
ことを特徴とするスポーツ動作解析支援方法。
(Appendix 8)
A computer including a data storage unit that stores a plurality of pieces of data in which image data of a moving image representing a series of actions in sports and results of the actions are associated with each other.
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learn,
A sports motion analysis support method, wherein a prediction accuracy of a result predicted using a model is calculated for each time section.

(付記9)
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習し、
モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する
ことを特徴とするスポーツ動作解析支援方法。
(Appendix 9)
A computer including a data storage unit that stores a plurality of pieces of data in which image data of a moving image representing a series of actions in sports and results of the actions are associated with each other.
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation Learn,
A sports motion analysis support method characterized by identifying a time zone that can identify a time zone in which the degree of improvement in prediction accuracy of a result predicted using a model is large.

(付記10)
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、
前記コンピュータに、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習処理、および、
モデルを用いて予測された結果の予測精度を、時間区分毎に算出する評価処理
を実行させるためのスポーツ動作解析支援プログラム。
(Appendix 10)
A sports motion analysis support program mounted on a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of motions in a sport and a result of the motion are associated with each other,
On the computer,
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learning process to learn, and
A sports motion analysis support program that executes an evaluation process that calculates the prediction accuracy of the results predicted using the model for each time interval.

(付記11)
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、
前記コンピュータに、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習処理、および、
モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する特定処理
を実行させるためのスポーツ動作解析支援プログラム。
(Appendix 11)
A sports motion analysis support program mounted on a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of motions in a sport and a result of the motion are associated with each other,
On the computer,
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learning process to learn, and
A sports motion analysis support program for executing a specific process of specifying a time zone that can specify a time zone in which the degree of improvement in prediction accuracy of a result predicted using a model is large.

以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。   The present invention has been described with reference to the exemplary embodiments, but the present invention is not limited to the above exemplary embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

産業上の利用の可能性Industrial applicability

本発明は、スポーツにおける動作解析を支援するスポーツ動作解析支援システムに好適に適用可能である。   INDUSTRIAL APPLICABILITY The present invention is suitably applicable to a sports motion analysis support system that supports motion analysis in sports.

1 スポーツ動作解析支援システム
2 データ記憶部
3 時間区分画像抽出部
4 学習部
5 予測部
6 評価部
7 表示部
8 操作部
9 データ取得部
Reference Signs List 1 sports motion analysis support system 2 data storage unit 3 time segmented image extraction unit 4 learning unit 5 prediction unit 6 evaluation unit 7 display unit 8 operation unit 9 data acquisition unit

Claims (10)

スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習部と、
モデルを用いて予測された結果の予測精度を、時間区分毎に算出する評価部とを備える
ことを特徴とするスポーツ動作解析支援システム。
A data storage unit that stores a plurality of image data of a moving image representing a series of operations in sports, and a plurality of data in which the results of the operations are associated with each other;
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. A learning unit to learn,
A sports motion analysis support system, comprising: an evaluation unit that calculates prediction accuracy of a result predicted using a model for each time section.
時間区分と、時間区分に対応するモデルの予測精度との関係を示すグラフを表示する表示部を備える
請求項1に記載のスポーツ動作解析支援システム。
The sports motion analysis support system according to claim 1, further comprising a display unit that displays a graph indicating a relationship between a time section and a prediction accuracy of a model corresponding to the time section.
評価部は、モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する
請求項1または請求項2に記載のスポーツ動作解析支援システム。
The sports motion analysis support system according to claim 1 or 2, wherein the evaluation unit specifies a time section that can specify a time zone in which the degree of improvement in prediction accuracy of a result predicted using the model is large.
表示部は、外部から指定された時間区分に対応するモデルの予測精度を表示するとともに、前記モデルを用いて予測された予測値に基づいて所定数の画像データを特定し、特定した各画像データにおける前記時間区分の動画を表示する
請求項1から請求項3のうちのいずれか1項に記載のスポーツ動作解析支援システム。
The display unit displays the prediction accuracy of the model corresponding to the time section specified from the outside, specifies a predetermined number of image data based on a predicted value predicted using the model, and specifies each specified image data. The sports motion analysis support system according to any one of claims 1 to 3, wherein a moving image of the time section is displayed.
画像データに対応付けられる動作の結果は、成績を示す数値であり、
学習部は、時間区分毎に、時間区分における動作と、成績を示す数値との関係を表すモデルを学習する
請求項1から請求項4のうちのいずれか1項に記載のスポーツ動作解析支援システム。
The result of the operation associated with the image data is a numerical value indicating the grade,
The sports motion analysis support system according to any one of claims 1 to 4, wherein the learning unit learns, for each time interval, a model representing a relationship between the motion in the time interval and a numerical value indicating a score. .
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習部と、
モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する特定部とを備える
ことを特徴とするスポーツ動作解析支援システム。
A data storage unit that stores a plurality of image data of moving images representing a series of actions in sports, and a plurality of data in which the results of the actions are associated
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation A learning unit to learn,
A sports motion analysis support system, comprising: a specification unit that specifies a time zone that can specify a time zone in which a degree of improvement in prediction accuracy of a result predicted using a model is large.
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習し、
モデルを用いて予測された結果の予測精度を、時間区分毎に算出する
ことを特徴とするスポーツ動作解析支援方法。
A computer including a data storage unit that stores a plurality of pieces of data in which image data of a moving image representing a series of actions in sports and results of the actions are associated with each other.
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learn,
A sports motion analysis support method, wherein a prediction accuracy of a result predicted using a model is calculated for each time section.
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習し、
モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する
ことを特徴とするスポーツ動作解析支援方法。
A computer including a data storage unit that stores a plurality of pieces of data in which image data of a moving image representing a series of actions in sports and results of the actions are associated with each other.
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learn,
A sports motion analysis support method characterized by identifying a time zone that can identify a time zone in which the degree of improvement in prediction accuracy of a result predicted using a model is large.
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、
前記コンピュータに、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習処理、および、
モデルを用いて予測された結果の予測精度を、時間区分毎に算出する評価処理
を実行させるためのスポーツ動作解析支援プログラム。
A sports motion analysis support program mounted on a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of motions in a sport and a result of the motion are associated with each other,
On the computer,
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learning process to learn, and
A sports motion analysis support program that executes an evaluation process that calculates the prediction accuracy of the results predicted using the model for each time interval.
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、
前記コンピュータに、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習処理、および、
モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する特定処理
を実行させるためのスポーツ動作解析支援プログラム。
A sports motion analysis support program mounted on a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of motions in a sport and a result of the motion are associated with each other,
On the computer,
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learning process to learn, and
A sports motion analysis support program for executing a specific process of specifying a time zone that can specify a time zone in which the degree of improvement in prediction accuracy of a result predicted using a model is large.
JP2018558560A 2016-12-27 2016-12-27 Sports motion analysis support system, method and program Active JP6677319B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/088884 WO2018122956A1 (en) 2016-12-27 2016-12-27 Sport motion analysis support system, method and program

Publications (2)

Publication Number Publication Date
JPWO2018122956A1 JPWO2018122956A1 (en) 2019-03-28
JP6677319B2 true JP6677319B2 (en) 2020-04-08

Family

ID=62707143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018558560A Active JP6677319B2 (en) 2016-12-27 2016-12-27 Sports motion analysis support system, method and program

Country Status (2)

Country Link
JP (1) JP6677319B2 (en)
WO (1) WO2018122956A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102284802B1 (en) * 2020-10-06 2021-08-02 김세원 Apparatus and method for providing condition information of player regarding sports game

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7344510B2 (en) 2019-11-05 2023-09-14 テンソル・コンサルティング株式会社 Motion analysis system, motion analysis method, and motion analysis program
JP7078667B2 (en) * 2020-05-08 2022-05-31 株式会社電通 Win / Loss Prediction System
JP7393701B2 (en) * 2020-09-03 2023-12-07 日本電信電話株式会社 Learning device, estimation device, learning method, and learning program
JP2022170184A (en) * 2021-04-28 2022-11-10 オムロン株式会社 Motion improvement device, motion improvement method, motion improvement program, and motion improvement system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360685B2 (en) * 2007-05-24 2019-07-23 Pillar Vision Corporation Stereoscopic image capture with performance outcome prediction in sporting environments
WO2015080063A1 (en) * 2013-11-27 2015-06-04 株式会社ニコン Electronic apparatus
JP6332830B2 (en) * 2013-12-24 2018-05-30 カシオ計算機株式会社 Exercise support system, exercise support method, and exercise support program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102284802B1 (en) * 2020-10-06 2021-08-02 김세원 Apparatus and method for providing condition information of player regarding sports game

Also Published As

Publication number Publication date
JPWO2018122956A1 (en) 2019-03-28
WO2018122956A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
JP6677319B2 (en) Sports motion analysis support system, method and program
US11755952B2 (en) System and method for predictive sports analytics using body-pose information
JP6733738B2 (en) MOTION RECOGNITION DEVICE, MOTION RECOGNITION PROGRAM, AND MOTION RECOGNITION METHOD
JP6082101B2 (en) Body motion scoring device, dance scoring device, karaoke device, and game device
JP6915701B2 (en) Extraction program, extraction method and information processing equipment
US11839805B2 (en) Computer vision and artificial intelligence applications in basketball
US11967086B2 (en) Player trajectory generation via multiple camera player tracking
CN112154482B (en) Ball game image analysis device and ball game image analysis method
JP6704606B2 (en) Judgment system and judgment method
CN105229666A (en) Motion analysis in 3D rendering
US11478681B2 (en) Method of real time monitoring of a person during an event and event dynamics system thereof
JP6596804B1 (en) Position tracking system and position tracking method
US20210170230A1 (en) Systems and methods for training players in a sports contest using artificial intelligence
JP2021531057A (en) Dynamic region determination
CN105848737B (en) Analysis device, recording medium, and analysis method
JP6677320B2 (en) Sports motion analysis support system, method and program
JP6653423B2 (en) Play section extracting method and play section extracting apparatus
JP2020054747A (en) Play analysis device and play analysis method
JP2019083968A (en) Player analysis support system
JP6760610B2 (en) Position measurement system and position measurement method
JP7074727B2 (en) Sport behavior recognition devices, methods and programs
KR20230080954A (en) Foul judgment system in badminton matches and method of operation of system
US20220343649A1 (en) Machine learning for basketball rule violations and other actions
JP2023044410A (en) Tactical analyzer and method for controlling the same, and control program
EP4325443A1 (en) Data processing apparatus and method

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R150 Certificate of patent or registration of utility model

Ref document number: 6677319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150