JPWO2018122957A1 - スポーツ動作解析支援システム、方法およびプログラム - Google Patents

Abstract

データ記憶部２は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶する。学習部４は、動作とその動作に対応する結果との関係を表すモデルを学習する。予測部５は、画像データ毎に、モデルに基づいて、結果の予測値を算出する。選択部６は、画像データ毎に算出された予測値に基づいて、データ記憶部２に記憶されている複数の画像データから所定数の画像データを選択する。

Description

本発明は、スポーツにおける動作解析を支援するスポーツ動作解析支援システム、スポーツ動作解析支援方法およびスポーツ動作解析支援プログラムに関する。

スポーツにおける動作の解析に利用可能な技術として、モーションキャプチャが知られている。

また、スポーツをしている人を撮像して得られた動画に基づいて、身体の特定の部位（例えば、足首）等の軌跡を表示するアプリケーションソフトウェアが存在する。また、手本となるフォームと、スポーツをしている人のフォームとの差を表示するアプリケーションソフトウェアが存在する。

特許文献１には、学習者のゴルフスウィング等のフォームをビデオカメラで撮影した動画に、手本となるスケルトン画像であって、学習者の体型に合わせたスケルトン画像を重ね合わせて表示するシステムが記載されている。

特開２００５−２３７４９４号公報

スポーツを行う際のフォームと、そのフォームを含む動作の結果とが、完全に対応しているとは限らない。なお、スポーツにおける動作の結果の例として、スポーツの成績を示す数値が挙げられる。成績を示す数値以外の結果の例として、事象が挙げられる。事象の具体例として、例えば、サッカーのＰＫ（penalty kick）後にボールがどちらの方向に飛んだかという事項のような、スポーツで用いる用具の動きに関する事項等が挙げられる。

以下に、フォームと、そのフォームを含む動作の結果とが、完全に対応しているとは限らないという例を示す。例えば、ある人のフォームがよくても、その人のコンディションがよくなかったために、よい成績が出なかったということが生じ得る。また、例えば、ある人のフォームがよくても、雨や風等の外的要因により、よい成績が出なかったということが生じ得る。同様に、ボールが右方向に飛ぶ傾向が強いフォームで人が動作したとしても、コンディションや外的要因等によって、ボールが左方向に飛ぶことも生じ得る。

しかし、統計的には、このようなフォームであればよい成績が出やすいという傾向や、このようなフォームであればボールが特定の方向に飛びやすい等といった傾向は存在する。

多くの動画の中から、統計的に所定の結果が生じやすいフォームを含む動作を表す動画をユーザに提示することができれば、ユーザは、自分のフォームの改善や、競争相手となる選手のフォームの癖の発見等に、その動画を役立てることができる。

しかし、多くの動画の画像データの中から、所定の結果が生じやすいフォームを含む動作を表す動画の画像データを特定する場合、個々の動画を１つ１つ確認していくとすると、確認のための作業負担が非常に大きくなる。

特許文献１に記載されたシステムは、１つの動画にスケルトン画像を重ね合わせて表示する。従って、多数の動画が存在する場合には、ユーザは、スケルトン画像が重ね合された動画を１つ１つ確認していかなければならない。

そこで、本発明は、多くの動画の画像データの中から、所定の結果が生じやすいフォームを含む動作を表す動画の画像データを容易に特定することができるスポーツ動作解析支援システム、スポーツ動作解析支援方法およびスポーツ動作解析支援プログラムを提供することを目的とする。

本発明によるスポーツ動作解析支援システムは、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、動作とその動作に対応する結果との関係を表すモデルを学習する学習部と、画像データ毎に、モデルに基づいて、結果の予測値を算出する予測部と、画像データ毎に算出された予測値に基づいて、データ記憶部に記憶されている複数の画像データから所定数の画像データを選択する選択部とを備えることを特徴とする。

また、本発明によるスポーツ動作解析支援方法は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、動作とその動作に対応する結果との関係を表すモデルを学習し、画像データ毎に、モデルに基づいて、結果の予測値を算出し、画像データ毎に算出された予測値に基づいて、データ記憶部に記憶されている複数の画像データから所定数の画像データを選択することを特徴とする。

また、本発明によるスポーツ動作解析支援プログラムは、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、コンピュータに、動作とその動作に対応する結果との関係を表すモデルを学習する学習処理、画像データ毎に、モデルに基づいて、結果の予測値を算出する予測処理、および、画像データ毎に算出された予測値に基づいて、データ記憶部に記憶されている複数の画像データから所定数の画像データを選択する選択処理を実行させることを特徴とする。

本発明によれば、多くの動画の画像データの中から、所定の結果が生じやすいフォームを含む動作を表す動画の画像データを容易に特定することができる。

本発明の第１の実施形態のスポーツ動作解析支援システムの例を示すブロック図である。 走り幅跳びを行う人の一連の動作を示す模式図である。 画像データと成績とを対応付けた複数のデータの例を示す模式図である。 本発明の第１の実施形態の処理経過の例を示すフローチャートである。 ステップＳ２で得られた予測値の例を示す説明図である。 画像データと、成績と、外的要因と、コンディションとを対応付けた複数のデータの例を示す模式図である。 ＰＫを行う選手の一連の動作を示す模式図である。 画像データと事象とを対応付けた複数のデータの例を示す模式図である。 本発明の第２の実施形態の処理経過の例を示すフローチャートである。 ステップＳ１２で得られた確率の例を示す説明図である。 データ取得部を備える場合の構成例を示すブロック図である。 本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。 本発明の概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
本発明の第１の実施形態では、スポーツの動作の結果が、成績を示す数値で表される場合を説明する。また、第１の実施形態では、スポーツとして、走り幅跳びを例にして説明する。従って、本実施形態では、走り幅跳びの動作の結果が、成績を示す数値（本例では、跳躍距離）である場合を例にして説明する。ただし、第１の実施形態は、成績を示す数値で動作の結果が表される他のスポーツにも適用可能である。

図１は、本発明の第１の実施形態のスポーツ動作解析支援システムの例を示すブロック図である。本発明の第１の実施形態のスポーツ動作解析支援システム１は、データ記憶部２と、学習部４と、予測部５と、操作部８と、選択部６と、表示部７とを備える。

データ記憶部２は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶する記憶装置である。本例では、各データにおいて、走り幅跳びを行う人の一連の動作を表す動画の画像データと、その動作の結果として得られた成績（跳躍距離）とが対応付けられている。データ記憶部２は、そのようなデータを複数記憶する。

画像データと成績との対応付けの態様は、特に限定されない。例えば、成績が画像データとは別のデータとして存在し、画像データと成績とが対応付けられていてもよい。また、例えば、画像データの動画に成績が内包される態様（換言すれば、成績が動画上に表される態様）で、画像データと成績とが対応付けられていてもよい。この点は、後述の実施形態においても同様である。以下、前者を例にして説明する。

図２は、走り幅跳びを行う人（以下、選手と記す。）の一連の動作を示す模式図である。なお、図２では、図面を簡単にするために、例えば、助走しているときの選手の姿勢として、同一の姿勢を図示しているが、実際の選手は、手足等を動かしながら、一連の動作を行う。選手は、助走をして、踏切板１１で跳躍し、その後、着地する。この一連の動作をビデオカメラで撮像することによって、一連の動作を表す動画の画像データを得ることができる。そして、その画像データと、その時の成績とを対応付けたデータが１つのデータとなる。データ記憶部２は、予め、そのようなデータを複数記憶する。画像データに対応付けられる成績は、実測値である。

図３は、画像データと成績（実測値）とを対応付けた複数のデータの例を示す模式図である。図３では、個々の画像データを便宜的に符号“＃”と番号を連ねた記号で示している。データ記憶部２は、例えば、図３に例示するデータを予め記憶している。図３では２０個のデータを示しているが、データ記憶部２に記憶されるデータの数は２０個に限定されず、さらに多くのデータが記憶されていてもよい。

なお、特定の選手を対象にして解析を行う場合には、その特定の選手の練習時や競技時に撮像を行って得られた動画の画像データとその時の成績とを対応付けたデータを、データ記憶部２に複数、記憶させておけばよい。以下、データ記憶部２が、特定の選手に関するデータを複数記憶している場合を例にして説明する。また、この特定の選手は、本発明のスポーツ動作解析支援システム１を利用する選手自身、または、スポーツ動作解析支援システム１を利用するコーチ等によって指導される選手であってもよい。あるいは、上記の特定の選手は、本発明のスポーツ動作解析支援システム１を利用するユーザにとって、競争相手となる選手であってもよい。この点は、後述の他の実施形態においても同様である。

動画は、選手の一連の動作を表しているので、その動画は、その選手のフォームも表している。

学習部４は、データ記憶部２に記憶されている複数のデータ（例えば、図３を参照）を教師データとして、動画が表わしている選手の動作と、その動作に対応する成績（跳躍距離）との関係を表すモデルを、機械学習によって学習する（換言すれば、生成する）。

学習部４は、モデルを学習する際に、動画の個々の画像データからそれぞれ、所定時間毎（例えば、０．５秒毎）に静止画を抽出する。すなわち、学習部４は、動画の画像データから静止画の集合を抽出する。この静止画の集合は、選手の動作およびフォームを表している。なお、ここでは、上述の所定時間の例として０．５秒を例示したが、上述の所定時間は０．５秒に限定されない。

学習部４は、モデルとして、静止画の集合を説明変数とし、成績を目的変数とするモデルを学習する。従って、学習によって得られたモデルと、動画の画像データ（より具体的には、動画の画像データから抽出した静止画の集合）とを用いて、成績の予測値を算出することが可能である。

また、本実施形態において、学習部４によって学習されるモデルは、選手のフォームと成績との関係を表すモデルであるということもできる。

なお、機械学習のアルゴリズムは、動画の画像データを用いて成績の予測値を算出するモデルを学習可能なアルゴリズムであればよい。

予測部５は、学習部４によって学習されたモデルに基づいて、データ記憶部２に記憶されている画像データ毎に、成績の予測値を算出する。

予測部５は、１つの画像データに関して、成績の予測値を算出する際に、その画像データから静止画の集合を抽出すればよい。そして、予測部５は、その静止画の集合を説明変数としてモデルに適用することによって、成績の予測値を算出すればよい。

選択部６は、予測部５によって算出された成績の予測値が上位１番目から上位所定番目までに該当している各画像データと、成績の予測値が下位１番目から下位所定番目までに該当している各画像データとを選択する。この上位所定番目および下位所定番目を表す値は、スポーツ動作解析支援システム１のユーザによって指定される。この上位所定番目および下位所定番目を表す値は、選択部６が画像データを選択する際の選択基準であるということができる。

操作部８は、上位所定番目および下位所定番目を表す値をユーザがスポーツ動作解析支援システム１（より具体的には、選択部６）に入力するためのユーザインタフェースである。換言すれば、操作部８は、選択基準をユーザが入力するためのユーザインタフェースである。操作部８は、例えば、キーボード等の入力デバイスによって実現される。ただし、操作部８の態様は、そのような入力デバイスに限定されない。

なお、上記の説明では、選択部６が、成績の予測値が上位１番目から上位所定番目までに該当している各画像データと、成績の予測値が下位１番目から下位所定番目までに該当している各画像データとを選択する場合を説明した。選択部６は、成績の予測値が上位１番目から上位所定番目までに該当している各画像データを選択し、予測値が下位１番目から下位所定番目までに該当している各画像データについては選択しなくてもよい。あるいは、選択部６は、成績の予測値が下位１番目から下位所定番目までに該当している各画像データを選択し、予測値が上位１番目から上位所定番目までに該当している各画像データについては選択しなくてもよい。

以下、選択部６が、成績の予測値が上位１番目から上位所定番目までに該当している各画像データと、成績の予測値が下位１番目から下位所定番目までに該当している各画像データとを選択する場合を例にして説明する。

なお、走り幅跳びの場合、成績となる跳躍距離の値が大きいほど、成績がよく、跳躍距離の値が小さいほど、成績が悪いことになる。従って、予測値が上位１番目から上位所定番目までに該当している各画像データは、成績がよいと予測される動画の画像データである。また、予測値が下位１番目から下位所定番目までに該当している各画像データは、成績が悪いと予測される動画の画像データである。

スポーツの種類によっては、成績の値が大きいほど成績が悪く、成績の値が小さいほど成績がよいと言える場合もあり得る。そのような場合、予測値が上位１番目から上位所定番目までに該当している各画像データは、成績が悪いと予測される動画の画像データである。また、予測値が下位１番目から下位所定番目までに該当している各画像データは、成績がよいと予測される動画の画像データである。

また、選択部６が、成績の予測値が上位１番目から上位何番目までに該当している画像データを選択するのか、および、成績の予測値が下位１番目から下位何番目までに該当している画像データを選択するのかが、予め定められていてもよい。すなわち、選択基準は、予め定められていてもよい。その場合、操作部８が設けられていなくてもよい。また、選択部６は、成績の予測値が上位１番目である画像データと、成績の予測値が下位１番目である画像データとを選択するように予め定められていてもよい。

表示部７は、選択部６によって選択された各画像データの動画を表示する。表示部７は、成績の予測値が上位１番目から上位所定番目までに該当している各画像データと、成績の予測値が下位１番目から下位所定番目までに該当している各画像データとを区別して表示する。例えば、表示部７は、成績の予測値が上位１番目から上位所定番目までに該当している各画像データの動画を画面の右側に表示し、成績の予測値が下位１番目から下位所定番目までに該当している各画像データの動画を画面の左側に表示してもよい。両者を区別して表示する態様は、上記の例に限定されない。

学習部４、予測部５、選択部６および表示部７は、例えば、ディスプレイ装置（図１において図示略）を有するコンピュータのＣＰＵ（Central Processing Unit ）によって実現される。この場合、ＣＰＵは、コンピュータのプログラム記憶装置（図１において図示略）等のプログラム記録媒体からスポーツ動作解析支援プログラムを読み込み、そのスポーツ動作解析支援プログラムに従って、学習部４、予測部５、選択部６および表示部７として動作すればよい。表示部７のうち、実際に動画を表示する部分はディスプレイ装置によって実現され、画像データに基づいて動画の表示制御を行う部分はＣＰＵによって実現される。また、上記のコンピュータは、パーソナルコンピュータであってもよく、あるいは、スマートフォン等の携帯型のコンピュータであってもよい。これらの点は、後述の他の実施形態においても同様である。

また、スポーツ動作解析支援システム１は、２つ以上の物理的に分離した装置が有線または無線で接続されている構成であってもよい。例えば、スポーツ動作解析支援システム１は、スマートフォン等の携帯型のコンピュータとサーバとが連携したシステムとして実現されてもよい。この点も、後述の他の実施形態において同様である。

次に、処理経過について説明する。図４は、本発明の第１の実施形態の処理経過の例を示すフローチャートである。なお、既に説明した動作については、適宜、説明を省略する場合がある。

データ記憶部２には、予め複数のデータが記憶されているものとする。本例では、便宜的に、図３に示す複数のデータがデータ記憶部２に記憶されているものとして説明する。

学習部４は、データ記憶部２に記憶されているデータ（図３参照）を教師データとして、動画が表わしている選手の動作と、その動作に対応する成績との関係を表すモデルを学習する（ステップＳ１）。ステップＳ１において、学習部４は、動画の個々の画像データからそれぞれ、所定時間毎（例えば、０．５秒毎）に静止画を抽出する。この結果、静止画の集合と、成績とが対応付けられる。そして、学習部４は、静止画の集合を説明変数とし、成績を目的変数とするモデルを学習すればよい。前述のように、このモデルは、選手のフォームと成績との関係を表すモデルであるということもできる。

予測部５は、教師データ（図３参照）に含まれている画像データ毎に、ステップＳ１で得られたモデルに基づいて、成績の予測値を算出する（ステップＳ２）。前述のように、予測部５は、１つの画像データに関して、成績の予測値を算出する際に、その画像データから静止画の集合を抽出し、その静止画の集合を説明変数としてモデルに適用することによって、成績の予測値を算出すればよい。予測部５は、この処理を画像データ毎に行えばよい。

図５は、ステップＳ２で得られた予測値の例を示す説明図である。本例では、ステップＳ２において、図５に示す成績の予測値が画像データ毎に算出されたものとして説明する。

続いて、選択部６は、操作部８を介して、ユーザからの選択基準の入力を受け付ける（ステップＳ３）。本例では、選択部６は、操作部８を介して、上位所定番目および下位所定番目を表す値の入力を受け付ける。また、本例では、上位所定番目および下位所定番目を表す値として“２”が入力された場合を例にして説明する。

続いて、選択部６は、ステップＳ２で算出された成績の予測値と、ステップＳ３で入力された選択基準とに基づいて、画像データを選択する（ステップＳ４）。本例では、選択部６は、成績の予測値が上位１番目から上位２番目までに該当している各画像データと、成績の予測値が下位１番目から下位２番目までに該当している各画像データとを選択する。図５に示す例では、予測値の上位１番目は“８ｍ９５”であり、この予測値は画像データ＃５に対応する。また、予測値の上位２番目は“８ｍ９３”であり、この予測値は画像データ＃４に対応する。また、予測値の下位１番目は“７ｍ００”であり、この予測値は画像データ＃１７に対応する。予測値の下位２番目は“７ｍ５０”であり、この予測値は画像データ＃１４に対応する。

従って、本例では、選択部６は、予測値が上位１番目から上位２番目までに該当している各画像データとして、＃５，＃４を選択し、予測値が下位１番目から下位２番目までに該当している各画像データとして、＃１７，＃１４を選択する。

続いて、表示部７は、ステップＳ４で選択された画像データの動画を表示する（ステップＳ５）。本例では、表示部７は、＃５，＃４の動画と、＃１７，＃１４の動画とをそれぞれ表示する。

本実施形態において、モデルは、動画と成績との組み合わせを複数個用いて生成される。従って、このモデルによって成績の予測値を算出した場合、その予測値は、フォームに応じた成績の傾向を統計的によく表しているということができる。本実施形態では、選択部６が、予測値が上位１番目から上位所定番目までに該当している各画像データと、予測値が上位１番目から上位所定番目までに該当している各画像データとを選択し、表示部７がその各画像データの動画を表示する。本例では、予測値が上位１番目から上位所定番目（ｎ番目とする。）までに該当している各画像データの動画は、成績が最もよいと統計的に予測される動画から成績がｎ番目によいと統計的に予測される動画までの各動画である。また、予測値が下位１番目から下位所定番目（ｎ番目とする。）までに該当している各画像データの動画は、成績が最も悪いと統計的に予測される動画から成績がｎ番目に悪いと統計的に予測される動画までの各動画である。従って、本実施形態では、画像データの数が多くても、成績がよいと統計的に予測される動画の画像データや、成績が悪いと統計的に予測される動画の画像データを容易に特定することができる。そして、本実施形態では、フォームに表れない要因（選手のコンディション、風や雨等の外的要因）を除外し、統計的に成績がよいと予測されるときの動画と、統計的に成績が悪いと予測されるときの動画とを表示することができる。ユーザは、これらの動画を確認することで、コンディションや外的要因等を考慮せずに、統計的に成績がよいと予測されるときのフォームや、統計的に成績が悪いと予測されるときのフォームを確認し、フォームの分析を行うことができる。

例えば、図５を参照すると、実際の成績が最もよかったときの画像データは＃４であるが、統計的に最もよい成績が出やすいフォームを示す画像データは＃５である。上記の例では、画像データ＃４の動画も表示されるが、ユーザは、特に、画像データ＃５の画像をより重点的に分析することによって、例えば、フォームの改善のための分析を行うことができる。

また、図５に示す＃１７は、実際の成績が３番目に悪かった時の動画である。しかし、＃１７の成績の予測値は、下位１番目である。従って、＃１７の動画は、統計的に最も悪い成績が出やすいフォームを表していると言える。ユーザは、選択部６によって選択された＃１７の動画を確認することによって、例えば、フォームの改善のための分析を行うことができる。

このように、本実施形態では、多くの動画の画像データの中から、よい成績が出やすいフォームを含む動作を表す動画の画像データや、悪い成績が出やすいフォームを含む動作を表す動画の画像データを容易に特定することができる。

既に説明したように、選択基準は、予め定められていてもよい。また、予測値の上位１番目の画像データと成績の予測値の下位１番目の画像データとを選択することを規定した選択基準が予め定められていてもよい。

また、学習部４は、モデルを学習する際に、動画（より具体的には、動画から抽出した静止画の集合）の他に、外的要因や、選手のコンディションも説明変数とするモデルを学習してもよい。この場合、予測部５は、成績の予測値を算出する場合、モデルにおける外的要因の説明変数に０を代入したり、コンディションの説明変数に“良”を表す値を代入したりすればよい。この場合にも、この場合にも、外的要因や、コンディションの変化を排除した成績の予測値が得られ、その結果、上記と同様の効果が得られる。なお、この場合、モデル学習時に、外的要因やコンディションのデータの必要になる。従って、動画の画像データと、成績と、外的要因と、コンディションとを対応付けたデータを複数データ記憶部２に記憶させておけばよい。このようなデータの例を図６に示す。学習部４は、図６に例示する複数のデータを教師データとして、動画だけでなく、追い風の風速やコンディションも説明変数とするモデルを学習することができる。なお、図６に示すコンディションの欄で、“０”は“良”を意味し、“１”は“悪”を意味する。

実施形態２．
本発明の第２の実施形態では、スポーツの動作の結果が事象で表される場合を説明する。また、第２の実施形態では、サッカーにおけるＰＫ（penalty kick）を例にして説明する。そして、ＰＫの動作の結果が、「ボールが右に飛んだ。」、「ボールが左に飛んだ。」という二種類の事象のいずれかであるものとして説明する。ただし、第２の実施形態は、動作の結果が事象として表される他のスポーツにも適用可能である。

本発明の第２の実施形態のスポーツ動作解析支援システムは、第１の実施形態のスポーツ動作解析支援システム１と同様に、図１に示すブロック図で表すことができるので、図１を用いて第２の実施形態を説明する。第１の実施形態と同様の事項については、適宜説明を省略する。第２の実施形態のスポーツ動作解析支援システム１は、データ記憶部２と、学習部４と、予測部５と、操作部８と、選択部６と、表示部７とを備える（図１参照）。

データ記憶部２は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶する記憶装置である。本例では、各データにおいて、ＰＫを行う人（以下、選手と記す。）の一連の動作を表す動画の画像データと、その動作の結果として得られた事象（「ボールが右に飛んだ。」という事象、または、「ボールが左に飛んだ。」という事象）とが対応付けられている。データ記憶部２は、そのようなデータを複数記憶する。本例では、「右」は、ＰＫを行った選手から見た場合の「右」であるものとする。「左」に関しても同様である。

「ボールが右に飛んだ。」という事象を“１”で表し、「ボールが左に飛んだ。」という事象を“０”で表すものとする。すなわち、ＰＫの動作の結果（事象）を二値で表すものとする。

図７は、ＰＫを行う選手の一連の動作を示す模式図である。図７では、図面を簡単にするために、ＰＫを行う選手の姿勢として同一の姿勢を図示しているが、実際の選手は、手足等を動かしながら、一連の動作を行う。ＰＫを行う選手は、ゴールキーパー２２の前方に置かれたボール２１に向かって助走をして、ボール２１を蹴る。そして、ボール２１は、右または左に飛んでいく。すなわち、事象“１”あるいは事象“０”が生じる。ＰＫを行う選手の一連の動作をビデオカメラで撮像することによって、一連の動作を表す動画の画像データを得ることができる。そして、その画像データと、その時の事象（“１”または“０”）とを対応付けたデータが１つのデータとなる。データ記憶部２は、予め、そのようなデータを複数記憶する。

図８は、画像データと事象とを対応付けた複数のデータの例を示す模式図である。図３と同様に、個々の画像データを便宜的に符号“＃”と番号を連ねた記号で示している。図８では、２０個のデータを示しているが、データ記憶部２に記憶されるデータの数は２０個に限定されず、さらに多くのデータが記憶されていてもよい。

学習部４は、データ記憶部２に記憶されている複数のデータ（例えば、図８参照）を教師データとして、動画が表わしている選手の動作と、その動作に対応する結果との関係を表すモデルを、機械学習によって学習する。より具体的には、学習部４は、選手の動作と、その動作により事象“１”が生じる確率または事象“０”が生じる確率との関係を表すモデルを学習する。

学習部４は、モデルを学習する際に、動画の個々の画像データからそれぞれ、所定時間毎（例えば、０．２秒毎）に静止画を抽出する。すなわち、学習部４は、動画の画像データから静止画の集合を抽出する。すなわち、学習部４は、動画の画像データから静止画の集合を抽出する。この動作は、第１の実施形態における学習部４の動作と同様である。第１の実施形態で説明したように、この静止画の集合は、選手の動作およびフォームを表している。なお、ここでは、上述の所定時間の例として０．２秒を例示したが、上述の所定時間は０．２秒に限定されない。

学習部４は、モデルとして、静止画の集合を説明変数とし、事象“１”が生じる確率または事象“０”が生じる確率を目的変数とするモデルを学習する。従って、学習によって得られたモデルと、動画の画像データ（より具体的には、動画の画像データから抽出した静止画の集合）とを用いて、事象“１”が生じる確率または事象“０”が生じる確率を算出することができる。ここでは、事象“１”が生じる確率または事象“０”が生じる確率が、０〜１の範囲の値をとり得る１つの目的変数で表される場合を例にして説明する。この場合、目的変数の値が０．５より大きければ、その値は、事象“１”（すなわち、「ボールが右に飛ぶ。」という事象）が生じる確率を表わしていて、その値が１に近いほど、事象“１”が生じる確率が高く、その値が０．５に近いほど、事象“１”が生じる確率が低いということを表している。また、目的変数の値が０．５よりも小さければ、その値は、事象“０”（すなわち、「ボールが左に飛ぶ。」という事象）が生じる確率を表わしていて、その値が０に近いほど、事象“０”が生じる確率が高く、その値が０．５に近いほど、事象“０”が生じる確率が低いということを表している。

学習部４は、機械学習のアルゴリズムとして、例えば、ロジスティック回帰分析を用いればよい。例えば、学習部４は、ロジスティック回帰分析によって、選手の動作と、その動作により事象“１”が生じる確率または事象“０”が生じる確率との関係を表すモデルを学習すればよい。

本例において、学習部４によって学習されるモデルは、選手のフォームと、事象“１”が生じる確率または事象“０”が生じる確率との関係を表すモデルであるということもできる。

上記の例では、１つの目的変数の値が０．５より大きければ、その値が事象“１”の生じる確率を表し、その目的変数の値が０．５より小さければ、その値が事象“０”の生じる確率を表す場合を説明した。モデルの態様は、上記の例に限定されない。例えば、学習部４は、事象“１”が生じる確率と、事象“０”が生じる確率とをそれぞれ目的変数とするモデルを学習してもよい。この場合、事象“１”が生じる確率は、例えば、０〜１の範囲の値であり、値が大きいほど、事象“１”が生じる確率が高いことを表わしていてもよい。同様に、事象“０”が生じる確率も、例えば、０〜１の範囲の値であり、値が大きいほど、事象“０”が生じる確率が高いことを表わしていてもよい。また、この場合、事象“１”が生じる確率と、事象“０”が生じる確率との和が１であってもよい。

以下、目的変数の値が０．５より大きければ、その値が事象“１”の生じる確率を表し、その目的変数の値が０．５より小さければ、その値が事象“０”の生じる確率を表す場合を例にして説明する。この場合、前述のように、値が０．５より大きいならば、値が１に近いほど、事象“１”が生じる確率が高く、値が０．５に近いほど、事象“１”が生じる確率が低いということを表している。また、値が０．５より小さいならば、値が０に近いほど、事象“０”が生じる確率が高く、値が０．５に近いほど、事象“０”が生じる確率が低いということを表している。

予測部５は、学習部４によって学習されたモデルに基づいて、データ記憶部２に記憶されている画像データ毎に、事象“１”が生じる確率または事象“０”が生じる確率を算出する。事象“１”が生じる確率または事象“０”が生じる確率は、動作に対応する結果の予測値の態様の一つであるということができる。

予測部５は、１つの画像データに関して、確率を算出する際に、その画像データから静止画の集合を抽出すればよい。そして、予測部５は、その静止画の集合を説明変数としてモデルに適用することによって、確率（目的変数の値）を算出すればよい。

選手の動作を撮像することによって画像データを生成する際に、その動作によって実際に生じた事象を表す値（本例では“１”および“０”。図８を参照。）は、例えば、名義尺度であるということができる。また、予測部５がモデルに基づいて算出される目的変数の値は、確率を表している。また、この目的変数の取り得る値は、０〜１の範囲の連続値である。従って、予測部５がモデルに基づいて算出する目的変数の値は、例えば、順序尺度であるということができる。

選択部６は、予測部５によって算出された目的変数の値が上位１番目から上位所定番目までに該当している各画像データと、目的変数の値が下位１番目から下位所定番目までに該当している各画像データとを選択する。上位所定番目および下位所定番目を表す値は、スポーツ動作解析支援システム１のユーザによって指定される。また、この値は、選択部６が画像データを選択する際の選択基準であるということができる。

操作部８は、第１の実施形態における操作部８と同様であり、説明を省略する。

なお、上記の説明では、選択部６が、目的変数の値が上位１番目から上位所定番目までに該当している各画像データと、目的変数の値が下位１番目から下位所定番目までに該当している各画像データとを選択する場合を説明した。選択部６は、予測部５によって算出された目的変数の値が上位１番目から上位所定番目までに該当している各画像データを選択し、目的変数の値が下位１番目から下位所定番目までに該当している各画像データについては選択しなくてもよい。あるいは、選択部６は、予測部５によって算出された目的変数の値が下位１番目から下位所定番目までに該当している各画像データを選択し、目的変数の値が上位１番目から上位所定番目までに該当している各画像データについては選択しなくてもよい。

以下、選択部６が、目的変数の値が上位１番目から上位所定番目までに該当している各画像データと、目的変数の値が下位１番目から下位所定番目までに該当している各画像データとを選択する場合を例にして説明する。

なお、本例では、目的変数の値が上位１番目から上位所定番目までに該当している各画像データは、事象“１”が発生する確率が高いと予測される動画の画像データである。また、目的変数の値が下位１番目から下位所定番目までに該当している各画像データは、事象“０”が発生する確率が高いと予測される動画の画像データである。

また、選択基準は、予め定められていてもよい。その場合、操作部８が設けられていなくてもよい。また、選択部６は、目的変数の値が上位１番目である画像データと、目的変数の値が下位１番目である画像データとを選択するように予め定められていてもよい。

表示部７は、選択部６によって選択された各画像データの動画を表示する。表示部７は、目的変数の値が上位１番目から上位所定番目までに該当している各画像データと、目的変数の値が下位１番目から下位所定番目までに該当しる各画像データとを区別して表示する。例えば、表示部７は、前者の各画像データの動画を画面の右側に表示し、後者の各画像データを画面の左側に表示してもよい。両者を区別して表示する態様は、上記の例に限定されない。

次に、処理経過について説明する。図９は、本発明の第２の実施形態の処理経過の例を示すフローチャートである。なお、既に説明した動作については、適宜、説明を省略する場合がある。

データ記憶部２には、予め複数のデータが記憶されているものとする。本例では、便宜的に、図８に示す複数のデータがデータ記憶部２に記憶されているものとして説明する。

学習部４は、データ記憶部２に記憶されているデータ（図８参照）を教師データとして、動画が表わしている選手の動作と、その動作により事象“１”が生じる確率または事象“０”が生じる確率との関係を表すモデルを学習する（ステップＳ１１）。学習部４は、例えば、ロジスティック回帰分析によってモデルを学習すればよい。

ステップＳ１１において、学習部４は、動画の個々の画像データからそれぞれ、所定時間毎に静止画を抽出する。この結果、静止画の集合と、実際に生じた事象“１”または“０”とが対応付けられる。そして、学習部４は、静止画の集合を説明変数とし、事象“１”が生じる確率または事象“０”が生じる確率を目的変数とするモデルを学習すればよい。前述のように、このモデルは、選手のフォームと、事象“１”が生じる確率または事象“０”が生じる確率との関係を表すモデルであるということもできる。

予測部５は、教師データ（図８参照）に含まれている画像データ毎に、ステップＳ１１で得られたモデルに基づいて、目的変数の値を算出する（ステップＳ１２）。この目的変数は、事象“１”が生じる確率または事象“０”が生じる確率を表している。前述のように、予測部５は、１つの画像データに関して、確率（目的変数の値）を算出する際に、その画像データから静止画の集合を抽出し、その静止画の集合を説明変数としてモデルに適用することによって、目的変数の値を算出すればよい。予測部５は、この処理を画像データ毎に行えばよい。

図１０は、ステップＳ１２で得られた確率（目的変数の値）の例を示す説明図である。以下、ステップＳ１２において、図１０に示す確率（目的変数の値）が画像データ毎に算出されたものとして説明する。

続いて、選択部６は、操作部８を介して、ユーザからの選択基準の入力を受け付ける（ステップＳ１３）。本例では、選択部６は、操作部８を介して、上位所定番目および下位所定番目を表す値の入力を受け付ける。また、本例では、上位所定番目および下位所定番目を表す値として“２”が入力された場合を例にして説明する。

続いて、選択部６は、ステップＳ１２で算出された目的変数の値と、ステップＳ１３で入力された選択基準とに基づいて、画像データを選択する（ステップＳ１４）。本例では、選択部６は、目的変数の値が上位１番目から上位２番目までに該当している各画像データと、目的変数の値が下位１番目から下位２番目までに該当している各画像データとを選択する。本例では、選択部６は、目的変数の値が上位１番目から上位２番目までに該当している各画像データとして、＃１３，＃１を選択し、目的変数の値が下位１番目から下位２番目までに該当している各画像データとして、＃４，＃７を選択する（図１０参照）。

続いて、表示部７は、ステップＳ１４で選択された画像データの動画を表示する（ステップＳ１５）。本例では、表示部７は、＃１３，＃１の動画と、＃４，＃７の動画とをそれぞれ表示する。

本実施形態において、モデルは、動画と事象との組み合わせを複数個用いて生成される。従って、そのモデルに基づいて算出された、事象“１”が生じる確率または事象“０”が生じる確率を表す値は、フォームに応じた傾向を統計的によく表しているということができる。

また、学習部４は、事象“１”が生じる確率または事象“０”が生じる確率を目的変数とするモデルを生成する。すなわち、教師データにおける事象は、連続値ではないが、モデルに基づいて算出される目的変数の値は連続値である。従って、目的変数の値に基づいて、画像データの順位付けを容易に行うことができる。従って、画像データの数が多くても、事象“１”が生じると統計的に予測される動画の画像データ（すなわち、ボールが右に飛ぶと統計的に予測される動画の画像データ）や、事象“０”が生じると統計的に予測される動画の画像データ（すわなち、ボールが左に飛ぶと統計的に予測される動画の画像データ）を、容易に特定することができる。

ユーザは、これらの動画を確認することで、ボールが右に飛ぶと統計的に予測される場合のフォームや、ボールが左に飛ぶと統計的に予測される場合のフォームを分析することができる。

また、スポーツ動作解析支援システム１のユーザが、ＰＫを行う選手であるとする。この場合、ユーザは、自分の動画の画像データおよび事象を教師データとしてデータ記憶部２に記憶させておくことで、例えば、自分のフォームの癖を発見し、その癖をなくすように、フォームの改善に役立てることができる。そのような癖がなくなれば、対戦チームのゴールキーパーは、フォームからボールの方向を予測しづらくなり、ＰＫを行う選手にとって有利になる。

また、スポーツ動作解析支援システム１のユーザが、ゴールキーパーであってもよい。この場合、対戦チームの選手の動画の画像データおよび事象を教師データとしてデータ記憶部２に記憶させておくことで、その選手の癖の発見を目的とした分析ができる。対戦チームの選手の癖を発見すれば、ゴールキーパーは、対戦チームの選手のフォームからＰＫ後のボールの方向を予測しやすくなり、ゴールキーパーにとって有利になる。

また、上記の第２の実施形態ではサッカーのＰＫを例にして説明したが、野球のピッチャーの投球動作を撮像して得た画像データと事象とを対応付けたデータを複数データ記憶部２に記憶させていてもよい。この場合、例えば、「球種がストレートであった。」、「球種がカーブであった。」、および「球種がフォークであった。」等を事象とすればよい。そして、学習部４は、球種がストレートである確率、球種がカーブである確率、球種がフォークである確率を目的変数とするモデルを生成すればよい。また、選択部６は、例えば、球種がストレートである確率が高い上位所定数の画像データ、球種がカーブである確率が高い上位所定数の画像データ、および、球種がフォークである確率が高い上位所定数の画像データを選択してもよい。

また、本発明の各実施形態において、スポーツ動作解析支援システム１は、データ記憶部２に記憶させるデータを外部から取得するデータ取得部を備えていてもよい。図１１は、データ取得部を備える場合の構成例を示すブロック図である。データ記憶部２、学習部４、予測部５、操作部８、選択部６および表示部７は、第１の実施形態におけるそれらの要素や、第２の実施形態におけるそれらの要素と同様であり、説明を省略する。

データ取得部９は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数取得し、データ記憶部２に記憶させる。

例えば、上記のデータが外部の装置（図示略）に複数記憶されているとする。この場合、データ取得部９は、その装置にアクセスして、その装置からデータを複数取得して、データ記憶部２に記憶させればよい。データ取得部９が複数のデータをデータ記憶部２に記憶させた後の処理は、第１の実施形態で説明した処理、または、第２の実施形態で説明した処理と同様である。

データ取得部９は、例えば、スポーツ動作解析支援プログラムに従って動作するコンピュータのＣＰＵによって実現される。

以上の説明では、走り幅跳び、サッカーにおけるＰＫ、野球におけるピッチャーの投球等を例示した。本発明が適用されるスポーツの動作は、これらに限定されない。例えば、ゴルフにおけるスイング動作の画像データと、成績（飛距離）とを対応付けたデータを、複数データ記憶部２に記憶させておいてもよい。また、例えば、バレーボールのセッターがトスする動作の画像データと、ボールが右に飛んだか、左に飛んだかを示す結果とを対応付けたデータを、複数データ記憶部２に記憶させておいてもよい。また、例えば、ラグビーのフォーメーションや、アメリカンフットボールのフォーメーション等にも、本発明を適用可能である。このように、本発明は、種々のスポーツの動作に適用可能である。

図１２は、本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６とを備える。入力デバイス１００６は、操作部８に相当する。

本発明の各実施形態のスポーツ動作解析支援システム１は、コンピュータ１０００に実装される。スポーツ動作解析支援システム１の動作は、プログラム（スポーツ動作解析支援プログラム）の形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って上記の処理を実行する。

補助記憶装置１００３は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行してもよい。

また、プログラムは、前述の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。

また、各構成要素の一部または全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

次に、本発明の概要について説明する。図１３は、本発明の概要を示すブロック図である。本発明のスポーツ動作解析支援システムは、データ記憶部２と、学習部４と、予測部５と、選択部６とを備える。

データ記憶部２は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶する。

学習部４は、動作とその動作に対応する結果との関係を表すモデルを学習する。

予測部５は、画像データ毎に、モデルに基づいて、結果の予測値を算出する。

選択部６は、画像データ毎に算出された予測値に基づいて、データ記憶部２に記憶されている複数の画像データから所定数の画像データを選択する。

そのような構成により、多くの動画の画像データの中から、所定の結果が生じやすいフォームを含む動作を表す動画の画像データを容易に特定することができる。

画像データに対応付けられる動作の結果が、成績を示す数値であり、学習部４が、動作と、成績を示す数値との関係を表すモデルを学習する構成であってもよい。

また、画像データに対応付けられる動作の結果が、事象であり、学習部４が、動作と、事象が生じる確率との関係を表すモデルを学習する構成であってもよい。

また、学習部４が、動作と、事象が生じる確率との関係を表すモデルを、ロジスティック回帰分析によって学習する構成であってもよい。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

産業上の利用の可能性

本発明は、スポーツにおける動作解析を支援するスポーツ動作解析支援システムに好適に適用可能である。

１ スポーツ動作解析支援システム
２ データ記憶部
４ 学習部
５ 予測部
６ 選択部
７ 表示部
８ 操作部
９ データ取得部

Claims (6)

1. スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、
   前記動作と前記動作に対応する結果との関係を表すモデルを学習する学習部と、
   前記画像データ毎に、前記モデルに基づいて、結果の予測値を算出する予測部と、
   前記画像データ毎に算出された予測値に基づいて、データ記憶部に記憶されている複数の画像データから所定数の画像データを選択する選択部とを備える
   ことを特徴とするスポーツ動作解析支援システム。
2. 画像データに対応付けられる動作の結果は、成績を示す数値であり、
   学習部は、動作と、成績を示す数値との関係を表すモデルを学習する
   請求項１に記載のスポーツ動作解析支援システム。
3. 画像データに対応付けられる動作の結果は、事象であり、
   学習部は、動作と、事象が生じる確率との関係を表すモデルを学習する
   請求項１に記載のスポーツ動作解析支援システム。
4. 学習部は、動作と、事象が生じる確率との関係を表すモデルを、ロジスティック回帰分析によって学習する
   請求項３に記載のスポーツ動作解析支援システム。
5. スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、
   前記動作と前記動作に対応する結果との関係を表すモデルを学習し、
   前記画像データ毎に、前記モデルに基づいて、結果の予測値を算出し、
   前記画像データ毎に算出された予測値に基づいて、データ記憶部に記憶されている複数の画像データから所定数の画像データを選択する
   ことを特徴とするスポーツ動作解析支援方法。
6. スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、
   前記コンピュータに、
   前記動作と前記動作に対応する結果との関係を表すモデルを学習する学習処理、
   前記画像データ毎に、前記モデルに基づいて、結果の予測値を算出する予測処理、および、
   前記画像データ毎に算出された予測値に基づいて、データ記憶部に記憶されている複数の画像データから所定数の画像データを選択する選択処理
   を実行させるためのスポーツ動作解析支援プログラム。

Images