WO2020230677A1 - プレイ分析装置、及び、プレイ分析方法 - Google Patents

Abstract

プレイ分析装置は、プレイ映像を用いて選手のプレイを分析してプレイ情報を生成するプレイ分析部と、プレイ情報に基づき、選手のプレイ状況を表わす状況画像２１１０を生成して表示装置に表示する分析画像生成部と、状況画像２１１０を選択するユーザの操作にしたがって、状況画像２１１０に対応するプレイ映像を再生する映像再生部と、を備える。

Description

プレイ分析装置、及び、プレイ分析方法

　本開示は、スポーツのプレイ分析装置、及び、プレイ分析方法に関する。

　従来より、バレーボール分析ソフトウェアとして「Data Volley」が知られている。Data Volleyはこのソフトウェアに精通したアナリストによって使用され、当該アナリストが、主観的判断に基づいて、チームの選手の状況を示すデータをData Volleyに入力する。

　特許文献１には、アナリストの操作性を向上させたスカウティングシステムが開示されている。具体的には、特許文献１には、画像解析を用いて各選手の位置情報を取得し、入力された選手状況と、各選手のそれぞれの位置情報と、所望のシーンの静止画像とを関連付けて記憶装置にデータベースを構築し、各選手の各位置、所望のシーンの静止画像、選手状況を表示することが開示されている。この発明により、スコアラー（アナリスト）のトレーニングが必要であり、各選手の位置情報が視覚による主観的判断により入力されているためにデータ精度が低いというData Volleyのソフトウェアの問題点を解決できる。

　また、従来のバレーボール分析ソフトウェアは、サーブに対するレシーブのシーンを撮影した映像を順次取り込み、各選手の技能評価を入力し、各選手のレシーブ回数及びレシーブ成功率等を集計及び表示する。ユーザ（チームの監督等）は、この集計結果を見て、チームの強み及び弱みを分析する。

特開２００４－３５１０９７号公報

Xina CHENG, Norikazu IKOMA, Masaaki HONDA and Takeshi IKENAGA "Multi-view 3D Ball Tracking with Abrupt Motion Adaptive System Model, Anti-occlusion Observation and Spatial Density based Recovery in Sports Analysis", IEICE TRANS. FUNDAMENTALS, VOL.E94-A, NO.1 JANUARY 2011

　上述のような従来の技術では、例えば、セッターのトスの瞬間の画像を順次取り込み、各選手の技能評価を入力することで、各選手の各位置、所望のシーンの静止画像、プレイ状況等を表示できる。しかし、各選手の技能評価等に基づき得られた分析結果（分析情報や分析画像）から、当該分析対象のシーンを直ちに確認することは困難である。

　本開示の目的は、スポーツのプレイ分析結果から、当該分析対象のシーンを直ちに確認できるプレイ分析装置及びプレイ分析方法を提供することにある。

　本開示の一態様に係るプレイ分析装置は、スポーツのプレイを分析するプレイ分析装置であって、プレイ映像を用いて選手のプレイを分析してプレイ情報を生成するプレイ分析部と、前記プレイ情報に基づき、前記選手のプレイ状況を表わす状況画像を生成して表示装置に表示する分析画像生成部と、前記状況画像を選択するユーザの操作にしたがって、前記状況画像に対応するプレイ映像を再生する映像再生部と、を備える。

　本開示の一態様に係るプレイ分析方法は、スポーツのプレイを分析するプレイ分析方法であって、プレイ映像を用いて選手のプレイを分析してプレイ情報を生成し、前記プレイ情報に基づき、前記選手のプレイ状況を表わす状況画像を生成して表示装置に表示し、前記状況画像を選択するユーザの操作にしたがって、前記状況画像に対応するプレイ映像を再生する。

　なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

　本開示によれば、スポーツのプレイ分析結果から、当該分析対象のシーンを直ちに確認できる。

実施の形態に係るプレイ分析システムの概要を示す図である。 実施の形態に係るプレイ分析装置の構成の例を示す図である。 実施の形態に係るプレイ分析装置が生成するＵＩ（User Interface）の例を示す図である。 実施の形態に係るプレイ情報の例を示す図である。 実施の形態に係るトスのプレイ分析画像の一例を示す図である。 実施の形態に係るサーブのプレイ分析画像の一例を示す図である。 実施の形態に係るサーブの他のプレイ分析画像の一例を示す図である。 実施の形態に係るトスのプレイ映像の連続再生の一例を示す図である。 実施の形態に係るサーブのプレイ映像の同時再生の一例を示す図である。 実施の形態に係るプレイ映像再生処理を示すフローチャートである。 実施の形態の変形例に係るプレイ分析装置の分析対象として適用可能なスポーツの一例を示す図である。 実施の形態の変形例に係るプレイ分析装置の分析対象として適用可能なスポーツの一例を示す図である。 実施の形態の変形例に係るスキーのプレイ分析画像の一例を示す図である。 実施の形態の変形例に係るスキーのプレイ映像の同時再生の一例を示す図である。 本開示の実施の形態に係るハードウェア構成の例を示す図である。

　以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態）
＜プレイ分析システム＞
　まず、図１を参照しながら、一実施の形態に係るプレイ分析システムの概要について説明する。

　プレイ分析システム１は、スポーツを撮影したプレイ映像を分析し、当該分析結果に基づくプレイ映像を再生するシステムである。スポーツは、球技であってもよいし、球技でなくてもよい。球技に用いられる移動体は、典型的にはボールであるが、バドミントンに用いられるシャトル等であってもよい。本実施の形態では、球技の１つであるバレーボールを例に説明する。ただし、プレイ分析システム１は、サッカー、野球、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール、ラクロス、又はバドミントン等の球技全般や、スキー、スキージャンプ、陸上競技、柔道等の球技以外のスポーツに適用可能である。また、プレイ分析システム１は、アイスホッケーのパック、カーリングのストーン、アーチェリーの矢、陸上競技のやり、ハンマー等、「球」の概念に当てはまらない形状の移動体にも適用可能である。すなわち、プレイ分析システム１は、複数人から構成されるチームや個人がアクションを行うことにより点数又は勝敗が決定されるスポーツであれば、どのようなスポーツにも適用可能である。

　プレイ分析システム１は、複数のカメラ３（３Ａ、３Ｂ、３Ｃ、３Ｄ）と、表示装置４と、入力装置５と、プレイ分析装置１００と、を備える。

　複数のカメラ３は、それぞれ異なる位置に設置される。例えば、図１に示すように、各カメラ３は、高所からコート１０を異なる視点（画角）で撮影できる位置に設置される。なお、図１ではカメラ３が４台であるが、本実施の形態はこれに限られず、カメラ３は、２台以上であれば何台でもよい。２台以上のカメラ３を用いることにより、ボールの３次元位置を算出できる。

　各カメラ３は、プレイ分析装置１００と有線又は無線を介して通信可能に接続されている。各カメラ３は、球技中の状況を撮影し、撮影画像を生成する。そして、各カメラ３は、複数の撮影画像から動画フレーム２０１（図２参照）を生成する。そして、各カメラ３は、動画フレーム２０１をプレイ分析装置１００へ送信する。動画フレーム２０１は、複数の撮影画像が、例えば、ＭＰ４、Ｈ．２６４、Ｈ．２６５、又は、Ｍｏｔｉｏｎ　ＪＰＥＧ等の規格に基づいて圧縮されたものであってよい。

　表示装置４は、プレイ分析装置１００と有線又は無線を介して通信可能に接続されており、プレイ分析装置１００から出力される画像を表示する。表示装置４は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等である。

　入力装置５は、プレイ分析装置１００と有線又は無線を介して通信可能に接続されており、ユーザからの操作を受け付け、その操作情報をプレイ分析装置１００へ送信する。入力装置５は、例えば、キーボード、マウス、マイク及び／又はタッチパネル等である。なお、入力装置５及び表示装置４は一体型の装置であってもよい。

　プレイ分析装置１００は、各カメラ３が撮影した動画フレームを用いて、ボールに対してアクションを行った選手を特定する。バレーボールの場合、ボールに対して行われるアクションには、サーブ、レセプション、ディグ、トス、アタック、及びブロック等がある。以下、ボールに対してアクションを行った選手を、「アクター」と表現する場合がある。

　なお、本実施の形態では、図１に示すように、コート１０の面の中心点を原点Ｏとし、コート１０の面と平行かつネット１１と平行な軸をＸ軸、コート１０の面と平行かつネット１１と垂直な軸をＹ軸、コート１０の面と垂直な軸をＺ軸とする。Ｘ軸は、審判１２から離れる方向を正方向、審判１２に近づく方向を負方向とする。Ｙ軸は、審判１２から見て左方向を正方向、右方向を負方向とする。Ｚ軸は、コート１０の面から離れる方向を正方向とする。つまりＺ軸の座標は、コート１０の面からの高さに相当する。

＜プレイ分析装置＞
　次に、図２を参照しながら、プレイ分析装置１００について説明する。

　プレイ分析装置１００は、映像受信部１０１と、プレイ分析部１０２と、ＵＩ制御部１０３と、分析画像生成部１０４と、映像再生部１０５と、記憶部１０６とを備える。

　映像受信部１０１は、各カメラ３Ａ～３Ｄから送信される動画フレーム２０１を受信し、記憶部１０６に格納する。

　プレイ分析部１０２は、複数の連続する動画フレーム２０１で構成されるプレイ映像を用いて選手のプレイを分析し、選手のプレイ状況を表わすプレイ情報２０２を生成する。そして、プレイ分析部１０２は、プレイ情報２０２を記憶部１０６に格納する。なお、プレイ分析部１０２の詳細については後述する。

　ＵＩ制御部１０３は、図３に示すようなＵＩ２０００を生成し、表示装置４に表示する。また、ＵＩ制御部１０３は、入力装置５を通じて、ＵＩ２０００に対する操作を受け付ける。

　分析画像生成部１０４は、分析対象に選択された選手のプレイ状況を表わす状況画像２１１０を生成する。そして、分析画像生成部１０４は、状況画像２１１０を含むプレイ分析画像２１００を生成し、ＵＩ２０００に表示する。なお、プレイ分析画像２１００及び分析画像生成部１０４の詳細については後述する。

　映像再生部１０５は、プレイ分析画像２１００の状況画像２１１０を選択するユーザの操作にしたがって、当該選択された状況画像２１１０に対応するプレイ映像２２００をＵＩ２０００上で再生する。また、映像再生部１０５は、プレイ映像２２００の再生時間を設定するユーザの操作にしたがって、再生時間を調整することができ、設定された再生時間は設定値として保持しておくことができる。映像再生部１０５は、カメラ３Ａ～３Ｄが撮影中のリアルタイム映像や、過去のプレイの録画映像を、プレイ映像２２００として再生する機能を有していてもよい。なお、映像再生部１０５の詳細については後述する。

＜プレイ分析部の詳細＞
　次に、プレイ分析部１０２の詳細について説明する。

　まず、プレイ分析部１０２は、記憶部１０６に格納された複数の動画フレーム２０１に対して、例えば非特許文献１に開示されている手法を適用し、動画フレーム２０１が撮影された時刻（以下「フレーム時刻」という）におけるボールの３次元位置（ｘ，ｙ，ｚ）及び速度を算出する。そして、プレイ分析部１０２は、フレーム時刻とボールの３次元位置と速度とを対応付けてボール軌跡情報２０３を生成し、記憶部１０６に格納する。

　また、プレイ分析部１０２は、ボール軌跡情報２０３から、ボールに対するアクションが発生したか否かを判定する。例えば、プレイ分析部１０２は、ボール軌跡情報２０３に含まれるフレーム時刻毎のボールの３次元位置及び速度からボールの軌跡を算出する。そして、プレイ分析部１０２は、その算出したボールの軌跡変化が所定の条件に合致した場合、ボールに対するアクションが発生したと判定する。プレイ分析部１０２は、アクションが発生したと判定した場合、アクションが発生したフレーム時刻（以下「アクションフレーム時刻」という）と、その発生したアクションの種別とを対応付けてアクション情報２０４を生成し、記憶部１０６に格納する。

　なお、プレイ分析部１０２は、ボールの軌跡変化、ボールの３次元位置及び速度、並びに、スポーツのルール等に基づいて、アクション種別を判定してもよい。バレーボールのアクション種別には、サーブ、レセプション（サーブに対するレシーブ）、ディグ（アタックに対するレシーブ）、トス、アタック、及びブロック等がある。例えば、プレイ分析部１０２は、解析開始から初めて検出されたボールの軌跡がＹ軸方向（図１に示すコートの長辺方向）の移動成分を有し、当該Ｙ軸方向のボールの速度成分が所定の範囲内である場合、アクション種別を「サーブ」と判定する。他の例として、プレイ分析部１０２は、「サーブ」後にボールの軌跡がＹ軸においてネット１１の存在する座標を跨ぎ、かつ、ボールの３次元位置の変化が下降から上昇に転じた場合（すなわち、Ｚ軸方向の座標の変化がプラスに転じた場合）、アクション種別を「レセプション」と判定する。バレーボールのルール上、「サーブ」を受けるアクションは「レセプション」であるので、このようなルールに基づく判定を行うことにより、「レセプション」と「ディグ」を区別できる。

　同様に、プレイ分析部１０２は、ボールの軌跡変化や選手の動き等が所定の条件に合致する場合に、スポーツのルールに準じた判定基準によって他のアクション種別を判定する。

　なお、上記では、３次元の情報を用いてアクションの発生を判定しているが、２次元又は１次元の情報を用いてアクションの発生を判定してもよい。例えば、上述した条件で「サーブ」の発生を判定する場合、Ｘ軸方向とＺ軸方向の情報を用いずに、解析開始の時刻とＹ軸方向の情報のみから判定可能である。

　プレイ分析部１０２は、記憶部１０６に格納されている複数の動画フレーム２０１の中から、アクション情報２０４に含まれるアクションフレーム時刻に対応する動画フレームと、当該アクションフレーム時刻の近傍のフレーム時刻に対応する動画フレームとを、アクションフレームとして選択する。次に、プレイ分析部１０２は、アクションフレームから選手（人物）が撮影されている領域（以下「選手領域」という）を検出する。例えば、プレイ分析部１０２は、競技中の複数の選手画像をディープラーニングによって学習させた選手検出用のモデル（ニューラルネットワーク）を用いて、検出領域内から選手領域を検出する。そして、プレイ分析部１０２は、アクションフレームから、アクターのユニフォーム番号を認識する。例えば、プレイ分析部１０２は、複数の選手のユニフォームの数字画像をディープラーニングによって学習させたユニフォーム番号検出用のモデル（ニューラルネットワーク）を用いて、検出領域内から、アクターのユニフォーム番号を認識する。次に、プレイ分析部１０２は、アクションフレーム時刻と、認識したアクターのユニフォーム番号とを対応付けてアクター情報２０５を生成し、記憶部１０６に格納する。

　そして、プレイ分析部１０２は、ボール軌跡情報２０３と、アクション情報２０４と、アクター情報２０５とを対応付けて、プレイ情報２０２を生成し、記憶部１０６に格納する。例えば、アクション情報２０４においてアクションフレーム時刻Ｔとアクション種別「アタック」とが対応付けられており、アクター情報２０５においてアクションフレーム時刻Ｔとアクターのユニフォーム番号「１４」とが対応付けられている場合、プレイ分析部１０２は、図４に示すようなプレイ情報２０２を生成する。すなわち、プレイ分析部１０２は、図４に示すように、ボール軌跡情報２０３のフレーム時刻Ｔに対して、アクション種別「アタック」と、アクターのユニフォーム番号「１４」とを対応付けたプレイ情報２０２を生成する。これにより、ユーザ又は他の装置は、プレイ情報２０２を用いて、フレーム時刻Ｔにおいて、ユニフォーム番号「１４」の選手（アクター）が、３次元位置（ｘ_Ｔ，ｙ_Ｔ，ｚ_Ｔ）のボールに対して、速度「Ｓ_Ｔ（ｋｍ／ｈ）」の「アタック」を行ったことを知ることができる。

＜プレイ分析画像＞
　次に、図５～図７を参照して、プレイ分析画像２１００の具体例として、トスのプレイ分析画像２１００Ａ及びサーブのプレイ分析画像２１００Ｂについて説明する。

　図５に示すように、トスのプレイ分析画像２１００Ａは、分析対象の選手（典型的にはセッター）のトスのプレイを分析するための画像である。トスのプレイ分析画像２１００Ａは、対象選手側のコートのフロントゾーンを基準とする。なお、このフロントゾーンは、ユーザの操作によって、任意の領域（例えば、既定のフロントゾーン＋１ｍ分の拡張範囲）を設定することができる。図６に示すように、サーブのプレイ分析画像２１００Ｂは、分析対象の選手（典型的にはセッター以外の選手）のサーブのプレイを分析するための画像である。サーブのプレイ分析画像２１００Ｂは、コート全体を基準とする。なお、ユーザは、プレイ分析画像２１００のカーソルボタン２１２０を操作し、コートに対するプレイ分析画像２１００の領域を回転（反転、９０度回転等）させることができる。

＜分析画像生成部の詳細＞
　次に、分析画像生成部１０４の詳細について説明する。

　まず、分析画像生成部１０４は、トスのプレイ分析画像２１００Ａを生成する場合、記憶部１０６から、ユニホーム番号が分析対象の選手の番号であり、かつ、アクション種別が「トス」であるプレイ情報２０２を取得する。次に、分析画像生成部１０４は、その取得したプレイ情報２０２のボール座標から、分析対象の選手がトスを行った位置を特定する。そして、分析画像生成部１０４は、図５に示すように、対象選手がトスを行った位置に、円形の状況画像２１１０Ａ（２１１０）を配置したプレイ分析画像２１００Ａを生成する。

　また、分析画像生成部１０４は、サーブのプレイ分析画像２１００Ｂを生成する場合、記憶部１０６から、ユニホーム番号が分析対象の選手の番号であり、かつ、アクション種別が「サーブ」であるプレイ情報２０２を取得する。次に、分析画像生成部１０４は、その取得したプレイ情報２０２のボール座標から、分析対象の選手がサーブしたボールの軌跡を特定する。そして、分析画像生成部１０４は、図６に示すように、対象選手がサーブしたボールの軌跡に、線状の状況画像２１１０Ｂ（２１１０）を配置したプレイ分析画像２１００Ｂを生成する。

　以上のようなトスやサーブのプレイ分析画像２１００から、ユーザは、対象選手のトスやサーブのプレイを視覚的に把握及び分析することができる。なお、トスの状況画像２１１０Ａは、トスを行った位置の他に、トスのプレイ状況を表わすような表示形態であってもよい。トスのプレイ状況には、例えば、トスの種類、トス時のボールの速度、トス時のボールの高さ、及び、トス時のボールの移動距離がある。また、サーブの状況画像２１１０Ｂは、ボールの軌跡の他に、サーブのプレイ状況を表わすような表示形態であってもよい。サーブのプレイ状況には、例えば、サーブの種類、サーブのボールの速度や打点の高さがある。トスやサーブのプレイ状況を表わす表示形態には、例えば、形、色、サイズ、複数の形状の組み合わせがある。また、図７に示すように、コート１０を横から見た状況で、サーブがネット１１の上方を通過する形態のサーブのプレイ分析画像２１００Ｂ（２１００）を生成するようにしてもよい。

　なお、トスやサーブのプレイ分析画像２１００は、ユーザが次の操作を行うことによって表示されてよい。（ステップＳ１１）ユーザがＵＩ２０００上のトス分析ボタン（図示せず）又はサーブ分析ボタン（図示せず）を押下すると、ＵＩ制御部１０３は、選手のリストを表示する。（ステップＳ１２）ユーザが、その表示された選手のリストから、トス又はサーブ分析対象の選手を選択する。（ステップＳ１３）分析画像生成部１０４は、その選択された対象選手に関する複数のプレイ情報２０２を、記憶部１０６から取得する。トスのプレイ分析画像２１００Ａを表示する場合、分析画像生成部１０４は、その取得したプレイ情報２０２から、アクション種別がトスのプレイ情報２０２を抽出する。そして、分析画像生成部１０４は、その抽出したプレイ情報２０２のボール座標をトスが行われた位置として特定し、トスのプレイ分析画像２１００Ａを生成する。一方、サーブのプレイ分析画像２１００Ｂを表示する場合、分析画像生成部１０４は、その取得したプレイ情報２０２から、アクション種別がサーブのプレイ情報２０２を抽出する。そして、分析画像生成部１０４は、その抽出したプレイ情報２０２のボール座標をサーブ時のボールの軌跡として特定し、サーブのプレイ分析画像２１００Ｂを生成する。（ステップＳ１４）分析画像生成部１０４は、ＵＩ２０００上に、その生成したトスのプレイ分析画像２１００Ａ又はサーブのプレイ分析画像２１００Ｂを表示する。

＜映像再生部の詳細＞
　次に、映像再生部１０５の詳細について説明する。

　まず、プレイ分析画像２１００がＵＩ２０００上に表示されている状態において、ユーザがＵＩ２０００に対する所定の操作を行うと、映像再生部１０５は、例えば、ＵＩ２０００上に再生時間設定ボタン（図示せず）を表示する。そして、ユーザが再生時間設定ボタンを押下すると、映像再生部１０５は、設定可能な再生時間のリスト（図示せず）を表示する。リストに表示する再生時間には、例えば、対象選手がボールに接触した瞬間、ボールに接触する前の所定時間、ボールに接触した後の所定時間、ボールに接触する前後を含む所定時間、及び、分析対象のアクションを含むラリー全体がある。なお、ユーザが再生時間を秒単位で設定できるようにしてもよい。また、ユーザが再生時間を設定せずに、例えば、選択アクションから次アクションまでの自動的な再生時間をデフォルトとして保持することや、ユーザの好みの再生時間をアクション毎にデフォルトとして保持することで、ユーザ操作を不要とすることができる。

　ユーザが再生時間を設定した後、所定の状況画像２１１０に対する操作を行うと、映像再生部１０５は、この操作に対応したプレイ映像２２００を、ユーザが設定した再生時間だけ再生する。また、ユーザが再生時間を設定しない場合には、映像再生部１０５は、直前に実施した再生と同じ再生時間でプレイ映像２２００を再生する。なお、映像再生部１０５にユーザが再生時間を設定できる機能を設けずに、プレイ映像２２００を常に同じ時間だけ再生するようにしてもよい。

　例えば、映像再生部１０５は、図５に示すように、トスのプレイ分析画像２１００Ａが表示されている状態において、ユーザＵが１個の状況画像２１１０Ａを選択する単数選択操作Ｐ１を行うと、状況画像２１１０Ａの生成に用いたプレイ情報２０２を特定する。単数選択操作Ｐ１には、ユーザＵの指やスタイラスによるタップ操作や所定時間の接触操作、あるいは、マウスを用いたクリック操作がある。なお、単数選択操作Ｐ１が行われたときに、選択された状況画像２１１０Ａの表示形態を変更して、所定の状況画像２１１０Ａが選択されたか否かをユーザが容易に確認できるようにしてもよい。変更する表示形態としては、色、サイズ、線種、これらの組み合わせがある。

　次に、映像再生部１０５は、その特定したプレイ情報２０２に基づいて、トスが行われたフレーム時刻を認識する。そして、映像再生部１０５は、その認識したフレーム時刻に基づいて、プレイ映像２２００を再生する。

　また、映像再生部１０５は、図５に示すように、ユーザＵが複数の状況画像２１１０Ａを選択する第１の複数選択操作Ｐ２を行うと、単数選択操作Ｐ１時と同様に、各状況画像２１１０Ａに対応するトスが行われたフレーム時刻を認識する。第１の複数選択操作Ｐ２には、ユーザＵの指やスタイラスやカーソルによって、各状況画像２１１０Ａの少なくとも一部を囲むエリア選択操作がある。なお、第１の複数選択操作Ｐ２が行われたときに、選択エリアを示すループ状の選択エリアマークＭＣ１を表示させたり、選択された状況画像２１１０Ａの表示形態を変更したりすることで、所定の状況画像２１１０Ａが選択されたか否かをユーザが容易に確認できるようにしてもよい。変更する表示形態としては、色、サイズ、線種、これらの組み合わせがある。

　そして、映像再生部１０５は、その認識したフレーム時刻に基づいて、各状況画像２１１０Ａに対応するプレイ映像２２００を１つずつ連続再生する。例えば、映像再生部１０５は、図８に示すように、２個の状況画像２１１０Ａに対応するプレイ映像２２００を１つずつ連続して再生する。

　また、映像再生部１０５は、図６に示すように、サーブのプレイ分析画像２１００Ｂが表示されている状態において、ユーザＵが１個の状況画像２１１０Ｂを選択する単数選択操作Ｐ１を行うと、トスのプレイ映像２２００を再生する場合と同様に、その状況画像２１１０Ｂに対応するサーブのプレイ映像２２００を再生する。

　また、映像再生部１０５は、ユーザＵが複数の状況画像２１１０Ｂを選択する第２の複数選択操作Ｐ３を行うと、各状況画像２１１０Ｂに対応するサーブが行われたフレーム時刻を認識する。第２の複数選択操作Ｐ３には、複数の状況画像２１１０Ｂに対して所定間隔で行うタップ操作やクリック操作がある。タップ操作には、ユーザＵの指やスタイラスを用いることができ、クリック操作には、マウスを用いることができる。なお、第２の複数選択操作Ｐ３が行われたときに、選択された状況画像２１１０Ｂの表示形態を変更したりすることで、所定の状況画像２１１０Ｂが選択されたか否かをユーザが容易に確認できるようにしてもよい。変更する表示形態としては、色、サイズ、線種、これらの組み合わせがある。図６では、線を太くする構成を例示する。

　そして、映像再生部１０５は、その認識したフレーム時刻に基づいて、各状況画像２１１０Ｂに対応するプレイ映像２２００を並べて同時再生する。例えば、映像再生部１０５は、図９に示すように、２個の状況画像２１１０Ｂに対応するプレイ映像２２００を左右に並べて同時に再生する。この同時再生においては、２個の再生対象映像でアクションが起こった瞬間を基準として、同時再生させる。このように、アクションが起こった瞬間を基準として、２個の再生対象映像を同時再生する場合、例えば、選択アクションの瞬間の２秒前から次アクションの１秒後までを再生時間に設定すると、再生対象映像の再生終了タイミングが異なる場合がある。
　また、２個の再生対象映像の再生時間が異なる場合などに、比較対象の片方の動画をスロー再生、またはクイック再生させて開始から終了までのタイミングを揃えてもよい。これにより、より明確に選手の姿勢の差分を比較することができる。スロー再生、クイック再生の速度比率はアクション速度の差を明確にするために画面上に明示してもよい。このような再生形態をとることで、例えば、バレーボールでトスからアタックまでを比較する際に、アタックの瞬間の姿勢はよいが、そこまで至る時間が長くかかっているためブロックにつかまっているといったプレイ状況を把握することが可能となる。

　なお、トス及びサーブに関する単数選択操作Ｐ１は、１個の状況画像２１１０の少なくとも一部を囲むエリア選択操作であってもよい。トス及びサーブに関する単数選択操作Ｐ１は、同じであってもよいし、違っていてもよい。第１の複数選択操作Ｐ２及び第２の複数選択操作Ｐ３のうち少なくとも一方は、状況画像２１１０をそれぞれ１個ずつ所定間隔で囲む操作であってもよい。トスの状況画像２１１０Ａに対する第２の複数選択操作Ｐ２が行われたときに、プレイ映像２２００を並べて同時再生してもよいし、連続再生してもよい。サーブの状況画像２１１０Ｂに対する第１の複数選択操作Ｐ３が行われたときに、プレイ映像２２００を連続再生してもよい。プレイ映像２２００の同時再生は、プレイ映像２２００を上下に並べてもよいし、例えば２つのプレイ映像２２００のうち一方を半透明にして、他方の映像に重ねて同時に再生してもよい。

＜処理フロー＞
　次に、図１０に示すフローチャートを参照しながら、プレイ分析装置１００におけるプレイ映像再生処理フローについて説明する。

　まず、プレイ分析部１０２は、記憶部１０６に格納された動画フレーム２０１を用いて、プレイ情報２０２を生成し、記憶部１０６に格納する（Ｓ１）。

　分析画像生成部１０４は、ユーザの操作にしたがって、分析対象の選手及びアクション種別を認識する（Ｓ２）。そして、分析画像生成部１０４は、分析対象の選手及びアクション種別に対応するプレイ分析画像２１００を生成して、ＵＩ２０００に表示する（Ｓ３）。

　映像再生部１０５は、ユーザの操作にしたがって、プレイ映像２２００の再生時間を設定する（Ｓ４）なお、この再生時間の設定は、省略することができる。その場合、予め設定されたデフォルトの再生時間が読み出されて自動的に設定される。このデフォルトの再生時間は、ユーザの操作にしたがって、設定変更することができる。次に、映像再生部１０５は、ユーザの状況画像２１１０の選択操作を認識する（Ｓ５）。次に、映像再生部１０５は、Ｓ５において認識した選択操作に基づいて、再生対象のプレイ映像２２００と、再生形態（複数のプレイ映像２２００を再生する場合には、連続再生又は同時再生）とを特定する（Ｓ６）。そして、映像再生部１０５は、プレイ映像２２００を、Ｓ６において特定した再生形態、かつ、Ｓ４において設定した再生時間で再生する（Ｓ７）。そして、フローは、処理を終了する（ＥＮＤ）。

＜実施形態のまとめ＞
　本実施の形態では、プレイ分析装置１００は、カメラ３Ａ～３Ｄから動画フレーム２０１を受信し、複数の動画フレーム２０１で構成されるプレイ映像２２００を用いて選手のプレイを分析し、プレイ情報２０２を生成する。次に、プレイ分析装置１００は、プレイ情報２０２に基づき、プレイ状況を表わす状況画像２１１０を生成して表示装置４に表示する。そして、プレイ分析装置１００は、状況画像２１１０を選択するユーザＵの操作にしたがって、状況画像２１１０に対応するプレイ映像２２００を再生する。例えば、プレイ分析装置１００は、ユーザＵが１個の状況画像２１１０Ａを選択する単数選択操作Ｐ１を行うと、当該状況画像２１１０Ａに対応するプレイ映像２２００を再生する。

　これにより、ユーザＵは、スポーツのプレイ分析結果を示す状況画像２１１０の選択操作の後、当該分析対象のプレイ映像２２００を直ちに確認できる。

　また、本実施の形態では、プレイ分析装置１００は、プレイ映像２２００の再生時間を設定するユーザの操作にしたがって、プレイ映像２２００の再生時間を調整する。

　これにより、ユーザＵは、自身が確認したいプレイシーンを選択的に確認できる。

　また、本実施の形態では、プレイ分析装置１００は、複数の状況画像２１１０を含むエリア選択を行うユーザＵの第１の複数選択操作Ｐ２にしたがって、複数の状況画像２１１０のそれぞれに対応するプレイ映像２２００を連続再生する。

　これにより、ユーザＵは、第１の複数選択操作Ｐ２を行うだけの簡単な操作で、複数のプレイ映像２２００を連続的に確認できる。また、第１の複数選択操作Ｐ２として、複数の状況画像２１１０を囲む操作を適用すれば、ユーザＵは、１回の簡単な操作を行うだけで、複数のプレイ映像２２００を確認できる。

　また、本実施の形態では、プレイ分析装置１００は、複数の状況画像２１１０を個々に選択するユーザの第２の複数選択操作Ｐ３にしたがって、複数の状況画像２１１０のそれぞれに対応するプレイ映像２２００を同時再生する。

　これにより、ユーザＵは、第２の複数選択操作Ｐ３を行うだけの簡単な操作で、複数のプレイ映像２２００を同時に確認できる。また、ユーザＵは、複数のプレイ映像２２００のプレイにおける違いを比較でき、プレイの良かった点や悪かった点を容易に把握できる。また、サーブに関する線状の状況画像２１１０Ｂのように、最大長さが所定値以上の状況画像２１１０を表示する場合においては、第２の複数選択操作Ｐ３としてタップ操作を適用すれば、状況画像２１１０を囲む操作と比べて、操作範囲を小さくすることができる。

（実施の形態の変形例）
　以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、以上に例示した具体例を様々に変形、変更してもよい。

　例えば、分析対象のスポーツとして、技の内容を状況画像として表示できるものには、図１１に示すものが例示できる。図１１に示す技は、上記実施の形態の図５に示すように、円形や多角形等の状況画像の表示形態によって、技の種別や技をかけたときの状況等を表わすことができる。また、分析対象のスポーツとして、グラフ形式の状況画像を用いることができるものには、図１２に示すものが例示できる。図１２に示す技は、上記実施の形態の図６に示すように、例えば、線の表示形態によって、移動体や選手の移動軌跡、あるいは、水流や風向き等のプレイ環境等を表わすことができる。なお、図１１や図１２に示す内容の状況画像を分析画像生成部１０４が生成するために、プレイ分析部１０２は、各種スポーツの内容に応じたプレイ情報２０２を生成すればよい。

　また、図１２に示すようなスポーツにおいて、状況画像として、選手の移動軌跡をグラフ形式で表わしたものを用いる場合、映像再生部１０５は、移動軌跡の一部を選択するユーザの操作にしたがって、当該選択された移動軌跡の一部に対応するプレイ映像２２００を再生してもよい。

　具体的には、まず、分析画像生成部１０４は、プレイ情報２０２に基づいて、図１３に示すように、スキーの回転種目における選手の滑走状況を示す線状の状況画像２１１０Ｃ，２１１０Ｄ（２１１０）と、フラッグマークＭＦとを配置したプレイ分析画像２１００Ｃ（２１００）をＵＩ２０００上に表示する。この状態で、ユーザＵが状況画像２１１０Ｃ，２１１０Ｄの一部を選択する第１の一部選択操作Ｐ４を行うと、映像再生部１０５は、当該選択された一部に対応する滑走区間ＲＳ１のフレーム時刻を認識する。第１の一部選択操作Ｐ４には、ユーザＵの指やスタイラスやカーソルによって、状況画像２１１０Ｃ，２１１０Ｄの一部を囲むエリア選択操作がある。なお、第１の一部選択操作Ｐ４が行われたときに、選択エリアを示すループ状の選択エリアマークＭＣ１を表示させたり、状況画像２１１０Ｃ，２１１０Ｄ上の選択部分の表示形態を変更したりすることで、選択範囲をユーザが容易に確認できるようにしてもよい。変更する表示形態としては、色、サイズ、線種、これらの組み合わせがある。そして、映像再生部１０５は、図１４に示すように、第１の一部選択操作Ｐ４で選択された滑走区間ＲＳ１のプレイ映像２２００を並べて同時再生する。

　また、映像再生部１０５は、図１３に示すプレイ分析画像２１００Ｃ，２１００Ｄが表示されている状態において、第１の一部選択操作Ｐ４とは異なる第２の一部選択操作Ｐ５を認識する。第２の一部選択操作Ｐ５には、状況画像２１１０Ｃ，２１１０Ｄの一部をなぞるなぞり操作がある。なお、第２の一部選択操作Ｐ５が行われたときに、なぞられた軌跡を示すなぞりマークＭＣ２を表示させたり、状況画像２１１０Ｃ，２１１０Ｄ上の選択部分の表示形態を変更したりすることで、選択範囲をユーザが容易に確認できるようにしてもよい。そして、映像再生部１０５は、なぞられた滑走区間のプレイ映像２２００を連続再生する。

　なお、プレイ分析画像２１００Ｃ，２１００Ｄが表示されている状態において、第１の一部選択操作Ｐ４を認識した場合に、プレイ映像２２００を連続再生してもよいし、第２の一部選択操作Ｐ５を認識した場合に、プレイ映像２２００を同時再生してもよい。

　以上のように、第１の一部選択操作Ｐ４や第２の一部選択操作Ｐ５に基づき特定された選手の移動区間のみを、プレイ映像２２００の再生対象にすることにより、ユーザＵは、自身が確認したいプレイシーンを選択的に確認できる。

　上記実施の形態や変形例において、まとめて選択できる状況画像２１１０は、同じスポーツの複数の異なるプレイ映像２２００における共通のアクション種別の分析結果であってよい。例えば、分析対象のスポーツがバレーボールの場合、まとめて選択できる状況画像２１１０は、上述のとおり、複数の異なるプレイ映像２２００における共通のアクション種別「トス」の分析結果であってよい。アクション種別「サーブ」、「レセプション」、「アタック」及び「ブロック」についても同様である。また、例えば、分析対象のスポーツが「スキーの回転種目」の場合、まとめて選択できる状況画像２１１０は、上述のとおり、複数の異なるプレイ映像２２００における共通のアクション種別「ターン」の分析結果であってよい。また、例えば、分析対象のスポーツがフィギュアスケートの場合、まとめて選択できる状況画像２１１０は、複数の異なるプレイ映像２２００における共通のアクション種別「ルッツ」の分析結果であってよい。これにより、ユーザは、共通のアクション種別の複数の異なるプレイ映像２２００を、容易に比較再生できる。

　なお、上記実施の形態や変形例において、１つのプレイ分析画像２１００に基づき再生される複数のプレイ映像２２００は、違う選手のプレイであってもよいし、同じ選手あるいは違う選手の異なる試合でのプレイであってもよいし、異なるアクション種別のプレイであってもよい。
　また、例えば、分析対象のスポーツがバレーボールの場合、サーブやアタックなどの種別でプレイ映像２２００を再生する場合に、ボールの移動軌跡を表わす動線画像を重畳することができる。このように、実際の映像に動線画像（単色の実線、点線、ハイライト線、影付き動線など）を重ね合わせることで、再生映像に対して演出効果が得られ、映像を視聴するユーザは、サーブやアタックなどのプレイ全体の状況を瞬時に把握することができる。

　以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述したプレイ分析装置１００の機能は、コンピュータプログラムにより実現され得る。

　図１５は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ３１００は、キーボード又はマウス、タッチパッドなどの入力装置３１０１、ディスプレイ又はスピーカーなどの出力装置３１０２、ＣＰＵ（Central Processing Unit）３１０３、ＧＰＵ（Graphics Processing Unit）３１０４、ＲＯＭ（Read Only Memory）３１０５、ＲＡＭ（Random Access Memory）３１０６、ハードディスク装置又はＳＳＤ（Solid State Drive）などの記憶装置３１０７、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置３１０８、ネットワークを介して通信を行う送受信装置３１０９を備え、各部はバス３１１０により接続される。

　そして、読取装置３１０８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置３１０７に記憶させる。あるいは、送受信装置３１０９が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置３１０７に記憶させる。

　そして、ＣＰＵ３１０３が、記憶装置３１０７に記憶されたプログラムをＲＡＭ３１０６にコピーし、そのプログラムに含まれる命令をＲＡＭ３１０６から順次読み出して実行することにより、上記各装置の機能が実現される。

　上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

　２０１９年５月１０日出願の特願２０１９－０８９８２２の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

　本開示の一態様は、スポーツを分析するためのシステムに有用である。

　１　プレイ分析システム
　３（３Ａ，３Ｂ，３Ｃ，３Ｄ）　カメラ
　４　表示装置
　５　入力装置
　１００　プレイ分析装置
　１０１　映像受信部
　１０２　プレイ分析部
　１０３　ＵＩ制御部
　１０４　分析画像生成部
　１０５　映像再生部
　１０６　記憶部
　２０１　動画フレーム
　２０２　プレイ情報
　２０３　ボール軌跡情報
　２０４　アクション情報
　２０５　アクター情報
　２１００，２１００Ａ，２１００Ｂ，２１００Ｃ　プレイ分析画像
　２１１０，２１１０Ａ，２１１０Ｂ，２１１０Ｃ，２１１０Ｄ　状況画像
　２２００　プレイ映像
　ＭＣ１　選択エリアマーク
　ＭＣ２　なぞりマーク
　Ｐ１　単数選択操作
　Ｐ２　第１の複数選択操作
　Ｐ３　第２の複数選択操作
　Ｐ４　第１の一部選択操作
　Ｐ５　第２の一部選択操作

Claims (8)

1. 　スポーツのプレイを分析するプレイ分析装置であって、
   　プレイ映像を用いて選手のプレイを分析してプレイ情報を生成するプレイ分析部と、
   　前記プレイ情報に基づき、前記選手のプレイ状況を表わす状況画像を生成して表示装置に表示する分析画像生成部と、
   　前記状況画像を選択するユーザの操作にしたがって、前記状況画像に対応するプレイ映像を再生する映像再生部と、
   　を備える、プレイ分析装置。
2. 　前記映像再生部は、ユーザが設定可能な前記プレイ映像の再生時間に基づいて、前記プレイ映像の再生時間を調整する、
   　請求項１に記載のプレイ分析装置。
3. 　前記分析画像生成部は、前記スポーツにおける共通のアクション種別に関する複数の前記状況画像を生成する、
   　請求項１又は２に記載のプレイ分析装置。
4. 　前記スポーツは、バレーボールであり、
   　前記共通のアクション種別は、トス又はサーブである、
   　請求項３に記載のプレイ分析装置。
5. 　前記映像再生部は、複数の前記状況画像を含むエリア選択を行うユーザの操作にしたがって、前記複数の状況画像のそれぞれに対応するプレイ映像を連続再生する、
   　請求項１から４のいずれか１項に記載のプレイ分析装置。
6. 　前記映像再生部は、複数の前記状況画像を個々に選択するユーザの操作にしたがって、前記複数の状況画像のそれぞれに対応するプレイ映像を同時再生する、
   　請求項１から５のいずれか１項に記載のプレイ分析装置。
7. 　前記状況画像は、選手の移動軌跡をプレイ状況として表わし、
   　前記映像再生部は、前記移動軌跡の一部を選択するユーザの操作にしたがって、前記選択された移動軌跡の一部に対応するプレイ映像を再生する、
   　請求項１から６のいずれか１項に記載のプレイ分析装置。
8. 　スポーツのプレイを分析するプレイ分析方法であって、
   　プレイ映像を用いて選手のプレイを分析してプレイ情報を生成し、
   　前記プレイ情報に基づき、前記選手のプレイ状況を表わす状況画像を生成して表示装置に表示し、
   　前記状況画像を選択するユーザの操作にしたがって、前記状況画像に対応するプレイ映像を再生する、
   　プレイ分析方法。

Images