JP7113336B2 - プレイ分析装置、及び、プレイ分析方法 - Google Patents

Description

本開示は、球技のプレイ分析装置、及び、プレイ分析方法に関する。

従来より、バレーボール分析ソフトウェアとして「Data Volley」が知られている。Data Volleyはこのソフトウェアに精通したアナリストによって使用され、当該アナリストが、主観的判断に基づいて、チームの選手の状況を示すデータをData Volleyに入力する。

特許文献１には、アナリストの操作性を向上させたスカウティングシステムが開示されている。具体的には、特許文献１には、画像解析を用いて各選手の位置情報を取得し、入力された選手状況、各選手のそれぞれの位置情報、所望のシーンの静止画像とを関連付けて記憶装置にデータベースを構築し、各選手の各位置、所望のシーンの静止画像、選手状況を表示することが開示されている。この発明により、スコアラー（アナリスト）のトレーニングが必要であり、各選手の位置情報が視覚による主観的判断により入力されているためにデータ精度が低いというData Volleyのソフトウェアの問題点を解決できる。

特許文献１のシステムでは、まず、ユーザが、サーブ及びレシーブのシーンが撮影されている静止画像を指定し、その静止画像における選手の両足間の中点の位置を指定する。次に、当該システムが、その画像上の指定された位置の座標を平面上の座標に変換して選手の位置を取得してサーブレシーブの隊形を表示する。次に、ユーザが、当該システムに対して、選手の技能評価を入力する。

特開２００４－３５１０９７号公報

Xina CHENG, Norikazu IKOMA, Masaaki HONDA and Takeshi IKENAGA "Multi-view 3D Ball Tracking with Abrupt Motion Adaptive System Model, Anti-occlusion Observation and Spatial Density based Recovery in Sports Analysis", IEICE TRANS. FUNDAMENTALS, VOL.E94-A, NO.1 JANUARY 2011

しかしながら、Data Volley及び特許文献１のシステムでは、球技中に各選手が行ったプレイの内容を表示し、表示されたプレイの内容を修正することが困難であった。

本開示の目的は、球技中に各選手が行ったプレイの内容を表示し、表示されたプレイの内容を修正できるプレイ分析装置及び方法を提供することにある。

本開示の一態様に係るプレイ分析装置は、球技のプレイを分析するプレイ分析装置であって、複数のカメラによって撮影された複数のプレイ映像を用いて、前記球技の移動体の軌跡を算出し、前記移動体の軌跡の変化に基づいて、前記球技に関するアクションと、当該アクションを行った選手とを検出し、当該アクションと当該選手とを対応付けたプレイ情報を生成する球技映像解析部と、複数の前記プレイ情報に含まれる選手及びアクションの情報を時系列に並べて表示し、前記アクションの情報に対する修正を受け付けるプレイ情報制御部と、を備え、前記アクションの情報に対する修正を受けた場合、前記アクションを識別する記号の選択肢を提示し、前記プレイ情報に含まれる前記アクションの情報を、当該選択肢から選択された記号に対応するアクションの情報に修正することを特徴とする。

本開示の一態様に係るプレイ分析方法は、球技のプレイを分析するプレイ分析方法であって、複数のカメラによって撮影された複数のプレイ映像を用いて、前記球技の移動体の軌跡を算出し、前記移動体の軌跡の変化に基づいて、前記球技に関するアクションと、当該アクションを行った選手とを検出し、当該アクションと当該選手とを対応付けたプレイ情報を生成し、複数の前記プレイ情報に含まれる選手及びアクションの情報を時系列に並べて表示し、前記アクションの情報に対する修正を受け付け、前記アクションの情報に対する修正を受けた場合、前記アクションを識別する記号の選択肢を提示し、前記プレイ情報に含まれる前記アクションの情報を、当該選択肢から選択された記号に対応するアクションの情報に修正することを特徴とする。

なお、これらの包括的または具体的な態様は、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、自動的に表示される選手のプレイ情報に含まれるアクションの情報に対する修正を受けた場合、そのアクションを識別する記号の選択肢からアクションの情報を簡単に修正することができる。

実施の形態１に係る球技映像解析システムの概要を示す図である。 実施の形態１に係る球技映像解析装置の構成の例を示す図である。 実施の形態１に係るプレイ情報の例を示す図である。 実施の形態１に係る検出領域及びアクター領域の一例を示す図である。 実施の形態１に係る検出領域及びアクター領域の他の一例を示す図である。 実施の形態１に係る同一選手判定処理において同一の選手と判定される場合の図である。 実施の形態１に係る同一選手判定処理において異なる選手と判定される場合の図である。 実施の形態１に係るアクション判定処理を示すフローチャートである。 実施の形態１に係るアクター認識処理を示すフローチャートである。 実施の形態２に係るプレイ分析システムの構成例を示す図である。 実施の形態２に係るプレイ分析装置の構成例を示す図である。 実施の形態２に係るプレイ分析装置が生成するＵＩ（User Interface）の例を示す図である。 実施の形態２に係るトスのプレイ分析画像の例を示す図である。 実施の形態２に係るプレイ情報リストの例を示す図である。 実施の形態２に係るスコア情報リストの例を示す図である。 実施の形態２に係るプレイ情報の修正手順を説明するための第１の図である。 実施の形態２に係るプレイ情報の修正手順を説明するための第２の図である。 実施の形態２に係るプレイ情報の修正手順を説明するための第３の図である。 本開示の実施の形態に係るハードウェア構成の例を示す図である。

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
＜球技映像解析システム＞
まず、図１を参照しながら、一実施の形態に係る球技映像解析システムの概要について説明する。

球技映像解析システム１は、球技を撮影した映像を解析し、球技に用いられる移動体に対してアクションを行った選手を認識するシステムである。球技に用いられる移動体は、典型的にはボールであるが、バドミントンに用いられるシャトル等であってもよい。本実施の形態では、球技の１つであるバレーボールを例に説明する。ただし、球技映像解析システム１は、サッカー、野球、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール、ラクロス、又はバドミントンなど、様々な球技に適用可能である。また、球技映像解析システム１は、アイスホッケーのパック等、「球」の概念に当てはまらない形状の移動体にも適用可能である。すなわち、球技映像解析システム１は、複数人から構成されるチームが移動体に対するアクションを行うことにより点数又は勝敗が決定される競技であれば、どのような競技にも適用可能である。

球技映像解析システム１は、複数のカメラ３（３Ａ、３Ｂ、３Ｃ、３Ｄ）と、表示装置４と、入力装置５と、球技映像解析装置１００と、を備える。

複数のカメラ３は、それぞれ異なる位置に設置される。例えば、図１に示すように、各カメラ３は、高所からコート１０を異なる視点（画角）で撮影できる位置に設置される。なお、図１ではカメラ３が４台であるが、本実施の形態はこれに限られず、カメラ３は、２台以上であれば何台でもよい。２台以上のカメラ３を用いることにより、ボールの３次元位置を算出できる

各カメラ３は、球技映像解析装置１００と有線又は無線を介して通信可能に接続されている。各カメラ３は、球技中の状況を撮影し、撮影画像を生成する。そして、各カメラ３は、複数の撮影画像から動画フレーム２０１（図２参照）を生成する。そして、各カメラ３は、動画フレーム２０１を球技映像解析装置１００へ送信する。動画フレーム２０１は、複数の撮影画像が、例えば、ＭＰ４、Ｈ．２６４、Ｈ．２６５、又は、Ｍｏｔｉｏｎ ＪＰＥＧ等の規格に基づいて圧縮されたものであってよい。

表示装置４は、球技映像解析装置１００と有線又は無線を介して通信可能に接続されており、球技映像解析装置１００から出力される画像を表示する。表示装置４は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等である。

入力装置５は、球技映像解析装置１００と有線又は無線を介して通信可能に接続されており、ユーザからの操作を受け付け、その操作情報を球技映像解析装置１００へ送信する。入力装置５は、例えば、キーボード、マウス、マイク及び／又はタッチパネル等である。なお、入力装置５及び表示装置４は一体型の装置であってもよい。

球技映像解析装置１００は、各カメラ３が撮影した動画フレームを用いて、ボールに対してアクションを行った選手を特定する。バレーボールの場合、ボールに対して行われるアクションには、サーブ、レセプション、ディグ、トス、アタック、及びブロック等がある。以下、ボールに対してアクションを行った選手を、「アクター」と表現する場合がある。

なお、本実施の形態では、図１に示すように、コート１０の面の中心点を原点Ｏとし、コート１０の面と平行かつネット１１と平行な軸をＸ軸、コート１０の面と平行かつネット１１と垂直な軸をＹ軸、コート１０の面と垂直な軸をＺ軸とする。Ｘ軸は、審判１２から離れる方向を正方向、審判１２に近づく方向を負方向とする。Ｙ軸は、審判１２から見て左方向を正方向、右方向を負方向とする。Ｚ軸は、コート１０の面から離れる方向を正方向とする。つまりＺ軸の座標ｚは、コート１０の面からの高さに相当する。

＜球技映像解析装置＞
次に、図２を参照しながら、球技映像解析装置１００について説明する。

球技映像解析装置１００は、映像受信部１０１と、軌跡算出部１０２と、アクション判定部１０３と、アクションフレーム選択部１０４と、検出領域設定部１０５と、選手検出部１０６と、番号認識部１０７と、結果出力部１０８と、記憶部１０９とを有する。

映像受信部１０１は、各カメラ３Ａ～３Ｄから送信される動画フレーム２０１を受信し、記憶部１０９に格納する。

軌跡算出部１０２は、記憶部１０９に格納された複数の動画フレーム２０１に対して、例えば非特許文献１に開示されている手法を適用し、動画フレーム２０１が撮影された時刻（以下「フレーム時刻」という）におけるボールの３次元位置（ｘ，ｙ，ｚ）及び速度を算出する。そして、軌跡算出部１０２は、フレーム時刻とボールの３次元位置と速度とを対応付けてボール軌跡情報２０２を生成し、記憶部１０９に格納する。

アクション判定部１０３は、ボール軌跡情報２０２から、ボールに対するアクションが発生したか否かを判定する。アクション判定部１０３は、アクションが発生したと判定した場合、アクションが発生したフレーム時刻（以下「アクションフレーム時刻」という）と、その発生したアクションの種別とを対応付けてアクション情報２０３を生成し、記憶部１０９に格納する。なお、アクション判定部１０３の詳細については後述する。

アクションフレーム選択部１０４は、記憶部１０９に格納されている複数の動画フレーム２０１の中から、アクション情報２０３に含まれるアクションフレーム時刻に対応する動画フレームと、当該アクションフレーム時刻の近傍のフレーム時刻に対応する動画フレームとを、アクションフレームとして選択する。なお、アクションフレーム選択部１０４の詳細については後述する。

検出領域設定部１０５は、アクションフレーム選択部１０４によって選択されたアクションフレームに対して、選手の検出が行われる領域である検出領域を設定する。なお、検出領域設定部１０５の詳細については後述する。

選手検出部１０６は、検出領域設定部１０５によって設定された検出領域内の画像から、選手が撮影されている領域（以下「選手領域」という）を検出する。そして、選手検出部１０６は、複数の選手領域を検出した場合、アクションを行った選手（アクター）が撮影されている選手領域を、アクター領域として選択する。なお、選手検出部１０６の詳細については後述する。

番号認識部１０７は、選手検出部１０６によって検出されたアクター領域内の画像から、アクターのユニフォーム番号を認識する。そして、番号認識部１０７は、アクションフレーム時刻と、その認識したアクターのユニフォーム番号とを対応付けてアクター情報２０４を生成し、記憶部１０９に格納する。なお、番号認識部１０７の詳細については後述する。

結果出力部１０８は、ボール軌跡情報２０２と、アクション情報２０３と、アクター情報２０４とを対応付けて、プレイ情報２０５を生成し、記憶部１０９に格納する。例えば、アクション情報２０３においてアクションフレーム時刻Ｔとアクション種別「アタック」とが対応付けられており、アクター情報２０４においてアクションフレーム時刻Ｔとアクターのユニフォーム番号「１４」とが対応付けられている場合、結果出力部１０８は、図３に示すようなプレイ情報２０５を生成する。すなわち、結果出力部１０８は、図３に示すように、ボール軌跡情報２０２のフレーム時刻Ｔに対して、アクション種別「アタック」と、アクターのユニフォーム番号「１４」とを対応付けたプレイ情報２０５を生成する。これにより、ユーザ又は他の装置は、プレイ情報２０５を用いて、フレーム時刻Ｔにおいて、ユニフォーム番号「１４」の選手（アクター）が、３次元位置（ｘ_Ｔ，ｙ_Ｔ，ｚ_Ｔ）のボールに対して、速度「Ｓ_Ｔ（ｋｍ／ｈ）」の「アタック」を行ったことを知ることができる。

＜アクション判定部の詳細＞
次に、アクション判定部１０３の詳細について説明する。

アクション判定部１０３は、ボール軌跡情報２０２に含まれるフレーム時刻毎のボールの３次元位置及び速度からボールの軌跡を算出する。そして、アクション判定部１０３は、その算出したボールの軌跡変化が所定の条件に合致した場合、ボールに対するアクションが発生したと判定する。そして、アクション判定部１０３は、アクションが発生したと判定した場合、その条件に合致したフレーム時刻を、アクションフレーム時刻とする。

なお、アクション判定部１０３は、ボールの軌跡変化、ボールの３次元位置及び速度、並びに、球技のルール等に基づいて、アクション種別を判定してもよい。バレーボールのアクション種別には、サーブ、レセプション（サーブに対するレシーブ）、ディグ（アタックに対するレシーブ）、トス、アタック、及びブロック等がある。例えば、アクション判定部１０３は、解析開始から初めて検出されたボールの軌跡がＹ軸方向（図１に示すコートの長辺方向）の移動成分を有し、当該Ｙ軸方向のボールの速度成分が所定の範囲内である場合、アクション種別を「サーブ」と判定する。他の例として、アクション判定部１０３は、「サーブ」後にボールの軌跡がＹ軸においてネット１１の存在する座標を跨ぎ、かつ、ボールの３次元位置の変化が下降から上昇に転じた場合（すなわち、Ｚ軸方向の座標の変化がプラスに転じた場合）、アクション種別を「レセプション」と判定する。バレーボールのルール上、「サーブ」を受けるアクションは「レセプション」であるので、このようなルールに基づく判定を行うことにより、「レセプション」と「ディグ」を区別できる。

同様に、アクション判定部１０３は、ボールの軌跡変化等が所定の条件に合致する場合に、競技のルールに準じた判定基準によって他のアクション種別を判定する。

なお、上記では、３次元の情報を用いてアクションの発生を判定しているが、２次元又は１次元の情報を用いてアクションの発生を判定しても良い。例えば、上述した条件で「サーブ」の発生を判定する場合、Ｘ軸方向とＺ軸方向の情報を用いずに、解析開始の時刻とＹ軸方向の情報のみから判定可能である。

また、アクション判定部１０３は、アクションフレーム時刻及びアクション種別に、さらに、当該アクションフレーム時刻に対応するボールの３次元位置を対応付けてアクション情報２０３を生成してもよい。ボールの３次元位置の情報が、後述するアクションフレーム選択部１０４等において使用されるためである。

＜アクションフレーム選択部の詳細＞
次に、アクションフレーム選択部１０４の詳細について説明する。

アクションフレーム選択部１０４は、まず、アクションフレーム時刻に対応するボールの３次元位置に近い方の少なくとも２つのカメラ３を選択する。例えば、アクションフレーム選択部１０４は、ボールのｙ座標が０以上の場合（図１のコート１０の左側にボールがある場合）、カメラ３Ａと３Ｂを選択し、ボールのｙ座標が０未満の場合（図１のコート１０の右側にボールがある場合）、カメラ３Ｃと３Ｄを選択する。これにより、選手のユニフォームのユニフォーム番号を撮影している可能性の高いカメラ３が選択される。

また、アクションフレーム選択部１０４は、上述で選択した各カメラ３の動画フレーム２０１から、アクション情報２０３のアクションフレーム時刻Ｔに対応する動画フレーム２０１と、アクションフレーム時刻Ｔよりも前方のフレーム時刻（例えばフレーム時刻Ｔ－３）に対応する動画フレーム２０１と、アクションフレーム時刻Ｔよりも後方のフレーム時刻（例えばフレーム時刻Ｔ＋３）に対応する動画フレーム２０１とをアクションフレームとして選択する。

このように、複数のアクションフレームを選択することにより、仮に１つのアクションフレームにおいてアクターのユニフォーム番号が認識できなかったとしても、他のアクションフレームにおいてアクターのユニフォーム番号を認識できる場合がある。すなわち、アクターのユニフォーム番号を認識できる可能性が高まる。

また、このように、２フレーム以上離れている動画フレーム２０１をアクションフレームとして選択することにより、仮に１つのアクションフレームにおいてアクターのユニフォーム番号が認識できなかったとしても、他のアクションフレームではアクターの姿勢が変化しており、アクターのユニフォーム番号を認識できる場合がある。すなわち、アクターのユニフォーム番号を認識できる可能性が高まる。

なお、アクションフレームとして選択される動画フレームを２フレーム以上離すことは、あくまでも一例に過ぎない。アクターの姿勢が変化しており、かつ、アクターが撮影されている可能性の高いフレームを複数抽出することができるのであれば、３フレーム以上離れた動画フレーム２０１または１フレームしか離れていない動画フレーム２０１を、アクションフレームとして抽出してもよい。ただし、アクションフレーム時刻Ｔから離れ過ぎると、アクションを行ったアクターが動画フレーム２０１から外れてしまう可能性が高まる。したがって、例えば、６０ｆｐｓの動画に対応する動画フレーム２０１の場合、フレームを離す間隔は、１０フレーム程度を上限とすることが好ましい。

また、アクションフレーム選択部１０４は、動画フレームの元となる動画のフレームレートの高低に応じて、アクションフレーム時刻Ｔから何フレーム離れている動画フレーム２０１を、アクションフレームとして抽出するかを決定してもよい。例えば、６０ｆｐｓの２フレームは３０ｆｐｓの１フレームに相当するので、アクションフレーム選択部１０４は、６０ｆｐｓの場合は２フレーム離れた動画フレーム２０１を、３０ｆｐｓの場合は１フレーム離れた動画フレーム２０１を選択する。これにより、ｆｐｓが異なっていても同程度の実時間に対応する動画フレーム２０１をアクションフレームとして抽出できる。

また、アクションフレーム選択部１０４は、アクション判定部１０３が判定したアクションの種類に応じて、何フレーム以上離れている動画フレーム２０１を、アクションフレームとして選択するかを切り替えてもよい。球技では様々なアクションが行われるため、アクターの姿勢の変わり易さはアクションによって異なる。そのため、姿勢が大きく変わるアクションについて選択されたアクションフレーム同士が離れ過ぎていると、アクターが撮影されていない動画フレーム２０１が、アクションフレームとして選択されるおそれがある。一方、姿勢が変わりにくいアクションについて選択されたアクションフレーム同士が近すぎると、ほぼ同じ姿勢のアクターが撮影されている動画フレーム２０１が、アクションフレームとして選択されてしまい、全てのアクションフレームにおいてユニフォーム番号が認識できないおそれがある。そこで、アクションフレーム選択部１０４は、アクターの姿勢の変化が大きいアクションほど、アクションフレーム時刻Ｔに近い動画フレーム２０１を、アクションフレームとして選択し、アクターの姿勢の変化が小さいアクションほど、アクションフレーム時刻Ｔから離れている動画フレーム２０１を、アクションフレームとして選択する。これにより、上記のような問題を軽減できる。

また、球技映像解析装置１００は、何フレーム以上離れている動画フレーム２０１をアクションフレームとして選択すべきかの設定を、ユーザから手動で受け付けても良い。同じアクションであっても、アクターの姿勢の変化の大きさを、自動で完全に予想することは難しいため、ユーザの判断によってアクションフレームの選択基準を変更できることは、有益である。

なお、アクションフレーム選択部１０４が、アクションフレーム時刻Ｔよりも前方又は後方のフレーム時刻に対応する動画フレーム２０１をアクションフレームとして選択する処理を行わない構成であったとしても、本実施の形態は実現可能である。また、アクションフレーム選択部１０４は、より多くの動画フレーム２０１をアクションフレームとして選択しても良いし、より少ない動画フレーム２０１をアクションフレームとして選択しても良い。また、アクションフレーム選択部１０４は、アクションフレーム時刻Ｔよりも前方及び後方のフレーム時刻から均等に動画フレームを選択するのではなく、前方又は後方の一方のフレーム時刻のみに対応するアクションフレームを選択してもよい。

＜検出領域設定部の詳細＞
次に、検出領域設定部１０５の詳細について説明する。

検出領域設定部１０５は、アクションフレーム選択部１０４によって選択された各アクションフレームに対して、アクションフレーム時刻Ｔにおけるボールの３次元位置に応じた検出領域を設定する。次に、図４及び図５を参照しながら、バレーボールにおける検出領域の設定について説明する。

検出領域設定部１０５は、アクションフレーム時刻Ｔにおけるボールの座標ｚ（高さ）が所定の閾値（例えば２ｍ）以上である場合、図４に示すように、ボールの画像３０１Ａが検出領域３００Ａの上辺（上端）中央に位置するように、アクションフレームに対して検出領域３００Ａを設定する。ボールの座標ｚ（高さ）が所定の閾値以上の場合、ボールの下にアクターが存在する可能性が高いからである。なお、検出領域３００Ａは、ボールの画像３０１Ａが厳密な上辺中央から１～数ピクセルずれた位置に設定されても良い。本明細書における「上辺中央」は、このような位置も含むものとする。

一方、検出領域設定部１０５は、アクションフレーム時刻Ｔにおけるボールの座標ｚ（高さ）が所定の閾値（例えば２ｍ）未満である場合、図５に示すように、ボールの画像３０１Ｂが検出領域３００Ｂの中心に位置するように、アクションフレームに対して検出領域３００Ｂを設定する。ボールの座標ｚ（高さ）が所定の閾値未満の場合、ボールの近傍にアクターが存在する可能性が高いからである。なお、検出領域３００Ｂは、ボールの画像３０１Ｂが厳密な中心から１～数ピクセルずれた位置に設定されても良い。本明細書における「中心」は、このような位置も含むものとする。

このように、検出領域設定部１０５において検出領域３００を設定し、選手検出部１０６において検出領域３００内からアクター領域４００を検出することにより、アクションフレーム全体からアクター領域を検出するよりも、処理負荷が低減し、延いては処理時間が短縮する。これにより、球技映像解析装置１００は、ほぼリアルタイムでアクターのユニフォーム番号を認識でき得る。

なお、検出領域３００のサイズは、競技中の選手がカメラ３に最も近づいた場合に当該選手が動画フレームに占めるサイズよりも、少し大きいことが好ましい。競技中の選手は、足を大きく開いたり、スライディングしたりなど、多様な姿勢をとり、また、フレーム間における移動距離も大きいためである。

＜選手検出部の詳細＞
次に、選手検出部１０６の詳細について説明する。

まず、選手検出部１０６は、各検出領域３００内から、選手（人物）が撮影されている領域（以下「選手領域」という）を検出する。例えば、選手検出部１０６は、競技中の複数の選手画像をディープラーニングによって学習させた選手検出用のモデル（ニューラルネットワーク）を用いて、検出領域３００内から選手領域を検出する。

次に、選手検出部１０６は、その検出した選手領域の中から、アクターが撮影されている選手領域を、アクター領域として選択する。例えば、選手検出部１０６は、検出した選手領域が１つである場合、当該選手領域をアクター領域４００として選択し、検出した選手領域が複数である場合、次の（Ａ１）及び（Ａ２）によって、１つの選手領域をアクター領域４００として選択する。

（Ａ１）複数の選手領域を、アクションフレーム時刻Ｔのアクションフレームから検出した場合、選手検出部１０６は、３次元空間上において、アクションフレーム時刻Ｔにおけるボールの３次元位置と最も近い選手領域を、アクター領域４００として選択する。

（Ａ２）複数の選手領域を、アクションフレーム時刻Ｔの前方（例えばフレーム時刻Ｔ－３）又は後方（例えばフレーム時刻Ｔ＋３）のアクションフレームから検出した場合、３次元空間上において、上記（Ａ１）で選択したアクター領域４００と最も近い選手領域を、アクター領域４００として選択する

なお、選手検出部１０６は、アクター領域４００におけるアクターの姿勢を推定し、カメラ３に背中を向けている姿勢と推定した場合、当該アクター領域４００を残し、他の姿勢と推定した場合、当該アクター領域４００を破棄してもよい。これにより、ユニフォーム番号５００が撮影されているアクター領域４００が残り、ユニフォーム番号５００が撮影されていないアクター領域４００が破棄されるので、番号認識部１０７における番号の誤認識が低減する。

＜＜同一選手判定＞＞
なお、選手検出部１０６は、上記のように各アクションフレームから検出したアクター領域４００について、それらのアクター領域４００が同一の選手のものであるか否かを判定してもよい。以下、この判定処理を「同一選手判定処理」と呼ぶ。

次に、図６Ａ、図６Ｂを参照しながら、同一選手判定処理の一例について説明する。図６Ａは、同一選手と判定される場合の図であり、図６Ｂは、異なる選手と判定される場合の図である。

まず、選手検出部１０６は、図６Ａに示すように、カメラ３Ａの位置から、当該カメラ３Ａがフレーム時刻ｔに撮影したアクションフレームから検出したアクター領域４００Ｃの上辺中央４０１Ａの位置へ延びるベクトル線４０２Ａを算出する。同様に、選手検出部１０６は、図６Ａに示すように、カメラ３Ｂの位置から、当該カメラ３Ｂがフレーム時刻ｔに撮影したアクションフレームから検出したアクター領域４００Ｄの上辺中央４０１Ｂの位置へ延びるベクトル線４０２Ｂを算出する。

次に、選手検出部１０６は、ベクトル線４０２Ａとベクトル線４０２Ｂとの最小距離４０３Ａが所定の閾値未満である場合、アクター領域４００Ｃとアクター領域４００Ｄとは同一の選手のものであると判定し、当該最小距離４０３Ａが所定の閾値以上である場合、アクター領域４００Ｃとアクター領域４００Ｄとは異なる選手のものであると判定する。例えば、図６Ａの場合、最小距離４０３Ａが所定の閾値未満であるので、選手検出部１０６は、アクター領域４００Ｃとアクター領域４００Ｄとは同一の選手のものであると判定する。一方、図６Ｂの場合、最小距離４０３Ｂが所定の閾値以上であるので、選手検出部１０６は、アクター領域４００Ｄとアクター領域４００Ｅとは異なる選手のものであると判定する。

この判定について、以下、より詳細に説明する。

同一の選手の同一の部位は、同一の３次元座標に存在する。そのため、図６Ａのように、カメラ３Ａ、３Ｂの３次元座標が異なっていたとしても、ベクトル線４０２Ａと４０２Ｂは理想的には一点（同一の選手の同一の部位）で交わることになる。アクター領域４００Ｃおよび４００Ｄの抽出の精度によっては、多少ベクトル線がずれることはあり得るものの、同一の人物が検出されている限り、ベクトル線４０２Ａと４０２Ｂとが極端に離れる可能性は低い。そこで、選手検出部１０６は、ベクトル線４０２Ａと４０２Ｂの最短距離が閾値未満である場合には、アクター領域４００Ｃとアクター領域４００Ｄとは同一の選手のものであると判定する。

一方、図６Ｂのように、アクター領域４００Ｄと４００Ｅで異なる選手が検出されている場合、同一であるかのように見える部位（４０１Ｂと４０１Ｃ）は３次元空間内では明らかに異なる座標に存在する。その結果、ベクトル線４０２Ｂと４０２Ｃは互いにねじれの位置を通過し、ベクトル線間の最小距離４０３Ｂは、同一の選手が検出されている場合よりも明らかに大きくなる。そこで、選手検出部１０６は、ベクトル線４０２Ｂと４０２Ｃの最短距離が閾値以上である場合には、アクター領域４００Ｄとアクター領域４００Ｅとは異なる選手のものであると判定する。例えば、図６Ｂではアクター領域４００Ｄではユニフォーム番号「１３」の選手が検出され、アクター領域４００Ｅではユニフォーム番号「１３」の手前に存在し、より背の高い「３３」の選手が検出されている。この場合、ベクトル線４０２Ｃはベクトル線４０２ＢよりもＺ軸方向において明らかに高い位置を通過する。そのため、ベクトル線４０２Ｂとベクトル線４０２Ｃの間の最短距離は大きくなり、アクター領域４００Ｄとアクター領域４００Ｅとで異なる選手が検出されていることが分かる。

なお、選手検出部１０６は、同一の選手のものであると判定したアクター領域４００を残し、異なる選手のものであると判定したアクター領域４００を破棄してもよい。これにより、異なる選手がアクター領域４００として誤検出される可能性が低減するので、番号認識部１０７において、互いに異なるユニフォーム番号５００が認識される可能性が低減する。すなわち、アクターのユニフォーム番号５００の認識精度が向上する。

＜番号認識部の詳細＞
次に、番号認識部１０７の詳細について説明する。

番号認識部１０７は、各アクター領域４００から、アクターのユニフォーム番号５００を認識する。例えば、番号認識部１０７は、複数の選手のユニフォームの数字画像をディープラーニングによって学習させたユニフォーム番号検出用のモデル（ニューラルネットワーク）を用いて、アクター領域４００内から、アクターのユニフォーム番号５００を認識する。

なお、番号認識部１０７は、各アクター領域４００から認識したユニフォーム番号５００が一致しない場合、多数決によってアクターのユニフォーム番号５００を決定してよい。例えば、６つのアクター領域４００から認識したユニフォーム番号５００のうち、４つのユニフォーム番号が「１３」、２つのユニフォーム番号が「１０」であった場合、番号認識部１０７は、一致した数が４つと最も多いユニフォーム番号「１３」を、アクターのユニフォーム番号５００に決定する。

また、番号認識部１０７は、まず、アクター領域４００から番号の画像領域を検出し、次に、その検出した画像領域から番号自体を認識する、という２段階で処理を行ってもよい。

また、番号認識部１０７は、各アクター領域４００について、認識されたユニフォーム番号の候補の確からしさを示す尤度（例えば０以上～１以下の値）を算出し、尤度を加算した結果が最も大きな候補を、アクターのユニフォーム番号と決定しても良い。上述した多数決の場合、認識した番号の確からしさは、決定に影響を与えないため、１つのアクター領域４００から認識されたユニフォーム番号「１６」が９０％正しいものであり、２つのアクター領域４００から認識されたユニフォーム番号「１０」が３０％正しいものであったとしても、正しいユニフォーム番号は、「１０」と決定されてしまう。一方、このように尤度を考慮した決定を行うことによって、認識した番号の確からしさを、番号の決定に反映することができる。

＜処理フロー＞
次に、球技映像解析装置１００における処理フローについて説明する。処理フローは、アクション判定処理と、アクター認識処理とに大別される。

＜＜アクション判定処理＞＞
次に、図７に示すフローチャートを参照しながら、アクション判定処理について説明する。

映像受信部１０１は、カメラ３Ａ～３Ｄから送信される動画フレーム２０１を受信し、記憶部１０９に格納する（Ｓ１０１）。軌跡算出部１０２は、記憶部１０９に格納された複数の動画フレーム２０１から、各フレーム時刻におけるボールの３次元位置及び速度を算出し、ボール軌跡情報２０２を生成する（Ｓ１０２）。

アクション判定部１０３は、ボール軌跡情報２０２から、ボールに対するアクションが発生したか否かを判定する（Ｓ１０３）。アクションが未発生と判定した場合（Ｓ１０３：ＮＯ）、フローはＳ１０１に戻る。アクションが発生したと判定した場合（Ｓ１０３：ＹＥＳ）、アクション判定部１０３は、アクション情報２０３を生成し（Ｓ１０４）、アクター認識処理のスレッドを生成する（Ｓ１０５）。そして、フローは、Ｓ１０１に戻る。

＜＜アクター認識処理＞＞
次に、図８に示すフローチャートを参照しながら、アクター認識処理について説明する。当該アクター認識処理は、図７のＳ１０５において生成されるスレッドの処理に相当する。

アクションフレーム選択部１０４は、アクション情報２０３に含まれるボールの３次元位置と、カメラ３の位置とに基づいて、少なくとも２つのカメラ３を選択する（Ｓ２０１）。

次に、アクションフレーム選択部１０４は、Ｓ２０１で選択した各カメラ３の動画フレーム２０１から、アクションフレーム時刻に対応するアクションフレームと、当該アクションフレーム時刻の前後のフレーム時刻に対応するアクションフレームとを選択する（Ｓ２０２）。

次に、検出領域設定部１０５は、Ｓ２０２で選択された各アクションフレームに対して、検出領域３００を設定する（Ｓ２０３）。

次に、選手検出部１０６は、Ｓ２０３で設定された各検出領域３００から、選手領域を検出する（Ｓ２０４）。そして、選手検出部１０６は、Ｓ２０４で検出した各選手領域の中から、アクター領域４００を選択する（Ｓ２０５）。そして、選手検出部１０６は、Ｓ２０１で選択された各カメラ３のアクター領域４００を用いて、同一選手判定処理を行う（Ｓ２０６）。なお、当該同一選手判定処理は省略されてもよい。

次に、番号認識部１０７は、各アクター領域４００からユニフォーム番号５００を認識し、アクターのユニフォーム番号５００を決定する（Ｓ２０７）。なお、番号認識部１０７は、認識したユニフォーム番号５００が一致しない場合、上述の通り、最も多いユニフォーム番号５００をアクターのユニフォーム番号５００に決定する。

次に、番号認識部１０７は、アクションフレーム時刻Ｔと、Ｓ２０７で検出したアクターのユニフォーム番号５００とを対応付けたアクター情報２０４を生成し、記憶部１０９に格納する（Ｓ２０８）。そして、フローは、処理を終了する（ＥＮＤ）。

このように、球技映像解析装置１００は、アクション判定処理を繰り返し実行し、アクションが発生したと判定した場合に、アクター認識処理のスレッドを生成し、アクターのユニフォーム番号５００を認識する。これにより、アクター認識処理は、ボールに対するアクションが発生した場合にのみ実行されるので、球技映像解析装置１００の処理負荷を低減できる。

＜実施の形態１のまとめ＞
実施の形態１では、球技映像解析装置１００は、カメラ３Ａ～３Ｄから動画フレーム２０１を受信し、それら受信した複数の動画フレーム２０１から、ボールの軌跡を算出し、その算出したボールの軌跡変化に基づいて、ボールに対して選手によるアクションが発生したか否かを判定し、アクションが発生した場合、複数の動画フレーム２０１の中から、当該アクションが発生したタイミングにおける動画フレームをアクションフレームとして選択し、当該アクションフレームからアクションを行った選手（アクター）を、例えばユニフォーム番号５００によって認識する。

これにより、球技を撮影した動画フレームに基づいて、ボールに対してアクションを行った選手（アクター）を特定できる。

また、実施の形態１では、上記アクションフレームに対して、アクションが発生したタイミングにおけるボールの３次元位置に応じた検出領域３００を設定し、その検出領域３００からアクターが撮影されているアクター領域４００を検出し、そのアクター領域４００から、アクターを認識してもよい。

これにより、アクターの検出処理が、検出領域３００内に限定して行われ、ユニフォーム番号５００の認識処理が、アクター領域４００内に限定して行われる。したがって、動画フレーム全体に対してアクターの検出処理及びユニフォーム番号の認識処理を行う場合と比較して、処理負荷を低減できる。よって、球技映像解析装置１００は、ほぼリアルタイムでアクターを認識でき得る。

（実施の形態２）
実施の形態２では、実施の形態１で説明した球技映像解析装置１００が生成したプレイ情報２０５を利用して選手のプレイを分析するプレイ分析システムについて説明する。なお、実施の形態１と共通の構成要素については、同じ参照符号を付与して説明を省略する。

図９は、プレイ分析システム２の構成例を示す。プレイ分析システム２は、複数のカメラ３Ａ，３Ｂ，３Ｃ，３Ｄと、球技映像解析装置１００と、プレイ分析装置１０００と、プレイ情報ＤＢ１１００と、プレイ情報管理装置１２００と、表示装置１３００と、入力装置１４００とを備える。カメラ３Ａ～３Ｄ及び球技映像解析装置１００については、実施の形態１にて説明した通りである。

球技映像解析装置１００と、プレイ分析装置１０００と、プレイ情報管理装置１２００とは、有線又は無線のネットワークで接続されている。また、プレイ情報管理装置１２００とプレイ情報ＤＢ１１００とは所定のケーブルで接続されている。なお、プレイ情報ＤＢ１１００は、プレイ情報管理装置１２００内の記憶装置（図示せず）に内蔵されてもよい。また、プレイ分析装置１０００と、表示装置１３００及び入力装置１４００とは、所定のケーブル又は無線Ｉ／Ｆで接続されている。

プレイ情報ＤＢ１１００は、球技映像解析装置１００にて生成されたプレイ情報２０５をデータベースとして管理する。プレイ情報管理装置１２００は、球技映像解析装置１００にて生成されたプレイ情報２０５を、プレイ情報ＤＢ１１００に登録する。また、プレイ情報管理装置１２００は、プレイ分析装置１０００からの指示に基づき、プレイ情報ＤＢ１１００からプレイ情報２０５を取得したり、プレイ情報ＤＢ１１００内のプレイ情報２０５を修正したりする。

プレイ分析装置１０００は、プレイ情報ＤＢ１１００内のプレイ情報２０５に基づいて、球技のプレイの分析に関するＵＩ２０００（図１１参照）を生成し、表示装置１３００（例えば液晶ディスプレイ）に表示する。また、プレイ分析装置１０００は、入力装置１４００（例えばマウス等）を通じてＵＩ２０００に対して行われた操作に基づいて、プレイ情報２０５に関する処理を実行する。なお、プレイ分析装置１０００と、表示装置１３００と、入力装置１４００とは、一体型の装置であってもよい。この場合、表示装置１３００と入力装置１４００とは、例えば、タッチパネルディスプレイのように、入力と表示を兼ねる装置であってもよい。

以下では、球技がバレーボールの場合を例に説明する。しかし、実施の形態２は、バレーボールに限られず、卓球又はバドミントン等、様々な球技に適用可能である。

図１０は、プレイ分析装置１０００の構成例を示す。図１１は、プレイ分析装置１０００が生成するＵＩ２０００の例を示す。

プレイ分析装置１０００は、ＵＩ制御部１００１と、映像制御部１００２と、プレイ情報制御部１００３と、スコア情報制御部１００４と、プレイ分析部１００５とを有する。

ＵＩ制御部１００１は、ＵＩ２０００を生成し、表示装置１３００に表示する。また、ＵＩ制御部１００１は、入力装置１４００を通じて、ＵＩ２０００に対する操作を受け付ける。

映像制御部１００２は、ＵＩ２０００上に、球技のプレイ映像２１００を表示する。プレイ映像２１００は、カメラ３Ａ～３Ｄが撮影中のリアルタイム映像であってもよいし、過去のプレイの録画映像であってもよい。なお、ユーザからカメラの切替指示を受けた場合、映像制御部１００２は、その切替先のカメラによって撮影されたプレイ映像２１００を表示する。

プレイ情報制御部１００３は、１ラリー中に生成されたプレイ情報２０５の内容を時系列に並べ、プレイ情報リスト２２００としてＵＩ２０００上に表示する。なお、プレイ情報制御部１００３及びプレイ情報リスト２２００の詳細については後述する。

スコア情報制御部１００４は、スコア情報の内容を時系列に並べ、スコア情報リスト２３００としてＵＩ２０００上に表示する。１つのスコア情報には、１ラリー後の自分のチームのスコアと相手のチームのスコアとが含まれている。また、１つのスコア情報には、当該ラリー中に生成された１以上のプレイ情報２０５が対応付けられている。なお、スコア情報制御部１００４及びスコア情報リスト２３００の詳細については後述する。

プレイ分析部１００５は、分析対象に選択された選手のプレイの分析結果を示す画像であるプレイ分析画像２４００（図１２参照）を生成し、ＵＩ２０００上に表示する。なお、プレイ分析部１００５の詳細については後述する。

＜プレイ分析画像＞
次に、図１２を参照して、トスのプレイ分析画像２４００について説明する。トスのプレイ分析画像２４００は、分析対象の選手（典型的にはセッター）のトスのプレイを分析するための画像である。

トスのプレイ分析画像２４００は、対象選手側のコートのフロントゾーンを基準とする。なお、ユーザは、カーソルボタン２４１０を操作し、コートに対するプレイ分析画像２４００の領域を移動させることができる。

プレイ分析部１００５は、プレイ情報ＤＢ１１００から、アクター番号が分析対象の選手の番号であり、かつ、アクション種別が「トス」であるプレイ情報２０５を取得する。そして、プレイ分析部１００５は、その取得したプレイ情報２０５のボール座標から、分析対象の選手がトスを行った位置を特定する。

プレイ分析部１００５は、トスのプレイ分析画像２４００において、対象選手がトスを行った位置に属性画像２４０１を配置する。属性画像２４０１は、例えば、円とバーとを含む形状であり、円の色とバーの長さとによって、トスに関する複数の異なる属性情報を視覚的に表現する。トスに関する属性情報には、例えば、トスの種類、トス時のボールの速度、トス時のボールの高さ、及び、トス時のボールの移動距離がある。

・内円２４０２の色は、トスの種類を示す。例えば、水色が右側へのトス、赤色が後方へのトス、黄色が左側へのトス、桃色がクイック、青色が２アタックを示す。なお、図１２では、色の違いを、塗りつぶしパターンの違いで表現している。
・内円２４０２の領域を除いた外円２４０３の色は、トス時のボールの速度を示す。例えば、緑色が２０ｋｍ／ｈ以下、黄色が２０～２５ｋｍ／ｈ、赤色が２５ｋｍ／ｈ以上を示す。なお、図１２では、色の違いを、塗りつぶしパターンの違いで表現している。
・外円２４０３のサイズ（直径）は、トス時のボールの高さを示す。例えば、小さい外円が２ｍ未満、中程度の外円が２～３ｍ未満、大きい外円が３ｍ以上を示す。
・バー２４０４の長さは、トス時のボールの移動距離を示す。例えば、長いバーが４ｍ以上、中程度のバーが２～４ｍ未満、短いバーが２ｍ未満を示す。なお、バー２４０４の長さは、トス時のボールの移動距離に限らず、トスに伴って取得される距離、例えば、トスに連動する動作であるアタック位置のネットからの距離であってもよい。

これにより、ユーザは、トスのプレイ分析画像２４００から、対象選手のトスのプレイを視覚的に把握及び分析することができる。なお、上述のトスのプレイ分析画像２４００の説明は、トス以外のアクションにも適用できる。例えば、内円２４０２の色がアタックの種類を示し、外円２４０３の色がアタック時のボールの速度を示し、外円２４０３のサイズがアタック時のボールの高さを示し、バー２４０４の長さがアタック時のボールの移動距離を示してもよい。

なお、トスのプレイ分析画像２４００は、ユーザが次の操作を行うことによって表示されてよい。
（ステップＳ１１）ユーザがＵＩ２０００上のトス分析ボタン（図示せず）を押下すると、ＵＩ制御部１００１は、選手のリストを表示する。
（ステップＳ１２）ユーザが、その表示された選手のリストから、トス分析対象の選手を選択する。
（ステップＳ１３）プレイ分析部１００５は、その選択された対象選手に関する複数のプレイ情報２０５を、プレイ情報ＤＢ１１００から取得する。そして、プレイ分析部１００５は、その取得したプレイ情報２０５から、トスの属性情報を特定し、トスのプレイ分析画像２４００を生成する。
（ステップＳ１４）プレイ分析部１００５は、ＵＩ２０００上に、その生成したトスのプレイ分析画像２４００を表示する。

＜プレイ情報リスト＞
次に、図１３を参照して、プレイ情報リスト２２００について説明する。

プレイ情報リスト２２００は、上述のとおり、１ラリー中に生成されたプレイ情報２０５の内容を時系列に並べて表示したものである。プレイ情報リスト２２００は、プレイ情報２０５毎に、再生ボタン２２０１と、チーム２２０２と、選手番号２２０３と、アクション２２０４とを有する。

再生ボタン２２０１は、当該再生ボタン２２０１が対応付けられているプレイ情報２０５に係るプレイ映像２１００を再生するためのボタンである。ユーザが再生ボタン２２０１の押下すると、映像制御部１００２は、当該再生ボタン２２０１に対応するプレイ情報２０５のフレーム時刻の近傍のプレイ映像２１００を再生する。これにより、ユーザは、プレイ情報２０５に対応する選手のプレイを簡単に確認することができる。

チーム２２０２は、アクション２２０４を行った選手が、自分のチームと相手のチームとの何れであるかを示す。例えば、「ａ」は自分のチーム、「ｅ」は相手のチームを表す。また、チーム２２０２はボタンになっており、プレイ情報制御部１００３は、当該チーム２２０２が押下された場合、修正用に「ａ」と「ｅ」のボタンを表示する。

選手番号２２０３は、アクション２２０４を行った選手の番号（背番号）を示す。また、選手番号２２０３はボタンになっており、プレイ情報制御部１００３は、当該選手番号２２０３が押下された場合、選手番号の修正用のボタンを表示する。選手番号の修正用のボタンは、数字を入力するためのボタンであってよい。或いは、選手番号の修正用のボタンは、チームに登録されている選手の番号のリストであってもよい。

アクション２２０４は、アクションの種別を示す。例えば、「Ｓ」はサーブ、「Ｒ」はレセプション、「Ｅ」はトス、「Ａ」はアタック、「Ｄ」はディグ、「Ｂ」はブロックを示す。また、アクション２２０４はボタンになっており、プレイ情報制御部１００３は、当該アクション２２０４が押下されると、修正用に、「Ｓ」、「Ｒ」、「Ｅ」、「Ａ」、「Ｄ」及び「Ｂ」のボタンを表示する（図１６、図１７参照）。

例えば、図１３に示すプレイ情報リスト２２００の１行目は、自分のチーム（「ａ」）の背番号「１０」の選手が、レセプション「Ｒ」を行ったことを示す。

＜スコア情報リスト＞
次に、図１４を参照して、スコア情報リスト２３００について説明する。

スコア情報リスト２３００は、上述のとおり、１セットにおける各ラリーに対応するスコア情報の内容を時系列に並べて表示したものである。スコア情報リスト２３００は、スコア情報毎に、再生ボタン２３０１と、スコア２３０２と、チェックボックス２３０３とを有する。

再生ボタン２３０１は、当該再生ボタン２３０１が対応付けられているスコア情報に係るプレイ映像２１００を再生するためのボタンである。ユーザが再生ボタン２３０１の押下すると、映像制御部１００２は、当該再生ボタン２３０１に対応するラリーのプレイ映像２１００を再生する。

スコア２３０２は、ラリー後の自分のチームと相手のチームのスコアを示す。また、スコア２３０２は選択（クリック）可能になっており、当該スコア２３０２が選択された場合、スコア情報制御部１００４は、当該スコア２３０２のラリー（スコア情報）に対応付けられているプレイ情報リスト２２００を表示する。

チェックボックス２３０３は、ユーザがスコア単位でラリーに対するチェックをオン及びオフするためのものである。例えば、試合中などのリアルタイム状況では、プレイ情報リスト２２００の内容（チーム２２０２、選手番号２２０３、アクション２２０４）に誤りを発見しても、次のラリーがすぐに始まってしまうため、或るラリーを後で再検証（修正）したい場合に備えて、ユーザは、当該ラリーに対応するチェックボックス２３０３をオン（識別情報の入力）にして、プレイ情報リスト２２００の内容が暫定状態にあることを識別できるようにする。これにより、ユーザは、後で、チェックボックス２３０３をオンにしたラリーをまとめて再検証できる。例えば、スコア情報制御部１００４が、ユーザからの指示に応じて、チェックボックス２３０３がオンになっているラリーのみを限定して表示することにより、ユーザは、効率的に修正作業を行える。また、チェックボックス２３０３の数は、１つに限られない。例えば、図１４に示すように、１つのスコア情報に対して、用途別に２以上のチェックボックスが設けられてもよい。

＜プレイ情報の修正＞
次に、図１５、図１６及び図１７を参照して、プレイ情報２０５の修正手順について説明する。なお、当該修正手順は一例であり、他の手順による修正も可能である。

（ステップＳ２１）ユーザは、ラリー中にリアルタイムに更新されるプレイ情報リスト２２００を見ながら、当該ラリーに係るプレイ情報２０５について修正が必要と判断した場合、次の操作を行う。すなわち、ユーザは、スコア情報リスト２３００における当該ラリーのスコア２３０２に対応するチェックボックス２３０３をオンにする。

（ステップＳ２２）図１５に示すように、ユーザは、１セット終了後又は試合終了後に、チェックボックス２３０３をオンにしたスコア２３０２を選択する。

（ステップＳ２３）図１５に示すように、スコア情報制御部１００４は、ステップＳ２２にて選択されたスコア２３０２（スコア情報）に関連付けられているプレイ情報リスト２２００を表示する。

（ステップＳ２４）図１６に示すように、ユーザは、プレイ情報リスト２２００から、修正対象のアクション２２０４（例えば「Ａ」）を押下する。

（ステップＳ２５）図１６に示すように、プレイ情報制御部１００３は、アクション２２０４の押下を検出し、アクションに関する修正用のボタン２２１０を表示する。

（ステップＳ２６）ユーザは、図１７に示すように、修正用のボタン２２１０の中から、修正後のアクションに対応するボタン（例えば「Ｅ」）を選択する。

（ステップＳ２７）プレイ情報制御部１００３は、ステップＳ２６にて選択された修正用のボタン（例えば「Ｅ」）に対応するアクションで、プレイ情報２０５を修正する。例えば、図１７に示すように、プレイ情報２０５における修正前のアクション２２０４「Ａ」を、修正後のアクション２２０４「Ｅ」に修正する。

以上の手順によれば、プレイ情報２０５の誤りを簡単に修正することができる。なお、修正対象はアクション２２０４に限られず、チーム２２０２及び選手番号２２０３も、同様に修正できる。また、修正の有無にかかわらず、チェックボックス２３０３がオン状態にあるプレイ情報２０５の確認が終了すると、これに連動して、チェックボックス２３０３の状態をオフにしてもよい。

＜実施の形態２のまとめ＞
実施の形態２では、プレイ分析装置１０００は、複数のプレイ情報２０５を用いて、特定の選手が特定のアクションを行った各位置を示すプレイ分析画像２４００を生成するプレイ分析部１００５を備える。なお、プレイ情報２０５は、球技映像解析装置１００によって生成されたものであってよい。例えば、球技映像解析装置１００は、複数のカメラ３Ａ～３Ｄによって撮影された複数のプレイ映像を用いて、球技の移動体（ボール）の軌跡を算出し、当該移動体の軌跡の変化に基づいて、球技に関するアクション、当該アクションを行った選手、及び当該選手が当該アクションを行った位置を検出し、当該アクション、当該選手、及び当該位置を対応付けたプレイ情報２０５を生成する。

これにより、プレイ分析画像２４００には特定の選手が特定のアクションを行った各位置が表示されるので、ユーザは、プレイ分析画像２４００から、当該特定の選手の特定のアクションを詳細に分析することができる。

また、実施の形態２では、プレイ分析装置１０００は、複数のプレイ情報２０５に含まれる選手とアクションの情報を時系列に並べて表示するプレイ情報制御部１００３を備える。プレイ情報２０５は、球技映像解析装置１００によって生成されたものであってよい。例えば、球技映像解析装置１００は、複数のカメラ３Ａ～３Ｄによって撮影された複数のプレイ映像を用いて、球技の移動体の軌跡を算出し、当該移動体の軌跡の変化に基づいて、球技に関するアクションと、当該アクションを行った選手とを検出し、当該アクションと当該選手とを対応付けたプレイ情報２０５を生成する。

これにより、プレイ分析装置１０００は、球技映像解析装置１００によって自動的に生成される複数のプレイ情報２０５に含まれる選手とアクションの情報（プレイ情報リスト２２００）を表示することができる。よって、ユーザは、煩雑な操作を行うことなく、球技中に各選手が行ったプレイを確認することができる。

また、プレイ情報制御部１００３は、リアルタイムでスコアに対応付けて少なくとも１つのプレイ情報２０５に含まれる選手及びアクションの情報を時系列に並べて表示し、チェックボックス２３０３を用いて、スコア単位でその表示した選手及びアクションの情報が暫定状態にあることを後で識別できるようにする。

これにより、プレイ分析装置１０００は、自動的に生成された複数のプレイ情報２０５に含まれる選手及びアクションの情報（プレイ情報リスト２２００）に対する検証が複数存在するような場合でも、後で一括して確認できる。よって、ユーザは、自動的に生成されたプレイ情報２０５の内容が誤っている場合、その誤りを簡単かつ効率的に確認して修正できる。

以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述した各装置１００、１０００、１２００の機能は、コンピュータプログラムにより実現され得る。

図１８は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ３１００は、キーボード又はマウス、タッチパッドなどの入力装置３１０１、ディスプレイ又はスピーカーなどの出力装置３１０２、ＣＰＵ（Central Processing Unit）３１０３、ＧＰＵ（Graphics Processing Unit）３１０４、ＲＯＭ（Read Only Memory）３１０５、ＲＡＭ（Random Access Memory）３１０６、ハードディスク装置又はＳＳＤ（Solid State Drive）などの記憶装置３１０７、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置３１０８、ネットワークを介して通信を行う送受信装置３１０９を備え、各部はバス３１１０により接続される。

そして、読取装置３１０８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置３１０７に記憶させる。あるいは、送受信装置３１０９が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置３１０７に記憶させる。

そして、ＣＰＵ３１０３が、記憶装置３１０７に記憶されたプログラムをＲＡＭ３１０６にコピーし、そのプログラムに含まれる命令をＲＡＭ３１０６から順次読み出して実行することにより、上記各装置の機能が実現される。

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本開示の一態様は、球技を分析するためのシステムに有用である。

１ 球技映像解析システム
２ プレイ分析システム
３Ａ，３Ｂ，３Ｃ，３Ｄ カメラ
４、１３００ 表示装置
５、１４００ 入力装置
１００ 球技映像解析装置
１０１ 映像受信部
１０２ 軌跡算出部
１０３ アクション判定部
１０４ アクションフレーム選択部
１０５ 検出領域設定部
１０６ 選手検出部
１０７ 番号認識部
１０８ 結果出力部
１０９ 記憶部
２０１ 動画フレーム
２０２ ボール軌跡情報
２０３ アクション情報
２０４ アクター情報
２０５ プレイ情報
１０００ プレイ分析装置
１００１ ＵＩ制御部
１００２ 映像制御部
１００３ プレイ情報制御部
１００４ スコア情報制御部
１００５ プレイ分析部
１１００ プレイ情報ＤＢ
１２００ プレイ情報管理装置
２０００ ＵＩ
２１００ プレイ映像
２２００ プレイ情報リスト
２３００ スコア情報リスト
２４００ プレイ分析画像

Claims (5)

1. 球技のプレイを分析するプレイ分析装置であって、
   複数のカメラによって撮影された複数のプレイ映像を用いて、前記球技の移動体の軌跡を算出し、前記移動体の軌跡の変化に基づいて、前記球技に関するアクションと、当該アクションを行った選手とを検出し、当該アクションと当該選手とを対応付けたプレイ情報を生成する球技映像解析部と、
   複数の前記プレイ情報に含まれる選手及びアクションの情報を時系列に並べて表示し、前記アクションの情報に対する修正を受け付けるプレイ情報制御部と、
   を備え、
   前記アクションの情報に対する修正を受けた場合、前記アクションを識別する記号の選択肢を提示し、前記プレイ情報に含まれる前記アクションの情報を、当該選択肢から選択された記号に対応するアクションの情報に修正することを特徴とする、
   プレイ分析装置。
2. 前記球技はバレーボールであり、
   前記アクションを識別する記号は、サーブ、レセプション、トス、アタック、ディグ及びブロックを示す、
   請求項１に記載のプレイ分析装置。
3. 前記プレイ情報制御部は、前記選手の情報に対する修正を受けた場合、前記選手を識別する番号の入力を受け付け、前記プレイ情報に含まれる前記選手の情報を、当該入力された番号に修正する、
   請求項１または２の何れか１項に記載のプレイ分析装置。
4. 前記プレイ映像を再生する映像制御部、をさらに備え、
   前記プレイ情報制御部は、前記プレイ情報に対する前記プレイ映像の再生指示を受けた場合、当該再生指示されたプレイ情報の生成に用いられたプレイ映像の再生を、前記映像制御部に指示する、
   請求項１から３の何れか１項に記載のプレイ分析装置。
5. 球技のプレイを分析するプレイ分析方法であって、
   複数のカメラによって撮影された複数のプレイ映像を用いて、前記球技の移動体の軌跡を算出し、
   前記移動体の軌跡の変化に基づいて、前記球技に関するアクションと、当該アクションを行った選手とを検出し、
   当該アクションと当該選手とを対応付けたプレイ情報を生成し、
   複数の前記プレイ情報に含まれる選手及びアクションの情報を時系列に並べて表示し、前記アクションの情報に対する修正を受け付け、
   前記アクションの情報に対する修正を受けた場合、前記アクションを識別する記号の選択肢を提示し、前記プレイ情報に含まれる前記アクションの情報を、当該選択肢から選択された記号に対応するアクションの情報に修正することを特徴とする、
   プレイ分析方法。

Images