JP7345108B2 - プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム - Google Patents

Description

本開示は、プレイ分析装置、プレイ分析方法、及び、コンピュータプログラムに関する。

従来、バレーボール分析ソフトウェアとして「Data Volley」が市販され、このソフトウェアに精通したアナリストの主観的判断に基づいて、チームの選手の状況をデータ化する技術が知られている。

特許文献１には、Data Volleyのソフトウェアの欠点であるスコアラー（アナリスト）のトレーニングが必要であること、各競技者の位置情報が視覚による主観的判断により入力されているためデータ精度が低いことなどの問題点を解決し、アナリストの操作性を向上させたスカウティングシステムが開示されている。具体的には、画像解析を用いて正確な各競技者の位置情報を取得し、入力された競技状況、各競技者のそれぞれの位置情報、所望のシーンの静止画像とを関連付けて記憶装置にデータベースを構築し、各競技者の各位置、所望のシーンの静止画像、競技状況を表示することにより、アナリストの操作性を向上させるものである。

特開２００４－３５１０９７号公報

Xina CHENG, Norikazu IKOMA, Masaaki HONDA and Takeshi IKENAGA "Multi-view 3D Ball Tracking with Abrupt Motion Adaptive System Model, Anti-occlusion Observation and Spatial Density based Recovery in Sports Analysis", IEICE TRANS. FUNDAMENTALS, VOL.E94-A, NO.1 JANUARY 2011

従来の技術は、バレーボールで言えば、サーブレシーブの瞬間に関するシーンの画像を順次取り込み、各選手の技能評価を入力する。そして、レシーブ回数及びレシーブ成功率等を選手ごとに集計し、その集計結果を一覧表示する。バレーボールの関係者（例えば、監督、コーチ、スタッフ及び選手等）は、この一覧表示された集計結果から、チーム内の強み及び弱みを把握する。

しかしながら、従来の技術では、例えばブロックといった特定のアクションを詳細に分析することは困難である。

本開示の非限定的な実施例は、例えばブロックといった特定のアクションを詳細に分析できる技術の提供に資する。

本開示の一態様に係るプレイ分析装置は、移動体に対するアクションを行う球技のプレイを分析してプレイ分析情報を生成して表示するプレイ分析装置であって、前記プレイを撮影した複数の画像を受信する受信部と、前記複数の画像における前記球技の移動体の軌跡の変化により、前記移動体に対して選手が行う第１のアクションと前記第１のアクションの後の第２のアクションとを検出し、前記第１のアクションの時刻と前記第２のアクションの時刻の間で抽出される画像から第３のアクションを行う少なくとも１人の選手を認識し、その認識された選手の情報を含む前記第３のアクションに関する情報を生成し、前記第３のアクションに関する情報を含む前記プレイ分析情報を生成して表示する制御部と、を備える。

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の非限定的な実施例によれば、例えばブロックといった特定のアクションを行った選手を詳細に分析できる。

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

一実施の形態に係るプレイ分析システムの構成例を示す図である。 一実施の形態に係るプレイ分析装置の構成例を示す図である。 一実施の形態に係るプレイ情報の一例を示す図である。 一実施の形態に係るアクション検出部の処理例を示すフローチャートである。 一実施の形態に係るブロッカー検出部の処理例を示すフローチャートである。 一実施の形態に係るブロック部分画像の抽出領域の例を示す図である。 一実施の形態に係るコートの分割の一例を示す図である。 一実施の形態に係るアタック画像から抽出されたブロック部分画像の第１例を示す図である。 一実施の形態に係るアタック画像から抽出されたブロック部分画像の第２例を示す図である。 一実施の形態に係るアタック画像から抽出されたブロック部分画像の第３例を示す図である。 一実施の形態に係るアタック画像から抽出されたブロック部分画像の第４例を示す図である。 一実施の形態に係るトスチャートの表示例を示す図である。 一実施の形態に係る選手毎のブロックの成功及び失敗の回数を示すグラフの一例である。 一実施の形態に係る選手の組み合わせ毎のブロックの成功及び失敗の回数を示すグラフの一例である。 一実施の形態に係るアタックのディレクションチャートの第１の表示例を示す図である。 一実施の形態に係るアタックのディレクションチャートの第２の表示例を示す図である。 一実施の形態に係るブロッカー位置及びアタックコースの第１の表示例を示す図である。 一実施の形態に係るブロッカー位置及びアタックコースの第２の表示例を示す図である。 一実施の形態に係るブロッカー位置及びアタックコースの第３の表示例を示す図である。 一実施の形態に係るブロッカー重心位置及びアタックコースの表示例を示す図である。 一実施の形態に係るトス時のブロッカー重心位置と、トスチャートに対するフィルタリングとの関係を説明するための図である。 本開示の実施の形態に係るハードウェアの構成例を示す図である。

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（一実施の形態）
＜プレイ分析システム＞
図１は、一実施の形態に係るプレイ分析システムの一例を示す。

プレイ分析システム１は、球技を撮影した映像を解析し、球技に用いられる移動体に対してアクションを行った選手を認識するシステムである。球技に用いられる移動体は、典型的にはボールである。しかし、移動体は、バドミントンに用いられるシャトル等であってもよい。本実施の形態では、球技の１つであるバレーボールを例に説明する。ただし、プレイ分析システム１は、サッカー、野球、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール、ラクロス、又はバドミントンなど、様々な球技に適用可能である。また、プレイ分析システム１は、アイスホッケーのパック等、「球」の概念に当てはまらない形状の移動体にも適用可能である。すなわち、プレイ分析システム１は、複数人から構成されるチームが移動体に対するアクションを行うことにより点数又は勝敗が決定される競技であれば、どのような競技にも適用可能である。

プレイ分析システム１は、複数のカメラ３（３Ａ、３Ｂ、３Ｃ、３Ｄ）、プレイ分析装置１００、表示装置２１０、及び、操作装置２２０を備える。

複数のカメラ３は、互いに異なる位置に設置される。例えば、図１に示すように、各カメラ３は、高所からコート１０を異なる視点（画角）で撮影できる位置に設置される。なお、図１では４台のカメラ３が設置されているが、２台以上であれば、何台のカメラ３が設置されてもよい。２台以上のカメラ３を用いることにより、ボールの３次元位置を算出できる。

カメラ３は、有線又は無線を介してプレイ分析装置１００と通信可能に接続される。カメラ３は、球技のプレイを撮影し、動画データを生成する。カメラ３は、動画データを、プレイ分析装置１００へ送信する。動画データは、複数のフレーム画像が、ＭＰ４、Ｈ．２６４、Ｈ．２６５、又は、Ｍｏｔｉｏｎ ＪＰＥＧといった規格に基づいて圧縮されたものであってよい。

表示装置２１０は、有線又は無線を介してプレイ分析装置１００と通信可能に接続されており、プレイ分析装置１００から出力されるデータを表示する。表示装置２１０は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等である。

操作装置２２０は、有線又は無線を介してプレイ分析装置１００と通信可能に接続されており、ユーザからの操作を受け付ける。操作装置２２０は、操作の内容を、プレイ分析装置１００へ送信する。操作装置２２０は、例えば、キーボード、マウス、マイク及び／又はタッチパネル等である。操作装置２２０及び表示装置２１０は、一体型の装置であってもよい。また、プレイ分析装置１００は、単一のＰＣで構成することができるが、プレイ分析処理全体の負荷分散のため、複数台のＰＣで構成してもよい。例えば、各カメラ（３Ａ～３Ｄ）の動画データを取り込んで、カメラごとのフレーム画像（静止画）を格納するキャプチャＰＣと、このキャプチャＰＣからフレーム画像を受け取ってプレイ分析処理を行う分析処理ＰＣとに分割した構成を採用することができる。なお、本実施の形態における「ユーザ」は、プレイ分析システム１の利用者であれば誰でもよく、コーチ、監督、スタッフ及び選手といった競技の関係者であってもよいし、それ以外の者であってもよい。

プレイ分析装置１００は、各カメラ３から送信された動画データに基づき、各選手のアクションを特定する。バレーボールの場合における選手のアクションは、例えば、サーブ、レセプション（サーブに対するレシーブ）、トス、アタック、ブロック、及び、ディグ（アタックに対するレシーブ）である。以下、アクションを行った選手を「アクター」と表現する場合がある。

なお、本実施の形態では、図１に示すように、コート１０の面の中心点を原点Ｏとし、コート１０の面と平行かつネット１１と平行な軸をＸ軸とし、コート１０の面と平行かつネット１１と垂直な軸をＹ軸とし、コート１０の面と垂直な軸をＺ軸とする。Ｘ軸は、審判１２から離れる方向を正方向とし、審判１２に近づく方向を負方向とする。Ｙ軸は、審判１２から見て、左方向を正方向とし、右方向を負方向とする。Ｚ軸は、コート１０の面から離れる方向を正方向とする。つまりＺ軸の座標ｚは、コート１０の面からの高さに相当する。

＜プレイ分析装置＞
図２は、プレイ分析装置１００の構成例を示す。

プレイ分析装置１００は、受信部１０１、軌跡算出部１０３、アクション検出部１０４、ブロッカー検出部１０５、プレイ情報生成部１０６、プレイ分析部１０７、及び、情報格納部１０８を有する。なお、軌跡算出部１０３、アクション検出部１０４、ブロッカー検出部１０５、プレイ情報生成部１０６、及び、プレイ分析部１０７は、制御部１０２に含まれてよい。

受信部１０１は、カメラ３Ａ～３Ｄのそれぞれから、動画データを受信し、情報格納部１０８に格納する。

軌跡算出部１０３は、動画データを構成する複数のフレーム画像１１１に対して、例えば非特許文献１の手法を適用し、フレーム画像１１１の撮影時刻（以下「フレーム時刻」という）におけるボールの３次元位置（ｘ，ｙ，ｚ）及び速度を算出する。そして、軌跡算出部１０３は、フレーム時刻とボールの３次元位置と速度とを対応付けてボール軌跡情報１１２を生成し、情報格納部１０８に格納する。

アクション検出部１０４は、ボール軌跡情報によって示されるボールの軌跡変化に基づいて、どの選手がどのタイミングでどのようなアクションを行ったかを検出する。なお、アクション検出部１０４の詳細については後述する。

ブロッカー検出部１０５は、アクション検出部１０４によって検出されたトスと、トス後のアタックとの間のフレーム画像１１１に基づいて、トスとアタックとの間にブロックの行動を行った選手（ブロッカー）を検出する。ブロッカー検出部１０５は、検出したブロッカー情報１１４を生成し、情報格納部１０８に格納する。なお、「トス」は第１のアクションの一例であり、「アタック」は第２のアクションの一例であり、「ブロック」は第３のアクションの一例である。また、ブロッカー検出部１０５の詳細については後述する。

プレイ情報生成部１０６は、ボール軌跡情報１１２、アクション情報１１３及びブロッカー情報１１４に基づいて、プレイ情報１１５を生成し、情報格納部１０８に格納する。図３にプレイ情報１１５の一例を示す。例えば、プレイ情報生成部１０６は、アクションフレーム時刻（Ｔ－１５）、アクション種別「トス」及びアクター番号「２」を対応付けるアクション情報と、ボール軌跡情報１１２における当該アクションフレーム時刻（Ｔ－１５）のときのボール座標（ｘ，ｙ，ｚ）及びボール速度Ｓと、を用いて、プレイ情報１１５の行Ｌ２を生成する。例えば、プレイ情報生成部１０６は、アクションフレーム時刻Ｔ、アクション種別「アタック」及びアクター番号「１４」とを対応付けるアクション情報１１３と、ボール軌跡情報１１２における当該アクションフレーム時刻Ｔのときのボール座標（ｘ_Ｔ，ｙ_Ｔ，ｚ_Ｔ）及びボール速度（Ｓ_Ｔ）と、を用いて、プレイ情報１１５の行Ｌ４を生成する。すなわち、プレイ情報１１５は、球技のプレイにおいて、いつ、どの選手がどのようなアクションを行ったかを示す情報と、そのときのボールの動きを示す情報と、を含む。

また、プレイ情報生成部１０６は、プレイ情報１１５における、トスからアタックまでの間に、ブロッカー検出部１０５が生成したブロッカー情報１１４を対応付ける。例えば、ブロッカー情報１１４は、図３に示すように、ブロック枚数、１人目のブロッカーの背番号を示す第１ブロッカー番号、１人目のブロッカーの位置を示す第１ブロッカー位置、２人目のブロッカーの背番号を示す第２ブロッカー番号、２人目のブロッカーの位置を示す第２ブロッカー位置、３人目のブロッカーの背番号を示す第３ブロッカー番号、及び、３人目のブロッカーの位置を示す第３ブロッカー位置を含む。なお、検出されたブロッカーが３人未満の場合、未検出の欄は空白であってよい。

また、プレイ情報生成部１０６は、図３に示す項目の一部を有しないプレイ情報１１５を生成してもよい。例えば、プレイ情報生成部１０６は、後述するプレイ分析部１０７によって使用されない項目を、プレイ情報１１５に含めなくてもよい。

プレイ分析部１０７は、プレイ情報１１５に基づいて、選手のプレイを様々な観点から分析し、その分析結果であるプレイ分析結果情報を生成及び表示する。なお、プレイ分析部１０７の詳細については後述する。

＜アクション検出部の詳細＞
次に、図４に示すフローチャート参照して、アクション検出部１０４の処理例を説明する。

アクション検出部１０４は、ボール軌跡情報に含まれるフレーム時刻毎のボールの３次元位置及び速度からボールの軌跡を算出し、その算出したボールの軌跡変化、ボールの３次元位置、速度、所定の条件に合致した球技のルールなどに基づいて、アクションが発生したフレーム画像１１１の時刻（以下「アクションフレーム時刻」という）と、発生したアクション種別とを特定する（Ｓ１０１）。

例えば、アクション検出部１０４は、解析開始の最初に検出されたボールの軌跡がＹ軸方向（図１に示すコートの長辺方向）の移動成分を有し、当該Ｙ軸方向のボールの速度成分が所定の範囲内である場合、アクション種別「サーブ」を検出する。例えば、アクション検出部１０４は、「サーブ」の後にボールの軌跡がＹ軸においてネット１１の存在する座標を跨ぎ、かつ、ボールの３次元位置の変化が下降から上昇に転じた場合（すなわち、Ｚ軸方向の座標の変化がプラスに転じた場合）、アクション種別「レセプション」を検出する。バレーボールのルール上、「サーブ」を受けるアクションは「レセプション」であるので、このようなルールに基づく判定により、「レセプション」と「ディグ」とを区別できる。アクション検出部１０４は、アクション種別「トス」及び「アタック」についても同様に検出する。例えば、レセプションもしくはディグを検出した後に、ボールの軌道（Ｚ座標）が下降から上昇に変化している場合、アクション種別「トス」を検出する。また、ボールがネットを超えてきた後にすでに２つのアクションを検出しており、ボールのＹ座標がネットから１５０ｃｍ以内で、ボールの軌道（Ｚ座標)が下降から上昇に変化しており、その後一定フレーム内でのボール速度が４０ｋｍ／ｈ以上の場合、アクション種別「アタック」を検出する。また、アタックを検出した後１５フレーム以内に、ボールのＹ座標がネットから７０ｃｍ以内で、各座標の移動量のうち２つ以上に変化があった場合（例えば過去３フレームの平均移動量と、最新位置の移動量との差が閾値以上の場合、変化があったと判断)、アクション種別「ブロック」を検出する。

アクション検出部１０４は、アクションフレーム時刻及びその近傍の時刻のフレーム画像１１１（以下「アクションフレーム」という）に対して、アクターの検出範囲を設定する（Ｓ１０２）。

アクション検出部１０４は、アクターの検出範囲からアクター領域を認識し、そのアクター領域からアクターのユニフォームの背番号を認識する（Ｓ１０３）。なお、背番号は、「アクター番号」又は「ユニフォーム番号」といった他の用語に読み替えられてもよい。

アクション検出部１０４は、アクションフレーム時刻と、アクション種別と、背番号とを対応付けたアクション情報１１３を生成し、情報格納部１０８に格納する（Ｓ１０４）。

＜ブロッカー検出部の詳細＞
ブロッカー検出部１０５は、ブロッカー情報１１４を生成して情報格納部１０８に格納する。ブロッカー情報１１４は、図３に示す通り、ブロック枚数、ブロッカーに関する情報（以下「ブロッカー情報」という）、及び、アタック評価を含む。ブロッカー情報は、第１から第３のブロッカーの背番号、及び、第１から第３のブロッカーの位置を示す情報を含む。なお、ブロッカーは、必ずしもブロックのためにジャンプした選手に限られない。ブロック情報におけるアタック評価は、対応するアタックが得点になったか否かを示す。例えば、図３に示すアタック評価「○」は、対応するアタックが得点になったことを示す。別言すると、アタック評価「○」は、ブロックが失敗したことを示す。

ブロッカー検出部１０５は、相手チームの選手がトスを行ったタイミングのブロッカー情報１１４（以下「トス時ブロッカー情報」という）と、相手チームの選手がアタックを行ったタイミングのブロッカー情報１１４（以下「アタック時ブロッカー情報」という）と、を生成してよい。

＜ブロッカー検出部の処理例＞
次に、図５に示すフローチャートを参照して、ブロッカー検出部１０５の処理例を説明する。

ブロッカー検出部１０５は、アクション検出部１０４がトスを検出したアクションフレーム時刻における、ブロッカー側の２台のカメラ３のフレーム画像１１１を選択する（Ｓ２０１）。以下、トスを検出したアクションフレーム時刻における、ブロッカー側のカメラ３のフレーム画像１１１を、「トス画像」と表記する。

ブロッカー検出部１０５は、２つのトス画像から、それぞれ、ブロッカーを検出するための部分画像（以下「ブロッカー部分画像」という）を抽出する（Ｓ２０２）。

ブロッカー検出部１０５は、Ｓ２０２で抽出した２つのブロッカー部分画像のそれぞれに対して人物の関節推定を行い、ブロッカーの首の候補位置を特定する（Ｓ２０３）。なお、ブロッカー検出部１０５は、首に代えてブロッカーの頭の候補位置を特定してもよい。或いは、ブロッカー検出部１０５は、頭と両肩の位置を平均し、首の位置を特定してもよい。これにより、仮に１つの位置が欠落しても、安定的に人物の位置を特定できる。また、ブロッカー検出部１０５は、両肩の位置を用いて選手がどちらを向いているかを判定し、ネットの方向を向いていない選手を、ブロッカーの候補から除外してもよい。

ブロッカー検出部１０５は、Ｓ２０３で特定した２つのブロッカーの候補位置に基づいて、同一選手判定を行い、３名以下のブロッカーとその位置を特定する（Ｓ２０４）。例えば、ブロッカー検出部１０５は、２つのブロッカーの候補位置のベクトル間距離が閾値以下、かつ、首の位置が尤もらしい高さ（例えば１．５ｍから２．５ｍ）になる組み合わせの中から、ネットに近い組み合わせを選択する。

ブロッカー検出部１０５は、Ｓ２０４で特定したブロッカーのＳ２０３で推定した関節位置に基づいて、ブロッカー部分画像から、ブロッカーの画像を抽出し、ブロッカーの背番号を認識する（Ｓ２０５）。

ブロッカー検出部１０５は、Ｓ２０４で特定したブロッカーの位置及びＳ１０４で認識したブロッカーの背番号に基づき、トス時ブロッカー情報を生成する（Ｓ２０６）。

ブロッカー検出部１０５は、アクション検出部１０４が検出した、上記トス後のアタックのアクションフレーム時刻における、ブロッカー側の２台のカメラ３のフレーム画像１１１を選択する（Ｓ２０７）。以下、アタックを検出したアクションフレーム時刻における、ブロッカー側のカメラ３のフレーム画像１１１を、「アタック画像」と表記する。

ブロッカー検出部１０５は、２つのアタック画像から、それぞれ、ブロッカー部分画像を抽出する（Ｓ２０８）。ここで、ブロッカーの密集度は、トス時よりもアタック時の方が高い。そのため、トス時と同じようにアタック画像からブロッカー部分画像を抽出すると、Ｓ２０８の関節推定において個々のブロッカーを適切に特定できない可能性がある。そこで、ブロッカー検出部１０５は、図６に例示するように、トス画像からのブロッカー部分画像の抽出とは異なる方法で、アタック画像からブロッカー部分画像を抽出してよい。なお、詳細については後述する。

ブロッカー検出部１０５は、上述と同様に、Ｓ２０８で抽出した２つのブロッカー部分画像のそれぞれに対して人物の関節推定を行い、ブロッカーの首の候補位置を特定する（Ｓ２０９）。

ブロッカー検出部１０５は、Ｓ２０９で特定した２つのブロッカーの候補位置に基づいて、同一選手判定を行い、３名以下のブロッカーとその位置を特定する（Ｓ２１０）。この場合の首の位置が尤もらしい高さの範囲は、Ｓ２０４の場合の範囲よりも広くてよい。ジャンプしているブロッカーを特定するためである。

ブロッカー検出部１０５は、Ｓ２１０で特定したブロッカーのＳ２０９で推定した関節位置に基づいて、ブロッカー部分画像から、ブロッカーの画像を抽出し、ブロッカーの背番号を認識する（Ｓ２１１）。

ブロッカー検出部１０５は、Ｓ２１０で特定したブロッカーの位置及びＳ２１１で認識したブロッカーの背番号に基づき、アタック時ブロッカー情報を生成する（Ｓ２１２）。

＜トス画像からブロッカー部分画像を抽出＞
トス画像からブロッカー部分画像を抽出する処理の一例を説明する。本処理は、図５のＳ２０２の処理に相当する。

以下、図７に示すように、ブロッカー２１側のコート１０の後方からネット１１の方向を見た場合に、右側に位置するカメラ３Ａを「右のブロッカー側カメラ」と表記し、左側に位置するカメラ３Ｂを「左のブロッカー側カメラ」と表記する。また、トス画像から抽出されるブロッカー部分画像を「トス時ブロッカー部分画像」３１０（図６参照）と表記する。

トス画像に対するトス時ブロッカー部分画像３１０のサイズ及び抽出範囲は、例えば、以下のように設定される。なお、以下の設定は、試合前に予めキャリブレーションされ、１試合を通じて固定的であってよい。

・右のブロッカー側カメラのトス画像に対するトス時ブロッカー部分画像３１０の抽出では、トス画像における、右のブロッカー側カメラから遠い方（つまり奧側）のネット端（つまりネットの左端）の上端を、トス時ブロッカー部分画像の左上端とする（図６参照）。
・左のブロッカー側カメラのトス画像に対するトス時ブロッカー部分画像３１０の抽出では、トス画像における、左のブロッカー側カメラから遠い方（つまり奧側）のネット端（つまりネットの右端）の上端を、トス時ブロッカー部分画像３１０の右上端とする。
・トス画像における、ブロッカー側カメラから遠い方（奧側）のネット端から、当該ブロッカー側カメラから近い方（手前側）のネット端までのＸ方向の長さを、トス時ブロッカー部分画像３１０の幅Ｗとする。
・トス時ブロッカー部分画像３１０の高さＨを所定のピクセル数とする。例えば、画像上でバレー支柱の高さが１５０ピクセルから２５０ピクセル程度の場合、トス時ブロッカー部分画像３１０の高さＨを３００ピクセルとする。
・トス開始時のフレーム画像１１１及びその前後のフレーム画像１１１を含む合計３つのフレーム画像１１１から、トス時ブロッカー部分画像３１０を抽出する。

＜アタック画像からブロッカー部分画像を抽出＞
アタック画像からブロッカー部分画像を抽出する例を説明する。本抽出処理は、図５のＳ２０８に相当する。

以下、アタック画像から抽出されるブロッカー部分画像を「アタック時ブロッカー部分画像」３２０（図６参照）と表記する。ここで、図７に示すように、ネット１１のＸ方向の長さを３分割し、ブロッカー２１側のコートの後方からネット１１の方向を見た場合における、中央の分割区間を「中央区間」３３０Ｃと表記し、左側の分割区間を「左区間」３３０Ｌと表記し、右側の分割範囲を「右区間」３３０Ｒと表記する。

アタック画像に対するアタック時ブロッカー部分画像３２０の抽出範囲は、以下に例示するように、アタック画像におけるボールの位置に応じて決まる。

・右のブロッカー側カメラのアタック画像に対するアタック時ブロッカー部分画像３２０は、次のように抽出される。すなわち、アタック画像において、ボールが右区間３３０Ｒに位置する場合、図８Ａに示すように、右上端にボールＰが位置するように、アタック画像からアタック時ブロッカー部分画像３２０が抽出される。一方、アタック画像において、ボールが中央区間３３０Ｃ又は左区間３３０Ｌに位置する場合、図８Ｂに示すように、上部中央にボールＰが位置するように、アタック画像からアタック時ブロッカー部分画像３２０が抽出される。
・左のブロッカー側カメラのアタック画像に対するアタック時ブロッカー部分画像３２０は、次のように抽出される。すなわち、アタック画像において、ボールが左区間３３０Ｌに位置する場合、図８Ｃに示すように、左上端にボールＰが位置するように、アタック画像からアタック時ブロッカー部分画像３２０が抽出される。一方、アタック画像において、ボールが中央区間３３０Ｃ又は右区間３３０Ｒに位置する場合、図８Ｄに示すように、上部中央にボールＰが位置するように、アタック画像からアタック時ブロッカー部分画像３２０が抽出される。
・アタック時ブロッカー部分画像３２０の幅Ｗ及び高さＨと所定のピクセル数とする。例えば、アタック時ブロッカー部分画像３２０の幅Ｗ及び高さＨを４５０ピクセル及び３００ピクセルとする。
・アタック開始時のフレーム画像１１１及びその前後のフレーム画像１１１を含む合計３つのフレーム画像１１１から、アタック時ブロッカー部分画像３２０が抽出される。すなわち、右のブロッカー側カメラ及び右のブロッカー側カメラのフレーム画像から、合計６個のアタック時ブロッカー部分画像３２０が抽出される。

このようにしてアタック画像からブロック部分画像を抽出することにより、ブロック部分画像内において、個々のブロッカーが占める割合が大きくなる。これにより、Ｓ２０９の関節推定において個々のブロッカーを適切に特定できる可能性が向上する。

＜プレイ分析部の詳細＞
プレイ分析部１０７は、プレイ情報１１５に基づいて、選手のプレイを様々な観点から分析し、その分析結果であるプレイ分析結果情報を生成及び表示する。次に、プレイ分析結果情報の幾つかの例を示す。

＜トスチャート＞
図９は、ブロック枚数を含むトスチャートの表示例を示す。トスチャートはプレイ分析情報の一例である。

図９に示すように、プレイ分析部１０７は、プレイ情報１１５に基づき、ブロック枚数を含むトスチャートを生成及び表示する。図９において、「○」のマーク４０１は、トスが行われた位置を示し、マーク４０１の近傍の数字４０２は、そのトスに対して行われたブロック枚数を示す。例えば、プレイ分析部１０７は、プレイ情報１１５において、アクション種別「トス」に対応付けられているボール座標の位置にマーク４０１を表示する。そして、プレイ分析部１０７は、そのアクション種別「トス」に対応付けられているブロック枚数を、そのマーク４０１の近傍の数字４０２で表示する。なお、数字４０２は、「○」のマーク４０１の中に表示されてもよい。或いは、プレイ分析部１０７は、数字４０２の表示に代えて、ブロック枚数に応じて異なる色又は模様のマーク４０１を表示してもよい。

プレイ分析部１０７は、ブロック枚数に応じて、マーク４０１の表示又は非表示をフィルタリングしてよい。例えば、プレイ分析部１０７は、ユーザからフィルタリングの閾値としてブロック枚数３以上が設定された場合、３未満のブロック枚数が対応付けられている○マーク４０１を非表示にし、３以上のブロック枚数が対応付けられているマーク４０１を表示する。

＜ブロック回数グラフ＞
図１０Ａ及び図１０Ｂは、ブロックの成功及び失敗の回数を示すグラフの表示例を示す。当該グラフはプレイ分析情報の一例である。

図１０Ａに示すように、プレイ分析部１０７は、プレイ情報１１５に基づき、ブロッカー毎のブロックの成功及び失敗の回数を示す棒グラフを表示する。例えば、プレイ分析部１０７は、プレイ情報１１５において、アクション種別「アタック」の次に発生したアクション種別が「ブロック」の場合、かつ、アタックの評価が○でない場合に、ブロックが成功したと判定する。プレイ分析部１０７は、プレイ情報１１５において、アクションの評価が○の場合、もしくは、アクション種別「アタック」の次に発生したアクション種別が「ブロック」以外の場合、ブロックが失敗したと判定する。プレイ分析部１０７は、この成功と失敗の回数をブロッカー毎にカウントすることにより、図１０Ａに示す棒グラフを生成する。

図１０Ｂに示すように、プレイ分析部１０７は、プレイ情報１１５に基づき、アタックに対して飛んだブロッカーの組み合わせ毎のブロックの成功及び失敗の回数を示す棒グラフを表示する。例えば、プレイ分析部１０７は、上記の成功と失敗の回数をブロッカーの組み合わせ毎にカウントすることにより、図１０Ｂに示す棒グラフを生成する。

図１０Ａ及び図１０Ｂに示すように、ブロックの成功回数を示すグラフは、ブロックの失敗回数を示すグラフと異なる色又は模様でペイントされてよい。

＜アタックのディレクションチャート＞
図１１Ａ及び図１１Ｂは、アタックのディレクションチャートの表示例を示す。例えば、アタックのディレクションチャートには、一人の選手がプレイ中に行った複数のアタックの軌跡が重複表示される。アタックのディレクションチャートはプレイ分析情報の一例である。

図１１Ａに示すように、プレイ分析部１０７は、アタックされたボールの軌跡を示す線（以下「アタックコース」という）４１１（４１１Ａ、４１１Ｂ、４１１Ｃ）を、アタックに対するブロック枚数に応じて異なる形状又は色で表示する。例えば、図１１Ａに示すように、プレイ分析部１０７は、ブロック１枚のアタックコース４１１Ａを点線で、ブロック２枚のアタックコース４１１Ｂを一点鎖線で、ブロック３枚のアタックコース４１１Ｃを実線で表示する。アタックに対するブロック枚数は、プレイ情報１１５におけるアクション種別「アタック」に対応付けられているブロック枚数によって特定される。

また、プレイ分析部１０７は、得点になったアタックコース４１１を、得点にならなかったアタックコース４１１と異なる形状又は色で表示する。例えば、図１１Ａに示すように、プレイ分析部１０７は、得点になったアタックコース４１１を、得点にならなかったアタックコース４１１よりも太い線で表示する。得点になったアタックであるか否かは、プレイ情報１１５のアタック評価が○であるか否かによって特定される。

また、プレイ分析部１０７は、アタックコース４１１の表示を、ブロック枚数によってフィルタリングしてよい。図１１Ｂは、図１１Ａに示すアタックのディレクションチャートから、ブロック３枚未満を指定するユーザの操作によって、アタックコース４１１の一部を非表示にフィルタリングした場合の例を示す。

なお、プレイ分析部１０７は、アタックコース４１１の表示を、得点に結びついたアタックであるか否かを指定するユーザの操作によってフィルタリングをしてもよい。また、プレイ分析部１０７は、アタックコースの表示を、得点に結びついたアタックであるか否かと、ブロック枚数と、の組み合わせによってフィルタリングしてもよい。

＜ブロッカー位置及びアタックコース＞
図１２Ａ、図１２Ｂ及び図１２Ｃは、ブロッカー位置及びアタックコースの表示例を示す。ブロッカー位置及びアタックコースは、プレイ分析結果情報の一例である。

プレイ分析部１０７は、図１１Ａ又は図１１Ｂに示したアタックのディレクションチャートを表示し、ユーザからアタックコースの選択を受け付ける。プレイ分析部１０７は、アタックコース４１１が選択された場合、図１２Ａに示すように、その選択されたアタックコース４１１に対応するブロッカーの背番号及び位置４２１を表示する。これにより、ユーザは、アタックがブロックの何処を抜いたのかを一目で認識できる。なお、ブロッカーの背番号は、表示されなくてもよい。

また、図１２Ｂ及び図１２Ｃに示すように、プレイ分析部１０７は、その選択されたアタックコース４１１Ｃに対応する、トスのボールの移動軌跡４２２、及び／又は、ブロッカーの移動軌跡４２３Ａ、４２３Ｂを表示する。図１２Ｂに示すように、ブロッカーの移動軌跡４２３Ａは、トス時のブロッカー位置とアタック時のブロッカー位置とを直線で結んだものであってよい。或いは、図１２Ｃに示すように、ブロッカーの移動軌跡４２３Ｂは、トス時からアタック時までのフレーム画像１１１毎のブロッカー位置を連続で結んだものであってよい。図１２Ｃに示すように、ブロッカーの移動軌跡を詳細に表示することにより、ブロッカーに対するフェイントなどの効果を分析できる。

＜ブロッカー重心位置及びアタックコース＞
図１３は、ブロッカー重心位置及びアタックコース４１１の表示例を示す。ブロッカー重心位置は、例えば、ブロッカーが１人の場合、そのブロッカーの位置であり、ブロッカーが２人の場合、その２人のブロッカーの位置の中点であり、ブロッカーが３人の場合、その３人のブロッカーの位置を頂点とする三角形の重心点である。

プレイ分析部１０７は、図１１Ａ又は図１１Ｂに示すようなアタックのディレクションチャートを表示し、ユーザからアタックコース４１１の選択を受け付ける。プレイ分析部１０７は、アタックコース４１１が選択された場合、図１３に示すように、その選択されたアタックコース４１１に対応する、トスのボールの移動軌跡４２２、及び／又は、複数のブロッカー（前衛３人）の重心位置４３１の移動軌跡４３２を表示する。ブロッカーの重心位置４３１の移動軌跡４３２は、トスからアタックまでのフレーム画像１１１毎の各ブロッカー位置に基づいて算出される。これにより、トスからアタックまでの間における、ブロッカー全体の動きを把握できる。

＜トス時のブロッカー重心位置を用いたトスチャートのフィルタリング＞
図１４は、トス時のブロッカー（前衛３人の）重心位置と、トスチャートに対するフィルタリングと、の関係を説明するための図である。

例えば、プレイ分析部１０７は、ネット幅を分割した複数の区間４４１を設定する。ユーザが複数の区間４４１のうちの１つを選択すると、プレイ分析部１０７は、その選択された区間４４１に属する少なくとも１つのトス時のブロッカー重心位置４３１を特定する。そして、プレイ分析部１０７は、図９に示すようなトスチャートに対して、その特定したトス時のブロッカー重心位置４３１に対応付けられているトスマーク４０１を表示し、それ以外のトスマーク４０１を非表示にするフィルタリングを行う。これにより、ユーザは、ブロッカー全体の位置（重心位置）と、トスとの関係を分析できる。

（本開示のまとめ）
本開示の一態様に係るプレイ分析装置１００は、受信部１０１及び制御部１０２を有する。受信部１０１は、複数のカメラ３が撮影した複数のフレーム画像１１１を受信する。制御部１０２は、バレーボールのプレイ中のボールのボール軌跡情報１１２に基づいて、「トス」（第１のアクション）と、「トス」の後の「アタック」（第２のアクション）とを検出し、「トス」と「アタック」との間のフレーム画像１１１に基づいて、「トス」と「アタック」との間に「ブロック」（第３のアクション）を行った選手（ブロッカー）を検出し、ブロックに関する分析結果を表示する。この構成により、監督等は、表示された分析結果から、「ブロック」を分析できる。

制御部１０２は、分析結果として、「トス」が行われた位置と、当該位置の「トス」に対して「ブロック」を行った選手の数と、を表示してよい。この構成により、ユーザは、トスに対して何枚のブロックが行われたかを分析できる。

制御部１０２は、分析結果として、「ブロック」を行った選手毎の、「ブロック」の成功及び／又は失敗の回数を示すグラフを表示してよい。この構成により、ユーザは、各選手の「ブロック」の成功及び／又は失敗を分析できる。

制御部１０２は、分析結果として、「ブロック」を行った複数の選手の組み合わせ毎の、「ブロック」の成功及び／又は失敗の回数を示すグラフを表示してよい。この構成により、ユーザは、選手の組み合わせによる「ブロック」の成功及び／又は失敗を分析できる。

制御部１０２は、分析結果として、「アタック」されたボールの軌跡を、当該「アタック」に対して「ブロック」を行った選手の数に応じて異なる態様にて表示してよい。例えば、制御部１０２は、分析結果として、「アタック」されたボールの軌跡を、「ブロック」を行った選手の数を指定するユーザの操作に応じてフィルタリング表示してよい。例えば、制御部１０２は、分析結果として、「アタック」されたボールの軌跡を、「アタック」が得点に結びついたか否かを指定するユーザの操作に応じてフィルタリング表示してもよい。この構成により、ユーザは、アタックに対するブロック枚数を分析できる。

制御部１０２は、分析結果として、「アタック」されたボールの軌跡と、当該「アタック」が行われたタイミングで「ブロック」を行った選手の位置と、を表示してよい。さらに、制御部１０２は、「ブロック」を行った選手の、「トス」から「アタック」までの間の移動軌跡を表示してよい。この構成により、ユーザは、アタックに対するブロッカーの位置及び移動軌跡を分析できる。

制御部１０２は、分析結果として、「アタック」されたボールの軌跡と、「ブロック」を行った複数の選手の位置に基づいて特定される重心位置の移動軌跡と、を表示してよい。この構成により、ユーザは、アタックに対するブロッカー全体の移動軌跡を分析できる。

制御部１０２は、分析結果として、「トス」が行われた位置を、「トス」のタイミングにて「ブロック」を行った複数の選手の位置から特定される重心位置に基づいてフィルタリング表示してよい。この構成により、ユーザは、ブロッカー全体の位置（重心位置）と、トスとの関係を分析できる。

以上、本開示に係る実施の形態について図面を参照して詳述してきたが、上述したプレイ分析装置１００の機能は、コンピュータプログラムにより実現され得る。

図１５は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ３１００は、キーボード又はマウス、タッチパッド等の入力装置３１０１、ディスプレイ又はスピーカー等の出力装置３１０２、ＣＰＵ（Central Processing Unit）３１０３、ＧＰＵ（Graphics Processing Unit）３１０４、ＲＯＭ（Read Only Memory）３１０５、ＲＡＭ（Random Access Memory）３１０６、ハードディスク装置又はＳＳＤ（Solid State Drive）等の記憶装置３１０７、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリ等の記録媒体から情報を読み取る読取装置３１０８、ネットワークを介して通信を行う送受信装置３１０９を備え、各部はバス３１１０により接続される。

そして、読取装置３１０８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置３１０７に記憶させる。あるいは、送受信装置３１０９が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置３１０７に記憶させる。

そして、ＣＰＵ３１０３が、記憶装置３１０７に記憶されたプログラムをＲＡＭ３１０６にコピーし、そのプログラムに含まれる命令をＲＡＭ３１０６から順次読み出して実行することにより、上記各装置の機能が実現される。

例えば、受信部１０１は、送受信装置３１０９によって実現されてよい。例えば、制御部１０２は、ＣＰＵ３１０３及び／又はＧＰＵ３１０４によって実現されてよい。例えば、情報格納部１０８は、ＲＡＭ３１０６及び／又は記憶装置３１０７によって実現されてよい。

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本開示の一態様は、球技のプレイの分析に有用である。

１ プレイ分析システム
３、３Ａ、３Ｂ、３Ｃ、３Ｄ カメラ
１０ コート
１１ ネット
１２ 審判
２１ ブロッカー
１００ プレイ分析装置
１０１ 受信部
１０２ 制御部
１０３ 軌跡算出部
１０４ アクション検出部
１０５ ブロッカー検出部
１０６ プレイ情報生成部
１０７ プレイ分析部
１０８ 情報格納部
１１１ フレーム画像
１１２ ボール軌跡情報
１１３ アクション情報
１１４ ブロッカー情報
１１５ プレイ情報
２１０ 表示装置
２２０ 操作装置

Claims (14)

1. 移動体に対するアクションを行う球技のプレイを分析してプレイ分析情報を生成して表示するプレイ分析装置であって、
   前記プレイを撮影した複数の画像を受信する受信部と、
   前記複数の画像における前記球技の移動体の軌跡の変化により、前記移動体に対して選手が行う第１のアクションと前記第１のアクションの後の第２のアクションとを検出し、前記第１のアクションの時刻と前記第２のアクションの時刻の間で抽出される画像から第３のアクションを行う少なくとも１人の選手を認識し、その認識された選手の情報を含む前記第３のアクションに関する情報を生成し、前記第３のアクションに関する情報を含む前記プレイ分析情報を生成して表示する制御部と、
   を備える、プレイ分析装置。
2. 前記制御部は、前記プレイ分析情報として、前記第１のアクションが行われた位置と、当該位置の前記第１のアクションに対して前記第３のアクションを行った選手の数と、を表示する、
   請求項１に記載のプレイ分析装置。
3. 前記制御部は、前記プレイ分析情報として、前記第３のアクションを行った選手毎の、前記第３のアクションの成功及び／又は失敗の回数を表示する、
   請求項１に記載のプレイ分析装置。
4. 前記制御部は、前記プレイ分析情報として、前記第３のアクションを行った複数の選手の組み合わせ毎の、前記第３のアクションの成功及び／又は失敗の回数を表示する、
   請求項１に記載のプレイ分析装置。
5. 前記制御部は、前記プレイ分析情報として、前記第２のアクションが行われた前記移動体の軌跡を、前記第２のアクションに対して前記第３のアクションを行った選手の数に応じて異なる態様にて表示する、
   請求項１に記載のプレイ分析装置。
6. 前記制御部は、前記プレイ分析情報として、前記第２のアクションが行われた前記移動体の軌跡を、前記第３のアクションを行った選手の数を指定するユーザの操作に応じてフィルタリング表示する、
   請求項５に記載のプレイ分析装置。
7. 前記制御部は、前記プレイ分析情報として、前記第２のアクションが行われた前記移動体の軌跡を、前記第２のアクションが得点に結びついたか否かを指定するユーザの操作に応じてフィルタリング表示する、
   請求項５又は６に記載のプレイ分析装置。
8. 前記制御部は、前記プレイ分析情報として、前記第２のアクションが行われた前記移動体の軌跡と、前記第２のアクションが行われたタイミングで前記第３のアクションを行った選手の位置と、を表示する、
   請求項１に記載のプレイ分析装置。
9. 前記制御部は、前記第３のアクションを行った選手の、前記第１のアクションから前記第２のアクションまでの間の移動軌跡を表示する、
   請求項８に記載のプレイ分析装置。
10. 前記制御部は、前記プレイ分析情報として、前記第２のアクションが行われた前記移動体の軌跡と、前記第３のアクションを行った複数の選手の位置に基づいて特定される重心位置の移動軌跡と、を表示する、
    請求項１に記載のプレイ分析装置。
11. 前記制御部は、前記プレイ分析情報として、前記第１のアクションが行われた位置を、前記第１のアクションのタイミングにて前記第３のアクションを行った複数の選手の位置から特定される重心位置に基づいてフィルタリング表示する、
    請求項１に記載のプレイ分析装置。
12. 前記球技はバレーボールであり、
    前記第１のアクションはトスであり、
    前記第２のアクションはアタックであり、
    前記第３のアクションはブロックである、
    請求項１から１１の何れか１項に記載のプレイ分析装置。
13. 移動体に対するアクションを行う球技のプレイを分析してプレイ分析情報を生成して表示する処理がコンピュータにより実行されるプレイ分析方法であって、
    前記プレイを撮影した複数の画像を受信し、
    前記複数の画像における前記球技の移動体の軌跡の変化により、前記移動体に対して選手が行う前記球技に関する第１のアクションと前記第１のアクションの後の第２のアクションとを検出し、前記第１のアクションの時刻と前記第２のアクションの時刻の間で抽出される画像から第３のアクションを行う少なくとも１人の選手を認識し、その認識された選手の情報を含む前記第３のアクションに関する情報を生成し、前記第３のアクションに関する情報を含む前記プレイ分析情報を生成して表示する、
    プレイ分析方法。
14. 移動体に対するアクションを行う球技のプレイを分析してプレイ分析情報を生成して表示するコンピュータプログラムであって、
    前記プレイを撮影した複数の画像を受信し、
    前記複数の画像における前記球技の移動体の軌跡の変化により、前記移動体に対して選手が行う前記球技に関する第１のアクションと前記第１のアクションの後の第２のアクションとを検出し、前記第１のアクションの時刻と前記第２のアクションの時刻の間で抽出される画像から第３のアクションを行う少なくとも１人の選手を認識し、その認識された選手の情報を含む前記第３のアクションに関する情報を生成し、前記第３のアクションに関する情報を含む前記プレイ分析情報を生成して表示する、
    ことをコンピュータに実行させる、
    コンピュータプログラム。

Images