JP7289054B2 - プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム - Google Patents

プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム Download PDF

Info

Publication number
JP7289054B2
JP7289054B2 JP2019114867A JP2019114867A JP7289054B2 JP 7289054 B2 JP7289054 B2 JP 7289054B2 JP 2019114867 A JP2019114867 A JP 2019114867A JP 2019114867 A JP2019114867 A JP 2019114867A JP 7289054 B2 JP7289054 B2 JP 7289054B2
Authority
JP
Japan
Prior art keywords
action
information
blocker
image
play
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019114867A
Other languages
English (en)
Other versions
JP2021000216A (ja
Inventor
純子 上田
優麻 片山
康治 井村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019114867A priority Critical patent/JP7289054B2/ja
Priority to PCT/JP2020/021944 priority patent/WO2020255716A1/ja
Publication of JP2021000216A publication Critical patent/JP2021000216A/ja
Application granted granted Critical
Publication of JP7289054B2 publication Critical patent/JP7289054B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、プレイ分析装置、プレイ分析方法、及び、コンピュータプログラムに関する。
従来、バレーボール分析ソフトウェアとして「Data Volley」が市販され、このソフトウェアに精通したアナリストの主観的判断に基づいて、チームの選手の状況をデータ化する技術が知られている。
特許文献1には、Data Volleyのソフトウェアの欠点であるスコアラー(アナリスト)のトレーニングが必要であること、各競技者の位置情報が視覚による主観的判断により入力されているためデータ精度が低いことなどの問題点を解決し、アナリストの操作性を向上させたスカウティングシステムが開示されている。具体的には、画像解析を用いて正確な各競技者の位置情報を取得し、入力された競技状況、各競技者のそれぞれの位置情報、所望のシーンの静止画像とを関連付けて記憶装置にデータベースを構築し、各競技者の各位置、所望のシーンの静止画像、競技状況を表示することにより、アナリストの操作性を向上させるものである。
特開2004-351097号公報
Xina CHENG, Norikazu IKOMA, Masaaki HONDA and Takeshi IKENAGA "Multi-view 3D Ball Tracking with Abrupt Motion Adaptive System Model, Anti-occlusion Observation and Spatial Density based Recovery in Sports Analysis", IEICE TRANS. FUNDAMENTALS, VOL.E94-A, NO.1 JANUARY 2011
従来の技術は、バレーボールで言えば、サーブレシーブの瞬間に関するシーンの画像を順次取り込み、各選手の技能評価を入力する。そして、レシーブ回数及びレシーブ成功率等を選手ごとに集計し、その集計結果を一覧表示する。選手及びコーチ等は、この一覧表示された集計結果から、チームの強み及び弱みを把握する。
しかしながら、従来の技術では、例えばブロックといった特定のアクションを行った選手を精度良く検出することは困難である。
本開示の非限定的な実施例は、例えばブロックといった特定のアクションを行った選手を精度良く検出できる技術の提供に資する。
本開示の一態様に係るプレイ分析装置は、球技のプレイを分析するプレイ分析装置であって、前記プレイを撮影した複数の画像を受信する受信部と、前記複数の画像における前記球技の移動体の軌跡に基づいて、前記球技に関する第1のアクションと前記第1のアクションの後の第2のアクションとを検出し、前記第1のアクションと前記第2のアクションとの間の画像に基づいて、前記第1のアクションと前記第2のアクションとの間に第3のアクションを行った選手を検出する制御部と、を備える。
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の非限定的な実施例によれば、例えばブロックといった特定のアクションを行った選手を精度良く検出できる。
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
一実施の形態に係るプレイ分析システムの構成例を示す図である。 一実施の形態に係るプレイ分析装置の構成例を示す図である。 一実施の形態に係るプレイ情報の一例を示す図である。 一実施の形態に係るアクション検出部の処理例を示すフローチャートである。 一実施の形態に係るブロッカー検出部の処理例を示すフローチャートである。 一実施の形態に係るブロック部分画像の抽出領域の例を示す図である。 一実施の形態に係るコートの分割の一例を示す図である。 一実施の形態に係るアタック画像から抽出されたブロック部分画像の第1例を示す図である。 一実施の形態に係るアタック画像から抽出されたブロック部分画像の第2例を示す図である。 一実施の形態に係るアタック画像から抽出されたブロック部分画像の第3例を示す図である。 一実施の形態に係るアタック画像から抽出されたブロック部分画像の第4例を示す図である。 一実施の形態に係るサーブの修正用UIの例を示す図である。 一実施の形態に係るレセプションの修正用UIの例を示す図である。 一実施の形態に係るトスの修正用UIの例を示す図である。 一実施の形態に係るアタックの修正用UIの例を示す図である。 一実施の形態に係るブロック未検出時のダイアログの例を示す図である。 一実施の形態に係るブロックの修正用UIの第1例を示す図である。 一実施の形態に係るブロックの修正用UIの第2例を示す図である。 一実施の形態に係るブロックの修正用UIの第3例を示す図である。 一実施の形態に係るブロックの修正用UIの第4例を示す図である。 一実施の形態に係るブロックの修正用UIの第5例を示す図である。 一実施の形態に係るブロックの修正用UIの第6例を示す図である。 本開示の実施の形態に係るハードウェア構成の例を示す図である。
以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(一実施の形態)
<プレイ分析システム>
図1は、一実施の形態に係るプレイ分析システムの一例を示す。
プレイ分析システム1は、球技を撮影した映像を解析し、球技に用いられる移動体に対してアクションを行った選手を認識するシステムである。球技に用いられる移動体は、典型的にはボールである。しかし、移動体は、バドミントンに用いられるシャトル等であってもよい。本実施の形態では、球技の1つであるバレーボールを例に説明する。ただし、プレイ分析システム1は、サッカー、野球、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール、ラクロス、又はバドミントンなど、様々な球技に適用可能である。また、プレイ分析システム1は、アイスホッケーのパック等、「球」の概念に当てはまらない形状の移動体にも適用可能である。すなわち、プレイ分析システム1は、複数人から構成されるチームが移動体に対するアクションを行うことにより点数又は勝敗が決定される競技であれば、どのような競技にも適用可能である。
プレイ分析システム1は、複数のカメラ3(3A、3B、3C、3D)、プレイ分析装置100、表示装置210、及び、操作装置220を備える。
複数のカメラ3は、互いに異なる位置に設置される。例えば、図1に示すように、各カメラ3は、高所からコート10を異なる視点(画角)で撮影できる位置に設置される。なお、図1では4台のカメラ3が設置されているが、2台以上であれば、何台のカメラ3が設置されてもよい。2台以上のカメラ3を用いることにより、ボールの3次元位置を算出できる。
カメラ3は、有線又は無線を介してプレイ分析装置100と通信可能に接続される。カメラ3は、球技のプレイを撮影し、動画データを生成する。カメラ3は、動画データを、プレイ分析装置100へ送信する。動画データは、複数のフレーム画像が、MP4、H.264、H.265、又は、Motion JPEGといった規格に基づいて圧縮されたものであってよい。
表示装置210は、有線又は無線を介してプレイ分析装置100と通信可能に接続されており、プレイ分析装置100から出力されるデータを表示する。表示装置210は、例えば、液晶ディスプレイ又は有機ELディスプレイ等である。
操作装置220は、有線又は無線を介してプレイ分析装置100と通信可能に接続されており、ユーザからの操作を受け付ける。操作装置220は、操作の内容を、プレイ分析装置100へ送信する。操作装置220は、例えば、キーボード、マウス、マイク及び/又はタッチパネル等である。操作装置220及び表示装置210は、一体型の装置であってもよい。また、プレイ分析装置100は、単一のPCで構成することができるが、プレイ分析処理全体の負荷分散のため、複数台のPCで構成してもよい。例えば、各カメラ(3A~3D)の動画データを取り込んで、カメラごとのフレーム画像(静止画)を格納するキャプチャPCと、このキャプチャPCからフレーム画像を受け取ってプレイ分析処理を行う分析処理PCとに分割した構成を採用することができる。なお、本実施の形態における「ユーザ」は、プレイ分析システム1の利用者であれば誰でもよく、コーチ、監督、スタッフ及び選手といった競技の関係者であってもよいし、それ以外の者であってもよい。
プレイ分析装置100は、各カメラ3から送信された動画データに基づき、各選手のアクションを特定する。バレーボールの場合における選手のアクションは、例えば、サーブ、レセプション(サーブに対するレシーブ)、トス、アタック、ブロック、及び、ディグ(アタックに対するレシーブ)である。以下、アクションを行った選手を「アクター」と表現する場合がある。
なお、本実施の形態では、図1に示すように、コート10の面の中心点を原点Oとし、コート10の面と平行かつネット11と平行な軸をX軸とし、コート10の面と平行かつネット11と垂直な軸をY軸とし、コート10の面と垂直な軸をZ軸とする。X軸は、審判12から離れる方向を正方向とし、審判12に近づく方向を負方向とする。Y軸は、審判12から見て、左方向を正方向とし、右方向を負方向とする。Z軸は、コート10の面から離れる方向を正方向とする。つまりZ軸の座標zは、コート10の面からの高さに相当する。
<プレイ分析装置>
図2は、プレイ分析装置100の構成例を示す。
プレイ分析装置100は、受信部101、軌跡算出部103、アクション検出部104、ブロッカー検出部105、プレイ情報生成部106、プレイ情報修正部107、及び、情報格納部108を有する。なお、軌跡算出部103、アクション検出部104、ブロッカー検出部105、プレイ情報生成部106、及び、プレイ情報修正部107は、制御部102に含まれてよい。
受信部101は、カメラ3A~3Dのそれぞれから、動画データを受信し、情報格納部108に格納する。
軌跡算出部103は、動画データを構成する複数のフレーム画像111に対して、例えば非特許文献1の手法を適用し、フレーム画像111の撮影時刻(以下「フレーム時刻」という)におけるボールの3次元位置(x,y,z)及び速度を算出する。そして、軌跡算出部103は、フレーム時刻とボールの3次元位置と速度とを対応付けてボール軌跡情報112を生成し、情報格納部108に格納する。
アクション検出部104は、ボール軌跡情報によって示されるボールの軌跡変化に基づいて、どの選手がどのタイミングでどのようなアクションを行ったかを検出する。なお、アクション検出部104の詳細については後述する。
ブロッカー検出部105は、アクション検出部104によって検出されたトスと、トス後のアタックとの間のフレーム画像111に基づいて、トスとアタックとの間にブロックの行動を行った選手(ブロッカー)を検出する。ブロッカー検出部105は、検出したブロッカーに関する情報を含むブロッカー情報114を生成し、情報格納部108に格納する。なお、「トス」は第1のアクションの一例であり、「アタック」は第2のアクションの一例であり、「ブロック」は第3のアクションの一例である。また、ブロッカー検出部105の詳細については後述する。
プレイ情報生成部106は、ボール軌跡情報112、アクション情報113及びブロック情報に基づいて、プレイ情報115を生成し、情報格納部108に格納する。図3にプレイ情報の一例を示す。例えば、プレイ情報生成部106は、アクションフレーム時刻(T-15)、アクション種別「トス」及びアクター番号「2」を対応付けるアクション情報と、ボール軌跡情報112における当該アクションフレーム時刻(T-15)のときのボール座標(x,y,z)及びボール速度Sと、を用いて、プレイ情報115の行L2を生成する。例えば、プレイ情報生成部106は、アクションフレーム時刻T、アクション種別「アタック」及びアクター番号「14」とを対応付けるアクション情報113と、ボール軌跡情報112における当該アクションフレーム時刻Tのときのボール座標(x,y,z)及びボール速度(S)と、を用いて、プレイ情報115の行L4を生成する。すなわち、プレイ情報115は、球技のプレイにおいて、いつ、どの選手がどのようなアクションを行ったかを示す情報と、そのときのボールの動きを示す情報と、を含む。
また、プレイ情報生成部106は、プレイ情報115における、トスからアタックまでの間に、ブロッカー検出部105が生成したブロッカー情報114を対応付ける。例えば、ブロッカー情報114は、図3に示すように、ブロック枚数、1人目のブロッカーの背番号を示す第1ブロッカー番号、1人目のブロッカーの位置を示す第1ブロッカー位置、2人目のブロッカーの背番号を示す第2ブロッカー番号、2人目のブロッカーの位置を示す第2ブロッカー位置、3人目のブロッカーの背番号を示す第3ブロッカー番号、及び、3人目のブロッカーの位置を示す第3ブロッカー位置を含む。なお、検出されたブロッカーが3人未満の場合、未検出の欄は空白であってよい。
プレイ情報修正部107は、情報格納部108に格納されているプレイ情報115及びプレイ情報115に対応付けられているブロッカー情報114を修正するための修正用UIを提供する。なお、プレイ情報修正部107の詳細については後述する。
<アクション検出部の詳細>
次に、図4に示すフローチャート参照して、アクション検出部104の処理例を説明する。
アクション検出部104は、ボール軌跡情報に含まれるフレーム時刻毎のボールの3次元位置及び速度からボールの軌跡を算出し、その算出したボールの軌跡変化、ボールの3次元位置、速度、所定の条件に合致した球技のルールなどに基づいて、アクションが発生したフレーム画像111の時刻(以下「アクションフレーム時刻」という)と、発生したアクション種別とを特定する(S101)。
例えば、アクション検出部104は、解析開始の最初に検出されたボールの軌跡がY軸方向(図1に示すコートの長辺方向)の移動成分を有し、当該Y軸方向のボールの速度成分が所定の範囲内である場合、アクション種別「サーブ」を検出する。例えば、アクション検出部104は、「サーブ」の後にボールの軌跡がY軸においてネット11の存在する座標を跨ぎ、かつ、ボールの3次元位置の変化が下降から上昇に転じた場合(すなわち、Z軸方向の座標の変化がプラスに転じた場合)、アクション種別「レセプション」を検出する。バレーボールのルール上、「サーブ」を受けるアクションは「レセプション」であるので、このようなルールに基づく判定により、「レセプション」と「ディグ」とを区別できる。アクション検出部104は、アクション種別「トス」及び「アタック」についても同様に検出する。例えば、レセプションもしくはディグを検出した後に、ボールの軌道(Z座標)が下降から上昇に変化している場合、アクション種別「トス」を検出する。また、ボールがネットを超えてきた後にすでに2つのアクションを検出しており、ボールのY座標がネットから150cm以内で、ボールの軌道(Z座標)が下降から上昇に変化しており、その後一定フレーム内でのボール速度が40km/h以上の場合、アクション種別「アタック」を検出する。また、アタックを検出した後15フレーム以内に、ボールのY座標がネットから70cm以内で、各座標の移動量のうち2つ以上に変化があった場合(例えば過去3フレームの平均移動量と、最新位置の移動量との差が閾値以上の場合、変化があったと判断)、アクション種別「ブロック」を検出する。
アクション検出部104は、アクションフレーム時刻及びその近傍の時刻のフレーム画像111(以下「アクションフレーム」という)に対して、アクターの検出範囲を設定する(S102)。
アクション検出部104は、アクターの検出範囲からアクター領域を認識し、そのアクター領域からアクターのユニフォームの背番号を認識する(S103)。なお、背番号は、「アクター番号」又は「ユニフォーム番号」といった他の用語に読み替えられてもよい。
アクション検出部104は、アクションフレーム時刻と、アクション種別と、背番号とを対応付けたアクション情報113を生成し、情報格納部108に格納する(S104)。
<ブロッカー検出部の詳細>
ブロッカー検出部105は、ブロッカー情報114を生成して情報格納部108に格納する。ブロッカー情報114は、ブロッカーの、背番号、名前、移動開始位置、移動終了位置、移動距離、及び、移動速度を示す情報を含む。なお、ブロッカーはコートの前衛に3人存在するので、ブロッカー情報114は、最大3人分のブロッカーの情報を有してよい。また、ブロッカーは、ブロックのために行動した選手であり、ブロックに成功した選手に限られない。
ブロッカー検出部105は、相手チームの選手がトスを行ったタイミングのブロッカー情報114(以下「トス時ブロック情報」という)と、相手チームの選手がアタックを行ったタイミングのブロッカー情報114(以下「アタック時ブロック情報」という)と、を生成してよい。
<ブロッカー検出部の処理例>
次に、図5に示すフローチャートを参照して、ブロッカー検出部105の処理例を説明する。
ブロッカー検出部105は、アクション検出部104がトスを検出したアクションフレーム時刻における、ブロッカー側の2台のカメラ3のフレーム画像111を選択する(S201)。以下、トスを検出したアクションフレーム時刻における、ブロッカー側のカメラ3のフレーム画像111を、「トス画像」と表記する。
ブロッカー検出部105は、2つのトス画像から、それぞれ、ブロッカーを検出するための部分画像(以下「ブロッカー部分画像」という)を抽出する(S202)。
ブロッカー検出部105は、S202で抽出した2つのブロッカー部分画像のそれぞれに対して人物の関節推定を行い、ブロッカーの首の候補位置を特定する(S203)。なお、ブロッカー検出部105は、首に代えてブロッカーの頭の候補位置を特定してもよい。或いは、ブロッカー検出部105は、頭と両肩の位置を平均し、首の位置を特定してもよい。これにより、仮に1つの位置が欠落しても、安定的に人物の位置を特定できる。また、ブロッカー検出部105は、両肩の位置を用いて選手がどちらを向いているかを判定し、ネットの方向を向いていない選手を、ブロッカーの候補から除外してもよい。
ブロッカー検出部105は、S203で特定した2つのブロッカーの候補位置に基づいて、同一選手判定を行い、3名以下のブロッカーとその位置を特定する(S204)。例えば、ブロッカー検出部105は、2つのブロッカーの候補位置のベクトル間距離が閾値以下、かつ、首の位置が尤もらしい高さ(例えば1.5mから2.5m)になる組み合わせの中から、ネットに近い組み合わせを選択する。
ブロッカー検出部105は、S204で特定したブロッカーのS203で推定した関節位置に基づいて、ブロッカー部分画像から、ブロッカーの画像を抽出し、ブロッカーの背番号を認識する(S205)。
ブロッカー検出部105は、S204で特定したブロッカーの位置及びS105で認識したブロッカーの背番号に基づき、トス時ブロック情報を生成する(S206)。
ブロッカー検出部105は、アクション検出部104が検出した、上記トス後のアタックのアクションフレーム時刻における、ブロッカー側の2台のカメラ3のフレーム画像111を選択する(S207)。以下、アタックを検出したアクションフレーム時刻における、ブロッカー側のカメラ3のフレーム画像111を、「アタック画像」と表記する。
ブロッカー検出部105は、2つのアタック画像から、それぞれ、ブロッカー部分画像を抽出する(S208)。ここで、ブロッカーの密集度は、トス時よりもアタック時の方が高い。そのため、トス時と同じようにアタック画像からブロッカー部分画像を抽出すると、S208の関節推定において個々のブロッカーを適切に特定できない可能性がある。そこで、ブロッカー検出部105は、図6に例示するように、トス画像からのブロッカー部分画像の抽出とは異なる方法で、アタック画像からブロッカー部分画像を抽出してよい。なお、詳細については後述する。
ブロッカー検出部105は、上述と同様に、S208で抽出した2つのブロッカー部分画像のそれぞれに対して人物の関節推定を行い、ブロッカーの首の候補位置を特定する(S209)。
ブロッカー検出部105は、S209で特定した2つのブロッカーの候補位置に基づいて、同一選手判定を行い、3名以下のブロッカーとその位置を特定する(S210)。この場合の首の位置が尤もらしい高さの範囲は、S204の場合の範囲よりも広くてよい。ジャンプしているブロッカーを特定するためである。
ブロッカー検出部105は、S210で特定したブロッカーのS209で推定した関節位置に基づいて、ブロッカー部分画像から、ブロッカーの画像を抽出し、ブロッカーの背番号を認識する(S211)。
ブロッカー検出部105は、S210で特定したブロッカーの位置及びS211で認識したブロッカーの背番号に基づき、アタック時ブロッカー情報を生成する(S212)。
<トス画像からブロッカー部分画像を抽出>
トス画像からブロッカー部分画像を抽出する処理の一例を説明する。本処理は、図5のS202の処理に相当する。
以下、図7に示すように、ブロッカー21側のコート10の後方からネット11の方向を見た場合に、右側に位置するカメラ3Aを「右のブロッカー側カメラ」と表記し、左側に位置するカメラ3Bを「左のブロッカー側カメラ」と表記する。また、トス画像から抽出されるブロッカー部分画像を「トス時ブロッカー部分画像」310(図6参照)と表記する。
トス画像に対するトス時ブロッカー部分画像310のサイズ及び抽出範囲は、例えば、以下のように設定される。なお、以下の設定は、試合前に予めキャリブレーションされ、1試合を通じて固定的であってよい。
・右のブロッカー側カメラのトス画像に対するトス時ブロッカー部分画像310の抽出では、トス画像における、右のブロッカー側カメラから遠い方(つまり奧側)のネット端(つまりネットの左端)の上端を、トス時ブロッカー部分画像の左上端とする(図6参照)。
・左のブロッカー側カメラのトス画像に対するトス時ブロッカー部分画像310の抽出では、トス画像における、左のブロッカー側カメラから遠い方(つまり奧側)のネット端(つまりネットの右端)の上端を、トス時ブロッカー部分画像310の右上端とする。
・トス画像における、ブロッカー側カメラから遠い方(奧側)のネット端から、当該ブロッカー側カメラから近い方(手前側)のネット端までのX方向の長さを、トス時ブロッカー部分画像310の幅Wとする。
・トス時ブロッカー部分画像310の高さHを所定のピクセル数とする。例えば、画像上でバレー支柱の高さが150ピクセルから250ピクセル程度の場合、トス時ブロッカー部分画像310の高さHを300ピクセルとする。
・トス開始時のフレーム画像111及びその前後のフレーム画像111を含む合計3つのフレーム画像111から、トス時ブロッカー部分画像310を抽出する。
<アタック画像からブロッカー部分画像を抽出>
アタック画像からブロッカー部分画像を抽出する例を説明する。本抽出処理は、図5のS208に相当する。
以下、アタック画像から抽出されるブロッカー部分画像を「アタック時ブロッカー部分画像」320(図6参照)と表記する。ここで、図7に示すように、ネット11のX方向の長さを3分割し、ブロッカー21側のコートの後方からネット11の方向を見た場合における、中央の分割区間を「中央区間」330Cと表記し、左側の分割区間を「左区間」330Lと表記し、右側の分割範囲を「右区間」330Rと表記する。
アタック画像に対するアタック時ブロッカー部分画像320の抽出範囲は、以下に例示するように、アタック画像におけるボールの位置に応じて決まる。
・右のブロッカー側カメラのアタック画像に対するアタック時ブロッカー部分画像320は、次のように抽出される。すなわち、アタック画像において、ボールが右区間330Rに位置する場合、図8Aに示すように、右上端にボールPが位置するように、アタック画像からアタック時ブロッカー部分画像320が抽出される。一方、アタック画像において、ボールが中央区間330C又は左区間330Lに位置する場合、図8Bに示すように、上部中央にボールPが位置するように、アタック画像からアタック時ブロッカー部分画像320が抽出される。
・左のブロッカー側カメラのアタック画像に対するアタック時ブロッカー部分画像320は、次のように抽出される。すなわち、アタック画像において、ボールが左区間330Lに位置する場合、図8Cに示すように、左上端にボールPが位置するように、アタック画像からアタック時ブロッカー部分画像320が抽出される。一方、アタック画像において、ボールが中央区間330C又は右区間330Rに位置する場合、図8Dに示すように、上部中央にボールPが位置するように、アタック画像からアタック時ブロッカー部分画像320が抽出される。
・アタック時ブロッカー部分画像320の幅W及び高さHと所定のピクセル数とする。例えば、アタック時ブロッカー部分画像320の幅W及び高さHを450ピクセル及び300ピクセルとする。
・アタック開始時のフレーム画像111及びその前後のフレーム画像111を含む合計3つのフレーム画像111から、アタック時ブロッカー部分画像320が抽出される。すなわち、右のブロッカー側カメラ及び右のブロッカー側カメラのフレーム画像から、合計6個のアタック時ブロッカー部分画像320が抽出される。
このようにしてアタック画像からブロック部分画像を抽出することにより、ブロック部分画像内において、個々のブロッカーが占める割合が大きくなる。これにより、S109の関節推定において個々のブロッカーを適切に特定できる可能性が向上する。なお、ブロッカー検出は、トス発生時、及び、アタック発生時以外に行われてもよい。例えば、ブロッカー検出は、修正用UIを用いて、トスの情報を確認して「次のアクションへ」ボタンを押下した際、および、アタックの情報を確認して「次のアクションへ」ボタンを押下した際に行われてもよい。リアルタイム解析の際には、プレイ情報修正部107が、図3に示すブロック枚数の項目及びそれよりも右側の項目を含むブロッカー情報114を作成してよい。
<プレイ情報修正部の詳細>
プレイ情報修正部107は、サーブ、レセプション、トス、アタック、ブロック、ディグの順に、プレイ情報115を修正するための修正用UIを表示装置210に表示し、操作装置220を介してユーザからの確認及び修正の操作を受け付ける。なお、プレイ情報修正部107は、ディグの後にさらにラリーが続く場合は、引き続き、トス、アタック、・・・の順に、修正用UIを提供する。
<1.サーブ>
図9は、サーブの修正用UIの一例を示す。図9に示すように、サーブの修正用UI500Aは、情報領域600A、画像領域700A、及び、操作領域800Aを有する。
プレイ情報修正部107は、プレイ情報115におけるサーブに関する情報を、サーブの修正用UI500Aの情報領域600Aに表示する。例えば、プレイ情報修正部107は、サーブに関する情報として、セット数、ラリー数、チーム名、背番号、名前、打点、打点速度、ネット速度、ネット水平角、ネット垂直角、及び、ネット高さの情報を、情報領域600Aに表示する。
・セット数は、表示中のサーブが何セット目のものであるかを示す。
・ラリー数は、表示中のサーブが何回目のラリー中のものであるかを示す。
・チーム名は、サーブを行った選手のチーム名を示す。
・背番号は、サーブを行った選手の背番号(アクター番号)を示す。
・名前は、サーブを行った選手の名前を示す。
・打点は、サーブの打点時のボールの座標を示す。
・打点速度は、サーブの打点直後のボールの速度を示す。
・ネット速度は、サーブのネット上でのボールの速度を示す。
・ネット水平角は、サーブのネット上におけるボールの軌跡の水平角度を示す。
・ネット垂直角は、サーブのネット上におけるボールの軌跡の垂直角度を示す。
・ネット高さは、サーブのネット上におけるボールの高さを示す。
プレイ情報修正部107は、表示中のサーブの検出に用いられた各カメラ3のフレーム画像111を画像領域700Aに表示する。
プレイ情報修正部107は、サーブの修正用UI500Aを表示中であることを示す情報801と、「次のアクションへ」ボタン802と、「打点修正」ボタン803と、「ネット上修正」ボタン804と、「ラリー完了」ボタン805と、を操作領域800Aに表示する。
ユーザは、情報領域600Aの背番号を修正できる。情報領域600Aの背番号が修正された場合、情報格納部108に保持された背番号と名前とを対応づけた情報を用いて、背番号の修正に伴って、名前を表示し直すことができる。また、プレイ情報修正部107は、プレイ分析装置100内のプレイ情報115においてアクション種別「サーブ」に対応付けられているアクター番号を修正してもよい。或いは、プレイ情報115は修正せずに、修正結果を別ファイル名でファイル出力してもよい。なお、これらの修正処理は、サーブの修正用UI500Aに限らず、他のアクションにおいても同様である。
ユーザは、打点及び打点速度を修正する場合、「打点修正」ボタン803を押下(クリック又はタッチ)し、より適切なサーブのタイミングのフレーム画像111を選択する。ユーザがこの選択を行った場合、プレイ情報修正部107は、打点及び打点速度を、この選択されたフレーム画像111のタイミングのものに修正(再計算)する。
ユーザは、ネット速度、ネット水平角、ネット垂直角及びネット高さを修正する場合、「ネット上修正」ボタン804を押下し、ボールがネット上に適切に位置するタイミングのフレーム画像111を選択する。ユーザがこの選択を行った場合、プレイ情報修正部107は、ネット速度、ネット水平角、ネット垂直角及びネット高さを、この選択されたフレーム画像111のタイミングのものに修正する。
ユーザは、表示中のラリーの修正を完了する場合、「ラリー完了」ボタン805を押下する。「ラリー完了」ボタン805が押下された場合、プレイ情報修正部107は、次回のラリーの修正を開始する。
ユーザは、情報領域600Aのサーブに関する情報に問題が無い場合、又は、サーブに関する情報の修正を完了する場合、「次のアクションへ」ボタン802を押下する。「次のアクションへ」ボタン802が押下された場合、プレイ情報修正部107は、図10に示す、レセプションの修正用UI500Bを表示する。
<2.レセプション>
図10は、レセプションの修正用UIの一例を示す。図10に示すように、レセプションの修正用UI500Bは、情報領域600B、画像領域700B、及び、操作領域800Bを有する。
プレイ情報修正部107は、プレイ情報115におけるレセプションに関する情報を、レセプションの修正用UI500Bの情報領域600Bに表示する。例えば、プレイ情報修正部107は、レセプションに関する情報として、セット数、ラリー数、チーム名、背番号、名前、返球位置、返球速度、水平角度、垂直角度、最高高さ、移動距離、及び、移動時間を、情報領域600Bに表示する。
・セット数は、表示中のレセプションが何セット目のものであるかを示す。
・ラリー数は、表示中のレセプションが何回目のラリー中のものであるかを示す。
・チーム名は、レセプションを行った選手のチーム名を示す。
・背番号は、レセプションを行った選手の背番号(アクター番号)を示す。
・名前は、レセプションを行った選手の名前を示す。
・返球位置は、レセプション時のボールの座標を示す。
・返球速度は、レセプション時のボールの速度を示す。
・水平角度は、レセプション時のボールの軌跡の水平角度を示す。
・垂直角度は、レセプション時のボールの軌跡の垂直角度を示す。
・最高高さは、レセプションされたボールの最高点の高さを示す。
・移動距離は、レセプションからトスまでのボールの移動距離を示す。
・移動時間は、レセプションからトスまでのボールの移動時間を示す。
プレイ情報修正部107は、表示中のレセプションの検出に用いられた各カメラ3のフレーム画像111を画像領域700Bに表示する。
プレイ情報修正部107は、レセプションの修正用UI500Bを表示中であることを示す情報811と、「次のアクションへ」ボタン812と、「返球位置修正」ボタン813と、「最高高さ修正」ボタン814と、「移動修正」ボタン815と、「ラリー完了」ボタン805とを、操作領域800Bに表示する。
ユーザは、情報領域600Bの背番号を修正できる。情報領域600Bの背番号が修正された場合、プレイ情報修正部107は、プレイ情報115においてアクション種別「レセプション」に対応付けられているアクター番号を修正する。
ユーザは、返球位置、返球速度、水平角度及び垂直角度を修正する場合、「返球位置修正」ボタン813を押下し、より適切なレセプションのタイミングのフレーム画像111を選択する。ユーザがこの選択を行った場合、プレイ情報修正部107は、返球位置、返球速度、水平角度及び垂直角度を、この選択されたフレーム画像111のタイミングのものに修正する。
ユーザは、最高高さを修正する場合、「最高高さ修正」ボタン814を押下し、レセプションされたボールが最高点に到達したより適切なタイミングのフレーム画像111を選択する。ユーザがこの選択を行った場合、プレイ情報修正部107は、最高高さを、この選択されたフレーム画像111時のものに修正する。
ユーザは、移動距離及び移動時間を修正する場合、「移動修正」ボタン815を押下し、レセプションを行った選手の、より適切な移動開始のタイミングのフレーム画像111と、より適切な移動終了のタイミングのフレーム画像111とを選択する。ユーザがこの選択を行った場合、プレイ情報修正部107は、移動距離及び移動時間を、この選択された移動開始及び移動終了のタイミングにおけるフレーム時刻及び選手の位置に基づいて修正する。
ユーザは、情報領域600Bのレセプションに関する情報に問題が無い場合、又は、レセプションに関する情報の修正を完了する場合、「次のアクションへ」ボタン812を押下する。「次のアクションへ」ボタン812が押下された場合、プレイ情報修正部107は、図11に示す、トスの修正用UI500Cを表示する。
<3.トス>
図11は、トスの修正用UIの一例を示す。図11に示すように、トスの修正用UI500Cは、情報領域600C、画像領域700C、及び、操作領域800Cを有する。
プレイ情報修正部107は、プレイ情報115におけるトスに関する情報を、トスの修正用UI500Cの情報領域600Cに表示する。例えば、プレイ情報修正部107は、トスに関する情報として、セット数、ラリー数、チーム名、背番号、名前、返球位置、返球速度、水平角度、垂直角度、最高高さ、移動距離、及び、移動時間を、情報領域600Cに表示する。
・セット数は、表示中のトスが何セット目のものであるかを示す。
・ラリー数は、表示中のトスが何回目のラリー中のものであるかを示す。
・チーム名は、トスを行った選手のチーム名を示す。
・背番号は、トスを行った選手の背番号(アクター番号)を示す。
・名前は、トスを行った選手の名前を示す。
・返球位置は、トス時のボールの座標を示す。
・返球速度は、トス時のボールの速度を示す。
・水平角度は、トス時のボールの軌跡の水平角度を示す。
・垂直角度は、トス時のボールの軌跡の垂直角度を示す。
・最高高さは、トスされたボールの最高点の高さを示す。
・移動距離は、トスからアタックまでのボールの移動距離を示す。
・移動時間は、トスからアタックまでのボールの移動時間を示す。
プレイ情報修正部107は、表示中のトスの検出に用いられた各カメラ3のフレーム画像111を画像領域700Cに表示する。
プレイ情報修正部107は、トスの修正用UI500Cを表示中であることを示す情報821と、「次のアクションへ」ボタン822と、「返球位置修正」ボタン823と、「最高高さ修正」ボタン824と、「移動修正」ボタン825と、「ラリー完了」ボタン805を、操作領域800Cに表示する。
ユーザは、情報領域600Cの背番号を修正できる。情報領域600Cの背番号が修正された場合、プレイ情報修正部107は、プレイ情報115におけてアクション種別「トス」に対応付けられているアクター番号を修正する。
ユーザは、返球位置、返球速度、水平角度及び垂直角度を修正する場合、「返球位置修正」ボタン823を押下し、より適切なトスのタイミングのフレーム画像111を選択する。ユーザがこの選択を行った場合、プレイ情報修正部107は、返球位置、返球速度、水平角度及び垂直角度を、この選択されたフレーム画像111のタイミングのものに修正する。
ユーザは、最高高さを修正する場合、「最高高さ修正」ボタン824を押下し、トスされたボールが最高点に到達したより適切なタイミングのフレーム画像111を選択する。ユーザがこの選択を行った場合、プレイ情報修正部107は、最高高さを、この選択されたフレーム画像111のタイミングのものに修正する。
ユーザは、移動距離及び移動時間を修正する場合、「移動修正」ボタン825を押下し、トスした選手の、より適切な移動開始のタイミングのフレーム画像111と、より適切なタイミングの移動終了のフレーム画像111とを選択する。ユーザがこの選択を行った場合、プレイ情報修正部107は、移動距離及び移動時間を、この選択された移動開始及び移動終了のタイミングのフレーム時刻及び選手の位置に基づいて修正する。
ユーザは、情報領域600Cのトスに関する情報に問題が無い場合、又は、トスに関する情報の修正を完了する場合、「次のアクションへ」ボタン822を押下する。「次のアクションへ」ボタン822が押下された場合、プレイ情報修正部107は、図12に示す、アタックの修正用UI500Dを表示する。なお、トスの確認後、「次のアクションへ」ボタン822が押下された場合、別スレッドで、トス時のブロッカー検出が行われる。すなわち、トス時のブロッカー検出は、アタックの確認処理と並行して実行される。
<4.アタック>
図12は、アタックの修正用UIの一例を示す。図12に示すように、アタックの修正用UI500Dは、情報領域600D、画像領域700D、及び、操作領域800Dを有する。
プレイ情報修正部107は、プレイ情報115におけるアタックに関する情報を、アタックの修正用UIの情報領域600Dに表示する。例えば、プレイ情報修正部107は、アタックに関する情報として、セット数、ラリー数、チーム名、背番号、名前、打点、打点速度、ネット速度、水平角度、及び、垂直角度を、情報領域600Dに表示する。
・セット数は、表示中のアタックが何セット目のものであるかを示す。
・ラリー数は、表示中のアタックが何回目のラリー中のものであるかを示す。
・チーム名は、アタックを行った選手のチーム名を示す。
・背番号は、アタックを行った選手の背番号(アクター番号)を示す。
・名前は、アタックを行った選手の名前を示す。
・打点は、アタック時のボールの座標を示す。
・打点速度は、アタック時のボールの速度を示す。
・ネット速度は、アタックのネット上でのボールの速度を示す。
・水平角度は、アタックのネット上におけるボールの軌跡の水平角度を示す。
・垂直角度は、アタックのネット上におけるボールの軌跡の垂直角度を示す。
プレイ情報修正部107は、表示中のアタックの検出に用いられた各カメラ3のフレーム画像111を画像領域700Dに表示する。
プレイ情報修正部107は、アタックの修正用UI500Dを表示中であることを示す情831報と、「次のアクションへ」ボタン832と、「打点修正」ボタン833と、「ラリー完了」ボタン805とを、操作領域800Dに表示する。
ユーザは、情報領域600Dの背番号を修正できる。情報領域600Dの背番号が修正された場合、プレイ情報修正部107は、プレイ情報115においてアクション種別「アタック」に対応付けられているアクター番号を修正する。
ユーザは、打点、打点速度、ネット速度、水平角度、及び、垂直角度を修正する場合、「打点修正」ボタン833を押下し、より適切なアタックのタイミングのフレーム画像111を選択する。ユーザがこの選択を行った場合、プレイ情報修正部107は、打点、打点速度、ネット速度、水平角度、及び、垂直角度を、この選択されたフレーム画像111のタイミングのものに修正する。
ユーザは、情報領域600Dのアタックに関する情報に問題が無い場合、又は、アタックに関する情報の修正を完了する場合、「次のアクションへ」ボタン832を押下する。なお、アタックの確認後、「次のアクションへ」ボタン832が押下された場合、別スレッドで、アタック時のブロッカー検出が行われる。すなわち、アタック時のブロッカー検出は、ブロックの確認処理と並行して実行される。「次のアクションへ」ボタン832が押下された場合、プレイ情報修正部107は、図14Aに示す、ブロックの修正用UI500Eを表示する。なお、プレイ情報修正部107は、プレイ情報115においてアタックの後にブロックを検出できない場合、図13に示すように、ブロックを検出できなかったことを示すダイアログ835を表示する。プレイ情報修正部107は、ユーザがダイアログ835の「OK」ボタンを押下した場合、ディグの修正用UI(図示しない)を表示し、ユーザが「ブロック」ボタンを押下した場合、図14Aに示す、ブロックの修正用UI500Eを表示する。
<5.ブロック>
図14Aから図14Eは、ブロックの修正用UI500Eの一例を示す。図14Aから図14Eに示すように、ブロックの修正用UI500Eは、情報領域600E、画像領域700E、及び、操作領域800Eを有する。
プレイ情報修正部107は、ブロッカー情報114を、ブロックの修正用UI500Eの情報領域600Eに表示する。例えば、プレイ情報修正部107は、ブロッカー情報114として、セット数、ラリー数、チーム名、背番号、名前、移動開始位置、移動終了、移動距離、移動時間、及び、移動速度を、情報領域600Eに表示する。
・セット数は、表示中のブロックが何セット目のものであるかを示す。
・ラリー数は、表示中のブロックが何回目のラリー中のものであるかを示す。
・チーム名は、ブロッカーのチーム名を示す。
・背番号は、ブロッカーの背番号(アクター番号)を示す。
・名前は、ブロッカーの名前を示す。
・移動開始位置は、ブロッカーの移動開始位置を示す。
・移動終了位置は、ブロッカーの移動終了位置を示す。
・移動距離は、ブロッカーの移動開始位置から移動終了位置までの移動距離を示す。
・移動時間は、ブロッカーの移動開始位置から移動終了位置までの移動時間を示す。
・移動速度は、ブロッカーの移動開始位置から移動終了位置までの移動速度を示す。
<5.1 ブロック開始時の修正>
図14Aから図14Dは、ブロック開始のタイミングを修正するための修正用UI(以下「ブロック開始時修正用UI」という)を示す。
プレイ情報修正部107は、ブロック開始時の修正用UI500Eの画像領域700Eに、トス画像を表示する。プレイ情報修正部107は、ブロック開始時の修正用UI500Eの情報領域600Eに、トス画像から検出されたブロッカー情報114を表示する。ここで、プレイ情報修正部107は、情報領域600Eに表示されている各ブロッカー情報601A、601B、601Cと、トス画像に表示されている選手との対応関係を示すための情報を、修正用UI500Eに表示する。例えば、図14Aから図14Dに示すように、情報領域600Eにおけるブロッカーの名前欄のマークと同じ形状のマーク701を、各トス画像における、同じブロッカーの首元に表示する。或いは、情報領域600Eにおけるブロッカーの表示色と同じ色のマーク701を、トス画像における、同じブロッカーの首元に表示する。
プレイ情報修正部107は、ブロックの修正用UI500Eを表示中であることを示す情報841と、「移動開始位置決定」ボタン842と、「移動開始位置全確定」ボタン843と、「ラリー完了」ボタン805とを表示する。
ユーザは、情報領域600Eの全てのブロッカー情報601A~601Cに問題が無い場合、「移動開始位置全確定」ボタン843を押下する。「移動開始位置全確定」ボタン843が押下された場合、プレイ情報修正部107は、ブロッカー情報の移動開始位置を修正せずに、図14Eに示す、ブロック終了時の修正用UI500Iを表示する。
ユーザは、情報領域600Eのブロッカー情報601A~601Cのうちの少なくとも1つを修正する場合、「移動開始位置決定」ボタン842を押下する。「移動開始位置決定」ボタン842が押下された場合、プレイ情報修正部107は、図14Bに示す、1人目のブロッカー開始時の修正用UI500Fを表示する。
1人目のブロッカー開始時の修正用UI500Fでは、情報領域600Eにおけるリストの1人目のブロッカー情報601Aを修正できる。例えば、ユーザは、1人目のブロッカー情報601Aと対応付けられているトス画像におけるマーク701A(図14Bにおける●マーク)を、正しいブロッカーの位置に移動させる。プレイ情報修正部107は、修正後のマーク701Aの位置におけるブロッカーの背番号、名前、及び、移動開始位置を特定し、情報領域600Eにおける1人目のブロッカー情報601Aを修正する。
ユーザは、1人目のブロッカー情報601Aを修正した後、「1人目確定」ボタン851を押下する。「1人目確定」ボタン851が押下された場合、プレイ情報修正部107は、1人目のブロッカー情報601Aの修正を確定し、図14Cに示す、2人目のブロッカー開始時の修正用UI500Gを表示する。
2人目のブロッカー開始時の修正用UI500Gでは、情報領域600Eにおけるリストの2人目のブロッカー情報601Bを修正する。例えば、ユーザは、2人目のブロッカー情報601Bと対応付けられているトス画像におけるマーク701B(図14Bにおける★マーク)を、正しいブロッカーの位置に移動させる。ユーザは、2人目のブロッカー情報601Bを修正した後、「2人目確定」ボタン852を押下する。「2人目確定」ボタン852が押下された場合、プレイ情報修正部107は、2人目のブロッカー情報601Bの修正を確定し、図14Dに示す、3人目のブロック開始時の修正用UI500Hを表示する。
3人目のブロック開始時の修正用UI500Hでは、情報領域600Eにおけるリストの3人目のブロッカー情報601Cを修正する。図14Aから図14Cに示すように、3人目のブロッカーが未検出であった場合、この3人目のブロッカー開始時の修正用UI500Hにおいて、ユーザが3人目のブロッカーを入力する。例えば、ユーザは、情報領域500Eにおいて、3人目のブロッカーの首元をクリックすると、3人目のブロッカー情報601Cと対応付けられているマーク701C(図14Dにおける◆マーク)が追加される。そして、ユーザが2つのトス画像に対してそのブロッカーの首元をクリックすると、ブロッカー検出部105は、そのクリックされた2つのトス画像の位置から3次元位置を算出する。ブロッカー検出部105は、この算出された3次元位置のブロッカーを検出し、ブロッカー情報114に追加する。プレイ情報修正部107は、この追加されたブロッカー情報114の内容を、情報領域600Eに表示する。
ユーザは、3人目のブロッカー情報601を修正した後、「3人目確定」ボタン853を押下する。「3人目確定」ボタン853が押下された場合、プレイ情報修正部107は、3人目のブロッカー情報601Cの修正を確定し、図14Eに示す、ブロック終了時の修正用UI500Iを表示する。
<5.2 ブロック終了時の修正>
図14Eは、ブロック終了時の修正用UIを示す。
プレイ情報修正部107は、ブロック終了時の修正用UI500Iの画像領域700Fに、アタック画像を表示する。プレイ情報修正部107は、ブロック終了時の修正用UI500Iの情報領域600Fに、アタック画像から検出されたブロッカー情報114を表示する。アタック画像におけるブロッカーの首元に表示されるマーク701A、701B、701Cは、上述した通りである。プレイ情報修正部107は、ブロック開始時の修正用UI500E~500Hとブロック終了時の修正用UI500Iとにおいて、同じ選手には同じマーク701A、701B、701Cを付与する。
プレイ情報修正部107は、操作領域800Fに、ブロックの修正用UIを表示中であることを示す情報841と、「移動終了位置決定」ボタン862と、「移動終了位置全確定」ボタン863とを表示する。
ユーザは、情報領域600Fの全てのブロッカーの情報に問題が無い場合、「移動終了位置全確定」ボタン863を押下する。「移動終了位置全確定」ボタン863が押下された場合、プレイ情報修正部107は、ブロッカーの移動終了位置を修正せずに、ディグの修正用UIを表示する。
ユーザは、情報領域600Fのブロッカー情報601D~601Fのうちの少なくとも1つを修正する場合、「移動終了位置決定」ボタン862を押下する。「移動終了位置決定」ボタン862が押下された場合、プレイ情報修正部107は、ブロック開始時の修正と同様に、1人目、2人目、3人目のブロッカー終了時の修正用UIを提供する。ユーザは、ブロック開始時の修正と同様に、ブロック終了時のブロッカー情報601D~601Fを修正できる。
3人目のブロッカー終了時の修正用UIにおいて「3人目確定」ボタンが押下された場合、プレイ情報修正部107は、図14Fに示すブロックの修正用UI500Jを表示する。ここで、「次のアクションへ」ボタン871が押下された場合、プレイ情報修正部107は、ディグの修正用UI(図示しない)を表示する。
<6.ディグ>
プレイ情報修正部107は、ディグの修正用UI(図示しない)を提供する。なお、ディグの修正用UIは、レセプションの修正用UI500Bとほぼ同じであるので、説明を省略する。
<並列処理>
上述のとおり、ブロックは、トス画像及びアタック画像を用いて検出される。したがって、トスの修正用UI500C及びアタックの修正用UI500Dにおいてトス画像及びアタック画像のタイミングが修正された場合、ブロッカー検出部105は、その修正されたトス画像及びアタック画像を用いて、ブロッカーを再検出する。なお、リアルタイム分析中には、ブロッカー検出を行わず、オフラインのプレイ情報修正処理において、初めてブロッカーを検出する構成としてもよい。
この場合、ブロッカー検出部105は、トス画像からのブロッカーの検出処理(図5のS201からS206)と、アタック画像からのブロッカーの検出処理(図5のS207からS212)とを、並列に行ってよい。例えば、ユーザがトスの修正用UI500Dの「次のアクションへ」ボタン822を押下したタイミングで、ブロッカー検出部105は、修正後のタイミングのトス画像からブロック開始時の検出処理を開始する。そして、ユーザがアタックの修正用UI500Eの「次のアクションへ」ボタン832を押下したタイミングで、ブロッカー検出部105は、修正後のタイミングのアタック画像からブロック終了時の検出処理を開始する。
これにより、アタックの修正用UI500Dの「次のアクションへ」ボタン832が押下されたタイミングからブロック開始時の検出処理を開始する場合と比較して、素早くブロックの修正用UI500Eを提供できる。よって、ユーザがプレイ情報115及びブロッカー情報114の修正に要する時間を短縮できる。
(本開示のまとめ)
本開示の一態様に係るプレイ分析装置100は、受信部101及び制御部102を有する。受信部101は、複数のカメラ3が撮影した複数のフレーム画像111を受信する。制御部102は、バレーボールのプレイ中のボールのボール軌跡情報112に基づいて、「トス」(第1のアクション)と、「トス」の後の「アタック」(第2のアクション)とを検出し、「トス」と「アタック」との間のフレーム画像111に基づいて、「トス」と「アタック」との間に「ブロック」(第3のアクション)を行った選手(ブロッカー)を検出する。この構成により、ボール軌跡情報112からは検出が困難なブロッカーを、精度良く検出できる。
制御部102は、「トス」の検出に用いられたトス画像(第1の画像)と、「アタック」の検出に用いられたアタック画像(第2の画像)とから、それぞれ、ブロッカーを検出してよい。また、制御部102は、トス画像から検出したブロッカーの位置と、アタック画像から検出したブロッカーの位置とに基づいて、「トス」と「アタック」との間におけるブロッカーの移動距離、移動時間及び移動速度のうちの少なくとも1つを算出してよい。この構成により、相手チームが「トス」から「アタック」に移るまでの間のブロッカーの動きを検出できる。
制御部102は、アタック画像からボールの位置に応じて定まる範囲を抽出してブロッカーを検出してよい。この構成により、比較的ブロッカーが密集するアタック画像から、適切にブロッカーを検出できる。
制御部102は、トス画像と、トス画像から検出されたブロッカーに関する情報(ブロッカー情報)とを表示し、トス画像におけるブロッカーの位置に、ブロッカーに関する情報と関連付けるためのマークを表示装置210に表示してよい。この構成により、ユーザは、マークによって、どのブロッカー情報が、トス画像におけるどのブロッカーのものであるかを識別できる。
制御部102は、「トス」を行った選手に関する情報の修正と、「アタック」を行った選手に関する情報の修正と、ブロッカーに関する情報の修正とを受け付けてよい。そして、制御部102は、「トス」を行った選手に関する情報の修正が完了したタイミングで、トス画像からブロッカーの検出を開始し、「アタック」を行った選手に関する情報の修正が完了したタイミングで、アタック画像からブロッカーの検出を開始してよい。この構成により、ブロッカーに関する情報の修正が完了してからブロッカーの検出を開始する場合と比較して、ブロッカーに関する情報の修正を素早く開始できるので、ユーザがプレイ情報115及びブロッカー情報114の修正に要する時間を短縮できる。
以上、本開示に係る実施の形態について図面を参照して詳述してきたが、上述したプレイ分析装置100の機能は、コンピュータプログラムにより実現され得る。
図15は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ3100は、キーボード又はマウス、タッチパッド等の入力装置3101、ディスプレイ又はスピーカー等の出力装置3102、CPU(Central Processing Unit)3103、GPU(Graphics Processing Unit)3104、ROM(Read Only Memory)3105、RAM(Random Access Memory)3106、ハードディスク装置又はSSD(Solid State Drive)等の記憶装置3107、DVD-ROM(Digital Versatile Disk Read Only Memory)又はUSB(Universal Serial Bus)メモリ等の記録媒体から情報を読み取る読取装置3108、ネットワークを介して通信を行う送受信装置3109を備え、各部はバス3110により接続される。
そして、読取装置3108は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置3107に記憶させる。あるいは、送受信装置3109が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置3107に記憶させる。
そして、CPU3103が、記憶装置3107に記憶されたプログラムをRAM3106にコピーし、そのプログラムに含まれる命令をRAM3106から順次読み出して実行することにより、上記各装置の機能が実現される。
例えば、受信部101は、送受信装置3109によって実現されてよい。例えば、制御部102は、CPU3103及び/又はGPU3104によって実現されてよい。例えば、情報格納部108は、RAM3106及び/又は記憶装置3107によって実現されてよい。
上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、又は、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
本開示の一態様は、球技のプレイの分析に有用である。
1 プレイ分析システム
3、3A、3B、3C、3D カメラ
10 コート
11 ネット
12 審判
21 ブロッカー
100 プレイ分析装置
101 受信部
102 制御部
103 軌跡算出部
104 アクション検出部
105 ブロッカー検出部
106 プレイ情報生成部
107 プレイ情報修正部
108 情報格納部
111 フレーム画像
112 ボール軌跡情報
113 アクション情報
114 ブロッカー情報
115 プレイ情報
210 表示装置
220 操作装置

Claims (9)

  1. 球技のプレイを分析するプレイ分析装置であって、
    前記プレイを撮影した複数の画像を受信する受信部と、
    前記複数の画像における前記球技の移動体の軌跡に基づいて、前記球技に関する第1のアクションと前記第1のアクションの後の第2のアクションとを検出し、前記第1のアクションと前記第2のアクションとの間の画像に基づいて、前記第1のアクションと前記第2のアクションとの間に第3のアクションを行った選手を検出する制御部と、
    を備える、プレイ分析装置。
  2. 前記制御部は、前記第1のアクションの検出に用いられた第1の画像と、前記第2のアクションの検出に用いられた第2の画像とから、それぞれ、前記第3のアクションを行った選手を検出する、
    請求項1に記載のプレイ分析装置。
  3. 前記制御部は、前記第1の画像から検出した前記第3のアクションを行った選手の位置と、前記第2の画像から検出した前記第3のアクションを行った選手の位置とに基づいて、前記第1のアクションと前記第2のアクションとの間に前記第3のアクションを行った選手の移動距離、移動時間及び移動速度のうちの少なくとも1つを算出する、
    請求項2に記載のプレイ分析装置。
  4. 前記制御部は、前記第2の画像から前記移動体の位置に応じて定まる範囲を抽出して前記第3のアクションを行った選手を検出する、
    請求項2又は3に記載のプレイ分析装置。
  5. 前記制御部は、前記第1の画像と、前記第1の画像から検出された前記第3のアクションを行った選手に関する情報とを表示し、前記第1の画像における前記第3のアクションを行った選手の位置に、前記第3のアクションを行った選手に関する情報と関連付けるための情報を表示する、
    請求項2に記載のプレイ分析装置。
  6. 前記制御部は、
    前記第1のアクションを行った選手に関する情報の修正と、前記第2のアクションを行った選手に関する情報の修正と、前記第3のアクションを行った選手に関する情報の修正とを受け付け、
    前記第1のアクションを行った選手に関する情報の修正が完了したタイミングで、前記第1の画像から前記第3のアクションを行った選手の検出を開始し、前記第2のアクションを行った選手に関する情報の修正が完了したタイミングで、前記第2の画像から前記第3のアクションを行った選手の検出を開始する、
    請求項5に記載のプレイ分析装置。
  7. 前記球技はバレーボールであり、
    前記第1のアクションはトスであり、
    前記第2のアクションはアタックであり、
    前記第3のアクションはブロックである、
    請求項1から6の何れか1項に記載のプレイ分析装置。
  8. 球技のプレイを分析する装置によるプレイ分析方法であって、
    前記プレイを撮影した複数の画像を受信し、
    前記複数の画像における前記球技の移動体の軌跡に基づいて、前記球技に関する第1のアクションと前記第1のアクションの後の第2のアクションとを検出し、
    前記第1のアクションと前記第2のアクションとの間の少なくとも1つの画像に基づいて、前記第1のアクションと前記第2のアクションとの間に第3のアクションを行った選手を検出する、
    プレイ分析方法。
  9. 球技のプレイを分析するコンピュータプログラムであって、
    前記プレイを撮影した複数の画像を受信し、
    前記複数の画像における前記球技の移動体の軌跡に基づいて、前記球技に関する第1のアクションと前記第1のアクションの後の第2のアクションとを検出し、
    前記第1のアクションと前記第2のアクションとの間の少なくとも1つの画像に基づいて、前記第1のアクションと前記第2のアクションとの間に第3のアクションを行った選手を検出する、
    ことをコンピュータに実行させる、
    コンピュータプログラム。
JP2019114867A 2019-06-20 2019-06-20 プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム Active JP7289054B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019114867A JP7289054B2 (ja) 2019-06-20 2019-06-20 プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム
PCT/JP2020/021944 WO2020255716A1 (ja) 2019-06-20 2020-06-03 プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019114867A JP7289054B2 (ja) 2019-06-20 2019-06-20 プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2021000216A JP2021000216A (ja) 2021-01-07
JP7289054B2 true JP7289054B2 (ja) 2023-06-09

Family

ID=73993697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019114867A Active JP7289054B2 (ja) 2019-06-20 2019-06-20 プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム

Country Status (2)

Country Link
JP (1) JP7289054B2 (ja)
WO (1) WO2020255716A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7144778B1 (ja) * 2022-08-02 2022-09-30 シンメディクト株式会社 競技管理プログラム、競技管理デバイス

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030073518A1 (en) 2001-09-12 2003-04-17 Pillar Vision Corporation Trajectory detection and feedback system
US20150018990A1 (en) 2012-02-23 2015-01-15 Playsight Interactive Ltd. Smart-court system and method for providing real-time debriefing and training services of sport games
US20170132470A1 (en) 2015-11-06 2017-05-11 Fujitsu Limited Image processing method, non-transitory computer-readable recording medium, and image processing device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339009A (ja) * 1998-05-26 1999-12-10 Sony Corp 解析データ生成装置
JP2018068516A (ja) * 2016-10-26 2018-05-10 国立大学法人名古屋大学 運動動作評価システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030073518A1 (en) 2001-09-12 2003-04-17 Pillar Vision Corporation Trajectory detection and feedback system
US20150018990A1 (en) 2012-02-23 2015-01-15 Playsight Interactive Ltd. Smart-court system and method for providing real-time debriefing and training services of sport games
US20170132470A1 (en) 2015-11-06 2017-05-11 Fujitsu Limited Image processing method, non-transitory computer-readable recording medium, and image processing device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高橋 茂樹,小川 貴弘, 長谷山 美紀,バレーボール映像における選手及びボールの追跡とそのイベント推定への応用,映像情報メディア学会情報報告,2010年

Also Published As

Publication number Publication date
WO2020255716A1 (ja) 2020-12-24
JP2021000216A (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
JP7289080B2 (ja) 球技映像解析装置、及び、球技映像解析方法
US10762642B2 (en) Systems and methods for indicating user performance in launching a basketball toward a basketball hoop
JP6915701B2 (ja) 抽出プログラム、抽出方法および情報処理装置
US11798318B2 (en) Detection of kinetic events and mechanical variables from uncalibrated video
WO2020235339A1 (ja) プレイ分析装置、及び、プレイ分析方法
JP6677319B2 (ja) スポーツ動作解析支援システム、方法およびプログラム
WO2020255948A1 (ja) プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム
JP7289054B2 (ja) プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム
JP7113335B2 (ja) プレイ分析装置、及び、プレイ分析方法
JP7113336B2 (ja) プレイ分析装置、及び、プレイ分析方法
WO2020071092A1 (ja) プレイ分析装置、及び、プレイ分析方法
JP7296546B2 (ja) プレイ分析装置、及び、プレイ分析方法
KR20150006624A (ko) 양방향 스포츠 경기 정보 제공 시스템
JP7300668B2 (ja) プレイ分析装置、及び、プレイ分析方法
TWI782649B (zh) 羽球殺球測量系統及其方法
EP4325443A1 (en) Data processing apparatus and method
EP4325448A1 (en) Data processing apparatus and method
WO2022056315A1 (en) System and method for capture and analysis of sporting performance data and broadcast of the same
JP2023044410A (ja) 戦術分析装置およびその制御方法、並びに制御プログラム
CN114041172A (zh) 多相机球衣号码识别
西博史 The Setting Technique about Combination Attacks in Volleyball Games: Focusing on Movements
CN116486297A (zh) 结合位姿判别与力度估计的投篮命中率预测方法及系统
JPWO2019202903A1 (ja) パフォーマンス評価装置、データ取得装置、それらの方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230515

R151 Written notification of patent or utility model registration

Ref document number: 7289054

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151