JPWO2019070011A1 - 移動体追跡装置及び移動体追跡方法 - Google Patents
移動体追跡装置及び移動体追跡方法 Download PDFInfo
- Publication number
- JPWO2019070011A1 JPWO2019070011A1 JP2019547001A JP2019547001A JPWO2019070011A1 JP WO2019070011 A1 JPWO2019070011 A1 JP WO2019070011A1 JP 2019547001 A JP2019547001 A JP 2019547001A JP 2019547001 A JP2019547001 A JP 2019547001A JP WO2019070011 A1 JPWO2019070011 A1 JP WO2019070011A1
- Authority
- JP
- Japan
- Prior art keywords
- ball
- mobile
- moving body
- candidate
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30224—Ball; Puck
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30228—Playing field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
<移動体追跡システム>
まず、図1を参照して、移動体追跡システムの概要について説明する。
次に、図2を参照して、移動体追跡装置10の詳細について説明する。
(A1)ユーザが、追跡対象が誤っていることに気づき、所定の操作を行った場合。
(A2)移動体候補抽出部105がボール候補を抽出できない場合。
(A3)移動体候補抽出部105が抽出したボール候補の何れもが所定の閾値未満の尤度である場合。ボール候補の尤度とは、当該ボール候補が、追跡対象として正しいボールである可能性を示す指標である。なお、ボール候補の尤度の算出方法の詳細については後述する。
(A4)移動体追跡部103が、追跡対象のボールの軌跡が異常であると判定した場合。異常と判定する場合とは、例えば、追跡対象のボールの軌跡が、バレーボールにおける典型的なボールの軌跡から大きく外れている場合等である。
次に、図3及び図4を参照して、ボール選択UI200とその使用例について説明する。
次に、図5を参照して、ボール候補表示領域202にボール候補画像を高さ順に表示する例について説明する。
次に、図6から図8のフローチャートを参照して、ボール候補を3D位置の高さ順にボール候補表示領域202に表示する処理の例について説明する。本処理は、ユーザが、メイン動画フレームの中から、追跡対象として正しいボールの位置を指定(つまり図4のS13を実行)した後に実行される。
実施の形態1では、移動体追跡装置10は、動画フレーム表示領域201にメイン画像フレームを表示し、ボール候補表示領域202に、メイン画像フレーム以外の画像フレームから抽出されたボール候補画像206を、3D位置の高さ順に並べて表示する。そして、ユーザが、メイン画像フレームから、追跡対象として正しいボールの位置を指定し、3D位置の高さ順に並べられたボール候補画像206から、追跡対象として正しいボール候補画像206を選択すると、移動体追跡装置10は、追跡対象をその選択されたボール候補に修正する。
実施の形態2では、ボール候補を尤度順に表示する例について説明する。なお、実施の形態2では、実施の形態1と相違する点について説明し、実施の形態1と共通する点については説明を省略する。
まず、図9を参照して、ボール候補表示領域202にボール候補を尤度順に表示する例について説明する。
次に、図10及び図11のフローチャートを参照して、ボール候補を尤度順にボール候補表示領域202に表示する処理について説明する。本処理は、図6の場合と同様、ユーザが、メイン動画フレームの中から、追跡対象として正しいボールの位置を指定(つまり図4のS13を実行)した後に実行される。
実施の形態2では、移動体追跡装置10は、動画フレーム表示領域201にメイン画像フレームを表示し、ボール候補表示領域202に、メイン画像フレーム以外の画像フレームから抽出されたボール候補画像を、3D尤度の高い順に並べて表示する。そして、ユーザが、メイン画像フレームから、追跡対象として正しいボールの位置を指定し、3D尤度の高い順に並べられたボール候補画像から、追跡対象として正しいボール候補画像を選択すると、移動体追跡装置10は、追跡対象をその選択されたボール候補に修正する。
実施の形態3では、前回までの動画フレームにおけるボールの軌跡を用いて、ボール候補の表示数を減らす例について説明する。なお、実施の形態3では、実施の形態2と相違する点について説明し、実施の形態2と共通する点については説明を省略する。
まず、図12を参照して、ボールの軌跡を用いてボール候補数を減らし、ボール候補表示領域202に表示する例について説明する。
次に、図13のフローチャートを参照して、ボールの軌跡を用いて、ボール候補の数を減らしてボール候補表示領域202に表示する処理の例について説明する。
なお、上述では、ボール候補表示領域202に表示する2次ボール候補画像を選択する段階で、ボールの軌跡を用いてボール候補の表示数を減らす処理について説明したが、別の段階でボールの軌跡を用いてボール候補の表示数を減らしてもよい。例えば、移動体選択部106は、今回の動画フレームにおけるボールの推定位置から所定以上離れている探索範囲302を、図10における1次ボール候補抽出処理(S104)の対象とする探索範囲302から除外してもよい。これにより、図10におけるループ処理(S103〜S109)の回数を減らすことができる。
実施の形態3では、移動体追跡装置10は、動画フレーム表示領域201にメイン画像フレームを表示し、ボール候補表示領域202に、メイン画像フレーム以外の画像フレームから抽出されたボール候補画像を、前回までの動画フレームから算出されるボールの軌跡に基づいて絞り込み、ボール候補の3D尤度の高い順に並べて表示する。
3A、3B、3C、3D カメラ
4 表示装置
5 操作装置
10 移動体追跡装置
101 映像受信部
102 移動体特定部
103 移動体追跡部
104 移動体位置出力部
105 移動体候補抽出部
106 移動体選択部
200 ボール選択UI
Claims (13)
- 球技用の移動体を追跡する移動体追跡装置であって、
異なる位置にある複数のカメラがそれぞれ撮影した球技の動画フレームを受信する映像受信部と、
前記複数の動画フレームを用いて移動体候補を抽出する移動体候補抽出部と、
前記移動体候補を表示して、追跡対象の移動体の選択をユーザから受け付ける移動体選択部と、
前記追跡対象の移動体を追跡する移動体追跡部と、を備え、
前記移動体選択部が前記ユーザから前記追跡対象の移動体の選択を受け付けた場合、前記移動体追跡部は、前記追跡対象の移動体を、前記ユーザに選択された移動体に修正する、
移動体追跡装置。 - 前記移動体選択部は、
1つのカメラが撮影した動画フレームを表示して、前記追跡対象の移動体の位置の指定を前記ユーザから受け付け、
前記移動体候補抽出部は、
前記指定された位置に対応する3次元空間の領域に存在する移動体候補を抽出し、
他のカメラが撮影した動画フレームの、前記抽出された移動体候補の存在する3次元空間の位置に対応する部分から移動体候補画像を抽出し、
前記移動体選択部は、
前記移動体候補画像を表示して、前記追跡対象の移動体の選択を前記ユーザから受け付ける、
請求項1に記載の移動体追跡装置。 - 前記移動体候補抽出部は、
前記指定された位置に対応する3次元空間の領域に存在する複数の移動体候補を抽出し、
前記移動体選択部は、
前記3次元空間における各移動体候補の位置の高さの順に、当該各移動体候補の移動体候補画像を表示する、
請求項2に記載の移動体追跡装置。 - 前記移動体候補抽出部は、
前記指定された位置に対応する3次元空間の領域に存在する複数の移動体候補を抽出し、
前記移動体選択部は、
各移動体候補の前記追跡対象の移動体である尤度の高さの順に、当該各移動体候補の移動体候補画像を表示する、
請求項2に記載の移動体追跡装置。 - 前記移動体選択部は、
前記移動体候補抽出部によって各カメラの動画フレームから抽出された同じ3次元空間の位置に対応する移動体候補画像をグルーピングして表示する、
請求項2に記載の移動体追跡装置。 - 前記移動体選択部は、
前記移動体候補抽出部によって各カメラの動画フレームから抽出された同じ3次元空間の位置に対応する移動体候補画像をグルーピングし、そのグルーピングされた単位で、前記追跡対象の移動体の選択を前記ユーザから受け付ける、
請求項2に記載の移動体追跡装置。 - 前記移動体候補抽出部は、
前記指定された位置および前記追跡対象の移動体が移動した軌跡に基づいて、前記移動体候補を抽出する3次元空間の領域を限定する、
請求項2に記載の移動体追跡装置。 - 前記指定された位置に対応する3次元空間の領域は、前記指定された位置に基づいて算出される、前記3次元空間における探索軸上の点を含む探索範囲から構成される、
請求項2に記載の移動体追跡装置。 - 前記移動体候補抽出部は、
前記探索範囲内に前記追跡対象の移動体が存在する尤度を、前記他のカメラが撮影した動画フレームの前記探索範囲に対応する部分の画像に基づいて算出し、
前記算出された尤度に基づいて、前記他のカメラが撮影した動画フレームの前記探索範囲に対応する部分から前記移動体候補画像を抽出するか否かを決定する、
請求項8に記載の移動体追跡装置。 - 複数の探索範囲は、それぞれ、前記探索軸上の異なる点を含み、
前記移動体候補抽出部は、
前記探索範囲毎に、前記尤度の算出と、当該算出された尤度に基づく前記移動体候補画像の抽出の可否の決定とを行う、
請求項9に記載の移動体追跡装置。 - 前記移動体候補抽出部は、
前記尤度が所定の閾値を超える移動体候補を、前記追跡対象の移動体候補に抽出する、
請求項10に記載の移動体追跡装置。 - 前記移動体候補抽出部は、
1つの探索範囲に複数の移動体候補が存在する場合、前記尤度の最も高い移動体候補を抽出する、
請求項9に記載の移動体追跡装置。 - 球技用の移動体を追跡する移動体追跡方法であって、
異なる位置にある複数のカメラがそれぞれ撮影した球技の動画フレームを受信し、
前記複数の動画フレームを用いて移動体候補を抽出し、
前記移動体候補を表示して、追跡対象の移動体の選択をユーザから受け付け、
前記追跡対象の移動体を追跡し、
前記ユーザから前記追跡対象の移動体の選択を受け付けた場合、前記追跡対象を当該ユーザに選択された移動体に修正する、
移動体追跡方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017194958 | 2017-10-05 | ||
JP2017194958 | 2017-10-05 | ||
PCT/JP2018/037131 WO2019070011A1 (ja) | 2017-10-05 | 2018-10-04 | 移動体追跡装置及び移動体追跡方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019070011A1 true JPWO2019070011A1 (ja) | 2020-11-05 |
JP7246005B2 JP7246005B2 (ja) | 2023-03-27 |
Family
ID=65994902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019547001A Active JP7246005B2 (ja) | 2017-10-05 | 2018-10-04 | 移動体追跡装置及び移動体追跡方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11638068B2 (ja) |
EP (1) | EP3694205B1 (ja) |
JP (1) | JP7246005B2 (ja) |
WO (1) | WO2019070011A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7330708B2 (ja) * | 2019-01-28 | 2023-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN113382182B (zh) * | 2021-08-12 | 2021-11-09 | 江西省天轴通讯有限公司 | 一种直播画面控制方法、装置、存储介质及设备 |
CN117241133B (zh) * | 2023-11-13 | 2024-02-06 | 武汉益模科技股份有限公司 | 基于非固定位置的多工序同时作业的视觉报工方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004046647A (ja) * | 2002-07-12 | 2004-02-12 | Univ Waseda | 動画像データに基づく移動物体追跡方法及び装置 |
JP2007233798A (ja) * | 2006-03-02 | 2007-09-13 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクト追跡装置および映像オブジェクト追跡プログラム |
JP2007274543A (ja) * | 2006-03-31 | 2007-10-18 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP2009251940A (ja) * | 2008-04-07 | 2009-10-29 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2013503504A (ja) * | 2009-08-31 | 2013-01-31 | トレイス オプティクス ピーティワイ リミテッド | 複数のカメラの相対制御のための方法及び装置 |
WO2016021121A1 (ja) * | 2014-08-05 | 2016-02-11 | パナソニック株式会社 | 修正確認方法および修正確認装置 |
JP2016099941A (ja) * | 2014-11-26 | 2016-05-30 | 日本放送協会 | オブジェクト位置推定システム、及びそのプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9684835B2 (en) * | 2012-09-13 | 2017-06-20 | Nec Corporation | Image processing system, image processing method, and program |
JP5506990B1 (ja) * | 2013-07-11 | 2014-05-28 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
US10742864B2 (en) * | 2013-12-09 | 2020-08-11 | Playsight Interactive Ltd. | Controlling cameras in sports events |
US9836852B2 (en) * | 2013-12-21 | 2017-12-05 | Qualcomm Incorporated | System and method to stabilize display of an object tracking box |
US10002289B2 (en) * | 2014-08-04 | 2018-06-19 | Panasonic Corporation | Moving body tracking method and moving body tracking device |
JP6924932B2 (ja) | 2015-11-13 | 2021-08-25 | パナソニックIpマネジメント株式会社 | 移動体追跡方法、移動体追跡装置、およびプログラム |
EP3229193A1 (en) | 2016-04-07 | 2017-10-11 | The Boeing Company | A computer-implemented method and system for sharing information between passengers and air traffic management stakeholders |
-
2018
- 2018-10-04 JP JP2019547001A patent/JP7246005B2/ja active Active
- 2018-10-04 EP EP18864304.3A patent/EP3694205B1/en active Active
- 2018-10-04 US US16/753,135 patent/US11638068B2/en active Active
- 2018-10-04 WO PCT/JP2018/037131 patent/WO2019070011A1/ja unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004046647A (ja) * | 2002-07-12 | 2004-02-12 | Univ Waseda | 動画像データに基づく移動物体追跡方法及び装置 |
JP2007233798A (ja) * | 2006-03-02 | 2007-09-13 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクト追跡装置および映像オブジェクト追跡プログラム |
JP2007274543A (ja) * | 2006-03-31 | 2007-10-18 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP2009251940A (ja) * | 2008-04-07 | 2009-10-29 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2013503504A (ja) * | 2009-08-31 | 2013-01-31 | トレイス オプティクス ピーティワイ リミテッド | 複数のカメラの相対制御のための方法及び装置 |
WO2016021121A1 (ja) * | 2014-08-05 | 2016-02-11 | パナソニック株式会社 | 修正確認方法および修正確認装置 |
JP2016099941A (ja) * | 2014-11-26 | 2016-05-30 | 日本放送協会 | オブジェクト位置推定システム、及びそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3694205A1 (en) | 2020-08-12 |
EP3694205B1 (en) | 2024-03-06 |
JP7246005B2 (ja) | 2023-03-27 |
EP3694205A4 (en) | 2020-08-12 |
US20200259996A1 (en) | 2020-08-13 |
US11638068B2 (en) | 2023-04-25 |
WO2019070011A1 (ja) | 2019-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11048943B2 (en) | System and method for mobile feedback generation using video processing and object tracking | |
CN112154482B (zh) | 球类运动影像分析装置及球类运动影像分析方法 | |
JP7246005B2 (ja) | 移動体追跡装置及び移動体追跡方法 | |
CN112446333B (zh) | 基于重检测的球类目标跟踪方法及系统 | |
US20230316750A1 (en) | Systems, methods, and computer-program products for assessing athletic ability and generating performance data | |
JP7113336B2 (ja) | プレイ分析装置、及び、プレイ分析方法 | |
JP7113335B2 (ja) | プレイ分析装置、及び、プレイ分析方法 | |
WO2017187723A1 (ja) | 動画分割方法、動画分割装置および動画処理システム | |
US20220276721A1 (en) | Methods and systems for performing object detection and object/user interaction to assess user performance | |
CN110314368B (zh) | 台球击球的辅助方法、装置、设备及可读介质 | |
US10957051B2 (en) | Motion video segmenting method, motion video segmenting device, and motion video processing system | |
WO2020071092A1 (ja) | プレイ分析装置、及び、プレイ分析方法 | |
CN110226324B (zh) | 信息处理设备和信息处理方法 | |
US10853952B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP7296546B2 (ja) | プレイ分析装置、及び、プレイ分析方法 | |
CN116433767B (zh) | 目标对象检测方法、装置、电子设备以及存储介质 | |
JP7429887B2 (ja) | 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム | |
US20210090278A1 (en) | Information processing apparatus, shape data generation method, and storage medium | |
WO2021192768A1 (ja) | 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム | |
EP4359092A1 (en) | Active learning event models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230302 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7246005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |