JP6488295B2 - 映像処理方法、映像処理装置 - Google Patents
映像処理方法、映像処理装置 Download PDFInfo
- Publication number
- JP6488295B2 JP6488295B2 JP2016527625A JP2016527625A JP6488295B2 JP 6488295 B2 JP6488295 B2 JP 6488295B2 JP 2016527625 A JP2016527625 A JP 2016527625A JP 2016527625 A JP2016527625 A JP 2016527625A JP 6488295 B2 JP6488295 B2 JP 6488295B2
- Authority
- JP
- Japan
- Prior art keywords
- play
- video
- frame
- amount
- video processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Description
まず、アメリカンフットボールの試合のルールのうち、プレーの開始および終了に関する部分の概要について説明する。
次に、本実施の形態に係るアメリカンフットボール映像処理方法を用いた映像処理装置の構成について説明する。
本実施の形態においては、動き量として、高密度オプティカルフロー(dense optical flow)のオプティカルフロー強度を採用する。すなわち、動き量は、各所における選手の動きの、方向毎の大きさを示す値である。
本実施の形態においては、初期陣形の検出手法として、識別器を用いた手法を採用する。
本実施の形態においては、密集度として、各選手の画像領域の重なり度合いを採用する。
本実施の形態においては、集中度として、量子化されたオプティカルフロー強度のそれぞれを、オプティカルフローの方向に沿って伝播させたときの、フィールドグリッド毎の総和を採用する。
次に、映像処理装置200の動作について説明する。
図16は、プレー開始推定処理の一例を示すフローチャートである。
図17は、プレー終了推定処理の一例を示すフローチャートである。
確認操作受付部240は、確認操作受付処理において、確認操作受付画面を用いて確認操作の受け付けを行う。確認操作受付処理の説明に先立って、確認操作受付画面の概要について説明する。
ここで、本実施の形態に係る映像処理装置200が適用されるシステムの具体例について説明する。
発明者は、本実施の形態にかかる映像処理装置200によるプレー区間の推定の精度に関して、実験を行った。以下、かかる実験とその結果について説明する。
実験には、2013年10月6日に行われたアメリカンフットボール社会人リーグの試合を固定カメラで撮影した映像を用いた。
発明者は、プレー開始フレームおよびプレー終了フレームを取得することによる動画縮約の精度を検証した。具体的には、実験動画(計90000フレーム、32プレー)を用いて、以下の式(10)を用いて、動画縮約率Cを算出した。ここで、frameCは、縮約後の総フレーム数であり、frameallは、元の映像の総フレーム数である。
プレー開始位置の精度評価実験においては、射影変換後のフィールド画像中で、手動で与えたground truthとユークリッド距離比較して精度比較を行った。
アメリカンフットボールでは、パスが誰にも触れられずにフィールドの外に出てしまう等、パスが失敗した場合、再度同じ場所からプレーが開始する。このため、プレー終了位置の精度評価実験は、そのような場合を除いた計15個の動画を用いて行った。そして、射影変換後の俯瞰画像中において、手動で与えた終了位置と本手法で算出した終了位置の間でユークリッド距離比較を行った。
以上説明したように、本実施の形態に係る映像処理装置200は、プレーの開始時および終了時の選手の動きや位置の特徴に着目して、プレー区間を推定するので、映像からプレー区間を効率良くかつ高精度に抽出することを可能にする。
なお、図15〜図17、図19に示す各処理の順序は、上述の例に限定されない。例えば、映像処理装置200は、フレームの動き量を、フレームを選択する毎に、開始動き条件あるいは終了動き条件に必要な区間について、都度、算出してもよい。
本技術の映像処理方法、映像処理装置は、プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理方法であって、映像データを入力し、入力した前記映像データから、フレーム毎に、選手の動き量を算出し、算出した前記動き量に基づいて、前記試合におけるプレーの開始フレームおよび、前記プレーの1つ前のプレーである直前プレーの終了したフレームである、終了フレームのうち少なくとも1つを推定する。
120 フィールド
121,122 サイドライン
123,124 ゴールライン
125,126 インバウンズライン
131,132,133 初期陣形
200 映像処理装置
210 映像入力部
220 プレー開始推定部
230 プレー終了推定部
240 確認操作受付部
250 推定結果処理部
300 色の濃い部分
301 総オプティカルフロー強度
302 プレー開始タイミング
303 プレー終了タイミング
311 左エリア
312 中央エリア
313 右エリア
314 識別器L
315 識別器C
316 識別器R
318,333 領域
319 重心の位置
322,332 矩形領域
331 フィールドグリッド
335,336,337,338 位置
339 フィールドグリット
342 集中位置
360 確認操作受付画面
361 候補表示選択領域
362 操作ボタン領域
363 映像表示領域
364 枠線
371 推定結果
372 アーカイブシステム
Claims (14)
- プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理方法であって、
前記映像データから、選手の動き量を算出し、
前記動き量の変化量が所定以上である区間を検出した後、
前記区間から前記スポーツの試合のチームの選手によって組まれる初期陣形を検出し、
前記初期陣形の検出結果に基づいて、前記試合におけるプレーの開始フレームを推定する、
映像処理方法。 - 前記プロセッサは、
前記開始フレームに基づいて、入力した前記映像データから、前記プレーの終了フレームを推定する、
請求項1に記載の映像処理方法。 - 前記プロセッサは、
前記映像データから、所定の範囲に映っている1以上の選手の動きの大きさの合計を前記動き量として算出する、
請求項2に記載の映像処理方法。 - プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理方法であって、
前記映像データから、選手の動き量を算出し、
前記動き量の変化量が所定以上である区間を検出した後、
前記区間から前記スポーツの試合のチームの選手によって組まれる初期陣形を検出し、
開始フレームにおける前記初期陣形の画像の位置を、前記試合におけるプレーの開始位置と推定する、
映像処理方法。 - 前記プロセッサは、
前記開始位置に基づいて、入力した前記映像データから、前記プレーの終了フレームを推定する、
請求項4に記載の映像処理方法。 - 前記プロセッサは、
推定した前記開始位置に基づいて、直前プレーの終了領域を推定し、
前記選手の動き量に基づいて、前記試合における前記直前プレーの終了位置を含むフレームを推定し、
推定した前記終了領域に、推定された前記終了位置が含まれることを条件として、当該終了位置に対応付けられた前記フレームを前記終了フレームと推定する、
請求項5に記載の映像処理方法。 - 前記プロセッサは、
前記選手の位置の密集度および集中度のうち少なくとも1つを算出し、算出された前記密集度および集中度のうち少なくとも1つに基づいて、前記試合における直前プレーの終了位置を推定する、
請求項5に記載の映像処理方法。 - プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理装置であって、
前記プロセッサは、
前記映像データから、選手の動き量を算出し、
前記動き量の変化量が所定以上である区間を検出した後、
前記区間から前記スポーツの試合のチームの選手によって組まれる初期陣形を検出し、
前記初期陣形の検出結果に基づいて、前記試合におけるプレーの開始フレームを推定する、
映像処理装置。 - 前記プロセッサは、
前記開始フレームに基づいて、入力した前記映像データから、前記プレーの終了フレームを推定する、
請求項8に記載の映像処理装置。 - 前記プロセッサは、
前記映像データから、所定の範囲に写っている1以上の選手の動きの大きさの合計を前記動き量として算出する、
請求項9に記載の映像処理装置。 - プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理装置であって、
前記プロセッサは、
前記映像データから、選手の動き量を算出し、
前記動き量の変化量が所定以上である区間を検出した後、
前記区間から前記スポーツの試合のチームの選手によって組まれる初期陣形を検出し、
開始フレームにおける前記初期陣形の画像の位置を、前記試合におけるプレーの開始位置と推定する、
映像処理装置。 - 前記プロセッサは、
前記開始位置に基づいて、入力した前記映像データから、前記プレーの終了フレームを推定する、
請求項11に記載の映像処理装置。 - 前記プロセッサは、
推定した前記開始位置に基づいて、直前プレーの終了領域を推定し、
前記選手の動き量に基づいて、前記試合における前記直前プレーの終了位置を含むフレームを推定し、
推定した前記終了領域に、推定された前記終了位置が含まれることを条件として、当該終了位置に対応付けられた前記フレームを前記終了フレームと推定する、
請求項12に記載の映像処理装置。 - 前記プロセッサは、
前記選手の位置の密集度および集中度のうち少なくとも1つを算出し、算出された前記密集度および集中度のうち少なくとも1つに基づいて前記試合における直前プレーの終了位置を推定する、
請求項12に記載の映像処理装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014119902 | 2014-06-10 | ||
JP2014119902 | 2014-06-10 | ||
JP2014150720 | 2014-07-24 | ||
JP2014150720 | 2014-07-24 | ||
PCT/JP2015/002808 WO2015190071A1 (ja) | 2014-06-10 | 2015-06-03 | 映像処理方法、映像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015190071A1 JPWO2015190071A1 (ja) | 2017-04-20 |
JP6488295B2 true JP6488295B2 (ja) | 2019-03-20 |
Family
ID=54833186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016527625A Active JP6488295B2 (ja) | 2014-06-10 | 2015-06-03 | 映像処理方法、映像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9928879B2 (ja) |
JP (1) | JP6488295B2 (ja) |
WO (1) | WO2015190071A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3267395B1 (en) | 2015-03-04 | 2019-08-28 | Panasonic Intellectual Property Management Co., Ltd. | Person tracking method and person tracking device |
US10025986B1 (en) * | 2015-04-27 | 2018-07-17 | Agile Sports Technologies, Inc. | Method and apparatus for automatically detecting and replaying notable moments of a performance |
JP6649231B2 (ja) | 2016-11-18 | 2020-02-19 | 株式会社東芝 | 検索装置、検索方法およびプログラム |
CN107441691B (zh) * | 2017-09-12 | 2019-07-02 | 上海视智电子科技有限公司 | 基于体感摄像头的健身方法和健身设备 |
JP6996384B2 (ja) * | 2018-03-27 | 2022-01-17 | 富士通株式会社 | 表示プログラム、表示方法および表示装置 |
US11948097B1 (en) * | 2019-04-11 | 2024-04-02 | Stark Focus LLC | System and method for viewing an event |
US11715303B2 (en) * | 2020-02-13 | 2023-08-01 | Stats Llc | Dynamically predicting shot type using a personalized deep neural network |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05253324A (ja) * | 1992-03-11 | 1993-10-05 | Zexel Corp | スポーツ用運動解析装置 |
US6389073B1 (en) * | 1998-04-07 | 2002-05-14 | Matsushita Electric Industrial Co. Ltd | Coding control method, coding control apparatus and storage medium containing coding control program |
JP2003143546A (ja) * | 2001-06-04 | 2003-05-16 | Sharp Corp | フットボールビデオ処理方法 |
US7499077B2 (en) * | 2001-06-04 | 2009-03-03 | Sharp Laboratories Of America, Inc. | Summarization of football video content |
JP2004260765A (ja) | 2003-02-27 | 2004-09-16 | Nihon Knowledge Kk | 実技分析システム及びプログラム |
AU2011203707B2 (en) * | 2010-01-05 | 2016-01-21 | Isolynx, Llc | Systems and methods for analyzing event data |
JP5809403B2 (ja) * | 2010-09-14 | 2015-11-10 | 株式会社バンダイナムコエンターテインメント | プログラム、サーバ、及びネットワークシステム |
JP5994306B2 (ja) | 2012-03-15 | 2016-09-21 | ソニー株式会社 | 情報処理装置、情報処理システムおよびプログラム |
US9367745B2 (en) * | 2012-04-24 | 2016-06-14 | Liveclips Llc | System for annotating media content for automatic content understanding |
US8803913B1 (en) * | 2013-09-09 | 2014-08-12 | Brian Scott Edmonston | Speed measurement method and apparatus |
-
2015
- 2015-06-03 US US15/312,692 patent/US9928879B2/en active Active
- 2015-06-03 WO PCT/JP2015/002808 patent/WO2015190071A1/ja active Application Filing
- 2015-06-03 JP JP2016527625A patent/JP6488295B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2015190071A1 (ja) | 2015-12-17 |
US9928879B2 (en) | 2018-03-27 |
US20170206932A1 (en) | 2017-07-20 |
JPWO2015190071A1 (ja) | 2017-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6488295B2 (ja) | 映像処理方法、映像処理装置 | |
US11594029B2 (en) | Methods and systems for determining ball shot attempt location on ball court | |
US11810321B2 (en) | Methods and systems for multiplayer tagging using artificial intelligence | |
US9473748B2 (en) | Video tracking of baseball players to determine the end of a half-inning | |
CN102819749B (zh) | 一种基于视频分析的足球越位自动判别系统和方法 | |
US7310589B2 (en) | Processing of video content | |
US9007463B2 (en) | Video tracking of baseball players which identifies merged participants based on participant roles | |
JP6249706B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN112154482A (zh) | 球类运动影像分析装置及球类运动影像分析方法 | |
US10803598B2 (en) | Ball detection and tracking device, system and method | |
US20230377336A1 (en) | Method of operating server providing sports video-based platform service | |
Vats et al. | Puck localization and multi-task event recognition in broadcast hockey videos | |
KR20090118634A (ko) | 운동경기의 자동분석 시스템 및 그 방법 | |
KR101701632B1 (ko) | 판정 방법 및 장치 | |
JP7113335B2 (ja) | プレイ分析装置、及び、プレイ分析方法 | |
JP7113336B2 (ja) | プレイ分析装置、及び、プレイ分析方法 | |
JP6371020B1 (ja) | 情報処理装置 | |
WO2020071092A1 (ja) | プレイ分析装置、及び、プレイ分析方法 | |
KR20210048050A (ko) | 중계 영상을 활용한 야구 경기 분석 장치 및 방법과 요약 비디오 생성 방법 | |
JP7296546B2 (ja) | プレイ分析装置、及び、プレイ分析方法 | |
US20230031622A1 (en) | Live Possession Value Model | |
KITAHARA et al. | A Proposal on Automatic Analysis Method of Tennis Play Using Movies of Tennis Match |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170126 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180226 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190225 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6488295 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |