JP4886707B2 - オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム - Google Patents
オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム Download PDFInfo
- Publication number
- JP4886707B2 JP4886707B2 JP2008002580A JP2008002580A JP4886707B2 JP 4886707 B2 JP4886707 B2 JP 4886707B2 JP 2008002580 A JP2008002580 A JP 2008002580A JP 2008002580 A JP2008002580 A JP 2008002580A JP 4886707 B2 JP4886707 B2 JP 4886707B2
- Authority
- JP
- Japan
- Prior art keywords
- trajectory
- video
- extracting
- feature
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は、取得した映像フレーム毎に画像から抽出した第1のオブジェクト(例えば、投手が投げた球等)位置から軌道を求める。更に、求めた軌跡データ以外に第1のオブジェクトの軌跡に対応して移動する第2のオブジェクト(例えば、投球動作中の捕手の動き等)の動き、及び映像中に表示される文字情報(例えば、テロップ表示される球速情報等)を特徴量として、そのオブジェクトの軌道(球種)を識別する。
図2は、本実施形態におけるオブジェクト軌道識別装置の概要構成の一例を示す図である。なお、図2に示すオブジェクト軌道識別装置10は、例えばPC(Personal Computer)等の汎用コンピュータ等により実現される。
上述した投球軌跡作画装置11の機能構成例について図を用いて説明する。図3は、投球軌跡作画装置の機能構成の一例を示す図である。図3に示す投球軌跡作画装置11は、映像オブジェクト抽出装置21と、映像遅延手段22と、作画・画像合成手段23とを有するよう構成されている。
以下の(1)式で表される。
e=4πS/L2 ・・・(1)
フィルタ処理部323は、特徴量解析部322が算出したパラメータの値を用いて、抽出条件記憶手段33に記憶されている抽出条件情報に合致する映像オブジェクトか否かを判定することで、抽出(追跡)対象となる映像オブジェクトを絞り込むものである。即ち、このフィルタ処理部323は、映像オブジェクトの候補毎に抽出条件記憶手段33に記憶されている抽出条件(例えば、面積、輝度、色及び円形度)や、後述する位置予測手段34による予測位置に基づいて、特徴量解析部322で解析された特徴量をフィルタ(位置フィルタ、面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタ)にかけることで、抽出条件を満たす映像オブジェクトを、抽出すべき映像オブジェクトの候補として選択する。
軌跡特徴量抽出手段12は、上述した投球軌跡作画装置11により生成された軌跡データに対して軌跡特徴量を抽出する。
・軌跡の傾き(1次微係数):全体、前半部、中間部、後半部
・軌跡の曲率(2次微係数):全体、前半部、中間部、後半部
・フレーム間の動きベクトル(水平、垂直):前半部、中間部、後半部(各4フレーム分)
これらの特徴量を集団学習アルゴリズムで学習し、球種識別器を作成する。実これにより、Typeデータ3分類で高い識別精度が得られる。なお、Kindデータ9分類の識別は、低い精度に留まった。投球数の少ない球種はより投球数の多い同系球種に誤判定される場合が多い。そのため、個別球種の再現率を向上させる必要がある。そこで、球種判定担当者の意見を参考に軌跡データ以外から得られる特徴量を検討する。
本実施形態では、上述した以外の特徴量を算出するために、捕手動作から特徴量を抽出する。具体的に説明すると、通常、捕手は、投球前にサインを出してボールのコースや球種を決定し、狙うべきコースへミットを構える。そこで、本実施形態では、この捕手の動作を分析することで球種をある程度絞り込む。
ただし、投球の合間にカメラ操作が行われるため、捕手領域の位置,サイズは投球の度に若干変化する。そこで、映像正規化手段13は、広告領域内の特徴点を参照し捕手領域を投球毎に自動更新(正規化)する。
次に、映像正規化手段13の機能構成例について図を用いて説明する。図5は、映像正規化手段の機能構成の一例を示す図である。図5に示す映像正規化手段13は、背景特徴点探索部51と、背景特徴点記憶部52と、対応点探索部53と、変換行列算出部54と、座標変換部55と、テンプレート領域記憶部56とを有するよう構成されている。
また、対応点探索部53は、現フレーム画像中の特徴点(m番目)と、テンプレート画像中の特徴量とのユークリッド距離が最も小さくなる特徴点n’を以下に示す(4)式により求め、その点を対応点とする。
次に、動作特徴量抽出手段14における機能構成例について図を用いて説明する。なお、動作特徴抽出手段14は、上述した捕手の動きから動作特徴量を抽出する。また、本実施形態では、動作特徴量の一例としてSIFT特徴量を抽出する。
捕手領域内の特徴点を追跡し,捕手の動きを計測するために、特徴点探索部91は、映像中のある時刻t及びt−1において予め設定されている捕手領域内におけるSIFT特徴量を探索する。特徴点探索部91は、取得したSIFT特徴量を特徴点記憶部92及び対応点探索部93に出力する。したがって、特徴点記憶部92は、映像中のある時刻t及びt−1におけるSIFT特徴量が蓄積される。
次に、本実施形態では、球種を識別する第3の特徴量として球速値を用いる。例えば、プロ野球の放送映像には、例えば、図4(a)に示すようにスピードガンで計測した球速テロップ(図4(a)では、「131km/h」)が即座に画面に所定時間表示される。この速度は、球種によって変化するため,球速値は、球種識別に有効である。そこで、本実施形態では、画像中の文字を認識し特徴量に追加する。
を偽と2値化した画像St〜St−(m−1)を作成する。更に、画像St〜St−(m−1)間で連続して真値を持つ画素を注目画素とする。縦方向及び横方向に注目画素をカウントし、両方向でカウント数が閾値を超えた画素をテロップ画素Ttとし、それらを包含する矩形領域をテロップ領域とする。ここで、図13(b)には、テロップ領域の検出状況を示している。図13(b)に示す画像122では、水平,垂直のそれぞれのライン123−1,123−2が交差している部分がテロップ画素となる。
次に、識別手段16における機能構成例について説明する。識別手段16では、軌道特徴量抽出手段12により得られる球(オブジェクト)の軌道特徴量、動作特徴量抽出手段14により得られる動きベクトル、テロップ特徴量抽出手段により得られる球速値に基づいて図1に示すような予め設定される球種のうち、特定の球種を選択する。
ここで、上述したオブジェクト軌道識別装置10は、CPU(Central Processing Unit)、RAM(Random Access Memory)等の揮発性の記憶媒体、ROM(Read Only Memory)等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインターフェース等を備えたコンピュータによって構成することができる。
次に、本発明における実行プログラムによる処理手順例についてフローチャートを用いて説明する。なお、以下の処理の説明では、オブジェクトの軌道識別の一例として野球中継における投手が打者に投げた球の球種を識別する例を用いるが本発明におけるオブジェクトの種類については特に限定されるものではない。
ここで、本発明手法の有効性を検討する。既に記録されたプロ野球中継の5試合分の試合映像から、447球分の投球シーンを用いて本手法の有効性を検討を行った。
11 投球軌跡生成蔵置
12 軌跡特徴量抽出手段
13 映像正規化手段
14 動作特徴量抽出手段
15 テロップ特徴量抽出手段
16 識別手段
21 映像オブジェクト抽出装置
22 映像遅延手段
23 作画・画像合成手段
31 オブジェクト候補画像生成手段
32 ボール選定手段
33 抽出条件記憶手段
34 位置予測手段
35 探索領域設定手段
40,70,80,83,100,122 画像
41 球の軌跡データ
51 背景特徴点探索部
52 背景特徴点記憶部
53 対応点探索部
54 変換行列算出部
55 座標変換部
56 テンプレート領域記憶部
60 テンプレート画像
61 背景特徴領域
62 捕手領域
71 広告領域
81 ブロック
82 矢印
91 特徴点探索部
92 特徴点記憶部
93 対応点探索部
94 動きベクトル算出部
101 動きベクトル
111 テロップ探索部
112 文字認識部
120 エッジ画像
121 球速テロップ
123 ライン
131 母集団データ
132 サブデータセット
141 入力装置
142 出力装置
143 ドライブ装置
144 補助記憶装置
145 メモリ装置
146 CPU
147 ネットワーク接続装置
148 記録媒体
231 作画部
232 画像合成部
311,312 画像記憶部
313,314 差分画像生成部
315 候補画像生成部
321 ラベリング部
322 特徴量解析部
323 フィルタ処理部
324 オブジェクト選択部
341 線形予測部
342 曲線予測部
343 切替部
Claims (7)
- 入力される映像中に含まれる時間と共に移動する第1のオブジェクトの軌道を識別するオブジェクト軌道識別装置において、
前記映像を構成する時系列の画像内における第1のオブジェクトを抽出してオブジェクトの軌跡データを生成し、生成した軌跡データからオブジェクトの軌道特徴量を抽出する軌道特徴量抽出手段と、
前記第1のオブジェクトの軌跡に対応して移動する第2のオブジェクトを抽出して、抽出した第2のオブジェクトの動きベクトルを特徴量として抽出する動作特徴量抽出手段と、
前記映像中に含まれる文字情報を特徴量として抽出する文字特徴量抽出手段と、
前記軌道特徴量抽出手段、前記動作特徴量抽出手段、及び前記文字特徴量抽出手段とにより得られるそれぞれの特徴量に基づいて、予め設定された軌道種別の中から前記第1のオブジェクトの軌道を識別する識別手段とを有することを特徴とするオブジェクト軌道識別装置。 - 前記映像中に含まれる背景領域を参照して、撮影方向・画角を補正する映像正規化手段を有し、
前記動作特徴量抽出手段は、前記映像正規化手段により得られる正規化された映像から前記第2のオブジェクトを抽出することを特徴とする請求項1に記載のオブジェクト軌道識別装置。 - 前記第1のオブジェクトは、投手が投げる球であり、前記第2のオブジェクトは、捕手であることを特徴とする請求項1又は2に記載のオブジェクト軌道識別装置。
- 前記動作特徴量抽出手段は、
予め設定される映像内の特定の選手又はオブジェクトを追跡して動きベクトルを計測することを特徴とする請求項1乃至3の何れか1項に記載のオブジェクト軌道識別装置。 - 前記文字特徴量抽出手段は、
映像内からテロップ領域を抽出し、前記テロップ領域に含まれる文字情報を認識して球速情報を取得することを特徴とする請求項1乃至4の何れか1項の記載のオブジェクト軌道識別装置。 - 入力される映像中に含まれる時間と共に移動する第1のオブジェクトの軌道を識別するオブジェクト軌道識別方法において、
前記映像を構成する時系列の画像内における第1のオブジェクトを抽出してオブジェクトの軌跡データを生成し、生成した軌跡データからオブジェクトの軌道特徴量を抽出する軌道特徴量抽出ステップと、
前記第1のオブジェクトの軌跡に対応して移動する第2のオブジェクトを抽出して、抽出した第2のオブジェクトの動きベクトルを特徴量として抽出する動作特徴量抽出ステップと、
前記映像中に含まれる文字情報を特徴量として抽出する文字特徴量抽出ステップと、
前記軌道特徴量抽出ステップ、前記動作特徴量抽出ステップ、及び前記文字特徴量抽出ステップとにより得られるそれぞれの特徴量に基づいて、予め設定された軌道種別の中から前記第1のオブジェクトの軌道を識別する識別ステップとを有することを特徴とするオブジェクト軌道識別方法。 - 入力される映像中に含まれる時間と共に移動する第1のオブジェクトの軌道を識別するオブジェクト軌道識別プログラムにおいて、
コンピュータを、
前記映像を構成する時系列の画像内における第1のオブジェクトを抽出してオブジェクトの軌跡データを生成し、生成した軌跡データからオブジェクトの軌道特徴量を抽出する軌道特徴量抽出手段、
前記第1のオブジェクトの軌跡に対応して移動する第2のオブジェクトを抽出して、抽出した第2のオブジェクトの動きベクトルを特徴量として抽出する動作特徴量抽出手段、
前記映像中に含まれる文字情報を特徴量として抽出する文字特徴量抽出手段、及び、
前記軌道特徴量抽出手段、前記動作特徴量抽出手段、及び前記文字特徴量抽出手段とにより得られるそれぞれの特徴量に基づいて、予め設定された軌道種別の中から前記第1のオブジェクトの軌道を識別する識別手段として機能させるためのオブジェクト軌道識別プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008002580A JP4886707B2 (ja) | 2008-01-09 | 2008-01-09 | オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008002580A JP4886707B2 (ja) | 2008-01-09 | 2008-01-09 | オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009163639A JP2009163639A (ja) | 2009-07-23 |
JP4886707B2 true JP4886707B2 (ja) | 2012-02-29 |
Family
ID=40966160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008002580A Expired - Fee Related JP4886707B2 (ja) | 2008-01-09 | 2008-01-09 | オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4886707B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5872829B2 (ja) * | 2010-10-01 | 2016-03-01 | 株式会社レイトロン | 動作解析装置 |
US20130268476A1 (en) * | 2010-12-24 | 2013-10-10 | Hewlett-Packard Development Company, L.P. | Method and system for classification of moving objects and user authoring of new object classes |
CN102221369B (zh) * | 2011-04-29 | 2012-10-10 | 闫文闻 | 一种球类运动的动作识别方法、装置和动作辅助设备 |
CN103440277A (zh) * | 2013-08-12 | 2013-12-11 | 合肥寰景信息技术有限公司 | 一种动作模型特征库及其构建方法 |
CN108960056B (zh) * | 2018-05-30 | 2022-06-03 | 西南交通大学 | 一种基于姿态分析和支持向量数据描述的跌倒检测方法 |
US11584004B2 (en) * | 2019-12-17 | 2023-02-21 | X Development Llc | Autonomous object learning by robots triggered by remote operators |
CN111403021B (zh) * | 2020-03-11 | 2023-12-05 | 中国电子工程设计院有限公司 | 一种监测方法及装置 |
CN111539978B (zh) * | 2020-04-23 | 2023-06-27 | 抖音视界有限公司 | 用于生成解说信息的方法、装置、电子设备和介质 |
CN112765399A (zh) * | 2020-12-25 | 2021-05-07 | 联想(北京)有限公司 | 一种视频数据处理方法及电子设备 |
CN115037992A (zh) * | 2022-06-08 | 2022-09-09 | 中央广播电视总台 | 视频处理方法、装置和存储介质 |
-
2008
- 2008-01-09 JP JP2008002580A patent/JP4886707B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009163639A (ja) | 2009-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4886707B2 (ja) | オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム | |
US11755952B2 (en) | System and method for predictive sports analytics using body-pose information | |
US11544928B2 (en) | Athlete style recognition system and method | |
JP4956273B2 (ja) | 投球球種識別装置、識別器生成装置、投球球種識別プログラム及び識別器生成プログラム | |
US20210106893A1 (en) | Virtual environment construction apparatus, video presentation apparatus, model learning apparatus, optimal depth decision apparatus, methods for the same, and program | |
JP6525453B2 (ja) | オブジェクト位置推定システム、及びそのプログラム | |
Chen et al. | Physics-based ball tracking and 3D trajectory reconstruction with applications to shooting location estimation in basketball video | |
Hu et al. | Robust camera calibration and player tracking in broadcast basketball video | |
RU2498404C2 (ru) | Способ и устройство для генерирования регистрационной записи события | |
CN113508419B (zh) | 从广播视频生成运动员跟踪数据的系统及方法 | |
JP6148480B2 (ja) | 画像処理装置、画像処理方法 | |
US20190089923A1 (en) | Video processing apparatus for displaying a plurality of video images in superimposed manner and method thereof | |
JP6742221B2 (ja) | オブジェクト追跡装置及びそのプログラム | |
JP2005509962A (ja) | 放送イベントにおけるロゴの視聴者への公表についての識別と評価 | |
JP6649231B2 (ja) | 検索装置、検索方法およびプログラム | |
CN109684919B (zh) | 一种基于机器视觉的羽毛球发球违例判别方法 | |
Santhosh et al. | An Automated Player Detection and Tracking in Basketball Game. | |
Pallavi et al. | Graph-based multiplayer detection and tracking in broadcast soccer videos | |
JP6983049B2 (ja) | オブジェクト追跡装置及びそのプログラム | |
JP4906588B2 (ja) | 特定動作判定装置、リファレンスデータ生成装置、特定動作判定プログラム及びリファレンスデータ生成プログラム | |
JP7066405B2 (ja) | 画像識別装置、プログラム及び画像識別方法 | |
JP4546762B2 (ja) | 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム | |
Jayanth et al. | Automated classification of cricket pitch frames in cricket video | |
Gade et al. | Audio-visual classification of sports types | |
JP6394184B2 (ja) | 判定プログラム、方法、及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111209 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |