JP4764332B2 - パラメータ情報作成装置及びパラメータ情報作成プログラム、並びに、イベント検出装置及びイベント検出プログラム - Google Patents
パラメータ情報作成装置及びパラメータ情報作成プログラム、並びに、イベント検出装置及びイベント検出プログラム Download PDFInfo
- Publication number
- JP4764332B2 JP4764332B2 JP2006356572A JP2006356572A JP4764332B2 JP 4764332 B2 JP4764332 B2 JP 4764332B2 JP 2006356572 A JP2006356572 A JP 2006356572A JP 2006356572 A JP2006356572 A JP 2006356572A JP 4764332 B2 JP4764332 B2 JP 4764332B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- event
- information
- parameter
- subjects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
「スポーツ中継映像データベースのカメラワーク情報による特徴解析手法」、日本データベース学会Letters Vol.1,No.2,pp.32−35.
また、パラメータ情報作成装置は、パラメータのサンプリングを、隠れマルコフモデルに対するマルコフ連鎖モンテカルロ法によって行う。
かかる構成によれば、パラメータ情報作成装置は、マルコフ連鎖モンテカルロ法を、パラメータをサンプリングする際の学習方法に設定しておくことで、確率・統計的に最も確からしいパラメータ情報を得ることができる。
また、パラメータ情報作成装置は、パラメータのサンプリングを、隠れマルコフモデルに対するマルコフ連鎖モンテカルロ法によって行う。
(イベント検出システムの構成)
図1はイベント検出システムのブロック図である。この図1に示すように、イベント検出システムSは、パラメータ自動獲得装置(パラメータ情報作成装置)1と、スポーツ映像入力装置3と、イベント生起確率算出装置(イベント検出装置)5と、検出イベント出力装置7とを備えている。
例えば、特徴量情報は、すべての選手の人数(個数)と、すべての選手の位置の平均値(平均位置)と、すべての選手の位置の共分散行列と、すべての選手の速度の平均値(平均速度)と、すべての選手の速度の共分散行列と、特定チーム所属選手(特定種別の被写体)の人数(個数)と、特定チーム所属選手の位置の平均値(平均位置)と、特定チーム所属選手の速度の平均値(平均速度)と、特定チーム所属選手の位置の共分散行列と、特定チーム所属選手の速度の共分散行列と、特定箇所(特定領域)にいる選手人数と、特定箇所にいる選手の有無を表すフラグと、特定箇所に存在する選手人数をチーム区別せずに集計した人数と、特定箇所に存在する選手人数をチームごとに集計した人数と、の少なくとも1つを含んだものである。
また、事後確率最大化法は、Q.Huo and C.Chan,“Bayesian Adaptive Learning of the Parameters of Hidden Markov Model for Speech Recognition”,IEEE Trans.Speech and Audio Processing,vol.3,pp.334−345,1995に開示されている手法でよい。
統計モデルは、状態遷移の機構を内包するもので、具体的には、隠れマルコフモデルや、隠れセミマルコフモデル、動的ベイズネットワークモデルである。
次に、図4に示すフローチャートを参照して、パラメータ自動獲得装置1の動作について説明する(適宜、図1参照)。
まず、パラメータ自動獲得装置1は、選手位置追跡部11によって、スポーツ映像記録部9から読み出されたスポーツ映像情報に含まれる各フレームから選手位置情報を作成する(ステップS1)。
次に、図5に示すフローチャートを参照して、イベント生起確率算出装置5の動作について説明する(適宜、図1参照)。
まず、イベント生起確率算出装置5は、選手位置追跡部19によって、スポーツ映像入力装置3から出力されたスポーツ映像情報(入力映像データ)から選手位置情報を作成する(ステップS11)。
3 スポーツ映像入力装置
5 イベント生起確率算出装置(イベント検出装置)
7 検出イベント出力装置
9 スポーツ映像記録部
11、19 選手位置追跡部(被写体位置情報作成手段)
13、21 特徴量加工部(特徴量情報作成手段)
15 パラメータ獲得部(パラメータ情報作成手段)
17 パラメータ記録部
23 確率値算出部(イベント生起確率情報作成手段)
25 検出処理部(検出処理手段)
Claims (5)
- 映像データから検出するイベントの生起確率を算出する際に用いる隠れマルコフモデルによる統計モデルに付随するパラメータ情報を作成するパラメータ情報作成装置であって、
前記映像データを構成するフレームそれぞれから、前記被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する被写体位置情報作成手段と、
この被写体位置情報作成手段で作成された被写体の位置情報それぞれから、前記フレーム内に含まれる前記被写体の個数、前記被写体の平均位置、前記被写体の平均位置の共分散行列、前記被写体の速度、前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも1つを含む特徴量情報を作成する特徴量情報作成手段と、
この特徴量情報作成手段で作成された特徴量情報を用いて、前記統計モデルに対応したパラメータをサンプリングし、このサンプリングしたパラメータから、当該統計モデルに内包される状態遷移ごとに前記パラメータ情報を複数個作成するパラメータ情報作成手段と、
を備え、
前記パラメータ情報作成手段は、前記パラメータのサンプリングを、前記隠れマルコフモデルに対するマルコフ連鎖モンテカルロ法によって行う
ことを特徴とするパラメータ情報作成装置。 - 前記映像データがスポーツに関する映像データであり、前記被写体が当該スポーツの選手であることを特徴とする請求項1に記載のパラメータ情報作成装置。
- 映像データから検出するイベントの生起確率を算出する際に用いる隠れマルコフモデルによる統計モデルに付随するパラメータ情報を作成するために、コンピュータを、
前記映像データを構成するフレームそれぞれから、前記被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する被写体位置情報作成手段、
この被写体位置情報作成手段で作成された被写体の位置情報それぞれから、前記フレーム内に含まれる前記被写体の個数、前記被写体の平均位置、前記被写体の平均位置の共分散行列、前記被写体の速度、前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも1つを含む特徴量情報を作成する特徴量情報作成手段、
この特徴量情報作成手段で作成された特徴量情報を用いて、前記統計モデルに対応したパラメータをサンプリングし、このサンプリングしたパラメータから、当該統計モデルに内包される状態遷移ごとに前記パラメータ情報を複数個作成するパラメータ情報作成手段、
として機能させ、
前記パラメータ情報作成手段は、前記パラメータのサンプリングを、前記隠れマルコフモデルに対するマルコフ連鎖モンテカルロ法によって行う
ことを特徴とするパラメータ情報作成プログラム。 - 入力された映像データからイベントを検出するために、請求項1または2に記載のパラメータ情報作成装置で作成されたパラメータ情報を用いて、前記イベントの生起確率を算出するイベント検出装置であって、
前記入力された映像データを構成するフレームそれぞれから、前記被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する被写体位置情報作成手段と、
この被写体位置情報作成手段で作成された被写体の位置情報それぞれから、前記フレーム内に含まれる前記被写体の個数、前記被写体の平均位置、前記被写体の平均位置の共分散行列、前記被写体の速度、前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも1つを含む特徴量情報を作成する特徴量情報作成手段と、
この特徴量情報作成手段で作成された特徴量情報を用いて各イベントの種類について、各時刻におけるイベントの生起確率を時系列に沿って算出し、前記パラメータ情報作成装置で作成された複数個のパラメータ情報の全てに対応する前記イベントの生起確率の時系列を用いて、前記各イベントの種類について時刻ごとに平均値をとって前記各イベントの種類の時刻ごとのイベント生起確率を算出し、この算出した生起確率を用いて、イベント生起確率情報を作成するイベント生起確率情報作成手段と、
このイベント生起確率情報作成手段で作成されたイベント生起確率情報を用いて、予め設定したイベント検出方法により、前記入力された映像データのイベントを検出する検出処理手段と、
を備えることを特徴とするイベント検出装置。 - 請求項3に記載のパラメータ情報作成プログラムで作成されたパラメータ情報を用いて、前記イベントの生起確率を算出して、入力された映像データからイベントを検出するために、コンピュータを、
入力された入力映像データを構成するフレームそれぞれから、前記被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する被写体位置情報作成手段、
この被写体位置情報作成手段で作成された被写体の位置情報それぞれから、前記フレーム内に含まれる前記被写体の個数、前記被写体の平均位置、前記被写体の平均位置の共分散行列、前記被写体の速度、前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも1つを含む特徴量情報を作成する特徴量情報作成手段、
この特徴量情報作成手段で作成された特徴量情報を用いて各イベントの種類について、各時刻におけるイベントの生起確率を時系列に沿って算出し、前記パラメータ情報作成プログラムで作成された複数個のパラメータ情報の全てに対応する前記イベントの生起確率の時系列を用いて、前記各イベントの種類について時刻ごとに平均値をとって前記各イベントの種類の時刻ごとのイベント生起確率を算出し、この算出した生起確率を用いて、イベント生起確率情報を作成するイベント生起確率情報作成手段、
このイベント生起確率情報作成手段で作成されたイベント生起確率情報を用いて、予め設定したイベント検出方法により、前記入力映像イベントを検出する検出処理手段、
として機能させることを特徴とするイベント検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006356572A JP4764332B2 (ja) | 2006-12-28 | 2006-12-28 | パラメータ情報作成装置及びパラメータ情報作成プログラム、並びに、イベント検出装置及びイベント検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006356572A JP4764332B2 (ja) | 2006-12-28 | 2006-12-28 | パラメータ情報作成装置及びパラメータ情報作成プログラム、並びに、イベント検出装置及びイベント検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008165636A JP2008165636A (ja) | 2008-07-17 |
JP4764332B2 true JP4764332B2 (ja) | 2011-08-31 |
Family
ID=39695009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006356572A Expired - Fee Related JP4764332B2 (ja) | 2006-12-28 | 2006-12-28 | パラメータ情報作成装置及びパラメータ情報作成プログラム、並びに、イベント検出装置及びイベント検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4764332B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4764362B2 (ja) * | 2007-02-15 | 2011-08-31 | 日本放送協会 | イベント判別装置及びイベント判別プログラム |
JP4670923B2 (ja) * | 2008-09-22 | 2011-04-13 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
JP5532645B2 (ja) * | 2009-03-26 | 2014-06-25 | 株式会社ニコン | 映像編集プログラムおよび映像編集装置 |
JP2010232814A (ja) * | 2009-03-26 | 2010-10-14 | Nikon Corp | 映像編集プログラムおよび映像編集装置 |
CN102727246B (zh) * | 2011-03-31 | 2015-06-24 | 通用电气公司 | 用于超声检测系统的学习一键预设的方法与装置 |
US8682144B1 (en) * | 2012-09-17 | 2014-03-25 | Google Inc. | Method for synchronizing multiple audio signals |
JP6249706B2 (ja) * | 2013-09-30 | 2017-12-20 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN109661812B (zh) * | 2016-09-01 | 2021-04-02 | 松下知识产权经营株式会社 | 多视点摄像系统、三维空间重构系统及三维空间识别系统 |
JP7059847B2 (ja) * | 2018-07-24 | 2022-04-26 | 富士通株式会社 | 検出装置、検出方法および検出プログラム |
JP7304747B2 (ja) * | 2019-06-20 | 2023-07-07 | 株式会社Pfu | 画像処理装置、制御方法及び制御プログラム |
JP6838753B1 (ja) * | 2019-09-19 | 2021-03-03 | ジャングルX株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP7542331B2 (ja) | 2020-06-03 | 2024-08-30 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 学習装置、物体分類装置、学習方法、物体分類方法及びコンピュータプログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000123184A (ja) * | 1998-10-09 | 2000-04-28 | Sharp Corp | 動画内のイベントを検出する方法 |
JP2003032544A (ja) * | 2001-07-13 | 2003-01-31 | Nippon Hoso Kyokai <Nhk> | シーン内容情報付加装置及びシーン内容情報付加方法 |
JP2004046647A (ja) * | 2002-07-12 | 2004-02-12 | Univ Waseda | 動画像データに基づく移動物体追跡方法及び装置 |
JP2005189832A (ja) * | 2003-12-05 | 2005-07-14 | Mitsubishi Electric Research Laboratories Inc | ビデオからハイライトを検出する方法 |
JP2005196750A (ja) * | 2003-12-12 | 2005-07-21 | Mitsubishi Electric Research Laboratories Inc | 映像の構造を学習する方法 |
JP2005209148A (ja) * | 2003-12-26 | 2005-08-04 | Nippon Hoso Kyokai <Nhk> | オフサイドライン検出装置及びそのプログラム、並びに、選手位置検出装置 |
JP2006251885A (ja) * | 2005-03-08 | 2006-09-21 | Kddi Corp | スポーツ映像の分類装置およびログ生成装置 |
JP2006285878A (ja) * | 2005-04-04 | 2006-10-19 | Nippon Hoso Kyokai <Nhk> | 映像解析装置および映像解析プログラム |
-
2006
- 2006-12-28 JP JP2006356572A patent/JP4764332B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000123184A (ja) * | 1998-10-09 | 2000-04-28 | Sharp Corp | 動画内のイベントを検出する方法 |
JP2003032544A (ja) * | 2001-07-13 | 2003-01-31 | Nippon Hoso Kyokai <Nhk> | シーン内容情報付加装置及びシーン内容情報付加方法 |
JP2004046647A (ja) * | 2002-07-12 | 2004-02-12 | Univ Waseda | 動画像データに基づく移動物体追跡方法及び装置 |
JP2005189832A (ja) * | 2003-12-05 | 2005-07-14 | Mitsubishi Electric Research Laboratories Inc | ビデオからハイライトを検出する方法 |
JP2005196750A (ja) * | 2003-12-12 | 2005-07-21 | Mitsubishi Electric Research Laboratories Inc | 映像の構造を学習する方法 |
JP2005209148A (ja) * | 2003-12-26 | 2005-08-04 | Nippon Hoso Kyokai <Nhk> | オフサイドライン検出装置及びそのプログラム、並びに、選手位置検出装置 |
JP2006251885A (ja) * | 2005-03-08 | 2006-09-21 | Kddi Corp | スポーツ映像の分類装置およびログ生成装置 |
JP2006285878A (ja) * | 2005-04-04 | 2006-10-19 | Nippon Hoso Kyokai <Nhk> | 映像解析装置および映像解析プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2008165636A (ja) | 2008-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4764332B2 (ja) | パラメータ情報作成装置及びパラメータ情報作成プログラム、並びに、イベント検出装置及びイベント検出プログラム | |
Huang et al. | Tracknet: A deep learning network for tracking high-speed and tiny objects in sports applications | |
Anzer et al. | A goal scoring probability model for shots based on synchronized positional and event data in football (soccer) | |
Bertasius et al. | Am I a baller? basketball performance assessment from first-person videos | |
Chu et al. | Badminton video analysis based on spatiotemporal and stroke features | |
Perše et al. | A trajectory-based analysis of coordinated team activity in a basketball game | |
Chen et al. | Aggregate tracklet appearance features for multi-object tracking | |
JP4640155B2 (ja) | 画像処理装置および方法、並びにプログラム | |
Szűcs et al. | Body part extraction and pose estimation method in rowing videos | |
JP2009087090A (ja) | 対象物追跡装置および対象物追跡方法 | |
JP4886707B2 (ja) | オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム | |
Vats et al. | Puck localization and multi-task event recognition in broadcast hockey videos | |
JP4271930B2 (ja) | 複数の状態に基づいて連続した圧縮映像を解析する方法 | |
Ju et al. | Trajectory-based badminton shots detection | |
EP3179446A1 (en) | Orientation estimation method, and orientation estimation device | |
Lepetit et al. | Robust data association for online application | |
Liu et al. | Effective feature extraction for play detection in american football video | |
Chu et al. | Extraction of baseball trajectory and physics-based validation for single-view baseball video sequences | |
Jackman | Football shot detection using convolutional neural networks | |
Yu et al. | Automatic identification and analysis of basketball plays: NBA on-ball screens | |
Zhu et al. | Event tactic analysis based on player and ball trajectory in broadcast video | |
Huang et al. | Shot and scoring events identification of basketball videos | |
JP2010267029A (ja) | 特定動作検出装置 | |
Chang et al. | WOW: wild-open warning for broadcast basketball video based on player trajectory | |
US20230215175A1 (en) | System and method for identifying moment of snap within video of american football |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110426 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110517 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110610 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |