JP4972016B2 - 動画像処理方法、動画像処理装置および動画像処理プログラム - Google Patents
動画像処理方法、動画像処理装置および動画像処理プログラム Download PDFInfo
- Publication number
- JP4972016B2 JP4972016B2 JP2008060339A JP2008060339A JP4972016B2 JP 4972016 B2 JP4972016 B2 JP 4972016B2 JP 2008060339 A JP2008060339 A JP 2008060339A JP 2008060339 A JP2008060339 A JP 2008060339A JP 4972016 B2 JP4972016 B2 JP 4972016B2
- Authority
- JP
- Japan
- Prior art keywords
- hidden
- variables
- moving image
- unit
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
B. Leibe, N.Cornelis, K. Cornelis and L. Van Gool, "Dynamic 3D Scene Analysis from a Moving Vehicle", in Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, 2007. S. Saerkkae, A. Vehtari and J. Lampinen, "Rao-Blackwellized Particle Filter for Multiple Target Tracking", Information Fusion, Vol. 8, N0. 1, pp・2-15, 2007. M. Ramoni and P. Sebastiani and P. Cohen, "Bayesian Clustering by Dynamics", Machine Learning, Vol. 47, No. 1, pp. 91-121 , 2002. P. Smyth, "Clustering Sequences with Hidden Markov Models",in Advances in Neural Information Processing Systems 9, pp. 648-654, 1997. F. Caron, M. Davy, A. Doucet, E. Duflos and P. Vanheeghe,"Bayesian Inference for Linear Dynamic Models with DirichletProcess Mixtures", IEEE Transactions on Signal Processing, To appear, 2007. M. J. Cassidy and W. D. Penny, "Bayesian Nonstationary Autoregressive Models for Biomedical Signal Analysis", IEEE Transactions on Biomedical Engineering, Vol. 49, No. 10, PP. 1142-1152, 2002.
まず、本実施形態の動画像処理装置の構成について説明する。図1は、本実施形態に係る動画像処理装置の構成を模式的に示す機能ブロック図である。動画像処理装置1は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、入出力インタフェースなどから構成されるコンピュータ装置である。図1に示すように、動画像処理装置1は、演算手段2(例えばCPUとRAM)、記憶手段3(例えばROMとHDD)、キーボードやマウスなどの入力手段4、および、液晶表示機などの出力手段5を備え、それらがバスライン6で接続されている。なお、ここでは動画像処理装置1の構成の概要について説明し、詳細については図2A以下で説明する。
次に、本手法の計算処理の概要とその目的について説明する。図2Aは、複数対象追跡のイメージ図である。観測データの一部は追跡すべき対象と関係ないノイズであることもある。本手法では、複数の追跡対象の状態ベクトルx(t)(例えば2次元の位置ベクトル)を、観測された時系列データ(観測データ)Y(t)={y(t)},t=1,2,・・・,から推定することが目標である。
続いて、本手法の計算に用いられる生成モデルについて説明する。図2Bは、本手法の計算に用いられる生成モデルのグラフィカルモデルである。図2Bでは、確率変数間の依存関係と、それらの変数から時系列データが生成される過程を表現している。生成されるデータは追跡対象の状態(位置)を表すx(t)と、状態量にノイズの重畳した観測量であるy(t)である。この生成モデルはダイナミクスパラメータの混合モデルに従う複数対象の行動データを表現できる。
次に、本手法の計算アルゴリズムについて説明する。最終的な目標は、各時刻において事後分布p(x(t)|Y(t))を計算することであり、例えば次の式(1)によって計算できる。
次の式(4)〜(8)に示すように、条件付き分布p(φ(t)|Φ(t−1))を定義できる。
ここで、nsはシーン中に現存している追跡対象の数、ndは時刻tにシーンから消えた対象数、そして(nb={0,1})が新たに生成した追跡対象の数である。
次に、人工データと実動画データを用いて本手法の性能を確認した実験について説明する。
<比較手法>
本手法の比較対象として隠れ変数の数を減じた2モデルを用意し、隠れ変数導入の効果を評価する。これら3モデルの特徴を表1に示した。
この実験では、[0:200]×[0:200]の仮想2次元空間中の移動質点のトラッキングとクラスタリングをタスクとする。データの例を図14に示す。図14は、人工データに対応する図であり、(a)が観測データ(「○」で示す)、(b)が正解データである。図14(b)において、「●」が追跡対象を示し、「○」がノイズを示す。追跡対象(質点)の隠れ状態量は、各対象の位置を表す2次元の実数ベクトルとする。また、観測量も2次元実数ベクトルである。これらはノイズによって劣化した対象位置の情報を表す。なお、これらのベクトルは整数ベクトルでも機能する。各対象は次の式(34)、式(35)に示すランダムウォークモデルに従う。
次に、実動画像データを用いた実験について説明する。デジタルカメラで撮影された320×240ピクセルの動画像を用いて、シーン中の歩行者から抽出される特徴点の追跡とクラスタリングを行う。
2 演算手段
3 記憶手段
4 入力手段
5 出力手段
6 バスライン
21 隠れ変数集合推定部
22 隠れ状態推定部
23 リサンプリング部
24 ハイパーパラメータ部
211 隠れ変数決定部
212 隠れ変数重み計算部
2111 移動対象数決定部
2112 動作パターン番号決定部
2113 動作パターンパラメータ決定部
2114 移動対象対応関係決定部
Claims (7)
- 複数の移動対象が存在する動画像に関する観測データが入力として与えられる場合に、確率的な生成モデルを用いて、前記複数の移動対象に関する真値の推定量を示す隠れ状態量の時間発展関数と観測データを計算するための観測関数とを示すダイナミクスの、パターン数および各特徴を推定することで、前記複数の移動対象の隠れ状態量を推定する動画像処理装置による動画像処理方法であって、
前記動画像処理装置は、前記観測データ、前記移動対象それぞれの隠れ状態量、前記移動対象それぞれに関する前記観測データと前記隠れ状態量それぞれとの間の関係を示す複数の隠れ変数、前記隠れ変数それぞれの重み、および、前記ダイナミクスのハイパーパラメータ、を記憶する記憶手段と、演算手段と、を備えており、
前記演算手段は、
隠れ変数集合推定部が、前記観測データに基づいて、前記複数の隠れ変数、および、前記隠れ変数それぞれの重みを推定するステップと、
隠れ状態推定部が、前記観測データ、現在計算している時刻の1つ前の時刻の前記隠れ状態量、および、前記隠れ変数集合推定部が推定した前記複数の隠れ変数に基づいて、前記隠れ状態量を推定するステップと、
リサンプリング部が、前記隠れ変数集合推定部が推定した前記複数の隠れ変数、および、前記隠れ状態推定部が推定した前記隠れ状態量に基づいて、前記隠れ変数の一推定結果とそれに付随した隠れ状態量の推定結果を示すパーティクルを、前記隠れ変数の重みが大きいほど多く選択されるようにサンプリングするステップと、
ハイパーパラメータ更新部が、前記観測データ、前記リサンプリング部によるサンプリング結果に含まれる前記隠れ変数および前記隠れ状態量、ならびに、現在計算している時刻の1つ前の時刻の前記ハイパーパラメータに基づいて、前記ハイパーパラメータをベイズ推定により更新するステップと、
を繰り返し実行することで、前記隠れ状態推定部による前記複数の移動対象の隠れ状態量の推定を行う
ことを特徴とする動画像処理方法。 - 前記隠れ変数集合推定部は、前記観測データに基づいて、前記複数の隠れ変数、および、前記隠れ変数それぞれの重みを推定するステップにおいて、
隠れ変数決定部が、前記1つ前の時刻の前記隠れ状態量、前記1つ前の時刻の前記複数の隠れ変数、および、前記1つ前の時刻の前記隠れ変数それぞれの重みに基づいて、前記パーティクルごとに、前記複数の隠れ変数を推定するステップと、
隠れ変数重み計算部が、前記隠れ変数決定部が推定した前記複数の隠れ変数に基づいて、前記パーティクルごとに、前記隠れ変数それぞれの重みを推定するステップと、
を実行することを特徴とする請求項1に記載の動画像処理方法。 - 前記隠れ変数決定部は、前記1つ前の時刻の前記隠れ状態量、前記1つ前の時刻の前記複数の隠れ変数、および、前記1つ前の時刻の前記隠れ変数それぞれの重みに基づいて、前記パーティクルごとに、前記複数の隠れ変数を推定するステップにおいて、
前記1つ前の時刻の前記隠れ状態量、前記1つ前の時刻の前記複数の隠れ変数、および、現在計算している時刻の前記観測データの入力を受け付け、
移動対象数決定部が、前記複数の隠れ変数のうち、ある時刻において前記移動対象それぞれが前記動画像中に存在するか否かを表す前記隠れ変数を決定するステップと、
動作パターン番号決定部が、前記複数の隠れ変数のうち、前記移動対象の動作パターンの識別子を表す前記隠れ変数を決定するステップと、
動作パターンパラメータ決定部が、前記動作パターンのパラメータを決定するステップと、
移動対象対応関係決定部が、前記複数の隠れ変数のうち、前記観測データと前記移動対象の対応関係を表す前記隠れ変数を決定するステップと、
を実行することを特徴とする請求項2に記載の動画像処理方法。 - 複数の移動対象が存在する動画像に関する観測データが入力として与えられる場合に、確率的な生成モデルを用いて、前記複数の移動対象に関する真値の推定量を示す隠れ状態量の時間発展関数と観測データを計算するための観測関数とを示すダイナミクスの、パターン数および各特徴を推定することで、前記複数の移動対象の隠れ状態量を推定する動画像処理装置であって、
前記観測データ、前記移動対象それぞれの隠れ状態量、前記移動対象それぞれに関する前記観測データと前記隠れ状態量それぞれとの間の関係を示す複数の隠れ変数、前記隠れ変数それぞれの重み、および、前記ダイナミクスのハイパーパラメータ、を記憶する記憶手段と、
前記観測データに基づいて、前記複数の隠れ変数、および、前記隠れ変数それぞれの重みを推定する隠れ変数集合推定部、
前記観測データ、現在計算している時刻の1つ前の時刻の前記隠れ状態量、および、前記隠れ変数集合推定部が推定した前記複数の隠れ変数に基づいて、前記隠れ状態量を推定する隠れ状態推定部、
前記隠れ変数集合推定部が推定した前記複数の隠れ変数、および、前記隠れ状態推定部が推定した前記隠れ状態量に基づいて、前記隠れ変数の一推定結果とそれに付随した隠れ状態量の推定結果を示すパーティクルを、前記隠れ変数の重みが大きいほど多く選択されるようにサンプリングするリサンプリング部、
前記観測データ、前記リサンプリング部によるサンプリング結果に含まれる前記隠れ変数および前記隠れ状態量、ならびに、現在計算している時刻の1つ前の時刻の前記ハイパーパラメータに基づいて、前記ハイパーパラメータをベイズ推定により更新するハイパーパラメータ更新部、
を有し、前記隠れ変数集合推定部、前記隠れ状態推定部、前記リサンプリング部、および、前記ハイパーパラメータ更新部による処理を繰り返すことで、前記隠れ状態推定部による前記複数の移動対象の隠れ状態量の推定を行う演算手段と、
を備えていることを特徴とする動画像処理装置。 - 前記隠れ変数集合推定部は、
前記1つ前の時刻の前記隠れ状態量、前記1つ前の時刻の前記複数の隠れ変数、および、前記1つ前の時刻の前記隠れ変数それぞれの重みに基づいて、前記パーティクルごとに、前記複数の隠れ変数を推定する隠れ変数決定部と、
前記隠れ変数決定部が推定した前記複数の隠れ変数に基づいて、前記パーティクルごとに、前記隠れ変数それぞれの重みを推定する隠れ変数重み計算部と、
を備えることを特徴とする請求項4に記載の動画像処理装置。 - 前記隠れ変数決定部は、
前記1つ前の時刻の前記隠れ状態量、前記1つ前の時刻の前記複数の隠れ変数、および、現在計算している時刻の前記観測データの入力を受け付け、
前記複数の隠れ変数のうち、ある時刻において前記移動対象それぞれが前記動画像中に存在するか否かを表す前記隠れ変数を決定する移動対象数決定部と、
前記複数の隠れ変数のうち、前記移動対象の動作パターンの識別子を表す前記隠れ変数を決定する動作パターン番号決定部と、
前記動作パターンのパラメータを決定する動作パターンパラメータ決定部と、
前記複数の隠れ変数のうち、前記観測データと前記移動対象の対応関係を表す前記隠れ変数を決定する移動対象対応関係決定部と、
を備えることを特徴とする請求項5に記載の動画像処理装置。 - コンピュータを請求項4ないし請求項6のいずれか一項に記載の動画像処理装置として機能させるための動画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008060339A JP4972016B2 (ja) | 2008-03-10 | 2008-03-10 | 動画像処理方法、動画像処理装置および動画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008060339A JP4972016B2 (ja) | 2008-03-10 | 2008-03-10 | 動画像処理方法、動画像処理装置および動画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009217523A JP2009217523A (ja) | 2009-09-24 |
JP4972016B2 true JP4972016B2 (ja) | 2012-07-11 |
Family
ID=41189302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008060339A Expired - Fee Related JP4972016B2 (ja) | 2008-03-10 | 2008-03-10 | 動画像処理方法、動画像処理装置および動画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4972016B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5396311B2 (ja) * | 2010-03-02 | 2014-01-22 | 日本電信電話株式会社 | 行動予測装置、方法およびプログラム |
GB201004488D0 (en) * | 2010-03-17 | 2010-05-05 | Isis Innovation | A method of tracking targets in video data |
EP2472322A2 (en) * | 2010-12-31 | 2012-07-04 | Rohm and Haas Electronic Materials LLC | Photoacid generating monomer and precursor thereof |
US9581901B2 (en) * | 2013-12-19 | 2017-02-28 | Rohm And Haas Electronic Materials Llc | Photoacid-generating copolymer and associated photoresist composition, coated substrate, and method of forming an electronic device |
JP7198474B2 (ja) * | 2018-06-07 | 2023-01-04 | 国立大学法人静岡大学 | モデリングシステム |
CN114492147A (zh) * | 2022-02-15 | 2022-05-13 | 西南石油大学 | 一种颗粒运动全过程的跟踪方法、系统及可存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005165688A (ja) * | 2003-12-02 | 2005-06-23 | Fuji Xerox Co Ltd | 複数対象物追跡方法及びシステム |
-
2008
- 2008-03-10 JP JP2008060339A patent/JP4972016B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009217523A (ja) | 2009-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Unscented Kalman filter for visual curve tracking | |
US9111375B2 (en) | Evaluation of three-dimensional scenes using two-dimensional representations | |
JP4208898B2 (ja) | 対象物追跡装置および対象物追跡方法 | |
CN110998594A (zh) | 检测动作的方法和系统 | |
JP4972016B2 (ja) | 動画像処理方法、動画像処理装置および動画像処理プログラム | |
Pruteanu-Malinici et al. | Infinite hidden Markov models for unusual-event detection in video | |
CN111402294A (zh) | 目标跟踪方法、装置、计算机可读存储介质和计算机设备 | |
EP2352128B1 (en) | Mobile body detection method and mobile body detection apparatus | |
JP4643741B2 (ja) | 画像処理方法及び画像処理装置 | |
Zhang et al. | Adaptive multi-cue based particle swarm optimization guided particle filter tracking in infrared videos | |
Charif et al. | Tracking the activity of participants in a meeting | |
JP2010511241A5 (ja) | ||
US20230154016A1 (en) | Information processing apparatus, information processing method, and storage medium | |
Chang et al. | Kernel particle filter: iterative sampling for efficient visual tracking | |
Mauthner et al. | Robust tracking of spatial related components | |
Makris et al. | A hierarchical feature fusion framework for adaptive visual tracking | |
Keceli et al. | Violent activity classification with transferred deep features and 3d-Cnn | |
Bhattacharyya et al. | Long-term image boundary prediction | |
Hafeezallah et al. | Multi-Scale Network with Integrated Attention Unit for Crowd Counting. | |
Shafiee et al. | Model-based tracking: Temporal conditional random fields | |
Rajasekaran et al. | Abnormal Crowd Behavior Detection Using Optimized Pyramidal Lucas-Kanade Technique | |
JPH08194822A (ja) | 移動物体検知装置及びその方法 | |
Vogler et al. | Outlier rejection in high-dimensional deformable models | |
Gavilima-Pilataxi et al. | Multi-channel Gaussian derivative neural networks for crowd analysis | |
Wang et al. | A General Context Learning and Reasoning Framework for Object Detection in Urban Scenes. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100114 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110811 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120406 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |