JP4455980B2 - 動画像処理方法、動画像処理装置、動画像処理プログラム及びそのプログラムを記録した記録媒体 - Google Patents
動画像処理方法、動画像処理装置、動画像処理プログラム及びそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4455980B2 JP4455980B2 JP2004334101A JP2004334101A JP4455980B2 JP 4455980 B2 JP4455980 B2 JP 4455980B2 JP 2004334101 A JP2004334101 A JP 2004334101A JP 2004334101 A JP2004334101 A JP 2004334101A JP 4455980 B2 JP4455980 B2 JP 4455980B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image processing
- feature amount
- processing apparatus
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Image Analysis (AREA)
Description
はじめに、全体構成について説明する。
次に、小領域設定部20/特徴ベクトル抽出部30/小領域分割部40/領域抽出部50の処理の詳細について説明する。
小領域設定部20では、小領域を生成する場合、あらかじめ決めた大きさで画像の端から順番に切り出していくことで小領域を生成する。
特徴ベクトル抽出部30では、tフレームめの画像It とその隣接フレームとを用いて、画像It 中の各画素について、時空間微分値、オプティカルフローなど動きに基づく特徴量を求める。さらに、輝度値や色特徴など画素値に基づく特徴量を求める。
小領域分割部40は、図9に示すように、最尤推定部401と小領域分割関数生成部402とから構成される。
(イ)k番目の画素について求めた特徴量F1 〜FM :F1k〜FMk
(ロ)k番目の画素が各特徴量mにより領域Zi 1と領域Zi 2のどちらのクラスに分 類されたのかを示す情報:Zmk
(ハ)k番目の画素がクラス分けされた領域Zmkに属する確率:Pmk(Zmk)
(ニ)特徴量ごとの小領域Ci 全体での尤度:Qi (F1 )〜Qi (FM )
但し、Qi (Fm )=Σk logPmk(Zmk)
という値の組として得られる。
(イ)k番目の画素について求めた特徴量F1 〜FM+1 :F1k〜FM+1k
(ロ)k番目の画素が各特徴量mにより領域Zi 1と領域Zi 2のどちらのクラスに分 類されたのかを示す情報:Zmk
(ハ)k番目の画素がクラス分けされた領域Zmkに属する確率:Pmk(Zmk)
(ニ)特徴量ごとの小領域Ci 全体での尤度:Qi (F1 )〜Qi (FM+1 )
但し、Qi (Fm )=Σk logPmk(Zmk)
という値の組となる。
領域抽出部50では、小領域分割部40で小領域ごとに分割された領域同士をつなぎあわせ、画像全体を動きの異なる2つの領域に分割する。
(イ)ある2つの隣り合う小領域Ci,Cj において、小領域Ci 内の2つのクラスZi 1/Zi 2と、小領域Cj 内の2つのクラスZj 1/Zj 2とのクラス間の対応 を決定し、
(ロ)クラス同士をつなぐ境界線を矛盾なくつなぎ、
(ハ)この(イ)と(ロ)において、小領域分割部40での分割決定時の尤度の高さの 順位が高い小領域における分割結果を優先する、
というものである。
Qi (Fm )=Σk logPmk(Zmk)
と表せ、したがって、小領域Ci の総合的な尤度Qtotal (Ci )は、
Qtotal (Ci )=Σm Qi (Fm )
=Σm Σk logPmk(Zmk)
と表せる。
Ci 全体の尤度<Cj 全体の尤度
である場合には、Cj で2つのクラスの分離度が最も高かった特徴量mの重みを、Ci において大きくして再分割を行う。
Qtotal (Ci )=Σm wm Qi (Fm )
=Σm Σk wm ×logPmk(Zmk)
として、小領域分割部40の処理に戻るのである。
Ci 全体の尤度>Cj 全体の尤度
に従って、総合的な尤度Qtotal の低い方のCj が再分割され、一方、
Ck 全体の尤度>Cj 全体の尤度
に従って、総合的な尤度Qtotal の低い方のCj が再分割されることが起こるが、このとき、図17(a)に示すように、双方の再分割が一致しないことでCj 内に矛盾が生じる場合がある。
10 画像入力部
11 第1の画像テーブル
20 小領域設定部
21 第2の画像テーブル
30 特徴ベクトル抽出部
31 第3の画像テーブル
40 小領域分割部
41 第4の画像テーブル
50 領域抽出部
60 特定パターン検出部
70 物体属性判定部
80 物体属性情報入力部
90 物体計数部
Claims (22)
- 動画像を前景と背景とに分離する動画像処理方法であって、
動画像を入力する過程と、
入力した処理対象となる動画像のフレームを小領域に分割する過程と、
処理対象のフレームの各画素について1つ又は複数の特徴量を抽出する過程と、
処理対象のフレームの持つ上記小領域ごとに、上記特徴量の全てあるいは一部を用いて各画素が2つの領域のどちらに属するのかをクラス分けする場合に、そのクラス分けの分離度を示す尤度が最も高くなる値を示すことになるクラス分けを行う過程と、
隣接する上記小領域について、上記特徴量を用いて、同じクラスにクラス分けされた領域の対応付けを行ない、それに基づいて、同じクラスにクラス分けされた領域同士をつなぎ合わせることで、処理対象のフレーム全体を前景と背景とに分離する過程とを備えることを、
特徴とする動画像処理方法。 - 請求項1記載の動画像処理方法において、
上記特徴量を抽出する過程では、処理対象のフレームとその近傍のフレームとを使って動きに基づく特徴量を抽出するか、処理対象のフレームを使って動きに基づかない特徴量を抽出するか、その双方の特徴量を抽出することを、
特徴とする動画像処理方法。 - 請求項1又は2に記載の動画像処理方法において、
上記特徴量を抽出する過程では、特徴量の抽出対象となる画素を中心とする周辺領域を使って、その抽出対象となる画素の特徴量を抽出することを、
特徴とする動画像処理方法。 - 請求項1ないし3のいずれか1項に記載の動画像処理方法において、
上記特徴量を抽出する過程では、複数の特徴量を抽出する場合に、それらの特徴量を組み合わせることで、より高いクラス分け分離度を実現する特徴量を抽出することを、
特徴とする動画像処理方法。 - 請求項1ないし4のいずれか1項に記載の動画像処理方法において、
上記クラス分けを行う過程では、2つのクラスの確率分布を想定して、その想定に基づいて上記尤度を算出し、その算出に基づいて該確率分布を修正することを繰り返していくことで、上記尤度が最も高くなる値を示すことになるクラス分けを行うことを、
特徴とする動画像処理方法。 - 請求項1ないし5のいずれか1項に記載の動画像処理方法において、
上記クラス分けを行う過程では、上記尤度の算出式に、2つの領域がまとまっている場合の方が2つの領域が混在する場合よりも尤度が高くなる補正項を加えたものを使って上記尤度を算出することで、上記尤度が最も高くなる値を示すことになるクラス分けを行うことを、
特徴とする動画像処理方法。 - 請求項1ないし6のいずれか1項に記載の動画像処理方法において、
同じクラスにクラス分けされた領域同士をつなぎ合わせる際に、そのつなぎ合わせに矛盾がある場合には、そのつなぎ合わせの対象となる一方の上記小領域について、特徴量の重み付けを変えて上記クラス分けを再実行する過程を備えることを、
特徴とする動画像処理方法。 - 請求項7に記載の動画像処理方法において、
上記再実行する過程では、上記再実行により同一の上記小領域について異なるクラス分けが得られる場合には、それらのクラス分けから矛盾のないつなぎ合わせを実現するクラス分けを決定することを、
特徴とする動画像処理方法。 - 請求項1ないし8のいずれか1項に記載の動画像処理方法において、
処理対象のフレームに特定のパターンが存在するのか否かを検出して、特定のパターンが存在する場合には、その存在する位置を検出する過程と、
上記検出した位置と上記分離した前景とに基づいて、処理対象のフレームに、上記特定のパターンを持つ動物体が存在するのか否かを判定する過程とを備えることを、
特徴とする動画像処理方法。 - 請求項9に記載の動画像処理方法において、
上記特定のパターンを持つ動物体の面積と上記分離した前景とに基づいて、上記特定のパターンを持つ動物体の数を特定する過程を備えることを、
特徴とする動画像処理方法。 - 動画像を前景と背景とに分離する動画像処理装置であって、
動画像を入力する手段と、
入力した処理対象となる動画像のフレームを小領域に分割する手段と、
処理対象のフレームの各画素について1つ又は複数の特徴量を抽出する手段と、
処理対象のフレームの持つ上記小領域ごとに、上記特徴量の全てあるいは一部を用いて各画素が2つの領域のどちらに属するのかをクラス分けする場合に、そのクラス分けの分離度を示す尤度が最も高くなる値を示すことになるクラス分けを行う手段と、
隣接する上記小領域について、上記特徴量を用いて、同じクラスにクラス分けされた領域の対応付けを行ない、それに基づいて、同じクラスにクラス分けされた領域同士をつなぎ合わせることで、処理対象のフレーム全体を前景と背景とに分離する手段とを備えることを、
特徴とする動画像処理装置。 - 請求項11記載の動画像処理装置において、
上記特徴量を抽出する手段は、処理対象のフレームとその近傍のフレームとを使って動きに基づく特徴量を抽出するか、処理対象のフレームを使って動きに基づかない特徴量を抽出するか、その双方の特徴量を抽出することを、
特徴とする動画像処理装置。 - 請求項11又は12に記載の動画像処理装置において、
上記特徴量を抽出する手段は、特徴量の抽出対象となる画素を中心とする周辺領域を使って、その抽出対象となる画素の特徴量を抽出することを、
特徴とする動画像処理装置。 - 請求項11ないし13のいずれか1項に記載の動画像処理装置において、
上記特徴量を抽出する手段は、複数の特徴量を抽出する場合に、それらの特徴量を組み合わせることで、より高いクラス分け分離度を実現する特徴量を抽出することを、
特徴とする動画像処理装置。 - 請求項11ないし14のいずれか1項に記載の動画像処理装置において、
上記クラス分けを行う手段は、2つのクラスの確率分布を想定して、その想定に基づいて上記尤度を算出し、その算出に基づいて該確率分布を修正することを繰り返していくことで、上記尤度が最も高くなる値を示すことになるクラス分けを行うことを、
特徴とする動画像処理装置。 - 請求項11ないし15のいずれか1項に記載の動画像処理装置において、
上記クラス分けを行う手段は、上記尤度の算出式に、2つの領域がまとまっている場合の方が2つの領域が混在する場合よりも尤度が高くなる補正項を加えたものを使って上記尤度を算出することで、上記尤度が最も高くなる値を示すことになるクラス分けを行うことを、
特徴とする動画像処理装置。 - 請求項11ないし16のいずれか1項に記載の動画像処理装置において、
同じクラスにクラス分けされた領域同士をつなぎ合わせる際に、そのつなぎ合わせに矛盾がある場合には、そのつなぎ合わせの対象となる一方の上記小領域について、特徴量の重み付けを変えて上記クラス分けを再実行する手段を備えることを、
特徴とする動画像処理装置。 - 請求項17に記載の動画像処理装置において、
上記再実行する手段は、上記再実行により同一の上記小領域について異なるクラス分けが得られる場合には、それらのクラス分けから矛盾のないつなぎ合わせを実現するクラス分けを決定することを、
特徴とする動画像処理装置。 - 請求項11ないし18のいずれか1項に記載の動画像処理装置において、
処理対象のフレームに特定のパターンが存在するのか否かを検出して、特定のパターンが存在する場合には、その存在する位置を検出する手段と、
上記検出した位置と上記分離した前景とに基づいて、処理対象のフレームに、上記特定のパターンを持つ動物体が存在するのか否かを判定する手段とを備えることを、
特徴とする動画像処理装置。 - 請求項19に記載の動画像処理装置において、
上記特定のパターンを持つ動物体の面積と上記分離した前景とに基づいて、上記特定のパターンを持つ動物体の数を特定する手段を備えることを、
特徴とする動画像処理装置。 - 請求項1ないし10のいずれか1項に記載の動画像処理方法の実現に用いられる処理をコンピュータに実行させるための動画像処理プログラム。
- 請求項1ないし10のいずれか1項に記載の動画像処理方法の実現に用いられる処理をコンピュータに実行させるための動画像処理プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004334101A JP4455980B2 (ja) | 2003-11-20 | 2004-11-18 | 動画像処理方法、動画像処理装置、動画像処理プログラム及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003390235 | 2003-11-20 | ||
JP2004334101A JP4455980B2 (ja) | 2003-11-20 | 2004-11-18 | 動画像処理方法、動画像処理装置、動画像処理プログラム及びそのプログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005176339A JP2005176339A (ja) | 2005-06-30 |
JP4455980B2 true JP4455980B2 (ja) | 2010-04-21 |
Family
ID=34741951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004334101A Expired - Fee Related JP4455980B2 (ja) | 2003-11-20 | 2004-11-18 | 動画像処理方法、動画像処理装置、動画像処理プログラム及びそのプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4455980B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI384879B (zh) | 2006-08-31 | 2013-02-01 | Sony Corp | 影像處理裝置,影像處理方法及影像處理程式 |
JP4544233B2 (ja) * | 2006-10-11 | 2010-09-15 | 株式会社デンソー | 車両検出装置及びヘッドランプ制御装置 |
KR101348596B1 (ko) | 2008-01-22 | 2014-01-08 | 삼성전자주식회사 | 임장감 생성 장치 및 방법 |
KR101498206B1 (ko) | 2008-09-30 | 2015-03-06 | 삼성전자주식회사 | 고해상도 영상 획득 장치 및 그 방법 |
JP4966946B2 (ja) * | 2008-10-08 | 2012-07-04 | 日本電信電話株式会社 | 時空間画像分離装置、時空間画像分離方法および時空間画像分離プログラム |
WO2019216263A1 (ja) * | 2018-05-10 | 2019-11-14 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN110309795B (zh) * | 2019-07-04 | 2024-03-12 | 腾讯科技(深圳)有限公司 | 视频检测方法、装置、电子设备及存储介质 |
-
2004
- 2004-11-18 JP JP2004334101A patent/JP4455980B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005176339A (ja) | 2005-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Han et al. | Density-based multifeature background subtraction with support vector machine | |
US20190179420A1 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
US8948448B2 (en) | Method and apparatus for trajectory estimation, and method for segmentation | |
JP5726125B2 (ja) | 奥行き画像内の物体を検出する方法およびシステム | |
US7489803B2 (en) | Object detection | |
US9922425B2 (en) | Video segmentation method | |
US7421149B2 (en) | Object detection | |
KR101764845B1 (ko) | 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법 | |
WO2011080900A1 (ja) | 移動体検出装置および移動体検出方法 | |
US20070291991A1 (en) | Unusual action detector and abnormal action detecting method | |
WO2009109127A1 (en) | Real-time body segmentation system | |
JP2008501172A (ja) | 画像比較方法 | |
US20050129275A1 (en) | Object detection | |
Aytekin et al. | Spatiotemporal saliency estimation by spectral foreground detection | |
Vosters et al. | Background subtraction under sudden illumination changes | |
US20050129277A1 (en) | Object detection | |
US20050128306A1 (en) | Object detection | |
García-Martín et al. | Robust real time moving people detection in surveillance scenarios | |
JP6448212B2 (ja) | 認識装置及び認識方法 | |
Afonso et al. | Automatic estimation of multiple motion fields from video sequences using a region matching based approach | |
CN110188718B (zh) | 一种基于关键帧和联合稀疏表示的无约束人脸识别方法 | |
Loutas et al. | Probabilistic multiple face detection and tracking using entropy measures | |
CN102314591A (zh) | 静止前景物体的检测方法和设备 | |
JP4455980B2 (ja) | 動画像処理方法、動画像処理装置、動画像処理プログラム及びそのプログラムを記録した記録媒体 | |
JP4369308B2 (ja) | 代表画像選択装置,代表画像選択方法および代表画像選択プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |