JP4543106B2 - 画像における移動物体の追跡方法及び装置 - Google Patents
画像における移動物体の追跡方法及び装置 Download PDFInfo
- Publication number
- JP4543106B2 JP4543106B2 JP2008210107A JP2008210107A JP4543106B2 JP 4543106 B2 JP4543106 B2 JP 4543106B2 JP 2008210107 A JP2008210107 A JP 2008210107A JP 2008210107 A JP2008210107 A JP 2008210107A JP 4543106 B2 JP4543106 B2 JP 4543106B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- image
- moving object
- motion vector
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
第1の評価関数に基づいて、時刻t2の画像上の複数のブロックのそれぞれに着目したときの各着目ブロックの動きベクトルMV及び移動物体識別符号IDを近似解として決定し、該近似解を用いて第2の評価関数の値を求め、
該近似解での動きベクトルMVと移動物体識別符号IDとを変化させたときの該第1の評価関数の値と該第2の評価関数の値との和の略最適値に基づいて、各着目ブロックの動きベクトルMV及び移動物体識別符号IDを解として決定する処理を含み、
該第1の評価関数は、該時刻t1の画像と該時刻t2の画像との間のブロックマッチングとにより、該時刻t2での各着目ブロックの動きベクトルMVを決定するためのサブ評価関数と、該ブロックマッチングにおける該時刻t1での画像上のブロックに含まれる同一移動物体の画素数に基づき該時刻t2での該着目ブロックの移動物体識別符号IDを決定するためのサブ評価関数との和を含み、
該第2の評価関数は、該着目ブロックの回りのブロックのうち移動物体識別符号が該着目ブロックの移動物体識別符号IDと一致する各ブロックについてこのブロックの動きベクトルと該着目ブロックの動きベクトMVとの差の絶対値を含み、該絶対値に関する値の総和が小さいほど該第2の評価関数がより適値になる。
Σ|MV−MVneigher|/Lを含み、
ここに、MVneigherは、該着目ブロックの回りのブロックのうち、該IDと同一IDを有するブロックの動きベクトルであり、Σは該同一IDを有するブロックについての総和を意味し、Lは該同一IDを有するブロックの数である。
本発明の他の態様では、時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方法において、各画像は、複数画素からなるブロックに分割されており、移動物体の識別符号をブロック単位で付与するとともに該移動物体の動きベクトルをブロック単位で求める場合に、
時刻t1の画像のブロックサイズの領域から時刻t2の画像の着目ブロックへの動きベクトルをMVと推定して、該ブロックサイズの領域より大きく該ブロックサイズの領域と同心の第1領域の画像と該第1領域と同一形状で該着目ブロックと同心である第2領域の画像との類似度に関する量を求め、
該類似度に関する量を含む評価関数の値を、所定範囲内で該第1領域を移動させ各領域について求め、該値の略最適値に基づいて該動きベクトルMVを決定する。
(a)各画像を、複数画素からなるブロックに分割し、
(b)背景画像も移動物体の1つとみなして、ブロック単位で移動物体の識別符号を付与するとともにブロック単位で該移動物体の動きベクトルを求める。
ある時刻での移動物体の動きベクトルをブロック単位で求めたオブジェクトマップを、互いに異なる時刻について複数枚記憶しておき、
(a)該複数枚のオブジェクトマップのうちの1つについて、着目領域の動きベクトルを求め、
(b)求めた動きベクトルだけ該着目領域を正又は負の方向へ移動させた領域の動きベクトルを、移動後の時刻におけるオブジェクトマップに基づいて求め、
該移動させた領域を該移動後の時刻におけるオブジェクトマップ上の着目領域として、該ステップ(b)を複数回繰り返すことにより、該着目領域を追跡する。
(a)該第1ブロックの回りの決定済動きベクトルを抽出し、
(b)該抽出された動きベクトルを、相互のベクトルの差の絶対値が所定値以下になるようにグループに分け、
(c)ベクトル数が最大のグループに含まれる動きベクトルの略平均ベクトルを、該第1ブロックの動きベクトルと推定する。
−G(i,j)| (1)
ここにΣneighberpixcelsは、cを自然数とすると、di=−c〜c及びdj=−c〜cにわたっての総和を意味し、例えばc=1のとき、第i行第j列の画素と隣り合う8画素にわたる総和である。照度が変化すると、画素値G(i,j)とその付近の画素値G(i+di,j+dj)が同様に変化するので、H(i,j)の画像は、照度の変化に対し不変である。
−G(i,j)|/(Gi,j,max/Gmax) (2)
ここに、Gi,j,maxは、H(i,j)の計算に用いた元の画素の値の最大値であり、例えばc=1の場合、第i行第j列の画素を中心とする3×3画素の値の最大値であり、Gmaxは画素値G(i,j)の取りうる最大値、例えば画素値が8ビットで表される場合、255である。以下、c=1、Gmax=255である場合について説明する。
シグモイド関数はH=αの付近で線形性が良い。そこで、閾値αの値を、エッジ情報を持つHの度数分布の最頻値、例えば80にする。
MV(2,2)=(MV(2,1)+MV(3,1)+MV(3,2)+MV(2,3))/4
と推定する。
MV(2,4)=(MV(1,3)+MV(1,4)+MV(1,5)+MV(2,5))/4
と推定する。
MV(3,3)=(MV(2,3)+MV(3,2)+MV(4,2)+MV(4,4)+MV(3,4))/5
と推定する。
ここにa〜c及びfは、定数であり、試行錯誤により定められる。
サブ評価関数UDは、時空的テクスチャ相関度を示し、上記実施例1で説明したものと同一であって、次式で表される。
−G(t−1:mi+x−MVX,mj+y−MVY)| (2)
ここにΣは、x=0〜m−1及びy=0〜m−1についての総和を意味している。
図13(A)及び(B)はそれぞれ図12(A)及び(B)に対応しており、ハッチングを施した部分は移動物体が存在すると判定されたブロックを示している。
UMの値が小さいほど、時空的ID相関度が高い。
図13(B)において、着目ブロックB(t:1,2)のIDがID1であると推定したとき、着目ブロックの回りの8個のブロックB(t:0,1)、B(t:0,2)、B(t:0,3)、B(t:1,3)、B(t:2,3)、B(t:2,2)、B(t:2,1)及びB(t:1,1)のうち、IDがID1であるブロックの数をNとする。図13(B)のハッチングが施された部分のIDが全て同一である場合、着目ブロックB(t:1,2)のNの値は5である。
UNの値が小さいほど、空間的ID相関度が高い。
着目ブロックB(t:i,j)の中心から、上記所定範囲内で領域AXを移動させてaUD+bUM+cUNの最小値を求めることにより、着目ブロックのIDとMVを同時に決定することが可能である。
ここに、MVは上記(1)で述べた着目ブロックB(t:i,j)の推定動きベクトルであり、MVneigherは、着目ブロックB(t:i,j)の回りの8個のブロックのうち、着目ブロックB(t:i,j)の推定IDと同一IDを有するブロックの動きベクトルであり、Σは該同一IDを有するブロックについての総和を意味し、Lは該同一IDを有するブロックの数である。
UV(1,2)=(|MV−MV1|+|MV−MV2|+|MV−MV3|+|MV−MV4|+|MV−MV5|)/5
である。
ここに、MV1〜MV4は着目領域A(t−1)と重なった第1〜4ブロックの動きベクトルであり、S1〜S4は着目領域A(t−1)と重なった第1〜4ブロックの重なり部分画素数である。
k=[αΔV]
と決定する。ここにαは試行錯誤により定められる定数であり、[]は四捨五入による整数化を意味する。
20 移動物体追跡装置
21 画像メモリ
22 画像変換部
23 フレームバッファメモリ
24 背景画像生成部
25 ID生成/消滅部
26 オブジェクトマップ記憶部
27 移動物体追跡部
Claims (8)
- 時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方法において、各画像は、複数画素からなるブロックに分割されており、移動物体の識別符号をブロック単位で付与するとともに該移動物体の動きベクトルをブロック単位で求める場合に、時刻t1での画像上の移動物体の識別符号がブロック単位で決定されている条件の下で、
第1の評価関数に基づいて、時刻t2の画像上の複数のブロックのそれぞれに着目したときの各着目ブロックの動きベクトルMV及び移動物体識別符号IDを近似解として決定し、該近似解を用いて第2の評価関数の値を求め、
該近似解での動きベクトルMVと移動物体識別符号IDとを変化させたときの該第1の評価関数の値と該第2の評価関数の値との和の略最適値に基づいて、各着目ブロックの動きベクトルMV及び移動物体識別符号IDを解として決定する処理を含み、
該第1の評価関数は、該時刻t1の画像と該時刻t2の画像との間のブロックマッチングとにより、該時刻t2での各着目ブロックの動きベクトルMVを決定するためのサブ評価関数と、該ブロックマッチングにおける該時刻t1での画像上のブロックに含まれる同一移動物体の画素数に基づき該時刻t2での該着目ブロックの移動物体識別符号IDを決定するためのサブ評価関数との和を含み、
該第2の評価関数は、該着目ブロックの回りのブロックのうち移動物体識別符号が該着目ブロックの移動物体識別符号IDと一致する各ブロックについてこのブロックの動きベクトルと該着目ブロックの動きベクトMVとの差の絶対値を含み、該絶対値に関する値の総和が小さいほど該第2の評価関数がより適値になる、
ことを特徴とする画像上移動物体追跡方法。 - 該第2の評価関数は、
Σ|MV−MVneigher|/Lを含み、
ここに、MVneigherは、該着目ブロックの回りのブロックのうち、該IDと同一IDを有するブロックの動きベクトルであり、Σは該同一IDを有するブロックについての総和を意味し、Lは該同一IDを有するブロックの数である、
ことを特徴とする請求項1記載の画像上移動物体追跡方法。 - 該第2の評価関数はさらに、該着目ブロックの回りのブロックのうち識別符号が該IDと一致するものの数が多いほど該第2の評価関数がより適値になる項を含む、
ことを特徴とする請求項1又は2に記載の画像上移動物体追跡方法。 - 時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有する画像上移動物体追跡装置において、該プログラムは該プロセッサに対し、
該時系列画像を読み出させて各画像を、複数画素からなるブロックに分割させ、
移動物体の識別符号をブロック単位で付与させるとともに該移動物体の動きベクトルをブロック単位で求めさせる場合に、時刻t1での画像上の移動物体の識別符号がブロック単位で決定されている条件の下で、
第1の評価関数に基づいて、時刻t2の画像上の複数のブロックのそれぞれに着目したときの各着目ブロックの動きベクトルMV及び移動物体識別符号IDを近似解として決定させ、該近似解を用いて第2の評価関数の値を求めさせ、
該近似解での動きベクトルMVと移動物体識別符号IDとを変化させたときの該第1の評価関数の値と該第2の評価関数の値との和の略最適値に基づいて、各着目ブロックの動きベクトルMV及び移動物体識別符号IDを解として決定させ、
ここに、該第1の評価関数は、該時刻t1の画像と該時刻t2の画像との間のブロックマッチングとにより、該時刻t2での各着目ブロックの動きベクトルMVを決定するためのサブ評価関数と、該ブロックマッチングにおける該時刻t1での画像上のブロックに含まれる同一移動物体の画素数に基づき該時刻t2での該着目ブロックの移動物体識別符号IDを決定するためのサブ評価関数との和を含み、
該第2の評価関数は、該着目ブロックの回りのブロックのうち移動物体識別符号が該着目ブロックの移動物体識別符号IDと一致する各ブロックについてこのブロックの動きベクトルと該着目ブロックの動きベクトMVとの差の絶対値を含み、該絶対値に関する値の総和が小さいほど該第2の評価関数がより適値になる、
ことを特徴とする画像上移動物体追跡装置。 - 該第2の評価関数は、
Σ|MV−MVneigher|/Lを含み、
ここに、MVneigherは、該着目ブロックの回りのブロックのうち、該着目ブロックの識別符号IDと同一IDを有するブロックの動きベクトルであり、Σは該同一IDを有するブロックについての総和を意味し、Lは該同一IDを有するブロックの数である、
ことを特徴とする請求項4に記載の画像上移動物体追跡装置。 - 該第2の評価関数はさらに、該着目ブロックの回りのブロックのうち識別符号が該IDと一致するものの数が多いほど該第2の評価関数がより適値になる項を含む、
ことを特徴とする請求項4又は5に記載の画像上移動物体追跡装置。 - 背景画像も移動物体の1つとみなして該背景画像の識別符号をブロック単位で付与するとともに該背景画像の動きベクトルをブロック単位で求めることを特徴とする請求項1乃至3のいずれか1つに記載の画像上移動物体追跡方法。
- 該プログラムは該プロセッサに対し、背景画像も移動物体の1つとみなさせて該背景画像の識別符号をブロック単位で付与させるとともに該背景画像の動きベクトルをブロック単位で求めさせることを特徴とする請求項4乃至6のいずれか1つに記載の画像上移動物体追跡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008210107A JP4543106B2 (ja) | 2008-08-18 | 2008-08-18 | 画像における移動物体の追跡方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008210107A JP4543106B2 (ja) | 2008-08-18 | 2008-08-18 | 画像における移動物体の追跡方法及び装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002371047A Division JP4217876B2 (ja) | 2002-12-20 | 2002-12-20 | 画像における移動物体の追跡方法及び装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010005040A Division JP4923268B2 (ja) | 2010-01-13 | 2010-01-13 | 画像における移動物体の追跡方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008299871A JP2008299871A (ja) | 2008-12-11 |
JP4543106B2 true JP4543106B2 (ja) | 2010-09-15 |
Family
ID=40173278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008210107A Expired - Lifetime JP4543106B2 (ja) | 2008-08-18 | 2008-08-18 | 画像における移動物体の追跡方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4543106B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102184547B (zh) * | 2011-03-28 | 2012-09-05 | 长安大学 | 一种基于视频的车辆逆行事件检测方法 |
JP7404201B2 (ja) | 2020-09-11 | 2023-12-25 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
CN117593413B (zh) * | 2024-01-12 | 2024-04-16 | 航天宏图信息技术股份有限公司 | 基于道路几何矢量追踪的道路赋值方法、装置及设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001357402A (ja) * | 2000-06-12 | 2001-12-26 | Hitachi Ltd | 車両検出方法及び車両検出装置 |
-
2008
- 2008-08-18 JP JP2008210107A patent/JP4543106B2/ja not_active Expired - Lifetime
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001357402A (ja) * | 2000-06-12 | 2001-12-26 | Hitachi Ltd | 車両検出方法及び車両検出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2008299871A (ja) | 2008-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4217876B2 (ja) | 画像における移動物体の追跡方法及び装置 | |
JP5102410B2 (ja) | 移動体検出装置および移動体検出方法 | |
WO2004029659A2 (en) | Pedestrian detection and tracking with night vision | |
Makhmutova et al. | Object tracking method for videomonitoring in intelligent transport systems | |
JP5371040B2 (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
KR100882368B1 (ko) | 화상에 있어서의 이동체 추적 방법 및 장치 | |
CN113396423A (zh) | 处理来自基于事件的传感器的信息的方法 | |
KR20220032681A (ko) | 노상 주차장의 주차 관리 방법 | |
JP4543106B2 (ja) | 画像における移動物体の追跡方法及び装置 | |
Kim | Vehicle detection and speed estimation for automated traffic surveillance systems at nighttime | |
JP5165103B2 (ja) | 画像における移動物体の追跡方法及び装置 | |
JP4923268B2 (ja) | 画像における移動物体の追跡方法及び装置 | |
US11620360B2 (en) | Methods and systems for recognizing object using machine learning model | |
JP7360303B2 (ja) | 画像処理装置および画像処理方法 | |
WO2019045586A1 (ru) | Способ мониторинга движущихся объектов | |
JP3763279B2 (ja) | 物体抽出システム、物体抽出方法および物体抽出プログラム | |
Karim | Construction of a robust background model for moving object detection in video sequence | |
Mohamed et al. | Real-time moving objects tracking for mobile-robots using motion information | |
JP4818430B2 (ja) | 移動物体認識方法及び装置 | |
Zhang et al. | Vehicle motion detection using CNN | |
JP4555987B2 (ja) | 画像における移動物体追跡方法及び装置 | |
Moulay et al. | A Novel Background Subtraction Algorithm for Person Tracking Based on K-NN | |
Pavya | Segmentation of visual images under complex outdoor conditions | |
Yun | Background-Centric Approach for Moving Object Detection in Moving Cameras | |
Parekh et al. | Centroid based multiple object tracking with shadow removal and occlusion handling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090907 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100310 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100406 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R155 | Notification before disposition of declining of application |
Free format text: JAPANESE INTERMEDIATE CODE: R155 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4543106 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |