JP3197633B2 - 移動体の自動追尾装置 - Google Patents
移動体の自動追尾装置Info
- Publication number
- JP3197633B2 JP3197633B2 JP32025492A JP32025492A JP3197633B2 JP 3197633 B2 JP3197633 B2 JP 3197633B2 JP 32025492 A JP32025492 A JP 32025492A JP 32025492 A JP32025492 A JP 32025492A JP 3197633 B2 JP3197633 B2 JP 3197633B2
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- moving object
- area
- moving
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
用いて対象物を追尾する移動体の追尾装置に関するもの
である。
の移動体の領域を追尾する手法としては、背景画像と入
力画像(移動体画像)との差分画像に基づく差分手法を用
いた数多くの方法が提案されている。しかし、この差分
手法は、移動体画像と背景画像との画素値が等しい場合
には移動体が検出できない。また、例えば移動体が交差
する場合は検出領域が膨張した後、分離するという形態
で検出される。このため、検出領域が分離した後の追尾
対象となる移動体の前を横切る障害物を誤って追尾する
場合がある。
複雑な部分をそれぞれ正確に追尾物体と障害物に分離す
る手法がある。これには対象となる追尾物体の動きを含
めたモデルを用いて、交差部分にどのように追尾物体が
存在するかを推定する手法や、距離情報を用いて奥行き
方向への距離の違いから分離する手法がある。
を用いるには、数多くのモデルのデータや、あるいはモ
デルの変形に対する処理を行うなどの処理に多くの計算
量が必要であり、また追尾物体のほとんどが障害物の後
に隠れる場合には対処できない。
離を検出する検出精度が十分でないため実用的ではな
い。さらに、カメラが複数必要なことも問題である。こ
のように、複数の移動体からなる移動領域を移動体毎に
分離する適切な手法はない。
した方法に、交差中に追尾対象となる移動体の位置を線
形予測する手法がある(特開平1−184483号公報)。この
方法はハード規模の小さな処理であり、追尾システムと
しては有効な手段である。しかし、監視カメラに現われ
る人の動きには、線形予測が成り立たない場合が多数あ
る。
の移動体の領域に基づく追尾は、種々の原因で失敗、す
なわち継続することができなくなる。これは、画像信号
に含まれる移動領域だけでは追尾対象の移動体を特定す
るには情報が不足しているためである。
って追尾対象の移動体の領域を検出する際の検出誤りが
あった場合でも、単一移動体の追尾を続行できる移動体
の自動追尾装置を提供することを目的とする。
移動体を含む複数の移動体領域を検出する移動体領域抽
出手段と、前記入力画像と後記領域選択手段からの追尾
対象の移動体領域から追尾移動体の特徴量を生成し更新
する特徴量生成手段と、前記入力画像と前記複数の移動
体領域から各々の移動体領域の特徴量を求め、求めた特
徴量の中の前記特徴量生成手段からの特徴量に最も近い
移動体領域を選択する物体同定手段と、前記物体同定手
段の出力にしたがって前記複数の移動体領域から前記追
尾移動体に対応する領域を選択する領域選択手段と、前
記複数の移動体領域中に前記追尾移動体が存在しない追
尾移動体の消失状態などを検出する追尾状態検出手段を
備え、前記追尾状態検出手段の出力が追尾移動体消失状
態から移動体追尾状態に変化するときに、前記領域選択
手段が前記物体同定手段の出力する領域を選択し、追尾
移動体領域として出力することを特徴とする。
が交差等によって消失する状態を追尾状態検出手段によ
って検出し、前記検出結果に基づいて特徴量生成手段に
よって得た消失直前の移動体領域を表す特徴量を記憶
し、この追尾対象の移動体を表す特徴量をもとに、物体
同定手段によって追尾移動体の消失前後の移動体領域の
対応付けを行うことによって追尾の継続を可能とするも
のである。
追尾装置の構成を示すブロック図である。本発明の主眼
とする追尾対象を見失う消失状態にはいくつかの場合が
あるが、ここでは代表例として画像中の移動体が交差す
るシーンに絞って説明を行う。
は入力画像から複数移動体領域を検出する移動体領域抽
出手段、3は追尾移動体の交差状態や消失状態を検出す
る追尾状態検出手段、4は追尾移動体領域(以下、追尾
領域と略す)と、入力画像より追尾移動体の色ヒストグ
ラム分布を求める特徴量生成手段、5は特徴量生成手段
4からの色ヒストグラムにより移動体領域を同定する物
体同定手段、6は前回の追尾領域をもとに今回の追尾領
域を決定する領域選択手段である。
装置における各手段について述べ、その後、全体の動作
について述べる。
ック図に示す構成となっており、差分計算部21、背景画
像記憶部22、メディアンフィルタ部23、ラベリング部24
よりなる。背景画像記憶部22には、予め移動体の存在し
ない画像(背景画像(A)と呼ぶ)を記憶しておく。差分計
算部21は、この背景画像(A)と入力画像(B)の同位置の
画素の輝度差を計算し、これを差分画像(C)として出力
する。この差分画像(C)では画素値の大きなところが背
景と異なる場所であり、これを移動体として抽出する。
ところが、この差分画像(C)はノイズなどの影響が多
く、このままでは本来1つの物体であるのに複数の領域
に分裂する場合がある。
除去し、ラベリング部24へ出力する。このラベリング部
24はノイズ除去された差分画像(D)から非連結な塊領域
をそれぞれ抽出し、ラベリング画像(E)として出力す
る。
像図である。図中、31は背景画像 (A)、32は入力画像
(B)、33はノイズ除去後の差分画像(D)、34がラベリン
グ画像(E)である。ここで左上の円形物体35はラベル値
1を持ち、右の長方形物体36はラベル値2をもつ。
領域の面積Stと画面内すべての移動体領域の面積S0、
およびそれぞれの変化 ΔSt,ΔS0 より以下のように
物体の追尾状態を決定し出力する。
尾状態 (3) ΔSt > β かつ ΔS0 < γ のとき、物体
交差状態開始または交差状態終了 (4) ΔS0 > γ のとき、物体変形状態 ただし、交差状態開始の場合は以後物体交差状態を維持
する。この状態は交差状態終了の検出により解除され、
物体追尾状態に戻る。
ロック図に示す構成となっており、色相変換部41,マス
ク部42,色相ヒストグラム抽出部43,色モデル記憶部44
および色モデル更新部45よりなる。
画像(F)に変換する。色相とは色感覚(色相,彩度,明
度)のうちのひとつであって、赤,緑,青などの色あい
のことである。この変換された色相画像(F)をマスク部
42で、領域選択手段6からの追尾領域(G)でマスクし、
追尾領域内の色相画像(H)だけを出力する。この領域制
限された色相画像(H)をもとに、色相ヒストグラム抽出
部43は、各色ごとの出現頻度を表す色相ヒストグラム
(I)を生成し出力する。この色相ヒストグラム(I)が追
尾対象の移動体を表す特徴量であり、この特徴量を、以
下色モデルと呼ぶ。色モデルの更新は、色モデル更新部
45において色モデル記憶部44に記憶された前回の色モデ
ルh(n-1)と、今回の色相ヒストグラムi(n)より以下の
(数1)の式で更新する。
これを色モデル記憶部44に記憶するとともに、特徴量生
成手段4の出力(ラベリング画像(E))とする。ただし、
色モデル更新部45における色モデル更新は、追尾状態検
出手段3の出力が物体追尾状態の場合のみとする。
で全体の動作説明と併せて行う。
出手段3の出力をもとに、以下のように領域を選択す
る。物体未検出状態のときは追尾物体なしとする。物体
追尾状態と物体変形状態,物体交差状態のときは移動体
領域抽出手段2からの複数の移動体の中の、前回の追尾
領域に最も近い領域を選択し追尾領域とする。ただし、
物体交差状態から物体追尾状態に移行するときには、物
体同定手段5からの移動体領域を追尾領域とする。
交差シーンを示す簡略画像図を用いて説明する。まずシ
ーン51で、赤色の服を着た人物55が矢印で示す左から、
青色の服を着た人物56が矢印で示す右から画像内に進入
してくる。この状態で移動体領域抽出手段2は、2つの
移動体領域を検出するが、ここでは左側の人物55を追尾
物体とする。シーン51から物体の交差開始シーン52まで
では追尾領域57の面積St、つまり人物55の大きさは、
しきい値αより大きく、かつ面積の変化ΔStは小さい
ので、追尾状態検出手段3は前述の分類により物体追尾
状態を出力にする。この結果、特徴量生成手段4は追尾
領域57(図4のG)内の色ヒストグラムをもとに色モデル
を生成する。この場合には、追尾人物55の、赤色の頻度
が多い色ヒストグラムが得られる。
像(B)上では接触状態になる。このため追尾領域57は人
物55と人物56を合わせたものとなり、この追尾領域57の
面積の変化ΔStは大きく、しきい値βより大きくな
る。また画面内すべての移動体領域の面積S0は人物55
と人物56の面積を合わせたものであり、この面積の変化
ΔS0は交差前のシーン51から52の間では変化しない。
このため、ΔS0はしきい値未満である。よって、追尾
状態検出手段3の出力は前述の分類方法より物体交差状
態となる。このとき、物体交差状態なので特徴量生成手
段4は色モデルを更新しない。このため、人物55を表す
色モデルが保持される。
カメラから遠い位置にいるので、シーン53のように人物
55は人物56の後に隠れる。そして、人物55が人物56の右
側に現われはじめ、シーン54でついに2人の人物が非接
触状態となり、移動体領域抽出手段2は2つの領域58,
59を出力する。このとき追尾領域内の面積Stの変化Δ
Stは大きく、画面内すべての移動体領域の面積S0の変
化ΔS0は小さいので、追尾状態検出手段3は物体追尾
状態を出力する。
するときに、物体同定手段5は2つの領域58,59のう
ち、その領域内の色ヒストグラムが特徴量生成手段4か
らの色モデルに近い方の領域を選択し出力する。この場
合は領域59となる。この領域59が領域選択手段6の入力
となり、今回の追尾領域となる。
動体を見失っても、再出現すれば特徴量を用いた移動体
の同定により移動体の追尾が続行可能となる。これを可
能とするために、移動体の追尾中に移動体の特徴量を徐
々に生成し、また物体追尾状態,交差状態などの検出を
行っている。
交差シーンのうち、すれ違う場合についてのみ説明した
が、交差後もと来た方向へ戻る場合にも正しく動作す
る。
自動追尾装置は、交差などを伴う追尾対象に対して移動
体抽出に失敗した場合でも、以前の追尾中に抽出した移
動体の特徴量をもとに追尾対象となる移動体の同定を行
うため、移動体追尾の続行が可能となる。この結果、複
数の移動体がある画像に対しても移動体追跡が可能とな
り、例えば移動軌跡を求めることができるなど、その実
施効果は大きい。
の構成を示すブロック図である。
ク図である。
である。
である。
る。
3…追尾状態検出手段、4…特徴量生成手段、 5…物
体同定手段、 6…領域選択手段、 21…差分計算部、
22…背景画像記憶部、 23…メディアンフィルタ部、
24…ラベリング部、 41…色相変換部、 42…マスク
部、 43…色相ヒストグラム抽出部、 44…色モデル記
憶部、 45…色モデル更新部。
Claims (4)
- 【請求項1】 入力画像中の移動体を含む複数の移動体
領域を検出する移動体領域抽出手段と、前記入力画像と
後記領域選択手段からの追尾対象の移動体領域とから追
尾移動体の特徴量を生成し更新する特徴量生成手段と、
前記入力画像と前記複数の移動体領域から各々の移動体
領域の特徴量を求め、求めた特徴量の中の前記特徴量生
成手段からの特徴量に最も近い移動体領域を選択する物
体同定手段と、前記物体同定手段の出力にしたがって、
前記複数の移動体領域から前記追尾移動体に対応する領
域を選択する領域選択手段と、前記複数の移動体領域中
に前記追尾移動体が存在しない追尾移動体の消失状態な
どを検出する追尾状態検出手段を備え、前記追尾状態検
出手段の出力が追尾移動体消失状態から移動体追尾状態
に変化するときに、前記領域選択手段が前記物体同定手
段の出力する領域を選択し追尾移動体領域として出力す
ることを特徴とする移動体の自動追尾装置。 - 【請求項2】 追尾移動体領域内の色情報を、移動体領
域の特徴量とする特徴量生成手段を有することを特徴と
する請求項1記載の移動体の自動追尾装置。 - 【請求項3】 追尾移動体領域内の画素値のヒストグラ
ムを、移動体領域の特徴量とする特徴量生成手段を有す
ることを特徴とする請求項1記載の移動体の自動追尾装
置。 - 【請求項4】 複数の移動体領域と追尾移動体領域を入
力とし、前記複数の移動体領域の総面積と前記追尾移動
体領域の面積の時間変化により状態判断を行う追尾状態
検出手段を有することを特徴とする請求項1記載の移動
体の自動追尾装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32025492A JP3197633B2 (ja) | 1992-11-30 | 1992-11-30 | 移動体の自動追尾装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32025492A JP3197633B2 (ja) | 1992-11-30 | 1992-11-30 | 移動体の自動追尾装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06169458A JPH06169458A (ja) | 1994-06-14 |
JP3197633B2 true JP3197633B2 (ja) | 2001-08-13 |
Family
ID=18119451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32025492A Expired - Fee Related JP3197633B2 (ja) | 1992-11-30 | 1992-11-30 | 移動体の自動追尾装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3197633B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4140567B2 (ja) | 2004-07-14 | 2008-08-27 | 松下電器産業株式会社 | 物体追跡装置および物体追跡方法 |
KR100886323B1 (ko) * | 2007-10-10 | 2009-03-04 | 성균관대학교산학협력단 | 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치 |
JP5012589B2 (ja) * | 2008-03-10 | 2012-08-29 | 三菱電機株式会社 | 画像情報を用いた人物追跡システム |
JP2015127910A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社Jvcケンウッド | 色変化検出装置、色変化検出方法及び色変化検出プログラム |
JP6641633B2 (ja) * | 2016-03-10 | 2020-02-05 | スズキ株式会社 | 移動体検知システムおよびそのデータ整合性判定方法 |
WO2017199840A1 (ja) * | 2016-05-18 | 2017-11-23 | 日本電気株式会社 | オブジェクト追跡装置、オブジェクト追跡方法および記録媒体 |
US11837233B2 (en) | 2018-01-12 | 2023-12-05 | Sony Corporation | Information processing device to automatically detect a conversation |
JP2021012581A (ja) | 2019-07-08 | 2021-02-04 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
-
1992
- 1992-11-30 JP JP32025492A patent/JP3197633B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH06169458A (ja) | 1994-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101971866B1 (ko) | 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체 | |
Koller et al. | Robust multiple car tracking with occlusion reasoning | |
EP0684732B1 (en) | Video processing system | |
US7916944B2 (en) | System and method for feature level foreground segmentation | |
JP5247356B2 (ja) | 情報処理装置およびその制御方法 | |
EP1542155A1 (en) | Object detection | |
EP1542153A1 (en) | Object detection | |
JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
US20050129276A1 (en) | Object detection | |
EP1542152A1 (en) | Object detection | |
EP1542154A2 (en) | Object detection | |
JP3197633B2 (ja) | 移動体の自動追尾装置 | |
US8311269B2 (en) | Blocker image identification apparatus and method | |
JP2002063577A (ja) | 画像解析システム,画像解析方法および画像解析プログラム記録媒体 | |
KR102335755B1 (ko) | 탐색 윈도우의 확장 제어를 통한 객체 추적 방법 및 그 방법에 따른 객체 추적 시스템 | |
JPH11136664A (ja) | 動物体自動追尾装置 | |
JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
JPH09265538A (ja) | 自動追尾装置 | |
EP1418530B1 (en) | Adaptive artificial vision method and system | |
JP3417635B2 (ja) | 侵入物体認識方法 | |
JPH10336506A (ja) | 画像処理システム、追尾システム,追尾方法,記憶媒体 | |
EP1612725A1 (en) | Image processing method and image processing device | |
CN114401365B (zh) | 目标人物识别方法、视频切换方法及装置 | |
Li et al. | Efficient object tracking based on local invariant features | |
Setyoko et al. | Key-point based license plate detection using fully convolutional neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080608 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090608 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |