JPH0863602A

JPH0863602A - 物体追跡装置

Info

Publication number: JPH0863602A
Application number: JP6195100A
Authority: JP
Inventors: Etsuo Yamada; 越生山田; Yoshihiro Igawa; 喜裕井川; Akiko Konno; 章子紺野; Yukio Koga; 由紀夫古賀; Akira Shimizu; 清水　　晃
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 1994-08-19
Filing date: 1994-08-19
Publication date: 1996-03-08

Abstract

(57)【要約】【目的】時系列画像間の自然な対応付けを可能とし、
精度を向上させる。【構成】時系列画像を入力するカメラ１と、基準画像
を作成する基準画像作成部３と、基準画像を記憶する基
準画像記憶部４と、入力画像と基準画像の変化部分を抽
出する変化領域抽出部５と、変化領域の特徴量から対象
物体領域を決定しその代表点座標を抽出する対象物体抽
出部６と、対象物体の代表点の次時刻における位置を予
測する予測処理部９と、連続する２枚の画像間において
対象物体抽出部６で抽出された物体の代表点間の対応付
けを行なう対応付け処理部８とを設け、予測位置方向に
延びる楕円内の点と対応付けを行なうことで、物体の軌
跡追跡精度を上げる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、テレビ（ＴＶ）カメ
ラなどによる時系列入力画像から特定物体、例えば人物
などの軌跡を追跡するような、画像処理技術を利用した
物体追跡装置に関する。

【０００２】

【従来の技術】従来、この種の物体追跡装置に類するも
のとして、例えば特開平４−３４０１７８号に示すよう
な監視装置がある。図１３にそのブロック図を示す。図
１４はその動作を説明するための説明図である。同図に
おいて、１はテレビカメラ、２はこのカメラ１から送ら
れてくるアナログ映像信号をディジタル画像データに変
換するＡ／Ｄ変換部、１６はこの基準の背景画像データ
を記憶する背景メモリ、１７はこの背景画像と新たに入
力された画像データとの差分を計算する差分処理部、１
８は差分処理部１７の出力を或るしきい値で２値化する
２値化処理部、１９は２値化処理部１８から出力される
２値画像データに対して、その面積や重心位置などの特
徴量を抽出する特徴量抽出処理部である。

【０００３】２０は上記特徴量を時間差のある処理画像
間で比較，対応付けする特徴量対応付け処理部、２１は
対応付けの結果によって移動量を求める動き量抽出処理
部、２２は動き量抽出処理部２１からの出力にもとづき
侵入者の有無を判断する判断処理部、２３はその結果侵
入者が有ったと判断された場合に警報を発報する警報出
力部、２４は判断処理部２２にて侵入者があったかどう
かを判断する際に使用する各監視領域の特徴量を設定し
ておく領域別特徴量設定部である。

【０００４】次に、動作について説明する。カメラ１に
よって撮影された基準画像はアナログ映像信号としてＡ
／Ｄ変換部２へ入力され、ここでアナログ画像データを
ディジタル化し、ディジタル画像データに変換する。こ
こで、背景メモリ１６はこの画像データを背景画像とし
て記憶しておく。差分処理部１７ではその後順次入力さ
れる画像データと、背景画像データとの差分処理を各画
素ごとに行なう。２値化処理部１８は、差分処理部１７
の出力を予め定められているしきい値で２値化する。

【０００５】特徴量抽出処理部１９では、この２値画像
データに対し時刻ｔ＝１における面積Ｓ１と重心位置Ｘ
１，Ｙ１などの特徴量を求める。面積Ｓ１は変化領域の
画素数をカウントすることで求められ、重心位置Ｘ１，
Ｙ１は変化領域である画素のアドレスをそれぞれ加えて
いき、面積Ｓ１で割ったものとして求めることができ
る。次に、時刻ｔ＝２における面積Ｓ２と重心位置Ｘ
２，Ｙ２などの特徴量も、上記と同様にして求める。こ
の特徴量を特徴量対応付け処理部２０にて比較し、同一
のものと判断できるものに対して対応付けを行なう。

【０００６】例えば、面積差｜Ｓ１−Ｓ２｜が或る値よ
りも小さく、次式で示される移動距離ｄ、ｄ²＝（Ｘ１−Ｘ２）²＋（Ｙ１−Ｙ２）² も或る値より小さいときは、同一物体が移動したものと
して対応付けを行なう。動き量抽出処理部２１では、対
応付けされた変化領域の移動速度（移動距離ｄを時間差
で割ったもの）や、その方向などを検出する。

【０００７】画像変化やその移動があった場合、判断処
理部２２では画像変化の特徴量（面積や移動量）を、画
像変化のあった領域に予め設定されている領域別特徴量
設定部２４からの特徴量と比較し、その変化が侵入者に
よるものか否かを判断する。その結果、侵入者であった
と判断されたときは、警報出力部２３により警報を発報
する。

【０００８】

【発明が解決しようとする課題】しかしながら、上記の
ような従来例には下記のような問題がある。（１）従来技術では、前時刻位置と現時刻位置の間の距
離差が一定値以下の物体を、対応付けするようにしてい
る。そのため、物体が１つしかない場合や物体が複数あ
っても移動速度が小さい場合には、この方法でも良好な
結果が得られるが、移動速度の大きな物体が複数ある場
合には、正しい追跡が行なえないことがあり得る。（２）従来技術では、複数の物体の交差などで一方が他
方の陰に隠れてしまうような場合は、その追跡が正しく
行なえない。したがって、この発明の課題は移動速度の大きな物体が
複数ある場合や、複数の物体が交差する場合にも正しく
追跡し得るようにすることにある。

【０００９】

【課題を解決するための手段】このような課題を解決す
るため、この発明では、画像を時系列的に順次取り込む
画像入力部と、入力画像の特徴量から対象物体領域を決
定しその対象物体領域の代表点座標を抽出する対象物体
抽出部と、対象物体の代表点の次時刻における位置を予
測する予測処理部と、連続する２枚の画像間において対
象物体抽出部で抽出された物体の代表点間の対応付けを
行なう対応付け処理部とを設け、下記（１）〜（５）の
ようにすることを特徴としている。

【００１０】（１）前記対応付け処理部では、前時刻に
おける対象物体の代表点とその予測位置を含み、かつ、
この予測位置の方向にのびた楕円内に入る現時刻におけ
る対象物体のみについて対応付けを行なう。（２）前記対応付け処理部で対応付けを行なうに当た
り、現時刻における対象物体の代表点と前時刻における
対象物体の代表点が１対１に対応するようなあらゆる組
み合わせの中で、対応付けの評価値が最も高い組み合わ
せを選ぶとともに、現時刻における対象物体で対応が付
かずに残ったものについて、前時刻における１個の対象
物体が現時刻において２個以上に分裂することを許容し
て対応付けを行なう。

【００１１】（３）前記対応付け処理部で対応付けを行
なうに当たり、現時刻における対象物体の代表点と前時
刻における対象物体の代表点が１対１に対応するような
あらゆる組み合わせの中で、対応付けの評価値が最も高
い組み合わせを選ぶとともに、前時刻における対象物体
で対応が付かずに残ったものについて、２個以上の物体
を現時刻において１個に統合することを許容して対応付
けを行なう。

【００１２】（４）前記対応付け処理部で対応付けを行
なうに当たり、前記対象物体抽出部内の対象物体確信度
計算手段によって対象物体の確信度を計算し、対象物体
確信度が基準値以上の物体について、現時刻における対
象物体の代表点と前時刻における対象物体の代表点が１
対１に対応するようなあらゆる組み合わせの中で、対応
付けの評価値が最も高い組み合わせを選ぶとともに、前
時刻における対象物体で対応が付かずに残ったものにつ
いて、現時刻における対象物体確信度が基準値以下であ
る準対象物体についても統合を許容して対応付けを行な
う。（５）前記対応付け処理部で対応付けを行なった結果、
現時刻における対象物体との間で対応が付かなかった前
時刻における対象物体について、その予測位置に仮想的
な物体が存在するものと仮定し追跡結果に加えて対応付
けを行なう。

【００１３】

【作用】前時刻において各対象物体位置とその予測位置
を計算しておき、現時刻において前時刻における各対象
物体位置からそれぞれの予測位置の方向に延びた両者を
囲む楕円内に入る物体だけを対応付けの候補とすること
により、予測進行方向から大きくはずれた物体を除外で
きるようにする。また、物体抽出誤差のために２個以上
の物体が１個の物体のように抽出されたり、あるいは１
個の物体が２つ以上の物体のように抽出されたり、さら
には対象物体確信度が小さくなったりする可能性を考慮
して、段階的に対応付けを行なうことにより、各物体を
正確に追跡し得るようにする。これらに加え、物体が一
時的に抽出されない可能性を考慮して、対応が付かなか
った前時刻における対象物体について、その予測位置に
仮想的な対象物体を作成することにより、軌跡を途切れ
させることなく追跡できるようにする。

【００１４】

【実施例】図１はこの発明の実施例を示すブロック図、
図２は図１を説明するための説明図である。図２（ａ）
は基準画像、（ｂ），（ｃ）それぞれ時刻ｔ＝ｔ−１，
ｔにおける入力画像、１５は時刻ｔ＝ｔ−１の時点での
対象物体（ここでは人物）、１５’は時刻ｔ＝ｔの時点
での対象物体を示す。まず、予めカメラ１からＡ／Ｄ変
換部２を通して得た１枚または複数枚の画像を基準画像
作成部３に入力し、例えば図２（ａ）のような基準画像
を作成する。得られた基準画像は、基準画像記憶部４に
格納する。

【００１５】時刻ｔ＝ｔ−１において、変化領域抽出部
５は、カメラ１およびＡ／Ｄ変換部２を通して得られる
入力画像と、基準画像記憶部４に格納されている基準画
像とから両者の差分，２値化画像を作成する。得られた
２値化画像は、変化領域を示すことになる。なお、この
変化領域には対象物体の他に、ノイズ分も含まれてい
る。

【００１６】次に、２値画像を対象物体抽出部６に入力
する。対象物体抽出部６では、２値画像のラベル付け，
特徴量（外形長方形の幅・高さ，面積，代表点座標な
ど）の計算を行ない、対象物体辞書７内に記憶されてい
る基準特徴量と比較して、図２（ｂ）の枠内の如く対象
物体領域を決定する。同様に、時刻ｔ＝ｔの場合につい
ても、図２（ｃ）の枠内の如く対象物体領域を決定す
る。

【００１７】物体領域の代表点座標としては、外形長方
形の下辺中点や中心点，ラベル画像の重心などが考えら
れる。図２（ｂ），（ｃ）では外形長方形の下辺中点Ａ
１，Ａ２を代表点としている。対応付け処理部８では、
まず対応付け候補選択手段８Ａにより、連続する２時刻
ｔ＝ｔ−１，ｔにおいて対象物体抽出部６で得られた結
果、および予測位置記憶部１０に記憶されている時刻ｔ
＝ｔ−１での各物体の予測位置を用いて対応付けの候補
を選択する。さらに、対応付け決定手段８Ｂにより、同
一物体の対応付けを行なう。

【００１８】対応付けの候補を選択する条件として用い
る楕円は、例えば図３に示すものが考えられる。これ
は、時刻ｔ＝ｔ−１における対象物体位置ｐｉを焦点と
する楕円で、ｐｉと予測位置ｑｉを結ぶ方向を長軸とし
て、前方に最大ｖｍａｘ、後方に最大ｖｂｍａｘとなる
ものである（ｖｍａｘ≧ｖｂｍａｘ）。この楕円に入る
ような時刻ｔ＝ｔにおける対象物体位置ｒｊをｐｉの対
応付けの候補とする。すなわち、この条件は、ｐｉ−ｒ
ｊ間の距離をｖｉｊ、楕円の長軸とｐｉ−ｒｊのなす角
をθｉｊとすると、と表わすことができる。ただし、β＝ｖｂｍａｘ／ｖｍ
ａｘである。

【００１９】図４にθに対する対応付け可能な距離ｖの
上限値を示す。同図からも明らかなように、θの絶対値
が大きくなるにつれてｖの上限値は単調に減少してお
り、θが０の付近の物体ほど高速に運動していても対応
付け可能で、θの絶対値が大きいと速度の小さいものし
か対応付けしなくなることを示している。

【００２０】図５はこの発明による対応付け方法を説明
するための説明図である。同図において、ｐ１，ｐ２は
時刻ｔ＝ｔ−１における対象物体位置、ｑ１，ｑ２はそ
れぞれの予測位置、ｒ１，ｒ２は時刻ｔ＝ｔにおける対
象物体位置である。すなわち、図５（ａ）ではｒ１とｒ
２はｐ１からほぼ等距離にあるが、ｒ２は楕円外なの
で、ｐ１の対応付けの候補とはならない。一方、図５
（ｂ）ではｐ１とｐ２が同じ位置にあるが、予測位置が
異なり楕円の向きも異なるため、ｐ１とｒ１が対応し、
ｐ２とｒ２が対応することが分かる。

【００２１】対応付けの候補がしぼられた後は、対応付
け決定手段８Ｂによって同一物体の対応付けを行なうこ
とで代表点座標の位置変化（軌跡）を求め、その結果を
物体軌跡記憶部１１に記憶する。さらに、予測処理部９
では、物体軌跡記憶部１１に記憶された各物体の軌跡を
もとに、それぞれの物体の次時刻における予測位置を計
算する。予測処理部９で求めた予測位置は、予測位置記
憶部１０に記憶する。得られた結果は結果出力部１２に
送られ、映像，文字，音声や他機器の制御情報などの形
で出力される。

【００２２】対応付けの処理については、以下のように
することもできる。すなわち、対象物体抽出部６におい
て、２値画像のラベル付け，特徴量の計算を行ない、対
象物体辞書７内に記憶されている基準特徴量と比較して
対象物体確信度を計算し、対象物体確信度が或る基準値
以上である、例えば図２（ｂ）に枠を付して示すような
対象物体領域（対象物体確信度が大きいもの）と、準対
象物体領域（対象物体確信度が小さいもの）を決定し、
その代表点座標を求める。対応付け処理部８では、まず
対応付け候補選択手段８Ａにおいて、対応付けの候補を
選択する。対応付け候補選択手段としては、時刻ｔ＝ｔ
−１における対象物体ｐの予測位置ｑから、或る一定距
離以内に存在する時刻ｔ＝ｔにおける対象物体を候補と
して選択する方法や、上述のような楕円を利用する方法
もある。そして、候補として選択されたものについて対
応付け決定手段８Ｂにより、同一物体の対応付けを行な
う。

【００２３】対応付け決定手段８Ｂでの処理は図６に示
すように、４つのＰｈａｓｅからなっている。ここで
は、時刻ｔ＝ｔ−１における対象物体ｐの予測位置ｑか
ら、或る一定距離以内に存在する時刻ｔ＝ｔにおける対
象物体を候補として選択したものについて、処理を行な
うこととする。まず、第１のＰｈａｓｅでは、まず対象
物体抽出部６で求めた時刻ｔ＝ｔ−１およびｔ＝ｔにお
ける対象物体が、各時刻において重複することのないよ
うな組み合わせのすべてについて、或る評価基準にもと
づき最良のものを選択する。このような評価基準の例と
しては、例えば次のものが考えられる。

【００２４】すなわち、或る組み合わせｍの評価値Ｚｍ
を、次式で表現する。

【００２５】上式において、ｒｊは時刻ｔ＝ｔにおける
対象物体を示し、Ｎｔはその総数である。ｐｍｊは組み
合わせｍにおいて、ｒｊに対応している時刻ｔ＝ｔ−１
における対象物体である。ｚ（ｐｍｊ，ｒｊ）は、ｐｍ
ｊに対する予測位置ｑｍｊとｒｊとの距離の二乗を、加
速度の上限値ａｍａｘの二乗で割ったもので、次の
（１）の式で表わされる。

【００２６】（１）ｐｍｊが時刻ｔ−２以前で出現した
場合（２）ｐｍｊが時刻ｔ−１で出現した場合（３）ｒｊが時刻ｔで出現した場合ｚ（ｐｍｊ，ｒｊ）＝１

【００２７】ただし、時刻ｔ＝ｔ−１で出現した場合
は、予測位置が求められないため上記（２）のように、
近似している。また、時刻ｔ＝ｔで出現した場合、すな
わち対応元が存在しない場合は、上記（３）のように全
て評価値を「１」にしている。いずれにしても、評価値
Ｚｍが最も小さい組み合わせを選択するものとする。

【００２８】いま、図７でｐ１，ｐ２を時刻ｔ＝ｔ−１
における対象物体位置、ｑ１，ｑ２をそれぞれの予測位
置、ｒ１，ｒ２を時刻ｔ＝ｔにおける対象物体位置であ
るとし、それぞれの座標位置が、ｐ１＝（１００，１００）、ｐ２＝（１５０，５０）ｑ１＝（１４０，１４０）、ｑ２＝（１１０，９０）ｒ１＝（１１０，１４０）、ｒ２＝（１１０，１００）であるとする。

【００２９】また、最大速度ｖｍａｘ，最大加速度ａｍ
ａｘを、ｖｍａｘ＝７０，ａｍａｘ＝６０として、対応付け候補選択手段８Ａにより、ｐ１の対応
付けの候補としてｒ１，ｒ２が、ｐ２の対応付けの候補
としてｒ２が得られたときの、各組み合わせの評価値Ｚ
ｍは次の表１のようになる。同表から、評価値Ｚｍの最
も小さい５番目の組み合わせ、すなわちｒ１に対しては
ｐ１、ｒ２に対してはｐ２の組み合わせが選ばれること
になる。なお、表１の「＊」は候補が突然現れた場合を
示す。

【００３０】

【表１】

【００３１】第２〜第４のＰｈａｓｅでは、第１のＰｈ
ａｓｅで対応が付かずに残った時刻ｔ＝ｔ−１および時
刻ｔ＝ｔにおける対象物体が、２つ以上の物体が重なっ
て１つの物体として抽出される可能性や、時刻ｔ＝ｔに
おける対象物体が、物体抽出誤差のために対象物体とし
て抽出されない可能性などを考慮して対応付けを行なう
ようにする。

【００３２】第１のＰｈａｓｅで対応が付かなかった時
刻ｔ＝ｔにおける対象物体は、時刻ｔ＝ｔで出現したと
いうことになる。しかし、実際には物体が突然出現する
ことはない。このような場合、時刻ｔ＝ｔ−１で２つ以
上の物体が重なり合って１つの物体として抽出されてい
て、時刻ｔ＝ｔにおいて陰に隠れていた物体が現れて２
つ以上の物体に分裂して抽出された、というようなこと
が考えられる。そこで、第２のＰｈａｓｅでは、第１の
Ｐｈａｓｅで対応が付かなかった時刻ｔ＝ｔにおける対
象物体ｒｊと、すでに他の物体と対応付けされた時刻ｔ
＝ｔ−１における対象物体ｐｉとの対応付けを行なう。

【００３３】ここで、対応付け候補選択手段８Ａによ
り、時刻ｔ＝ｔ−１における対象物体ｐｉの対応付けの
候補として、時刻ｔ＝ｔにおける対象物体ｒｊが選ばれ
たとする。もし、ｒｊがどのｐｉの対応付けの候補にも
選ばれなかったならば、ｒｊは突然出現したとしか考え
られないので、どのｐｉとも対応付けをしない。ｒｊが
ただ１つのｐｉの対応付けの候補に選ばれたならば、ｒ
ｊとｐｉを対応付ける。複数個のｒｊがｐｉの対応付け
の候補に選ばれたならば、そのようなｒｊの中から、或
る評価基準において最良のもの、例えばｒｊとｐｉの予
測位置ｑｉとの距離が最小のｒｊをｐｉに対応付けるよ
うにする。

【００３４】具体的には図８（ａ）に示すように、対応
付け候補選択手段８Ａによってｐ１の対応付けの候補と
してｒ１とｒ３が、ｐ２の対応付けの候補としてｒ２と
ｒ３が選択されており、第１のＰｈａｓｅの処理によっ
てｐ１とｒ１、ｐ２とｒ２がそれぞれ対応付いているも
のとすると、第２のＰｈａｓｅの処理によってｒ３もｐ
１と対応付けられることになる。なお、分裂を許すこの
第２のＰｈａｓｅの処理では、対象物体確信度は必ずし
も求める必要はない。

【００３５】また、第１のＰｈａｓｅで対応付かなかっ
た時刻ｔ＝ｔ−１における対象物体は、時刻ｔ＝ｔで消
滅したということになる。しかし、実際には物体が突然
に消滅することはない。このような場合、時刻ｔ＝ｔ−
１で抽出された２つ以上の物体が、時刻ｔ＝ｔにおいて
重なり合って１つの物体として抽出された、というよう
なことが考えられる。そこで、第３のＰｈａｓｅでは、
第１のＰｈａｓｅで対応付かなかった時刻ｔ＝ｔ−１に
おける対象物体ｐｉと、すでに他の物体と対応付けされ
ているｔ＝ｔにおける対象物体ｒｊとの対応付けを行な
う。

【００３６】すなわち、対応付け候補選択手段８Ａによ
って、時刻ｔ＝ｔ−１における対象物体ｐｉの対応付け
の候補として、時刻ｔ＝ｔにおける対象物体ｒｊが選ば
れたとする。もし、どのｒｊもｐｉの対応付けの候補に
選ばれなかったならば、ｐｉは突然消滅としか考えられ
ないので、どのｒｊとも対応付けない。ｐｉの対応付け
の候補としてただ１つのｒｊが選ばれたならば、ｒｊと
ｐｉを対応付ける。１つのｒｊが複数のｐｉの対応付け
の候補として選ばれたならば、そのようなｐｉの中か
ら、或る評価基準において最良のもの、例えばｒｊとｐ
ｉの予測位置ｑｉとの距離が最小のｒｊを、ｐｉに対応
付けるようにする。

【００３７】具体的には、図９（ａ）に示すように、ｒ
１がｐ１とｐ３の両方の候補であるとすると、第１のＰ
ｈａｓｅの処理だけでは同図（ａ）のように一方が途切
れてしまうが、第３のＰｈａｓｅの処理を行なうと、
（ｂ）のようにｐ３もｒ１に統合される。なお、統合を
許すこの第３のＰｈａｓｅの処理では、対象物体確信度
は必ずしも求める必要はない。

【００３８】さらに、一時的に物体の抽出精度が低下し
た場合や、時刻ｔ＝ｔ−１で抽出された２つ以上の物体
が時刻ｔ＝ｔにおいて重なり合っている場合や、時刻ｔ
＝ｔ−１で抽出された１つの物体が時刻ｔ＝ｔにおいて
分離した場合などには、対象物体確信度が小さくなった
準対象物体として抽出されることがある。そこで、第４
のＰｈａｓｅでは、第３のＰｈａｓｅで対応付かなかっ
た時刻ｔ−１における対象物体ｐｉと、時刻ｔ＝ｔにお
ける準対象物体ｒｊ’との対応付けを行なう。

【００３９】対応付け候補選択手段８Ａによって、時刻
ｔ＝ｔ−１における対象物体ｐｉの対応付けの候補とし
て、時刻ｔ＝ｔにおける対象物体ｒｊ’が選ばれたとす
る。もし、どのｒｊ’もｐｉの対応付けの候補に選ばれ
なかったならば、ｐｉは突然消滅としか考えられないの
で、どのｒｊ’とも対応付けない。ｐｉの対応付けの候
補としてただ１つのｒｊ’が選ばれたならば、ｒｊ’と
ｐｉと対応付ける。ｐｉの対応付けの候補として複数個
のｒｊ’が選ばれたならば、そのようなｒｊの中から、
或る評価基準において最良のもの、例えばｒｊ’とｐｉ
の予測位置ｑｉとの距離が最小のｒｊ’を、ｐｉに対応
付けるようにする。

【００４０】具体的には図１０（ａ）のように、ｒ１’
とｒ２’の両方がｐの候補であるとすると、第４のＰｈ
ａｓｅの処理を行なうことによって、図１０（ａ）のよ
うにｒ１’のみがｐに統合されることになる。

【００４１】図１１はこの発明の他の実施例を示すプロ
ック図、図１２は図１１を説明するための説明図であ
る。図１１からも明らかなように、図１に示す対応付け
処理部８に仮想物体作成手段８Ｃを付加した点が特徴で
ある。なお、図１１でも図１に示す対応付け候補選択手
段も設けられるが、ここでは図示を省略している。ま
た、対応付け処理部８における対応付け候補選択手段８
Ａ、および対応付け決定手段８Ｂでの動作は上記と同様
なので、以下では主に相違点について図１２を参照して
説明する。

【００４２】いま、図１２（ａ）のように、時刻ｔ＝ｔ
−１における対象物体ｐが対応付かなかったとすると、
この実施例では予測位置記憶部１０に記憶されている時
刻ｔ＝ｔ−１における対象物体の予測位置ｑに、仮想物
体ｖを作成する。ただし、時刻ｔ＝ｔ−１における対象
物体ｐがすでに仮想物体であったり、予測位置ｑが画面
外にあったりするなど、追跡が困難な場合は仮想物体ｖ
は作成しない。その後の時刻ｔ＝ｔ＋１において、対応
付け候補選択手段８Ａおよび対応付け決定手段８Ｂによ
り、図１２（ｂ）のように対象物体ｒと仮想物体ｖが対
応付いたものとすれば、このとき、図１２（ｃ）のよう
に、対象物体ｐと対象物体ｒをつなぎ、仮想物体ｖを物
体の軌跡から取り除くようにする。

【００４３】物体軌跡記憶部１１に記憶されている時刻
ｔ＝ｔ−１における物体の軌跡に、対応付け処理部８で
得られた時刻ｔ＝ｔにおける対応付け結果をもとに代表
点の位置変化（軌跡）を求め、再び物体軌跡記憶部１１
に記憶する。また、予測処理部９では、物体軌跡記憶部
１１に記憶された時刻ｔ＝ｔにおける各物体の軌跡をも
とに、それぞれの物体の時刻ｔ＝ｔ＋１における予測位
置を計算し、予測位置記憶部１０に記憶させるのは図１
の場合と同様である。

【００４４】

【発明の効果】第１の発明によれば、予測進行方向に対
し指向性を持った条件で対応付けの候補を選択するよう
にしているので、処理画像の間隔が或る程度大きい場合
でも比較的自然に軌跡の追跡を行なうことが可能となる
利点がもたらされる。また、第２〜４の発明によれば、
物体が分裂したり統合したりすることを許しながら、物
体抽出の確からしさによって段階的に対応付けを行なう
ようにしたので、複数の物体が交差した場合や一時的に
物体抽出精度が低下した場合でも、軌跡を途切れさせる
ことなく追跡することができる。さらに、第５の発明の
ように、前時刻と現時刻との対応付けにおいて、現時刻
での対応先がなく残ってしまった前時刻における対象物
体について、現時刻での予測位置に仮想物体を作成し追
跡結果に加えることで、一時的に抽出されなくても軌跡
が途切れるケースが少なくなる。

【図面の簡単な説明】

【図１】この発明の実施例を示すブロック図である。

【図２】基準画像と入力画像の関係を説明するための説
明図である。

【図３】図１の動作を説明するための説明図である。

【図４】図３のｒｉとｑｉとのなす角度θと対応付け可
能な距離ｖとの関係を示すグラフである。

【図５】この発明における対応付け処理を説明するため
の説明図である。

【図６】この発明における動作フェーズを説明するため
の説明図である。

【図７】対象物体の位置関係を説明するための説明図で
ある。

【図８】この発明による分裂を許容する対応付け処理の
説明図である。

【図９】この発明による統合を許容する対応付け処理の
説明図である。

【図１０】この発明による準対象物体との統合を許容す
る場合の対応付け処理の説明図である。

【図１１】この発明の他の実施例を示すブロック図であ
る。

【図１２】この発明による仮想物体作成動作を説明する
ための説明図である。

【図１３】物体追跡監視装置の従来例を示すブロック図
である。

【図１４】図１３の動作を説明するための説明図であ
る。

【符号の説明】

１…テレビカメラ、２…Ａ／Ｄ変換部、３…基準画像作
成部、４…基準画像記憶部、５…変化領域抽出部、６
…対象物体抽出部、７…対象物体辞書、８…対応付け処
理部、８Ａ…対応付け候補選択手段、８Ｂ…対応付け決
定手段、８Ｃ…仮想物体作成手段、９…予測処理部、１
０…予測位置記憶部、１１…物体軌跡記憶部、１２…結
果出力部、１５，１５’…対象物体。

───────────────────────────────────────────────────── フロントページの続き (72)発明者古賀由紀夫神奈川県川崎市川崎区田辺新田１番１号富士電機株式会社内 (72)発明者清水晃東京都日野市富士町１番地富士ファコムシステム株式会社内

Claims

【特許請求の範囲】

【請求項１】画像を時系列的に順次取り込む画像入力
部と、入力画像の特徴量から対象物体領域を決定しその
対象物体領域の代表点座標を抽出する対象物体抽出部
と、対象物体の代表点の次時刻における位置を予測する
予測処理部と、連続する２枚の画像間において対象物体
抽出部で抽出された物体の代表点間の対応付けを行なう
対応付け処理部とを備え、前記対応付け処理部では、前時刻における対象物体の代
表点とその予測位置を含み、かつ、この予測位置の方向
にのびた楕円内に入る現時刻における対象物体のみにつ
いて対応付けを行なうことを特徴とする物体追跡装置。
【請求項２】画像を時系列的に順次取り込む画像入力
部と、入力画像の特徴量から対象物体領域を決定しその
対象物体領域の代表点座標を抽出する対象物体抽出部
と、対象物体の代表点の次時刻における位置を予測する
予測処理部と、連続する２枚の画像間において対象物体
抽出部で抽出された物体の代表点間の対応付けを行なう
対応付け処理部とを備え、前記対応付け処理部で対応付けを行なうに当たり、現時
刻における対象物体の代表点と前時刻における対象物体
の代表点が１対１に対応するようなあらゆる組み合わせ
の中で、対応付けの評価値が最も高い組み合わせを選ぶ
とともに、現時刻における対象物体で対応が付かずに残
ったものについて、前時刻における１個の対象物体が現
時刻において２個以上に分裂することを許容して対応付
けを行なうことを特徴とする物体追跡装置。
【請求項３】画像を時系列的に順次取り込む画像入力
部と、入力画像の特徴量から対象物体領域を決定しその
対象物体領域の代表点座標を抽出する対象物体抽出部
と、対象物体の代表点の次時刻における位置を予測する
予測処理部と、連続する２枚の画像間において対象物体
抽出部で抽出された物体の代表点間の対応付けを行なう
対応付け処理部とを備え、前記対応付け処理部で対応付けを行なうに当たり、現時
刻における対象物体の代表点と前時刻における対象物体
の代表点が１対１に対応するようなあらゆる組み合わせ
の中で、対応付けの評価値が最も高い組み合わせを選ぶ
とともに、前時刻における対象物体で対応が付かずに残
ったものについて、２個以上の物体を現時刻において１
個に統合することを許容して対応付けを行なうことを特
徴とする物体追跡装置。
【請求項４】画像を時系列的に順次取り込む画像入力
部と、入力画像の特徴量から対象物体領域を決定しその
対象物体領域の代表点座標を抽出する対象物体抽出部
と、対象物体の代表点の次時刻における位置を予測する
予測処理部と、連続する２枚の画像間において対象物体
抽出部で抽出された物体の代表点間の対応付けを行なう
対応付け処理部とを備え、前記対応付け処理部で対応付けを行なうに当たり、前記
対象物体抽出部内の対象物体確信度計算手段によって対
象物体の確信度を計算し、対象物体確信度が基準値以上
の物体について、現時刻における対象物体の代表点と前
時刻における対象物体の代表点が１対１に対応するよう
なあらゆる組み合わせの中で、対応付けの評価値が最も
高い組み合わせを選ぶとともに、前時刻における対象物
体で対応が付かずに残ったものについて、現時刻におけ
る対象物体確信度が基準値以下である準対象物体につい
ても統合を許容して対応付けを行なうことを特徴とする
物体追跡装置。
【請求項５】画像を時系列的に順次取り込む画像入力
部と、入力画像の特徴量から対象物体領域を決定しその
対象物体領域の代表点座標を抽出する対象物体抽出部
と、対象物体の代表点の次時刻における位置を予測する
予測処理部と、連続する２枚の画像間において対象物体
抽出部で抽出された物体の代表点間の対応付けを行なう
対応付け処理部とを備え、前記対応付け処理部で対応付けを行なった結果、現時刻
における対象物体との間で対応が付かなかった前時刻に
おける対象物体について、その予測位置に仮想的な物体
が存在するものと仮定し追跡結果に加えて対応付けを行
なうことを特徴とする物体追跡装置。