JP4070558B2

JP4070558B2 - 画像追跡装置および方法

Info

Publication number: JP4070558B2
Application number: JP2002280302A
Authority: JP
Inventors: 正英西浦
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-09-26
Filing date: 2002-09-26
Publication date: 2008-04-02
Anticipated expiration: 2022-09-26
Also published as: JP2004118485A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像中の物体、あるいは、物体の一部分を追跡する方法および装置に関する。
【０００２】
【従来の技術】
動画像中の物体を追跡することは、人物や車両の画像監視、画像データの圧縮、医用画像診断における臓器運動の解析等の分野で重要な技術である。
【０００３】
動画像中の物体の領域を追跡する方法としては、テンプレートマッチングが広く使用されている。テンプレートマッチングでは、予め動画像の各画像中における追跡対象物体の領域をテンプレート画像として記憶しておき、時系列的に入力される画像中で、テンプレート画像との類似度が高い場所（領域）を検出することで物体領域の位置を検出する。
【０００４】
しかし、テンプレートマッチングの問題点としては、物体の変形、他物体による遮蔽、照明の変動、センサ系の雑音等の要因で物体領域の画像パターンが変化することによって、物体の追跡精度や安定性が低下するということが挙げられる。
【０００５】
この問題点への対応策として、これまでにも順次テンプレートを更新する方法が考えられてきた。しかしテンプレートを更新すると、更新時に位置の誤差が生じ、時系列画像に対して順次テンプレートの更新を行いながら物体追跡を行った場合、誤差が累積し位置精度が低下する。従って、検出位置精度の低下を防ぐためには、テンプレート画像の更新の頻度を少なくするほうが良い。
【０００６】
この点に関しては、物体の移動量に基づいてテンプレートの更新を行うかを決定する物体追跡方法が提案されている（例えば、特許文献１）。しかし、移動量を基にした場合には、移動せずに物体が変形した場合や照明だけが変化した場合にはテンプレートの更新が行われないという問題がある。
【０００７】
また、テンプレートとの類似度が所定の閾値よりも大きい場合にテンプレートを更新する方法も提案されている（例えば、特許文献２、特許文献３）。この方法では、類似度が高い場合にテンプレートの更新を行うことにより、位置が誤検出された場合にテンプレートが更新されるのを防いでいる。
【０００８】
しかし、本来テンプレートの更新が必要である理由は、追跡対象物体自体の変形や、他の物体による追跡対象物体の遮蔽や、照明や天候の変動などによる、追跡対象物体に相当する領域の画像パターンが変化しテンプレートとの類似度が低くなるためであるが、この方法ではテンプレートが更新されない。このため、追跡対象物体に相当する領域の画像パターンが大きく変化する場合には物体が追跡できなかった。
【０００９】
【特許文献１】
特開平９−３２２１５５号公報
【００１０】
【特許文献２】
特開平５−２９８５９１号公報
【００１１】
【特許文献３】
特開平６−３０４１７号公報
【００１２】
【発明が解決しようとする課題】
本発明は従来のテンプレートマッチングを用いた物体追跡技術において、テンプレート更新に伴う追跡精度や安定性の低下という問題点を解決するためになされた。
【００１３】
本発明は追跡対象物体自体の変形、他の物体による追跡対象物体の遮蔽、照明や天候の変動、センサ系の雑音等の要因により物体領域の画像パターンが大きく変動する場合でも、物体を追跡可能な物体追跡装置及び方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の画像追跡装置は、動画像中の第１の画像において、所望の位置に追跡領域を代表する複数の追跡点を設定する追跡点設定部と、前記第１の画像において、各追跡点の周辺の領域の画像であるテンプレート画像を抽出するテンプレート画像抽出部と、前記テンプレート画像を記憶する記憶部と、前記第１の画像と異なる時間の第２の画像において前記テンプレート画像を用いたテンプレートマッチングを行って前記複数の追跡点それぞれの移動先座標と移動先座標における類似度とを求めるテンプレートマッチング部と、前記複数の追跡点それぞれの移動先座標から前記追跡領域全体の移動量を推定する手段と、前記追跡領域全体の移動量と前記複数の追跡点それぞれの移動先座標までの移動量との差に対応する推定残差を計算する手段と、前記複数の追跡点のうち、前記推定残差が第１の所定の閾値より小さく、かつ、前記類似度が第２の所定の閾値より低いものについては、当該追跡点に対応するテンプレート画像を前記第２の画像の当該追跡点の移動先周辺の領域から抽出して更新するテンプレート画像更新部とを有する。
【００１５】
また、前記記憶部は、各追跡点毎に複数のテンプレート画像を記憶することができ、前記テンプレートマッチング部は、前記複数のテンプレート画像を用いたテンプレートマッチングを行い、前記複数の追跡点それぞれの移動先座標と移動先座標におけるテンプレート画像毎の類似度とを求め、前記テンプレート画像更新部は、前記複数の追跡点のうち、前記推定残差が第１の所定の閾値より小さく、かつ、それぞれの前記類似度の最低値あるいは最高値が第２の所定の閾値より低い点については、前記第２の画像から当該追跡点に対応するテンプレート画像を抽出して前記記憶部に記憶させるとともに、当該追跡点に対応するテンプレート画像の数が第３の所定の閾値を超えた場合には、前記類似度の最低値に対応するテンプレート画像を前記記憶部から削除することを特徴としても良い。
【００１６】
本発明の画像追跡方法は、入力された動画像の第１の画像において所望の位置に追跡領域を代表する複数の追跡点を設定し、これら複数の追跡点を追跡するためのテンプレート画像を抽出し、前記第１の画像と異なる時間の第２の画像において前記テンプレート画像を用いたテンプレートマッチングを行って前記複数の追跡点それぞれの移動先座標を求め、前記複数の追跡点それぞれの移動先座標から前記追跡領域全体の移動量を推定し、前記追跡領域全体の移動量と前記複数の追跡点それぞれの移動先座標とを用いて、各追跡点のテンプレートマッチングの信頼度を求め、前記複数の追跡点のうち、前記信頼度が第１の所定の閾値より高く、かつ、テンプレート画像との類似度が第２の所定の閾値よりも低いものについては、当該追跡点に対応するテンプレート画像を更新する。
【００１７】
また、複数の追跡点それぞれの移動先座標と移動先座標における類似度の最低値と最高値とを、各追跡点に対応する複数のテンプレート画像を用いてテンプレートマッチングにより求め、前記複数の追跡点のうち、前記信頼度が第１の所定の閾値より高く、かつ、前記類似度の最低値あるいは最高値が第２の所定の閾値よりも低いものについては、前記第２の画像から当該追跡点に対応するテンプレート画像を抽出するとともに、当該追跡点に対応するテンプレート画像の数が第３の所定の閾値を超えた場合には前記類似度の最低値に対応するテンプレート画像を削除することを特徴としても良い。
【００１８】
【発明の実施の形態】
（概要）本発明の物体追跡装置は、動画像の各画像中に映っている物体あるいは物体の所望の部位の位置を、テンプレートマッチング法を用いて、時々刻々と追跡する装置である。
【００１９】
画像中の追跡対象物体に相当する領域の画素情報は、追跡対象物体自体の変形したり、追跡物体が同じ画像中に映っている他の物体の陰に隠れたり、天候や照明が変動したり、あるいは動画像を取得するカメラのノイズなどの影響により、時々刻々と変化する。
【００２０】
このような変化に対応するためには、テンプレート画像を更新することが望ましいが、頻繁に更新を行うと更新の度に位置の誤差が累積するため追跡精度が低下する。
【００２１】
そこで本発明の物体追跡装置では、まず、複数の追跡点をほぼ同じ運動を行うとみなせる範囲内に設定する。そして、テンプレートマッチングで各追跡点の移動先の座標を求める。前述の複数の追跡点のうち、全追跡点の平均的な移動量と当該追跡点の移動量との差が所定の誤差範囲内に収まり、かつ、テンプレートマッチングの類似度が所定の閾値より低いものについて、テンプレート画像の更新を行うようにした。
【００２２】
このような条件でテンプレート画像の更新を行うことにより、追跡点周辺の画像パターンとテンプレートとの間の類似度が高い場合にはテンプレート画像の更新を行わないことになる。よって、テンプレート画像の更新頻度を抑制できるので、テンプレート画像の更新による追跡誤差の累積を抑制することができる。
【００２３】
（第１の実施形態）以下、図面を参照して本発明の第１の実施形態の物体追跡装置について説明する。
【００２４】
本実施形態の物体追跡装置は、ユーザが動画像内に映っている物体あるいは物体の一部分を指定し、指定された位置を時々刻々と追跡する装置である。
【００２５】
ユーザは追跡対象物体若しくはある物体の追跡対象部位を特定するための複数の追跡点を指定する。これら複数の追跡点は、ほぼ同じ動きをするとみなせる程度に相互の距離が近いものを指定する。例えば、野球のボールの運動を追跡するような場合ならばボールに対して複数の追跡点を設定する。あるいは、医療用の心筋画像において弁の運動を追跡するのであれば、弁の部分に対して複数の追跡点を設定する。
【００２６】
本装置は、例えば医療用の心筋画像における心臓の所望の部位の運動の追跡や、あるいは、一般的な物体の運動の追跡などに適用可能である。
【００２７】
（構成）図１は本装置の構成を説明する図である。
【００２８】
本装置は、動画像の入力を受けるための画像入力部１０１と、入力された動画像の各画像、後述するテンプレート画像、追跡点の座標、推定残差・類似度、真の追跡点の座標及びその他のデータを記憶するメモリ１０２と、ユーザが動画像内の追跡点を指定するためのポインティングデバイス１０３と、ポインティングデバイス１０３から入力された複数の追跡点について座標を求め、これを初期値として設定する追跡点設定部１０４とを有する。
【００２９】
さらに本装置は、追跡点の座標をもとに画像からテンプレート画像を抽出するテンプレート画像抽出部１０５と、画像中からテンプレート画像に最も類似する領域を探索することで各追跡点の移動先の座標を求めるテンプレートマッチング部１０６と、テンプレートマッチング部１０６の処理結果から各追跡点の真の移動先の座標を推定する移動先推定部１０７とを有する。
【００３０】
また、テンプレートマッチング部１０６で求めた移動先の座標と移動先推定部１０７で求めた真の移動先の座標とを用いて、テンプレート画像の更新を行うか否かを判定するテンプレート画像更新判定部１０８と、移動先の座標を更新する座標更新部１０９と、追跡結果を逐次出力する結果出力部１１０とを有する。
【００３１】
画像入力部１０１は例えばカメラ等の撮像装置や動画像の再生装置等であり、動画像をメモリ１０２へ画像１枚単位で出力する。メモリ１０２は出力された画像を順次記憶して画像１０２−１として管理する。
【００３２】
ユーザはポインティングデバイス１０３を用いて、画像中の追跡点を複数指定する。上述の通り、各追跡点は、ほぼ同じ動きをするとみなせる範囲内に指定する。追跡点設定部１０４ではポインティングデバイス１０３からの入力信号から追跡点の座標を求め、これをメモリ１０２に記憶させるとともに、テンプレート画像抽出部１０５にも出力する。メモリ１０２はここで記憶したデータを追跡点座標１０２−２として管理する。
【００３３】
テンプレート画像抽出部１０５は、メモリ１０２から読み込んだ画像１０２−１からテンプレート画像の抽出を行い、メモリ１０２に記憶させる。メモリ１０２はここで記憶したデータをテンプレート画像１０２−２として管理する。
【００３４】
テンプレートマッチング部１０６は画像内においてテンプレート画像と最も類似する領域を探索することにより追跡点の移動先座標を求め、メモリ１０２に記憶させる。メモリ１０２はテンプレートマッチング部１０６で求めた座標を追跡点座標１０２−３として管理し、類似度を推定残差・類似度１０２−４の一情報として管理する。
【００３５】
移動先推定部１０７は、各点の真の移動先座標を推定する。推定法については後述する。そして、推定した座標とテンプレートマッチングで求めた座標との間の誤差（推定残差）と、推定した追跡点の座標とをメモリ１０２に記憶させる。メモリ１０２は推定した追跡点の座標を真の移動先座標１０２−５として管理する。
【００３６】
テンプレート画像更新判定部１０８では、テンプレート画像の更新を行うか否かを判定する。そして更新すると判定された場合には、テンプレート画像抽出部１０５に処理を依頼する。
【００３７】
座標更新部１０９は推定残差が大きい追跡点については真の移動先座標を現在の追跡点の座標とし、推定残差が小さい追跡点についてはテンプレートマッチングで求めた追跡点座標を現在の追跡点の座標として更新する。ここで更新した結果はメモリ１０２に記憶させる。メモリ１０２は追跡点座標１０２−３を更新する。
【００３８】
結果出力部１１０は検出した追跡点の座標を外部に出力する。本実施形態では、外部のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等に座標値を表す信号として出力するものとするが、この他には、例えば、ディスプレー上にグラフィカルに表示したり、あるいは、プリンタに対してデータを出力して座標と時間の関係を表すグラフを印刷させても良い。
【００３９】
尚、本装置の処理の全部あるいは一部をＣＰＵ、メモリ、画像入力インターフェース、マウス等の入力インターフェース等を備えたＰＣやＷＳ上でプログラムを動作させることにより実現しても良い。
【００４０】
（動作の概要）図２は本装置の処理の流れを示す流れ図である。
（ステップ２０１）初期画像の入力を受ける。
（ステップ２０２）ユーザが初期画像において複数の追跡点の初期座標を設定する。そして、各追跡点について初期画像を用いてテンプレート画像を生成する。（ステップ２０３）次の画像の入力を受ける。
（ステップ２０４）次の画像において、各追跡点の移動先をテンプレート画像を用いてテンプレートマッチングにより求めるとともに、テンプレート画像と移動先周辺の領域との類似度を求める。
（ステップ２０５）各追跡点の移動先座標と移動元座標との関係を用いて、各追跡点の真の移動先を推定する。そして、真の移動先の座標とテンプレートマッチングに基づく移動先座標との間の誤差である推定残差を計算する。
（ステップ２０６）各追跡点毎に、推定残差が所定の閾値より小さく、かつ、テンプレートマッチングによる類似度が所定の閾値より低いかを調べる。
（ステップ２０７）ステップ２０６の条件を満たす追跡点について、テンプレート画像を更新する。
（ステップ２０８）追跡点の座標を更新する。すなわち、推定残差が大きいものは推定した真の移動先座標を現在の追跡点の座標とし、推定残差が小さいものはテンプレートマッチングによって求めた移動先座標を現在の追跡点の座標とする。
（ステップ２０９）追跡が終了していなければステップ２０３以降の処理を実行する。
【００４１】
（動作の詳細）以下、本装置の動作について詳細に説明する。
【００４２】
まず、初期画像が入力される。画像は、例えば、カメラや、医用画像診断装置の撮像装置、あるいは記録媒体やネットワークから入力される。
【００４３】
次に、ユーザが初期画像上において複数の追跡点の初期座標を設定する。複数の追跡点は、物体の動きがほぼ同一と見なせる範囲に配置する。
【００４４】
例えば、医用画像診断装置で取得された拍動心臓の画像系列において、心筋の動きを追跡する場合ならば、心筋は拍動によって変形しながら移動するが、局所的に見れば変形は小さくほぼ同様の動きをしていると見做すことができる。そこで図３のように、ユーザは複数の追跡点を追跡したい点を含む所定の範囲に設定する。
【００４５】
また、野球のボール（硬球）のように剛体とみなせるような物体であれば、物体全体にわたって複数の追跡点を設定することも可能である。すなわち、物体の動きがほぼ同一と見なせる範囲と物体の大きさとが一致する。
【００４６】
尚、追跡点の設定は、ユーザが手動で位置を指定することで行うとしたが、輝度や色変動の大きい位置の座標を画像中からしきい値処理等で検出しても良い。
【００４７】
図４（ａ）は、設定された追跡点それぞれに対して、追跡点４００（ａ）の位置を中心とする所定の範囲の領域の画像情報であるテンプレート４０１が抽出される様子である。尚、登録されるテンプレート画像は、元の画像をフィルタ処理したものであっても良いし、種々の異なる解像度の画像であっても良い（ステップ２０２）。
【００４８】
次に、次画像が入力される。次画像とは、時間的に連続した次のコマの画像のことであるが、例えば所定のコマ数おきに移動先の検出を行うような場合ならば時間的には必ずしも連続する必要はない。
【００４９】
次に、テンプレートマッチングによって次画像上での各追跡点の移動先候補を検出する。テンプレートマッチングでは、探索領域内において最もテンプレート画像と類似度が高くなる領域を検出して、追跡点の移動先を検出する。類似度は、輝度差の絶対値和を用いて算出するが、この他にも、差の二乗和、相互相関係数等により算出することができる。
【００５０】
図４（ｂ）は、テンプレートマッチングによる移動先の検出例を示す図である。複数の追跡点はだいたい同様な運動を行うはずなので、移動先においても近接しているはずである。しかし、中には例えば追跡点４００（ｂ）のように、他の追跡点とは異なる運動をして、他の追跡点から逸れてしまうことがある。
【００５１】
そこで、複数追跡点の移動先候補から真の移動先座標を推定する。本装置では、ユーザは追跡点の初期座標を、物体の動きがほぼ同一と見なせる範囲に設定しているので、各追跡点の移動を表す動きベクトルは同一であるという仮定の下で真の移動先座標を推定を行う。図５は、各追跡点毎の移動を表す動きベクトルから、真の動きベクトルを推定する概念を説明する図である。実際の推定に用いる手法としては、最小二乗法あるいは種々のロバスト推定法を用いる。
【００５２】
真の動きベクトルは、いわば複数の追跡点を含む領域の全体としての移動を表すものであるといえる。従って、通常は各追跡点毎の動きベクトルは真の動きベクトルとそれほど大きな差はないはずである。
【００５３】
テンプレートマッチングを用いた動き検出の場合には、偽の類似度ピークを検出してしまうことによる例外値が精度劣化の原因となる場合が多い。偽の類似度ピークにより検出された動きベクトルは真の動きベクトルからは大きく外れることが多いため、真値の推定には、ロバスト推定法のように誤差の大きい例外値の影響を受け難い手法を用いると良い。
【００５４】
各追跡点の真の移動先座標は推定された動きベクトルから算出する。また、各追跡点について、推定された真の移動先座標と実際にテンプレートマッチングで検出された移動先座標との距離に対応する量である推定残差も計算する。
【００５５】
次にテンプレート画像の更新を行う。下記の条件を満たす追跡点については更新を行うようにする。
（１）推定残差が所定の閾値より小さい。
（２）テンプレートマッチング時の類似度が所定の閾値より低い。
【００５６】
すなわち、たとえ推定残差が小さくても、類似度が所定のしきい値よりも高い場合にはテンプレート画像の更新は行わない。
【００５７】
条件（１）は、マッチングによって得られた移動先の座標が誤っていないことを担保する条件であるといえ、条件（２）は物体の変形、他物体による遮蔽、照明変動等の要因によって追跡点周辺の画像パターンが変化したということに相当する条件である。
【００５８】
テンプレート画像の更新回数が増えると更新時に生じる座標ずれが累積することにより検出精度が低下してしまう。特に、長期間にわたる追跡時には時間と共に更新回数が大きくなってしまうので、時間と共に検出精度が低下しやすい。しかし、本実施形態の更新条件ならば、類似度の高い場合にはテンプレート画像の更新を行わないのでテンプレート画像の更新の頻度を抑制することができ、座標の検出精度の低下を抑えることができる。
【００５９】
テンプレート画像の更新処理について説明する。まず、上記（１）（２）の条件を満たす追跡点について、テンプレートマッチングで求めた移動先座標を中心とする所定の領域の画素情報を抽出する。抽出元となる画像は、追跡点が移動先座標に位置する画像、すなわち、テンプレートマッチング処理における「次画像」である。そして抽出した画像領域をメモリ１０２に記憶させる。
【００６０】
次に、追跡点の座標を更新する。すなわち、推定残差が小さかった追跡点については、テンプレートマッチングで検出された移動先座標を現在の追跡点の座標とし、推定残差が大きかった追跡点は、推定された移動先座標を現在の追跡点の座標とする。
【００６１】
図４（ｃ）は追跡点の座標更新後の状態を表す図である。追跡点４００（ｂ）のように動きベクトルが例外値を取ったものも、推定された動きベクトルを用いて追跡点４００（ｃ）のように尤もらしい位置に補正されている。
また、追跡点４０２のように、テンプレートマッチングの類似度が低く、かつ推定残差が小さいものについては、テンプレート画像の更新が行われた。
【００６２】
最後に、追跡終了であれば処理を終了し、そうでなければステップ２０３に戻り一連の追跡処理を行う。
【００６３】
（他の応用例）本装置は、図６（ａ）（ｂ）に示す様に、人間の監視等に用いることもできる。人間が歩行する場合にも、テンプレートとして用いる追跡点近辺の画像パターンは、動作により変形したり、照明により変化したりする。しかし本装置ならば、動作による変形や照明による変化が大きい場合でも、テンプレート画像更新が過剰に行われることないので、精度良く追跡を行える。
【００６４】
（変形例１）本装置では、物体の動きがほぼ同一と見なせる範囲内に複数追跡点を配置し、真の動きを推定したが、これに代わる手法として物体の動きを例えばアフィン変換等でモデル化して真の動きを推定しても良い。
【００６５】
一般に、アフィン変換はある形状の移動と変形を表す変換行列の形式で表すことが可能である。従って、複数の追跡点のテンプレートマッチング結果から、アフィン変換の各パラメータを計算（必要なら最小２乗法等を用いる）することで、本装置と同様に「真の移動先座標」を推定することが可能である。
【００６６】
（変形例２）本装置では１つの追跡点に対してテンプレート画像を１枚持つという前提で説明した。しかし、１つの追跡点に対してテンプレート画像を複数持つようにしても良い。この場合、テンプレート画像は異なる時間に入力された画像から抽出したものを用いる。
【００６７】
この場合、テンプレートマッチングは複数のテンプレート画像を用いて行う。１つの移動先候補点（すなわち、マッチング対象点）について、複数のテンプレート画像それぞれとの類似度を計算する。複数の類似度のうち最高値を当該移動先候補点の類似度とする。そして、各移動先候補点のうち類似度が最高となるものを移動先とする。
【００６８】
尚、各移動先候補点毎の類似度の最高値を求めずに、全ての移動先候補点と全てのテンプレート画像との組み合わせ毎に類似度を計算し、これらの類似度の中から最高値を抽出し、該当する移動先候補点を移動先としても良い。
【００６９】
テンプレート画像の更新処理は、本装置の条件に加えて、移動先地点における類似度の最高値が所定の閾値より低いという条件を満たす追跡点に対して行う。更新処理では、テンプレート画像を新たに追加するとともに、当該追跡点に対応するテンプレート画像が所定の枚数以上の場合は古いテンプレート画像のうちいずれかを消去する。
【００７０】
消去する対象としては、例えば、類似度が最低であるもの、類似度が最高であるもの、類似度が中間値であるもの、等が考えられる。
【００７１】
例えば、追跡物体が常に激しく変化するような場合は、類似度が最低のものを消去するのが良いと考えられる。逆に追跡物体が緩やかに変化する場合や変化が周期的である場合は類似度が最高のものを消去する方が良いであろう。
【００７２】
特に、追跡物体が周期的な変化をする場合、例えば１／２周期離れた時期に抽出したテンプレート画像と現在の画像との間の類似度は低くなりやすい。しかし、このようなテンプレート画像は再び類似度が高くなることが予想されるので削除するよりも保持していたほうが良い。むしろ、周期が近い時期に抽出した複数の類似するテンプレート画像のいずれかを削除して、周期が離れた時期に抽出したテンプレート画像を持っていた方がテンプレートマッチングの精度が向上すると考えられる。
【００７３】
また、最高値や最低値に関係なく消去しても、複数のテンプレート画像を持って追跡物体の急激な変化の影響を抑制するという効果は期待できる。
【００７４】
以下では、１追跡点につきテンプレート画像を複数枚持つ場合を具体例を挙げて説明する。尚、ここでは更新処理では類似度が最低値のテンプレートを削除するものとする。
【００７５】
例えば、点Ａにおけるテンプレート甲、テンプレート乙、テンプレート丙との類似度がそれぞれ７０、９０、５０で、点Ｂにおけるテンプレート甲、テンプレート乙、テンプレート丙との類似度がそれぞれ７５、８５、７０だったとする。そして、閾値は９５であるとする。
【００７６】
この場合、点Ａにおけるテンプレート乙が類似度９０で最高値なので移動先地点は点Ａとなる。また、テンプレート乙との類似度は閾値より低いので、テンプレート画像の更新処理を行う。まず、点Ａの周辺の画像からテンプレート画像を抽出する。そして、点Ａに対応するテンプレート画像の枚数が上限を超えた場合は、類似度が最低値であるテンプレート丙を削除する。
【００７７】
上記の例では類似度が最低値であるテンプレートを削除するとしたが、前述したように類似度が最高値であるテンプレート乙を削除しても良い。あるいは、中間値をとるテンプレート甲を削除しても良い。
【００７８】
尚、上記の例では単純にテンプレート画像との類似度が最高値をとる点を移動先としたが、複数のテンプレート画像について計算した類似度の平均値等の統計量が最高の位置を移動先としても良い。
【００７９】
また、上記の例では移動先地点における類似度の最高値が所定の閾値より低い場合に更新処理を行うとしたが、これに代えて、移動先地点における類似度の最低値が所定の閾値より低いという条件を用いても良い。
【００８０】
このようにテンプレート画像を複数用意することで、動画像が例えばフラッシュ等により一瞬だけ急激な変化をした時でも、その変化以降の追跡を精度良く行うことができる。
【００８１】
（まとめ）以上本実施形態によれば、テンプレートマッチングによる移動先座標と、推定した移動先と、テンプレートマッチングの誤差とを用いて、マッチングが正確でかつ追跡点周辺の画像パターンの変化が大きい場合にのみテンプレート画像の更新を行うようにした。
【００８２】
これらの構成により、テンプレートマッチングにおけるテンプレート画像の更新頻度を抑制しつつ、物体の変形、他物体による遮蔽、照明変動等に対応できるので、テンプレートマッチングによる物体追跡を高精度に行うことが可能となった。
【００８３】
【発明の効果】
以上本発明によれば、テンプレートマッチングにおけるテンプレート画像の更新頻度を抑制しつつ、物体の変形、他物体による遮蔽、照明変動等に対応できるので、テンプレートマッチングによる物体追跡を高精度に行うことができる。
【図面の簡単な説明】
【図１】本発明第１の実施形態の物体追跡装置の構成図。
【図２】本発明第１の実施形態の物体追跡処理の流れ。
【図３】追跡点の設定例。
【図４】（ａ）テンプレート画像の抽出例（ｂ）テンプレートマッチングによる移動先座標の検出例（ｃ）座標更新後の各追跡点の様子及びテンプレート画像更新対象追跡点を示した図。
【図５】真の動きベクトルの推定を説明する概念図。
【図６】本発明第１の実施形態の物体追跡装置を人物監視に応用した例。
【符号の説明】
１０１画像入力部
１０２メモリ
１０３ポインティングデバイス
１０４追跡点設定部
１０５テンプレート画像抽出部
１０６テンプレートマッチング部
１０７テンプレート画像更新判定部
１０８結果出力部

Claims

動画像中の第１の画像において、所望の位置に追跡領域を代表する複数の追跡点を設定する追跡点設定部と、
前記第１の画像において、各追跡点の周辺の領域の画像であるテンプレート画像を抽出するテンプレート画像抽出部と、
前記テンプレート画像を記憶する記憶部と、
前記第１の画像と異なる時間の第２の画像において前記テンプレート画像を用いたテンプレートマッチングを行って前記複数の追跡点それぞれの移動先座標と前記移動先座標における類似度とを求めるテンプレートマッチング部と、
前記複数の追跡点それぞれの移動先座標から前記追跡領域全体の動きベクトルを推定する手段と、
前記複数の追跡点のそれぞれについて、前記追跡領域全体の前記動きベクトルから推定される移動先の推定座標と前記複数の追跡点それぞれの前記移動先座標との間の距離に対応する推定残差を計算する手段と、
前記複数の追跡点のうち、前記推定残差が第１の所定の閾値より小さく、かつ、前記類似度が第２の所定の閾値より低いものについては、当該追跡点に対応するテンプレート画像を前記第２の画像上で当該追跡点の前記移動先座標の周辺の領域から抽出して更新するテンプレート画像更新部と、
を有する画像追跡装置。
前記記憶部は、各追跡点毎に複数のテンプレート画像を記憶することができ、
前記テンプレートマッチング部は、前記複数のテンプレート画像を用いたテンプレートマッチングを行い、前記複数の追跡点それぞれの移動先座標と移動先座標におけるテンプレート画像毎の類似度とを求め、
前記テンプレート画像更新部は、前記複数の追跡点のうち、前記推定残差が第１の所定の閾値より小さく、かつ、それぞれの移動先座標における前記類似度の最低値あるいは最高値が第２の所定の閾値より低いものについては、前記第２の画像の前記移動先座標の周辺の領域から当該追跡点に対応するテンプレート画像を抽出して前記記憶部に記憶させるとともに、当該追跡点に対応するテンプレート画像の数が第３の所定の閾値を超えた場合には、当該追跡点に対応するテンプレート画像のいずれかを前記記憶部から削除する、
ことを特徴とする請求項１記載の画像追跡装置。
入力された動画像の第１の画像において所望の位置に追跡領域を代表する複数の追跡点を設定し、
これら複数の追跡点を追跡するためのテンプレート画像を抽出し、
前記第１の画像と異なる時間の第２の画像において前記テンプレート画像を用いたテンプレートマッチングを行って前記複数の追跡点それぞれの移動先座標と前記移動先座標における類似度とを求め、
前記複数の追跡点それぞれの移動先座標から前記追跡領域全体の動きベクトルを推定し、
前記複数の追跡点のそれぞれについて、前記追跡領域全体の前記動きベクトルから推定される移動先の推定座標と前記複数の追跡点それぞれの前記移動先座標との距離に対応する推定残差を計算し、
前記複数の追跡点のうち、前記推定残差が第１の所定の閾値より小さく、かつ、テンプレート画像との類似度が第２の所定の閾値よりも低いものについては、当該追跡点に対応するテンプレート画像を前記第２の画像上での当該追跡点の前記移動先座標の周辺の領域から抽出して更新する、
画像追跡方法。
複数の追跡点それぞれの前記検出ベクトルが指し示す移動先座標と移動先座標における類似度の最低値と最高値とを、各追跡点に対応する複数のテンプレート画像を用いてテンプレートマッチングにより求め、
前記複数の追跡点のうち、
前記推定残差が第１の所定の閾値より小さく、かつ、前記類似度の最低値あるいは最高値が第２の所定の閾値よりも低いものについては、前記第２の画像の前記移動先座標の周辺の領域から当該追跡点に対応するテンプレート画像を抽出するとともに、
当該追跡点に対応するテンプレート画像の数が第３の所定の閾値を超えた場合には前記類似度の最低値に対応するテンプレート画像を削除する、
ことを特徴とする請求項３記載の画像追跡方法。