JP3630569B2

JP3630569B2 - 映像領域追跡方法および装置

Info

Publication number: JP3630569B2
Application number: JP30260498A
Authority: JP
Inventors: 敏充金子; 修堀
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-10-23
Filing date: 1998-10-23
Publication date: 2005-03-16
Anticipated expiration: 2018-10-23
Also published as: JP2000132691A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像中の指定物体の領域を追跡する方法及び装置に関する。特に、ハイパーメディアのように動画像中の登場物体に関連情報を付与する際に、関連させたい動画像中の領域を指定する際に用いられる物体追跡装置を提供する。また、監視画像中で関心のある物体の画像中における位置をモニタする際の物体追跡装置を提供する。
【０００２】
【従来の技術】
ハイパーメディアと呼ばれるメディアでは、文字や画像、そして画像中の物体などに対して関連情報をリンクしておき、簡単にこれら関連情報へのアクセスができるようになっている。しかしながら、ハイパーメディアを製作する段階においては、関連情報のリンク作業が必要となるため、従来とは比較にならないほど負荷が大きくなっている。
【０００３】
関連情報がリンクされている文字や画像、画像中の物体などをアンカーと呼ぶ。文字や画像をアンカーとする場合のアンカー設定作業はさほど大きなものではないが、動画像中の物体、特に画像中で移動する物体にアンカーを設定する場合には、制作者の負荷は非常に大きい。例えば、特開平４−１６３５８９号公報に記載された方法では、動画像に１０秒間映っている物体にアンカーを設定する場合、ＮＴＳＣ画像では１秒間に３０枚の静止画像があるため、３００枚の画像に対して物体の映っている領域を指定しなければならない。
【０００４】
一方、特開平９−３２２１５５号公報に記載された技術は、映像監視装置を目的としたものであるが、移動物体の追跡に関してはハイパーメディア制作時における動画像中の移動する物体のアンカー設定作業の省力化に利用できる。すなわち、アンカー対象の物体に複数のテンプレートを設け、テンプレートマッチングにより他の画像におけるテンプレートの移動先を検出し、その結果から物体の移動先を自動的に設定できる。物体中に複数のテンプレートを設けているので大きさの変化にも対応可能である。このような方法を用いれば、ハイパーメディア制作者ははじめに１度だけアンカー領域を指定すれば、後に続く画像には自動的にアンカーが設定され、作業の負荷が大幅に軽減される。
【０００５】
【発明が解決しようとする課題】
物体の追跡処理は一般に時間がかかるため、追跡処理中に制作者を待たせることになり、制作に時間がかかるという問題がある。これを避けるためにはハードウェア化する他なく、装置が高価になってしまう。すなわち、一般の計算機上で高速に動作することのできる物体の追跡処理が必要であった。
【０００６】
また、物体の追跡能力が低ければ、何度も物体の領域を指定し直さなければならないため、制作者の負荷は依然として大きいままになってしまうため、追跡性能の向上が必要であった。
【０００７】
【課題を解決するための手段】
前述の問題を解決するために、本発明では、時系列に入力される画像系列に対し、初期画像の追跡領域を指定する工程と、指定された追跡領域を複数の小領域に分割する工程と、前記追跡領域及び分割された複数の小領域毎に信頼度を算出する工程と、前記追跡領域及び分割された複数の小領域毎に算出された信頼度に基づいて追跡ブロックサイズ及び追跡すべきブロックを選択する工程と、当該選択された追跡ブロックと次画像との間のブロックマッチングを行ない、当該追跡ブロックの移動先を計算する工程と、当該追跡ブロックの移動先の位置から当該追跡領域の移動パラメータを推定する工程とを有することを特徴とする映像領域追跡方法を提供する。
【０００８】
また本発明の映像領域追跡方法においては、前記信頼度を算出する工程は、前記追跡領域及び分割された複数の小領域毎にブロックの非類似度を算出することを特徴とする。
【０００９】
また本発明の映像領域追跡方法においては、前記推定された移動パラメータに基づいて追跡ブロックの位置を更新する工程と、当該更新された追跡ブロックと次々画像との間のブロックマッチングを行ない、当該更新された追跡ブロックの移動先を計算する工程と、当該追跡ブロックの移動先の位置から当該追跡領域の移動パラメータを推定する工程とを有することを特徴とする。
【００１０】
また本発明では、時系列に入力される画像系列に対し、初期画像の追跡領域を指定する手段と、指定された追跡領域を複数の小領域に分割する手段と、前記追跡領域及び分割された複数の小領域毎に信頼度を算出すると、前記追跡領域及び分割された複数の小領域毎に算出された信頼度に基づいて追跡ブロックサイズ及び追跡すべきブロックを選択する手段と、当該選択された追跡ブロックと次画像との間のブロックマッチングを行ない、当該追跡ブロックの移動先を計算する手段と、当該追跡ブロックの移動先の位置から当該追跡領域の移動パラメータを推定する手段とを有することを特徴とする映像領域追跡装置を提供する。
【００１１】
また本発明の映像領域追跡装置においては、前記信頼度を算出する手段は、前記追跡領域及び分割された複数の小領域毎にブロックの非類似度を算出することを特徴とする。また本発明の映像領域追跡装置においては、前記推定された移動パラメータに基づいて追跡ブロックの位置を更新する手段と、当該更新された追跡ブロックと次々画像との間のブロックマッチングを行ない、当該更新された追跡ブロックの移動先を計算する手段と、当該追跡ブロックの移動先の位置から当該追跡領域の移動パラメータを推定する手段とを有することを特徴とする。
【００１２】
【発明の実施の形態】
本発明の実施形態を、図面を参照しつつ詳細に説明する。
図１は、本発明の一実施形態に係る処理の流れを示す流れ図である。この流れ図に従って、処理の概要を説明する。
【００１３】
まず、初期画像の入力が行われる（ステップ１０）。この初期画像の入力は、ハイパーメディアオーサリングのように関連情報のアンカー領域を指定するような場合には、ユーザがグラフィカル・ユーザ・インタフェース（ＧＵＩ）を用いて指定する。また、監視などの場合には、侵入物体を検出した時点が初期画像とされる。侵入物体の検出には、様々な方法があるが、最も簡単な方法は、連続して入力される画像の画素間の絶対値差分の総和が大きくなったところを検出点とする方法である。
【００１４】
次に、初期画像内の追跡領域の指定を行う（ステップ１１）。ハイパーメディア・オーサリングにおいては、この処理もやはりＧＵＩを用いてユーザ自身が指定する。その指定方法は、画像中の追跡したい物体を矩形で囲んだり、多角形の各点を順に指定する方法などがある。一方、監視の場合には、輝度・色変化の大きな画素をしきい値処理で検出し、それら検出された画素が隣接している場合に統合する処理を繰り返すことにより侵入物体の領域を検出し、追跡領域とする。このとき、小さな領域は取り除いたり、検出領域に対して輝度・色が類似した隣接画素を追跡領域に取り込むことにより、より正確な追跡領域を得ることが可能である。
【００１５】
次に、ステップ１１において指定された追跡領域をブロックに分割し、その中のいくつかのブロックのみを実際に追跡する追跡ブロックとして選ぶ（ステップ１２）。このときの追跡ブロックのブロックサイズは固定ではなく、数種類のサイズのブロックが選択される。図４は、追跡領域内をブロック分割した例である。４０は追跡対象となっている物体、４１は指定された追跡領域、そして４２はブロックである。図５は、図４において作られたブロックを必要に応じて分割し、数種類のサイズのブロックとした例である。５１は分割する必要のなかったブロック、５２は分割されたブロックである。図６は、図５の複数のブロックのうち、追跡対象として選択された追跡ブロックの例を表したものである。６０が追跡物体、６１が追跡ブロックである。
【００１６】
次は、後の処理であるブロックマッチングが精度良く行えるようにブロックごとに適したサイズを選択する処理が行われる（ステップ１２）が、詳細な説明は後で行う。
【００１７】
次は、次画像の入力である（ステップ１３）。現在処理中の画像の次の画像が入力される。このときの画像入力は、処理能力や目標とする追跡精度に応じて適当に間引いても構わない。例えば、３０フレーム／秒の画像が得られる場合に、処理が追いつかないため、１／２に間引いて２枚に１枚のみを処理対象としたりしても良い。ただし、追跡対象の物体の画像中の動きが大きい場合には、あまり間引きを多くすると追跡精度が極端に悪くなるので、避けなければならない。
【００１８】
次に、各追跡ブロックごとに次画像との間でブロックマッチングを行い、追跡ブロックの移動先を計算する（ステップ１４）。図７は、ブロックマッチングを行った例を示している。図中で、７０は現画像、７１は次画像である。また、７２はもとのブロックの位置であり、７３はブロックマッチングにより計算された次画像での同ブロックの移動先である。７４はブロックマッチングにおけるブロックの移動先の探索範囲を示している。ブロックマッチングでは２つの画像間の非類似度（相関値）を尺度として最も非類似度の低い位置に移動したと推定するが、この非類似度の尺度としては、画素ごとの輝度や色の絶対値差分の総和や、画素ごとの輝度や色の差分の２乗和などを用いる。
【００１９】
図８は、各追跡ブロックごとに現画像と次画像との間でブロックマッチングを実行した結果得られた移動先の例である。ブロックマッチングは簡単に実装が可能であるという反面、外れ値を生じやすいという欠点がある。従って、追跡物体の移動・変型モデルをあらかじめ用意しておき、各追跡ブロックの移動先の分布からモデルにあった移動・変形を推定する方が正確な追跡ができる。
【００２０】
次に、各追跡ブロックごとのブロックマッチングの結果から、モデルを記述するパラメータを推定する（ステップ１５）。追跡物体の移動・変型モデルとしては、未知パラメータ数が２の最も簡単な平行移動モデル、未知パラメータ数６のアフィン変換モデル、そして未知パラメータ数８の射影変換モデルなどがある。
【００２１】
平行移動モデルでは、未知のパラメータベクトルを（ｔ１，ｔ２）とし、また、ブロックｉの位置座標を（ｘｉ，ｙｉ）、そのブロックマッチングの結果を（ｘ’ｉ，ｙ’ｉ）としたとき、誤差は
ｅｉ＝（ｘ’ｉ，ｙ’ｉ）−（ｘｉ，ｙｉ）−（ｔ１，ｔ２）
となる。誤差の２乗和を最小にする最小二乗法によれば、この解を容易に得ることができる。
【００２２】
また、アフィン変換モデルでは、未知のパラメータベクトルを（ａ１，ａ２，ａ３，ａ４，ａ５，ａ６）とすると、誤差ベクトルは
ｅｉ＝（ｘ’ｉ−ａ１＊ｘｉ−ａ２＊ｙｉ−ａ３，ｙ’ｉ−ａ４＊ｘｉ−ａ５＊ｙｉ−ａ６）
となるので、平行移動モデルの時と同様に誤差の２乗和を最小にする最小二乗法で解を得られる。
【００２３】
次に、このようにして設定されたモデルの未知パラメータを推定する（ステップ１５）。
そして、ステップ１５において推定された追跡物体の移動・変形パラメータを用いて、各ブロックの位置を更新する（ステップ１６）。例えば、平行移動モデルではセルｉを（ｘｉ＋ｔ１，ｙｉ＋ｔ２）に更新し、アフィン変換モデルでは（ａ１＊ｘｉ＋ａ２＊ｙｉ＋ａ３，ａ４＊ｘｉ＋ａ５＊ｙｉ＋ａ６）に更新する。これらの位置は、次画像におけるブロックの最終的な位置となる。
【００２４】
図９は、ステップ１６によって更新されたブロック位置の例である。９０は現画像における追跡物体の位置、９１は次画像における追跡物体の位置、９２は更新されたブロックである。
【００２５】
なお、このブロックの更新を選択的に行うことも可能である。すなわち、追跡物体の移動・変形パラメータを推定した際に、パラメータの信頼度を同時に算出し、この信頼度が高いときにのみテンプレートの更新処理を行う。このように選択的に更新を行うと、一時的に追跡物体が他の物体により隠れてしまっても（オクルージョン）追跡を続けることが可能になる。なお、最小二乗法を用いて変形・移動パラメータを推定する際には、パラメータの信頼度の算出として推定誤差から見積もるパラメータの分散を利用することができる。
【００２６】
次に、追跡処理の続行または終了を判定する（ステップ１７）。ユーザによる追跡処理終了が指定されているか否か、次の画像が得られるか否か、追跡結果が信頼できるか否か、追跡物体が十分な大きさを保っているか否かなどにより、判定がなされる。追跡処理が続行される場合には、更新された追跡ブロック位置を新たな追跡の初期値として、ステップ１３からの処理を繰り返し行う。以上が本発明の一実施形態における追跡処理全体の流れの説明である。
【００２７】
次に、図１におけるステップ１２のより詳細な説明を行う。
図２は、ステップ１２に示した処理の流れを示す流れ図である。ステップ１２はブロックマッチングの信頼性向上のために適当なブロックサイズを決定し、さらに、計算量を減らして高速処理を可能にするために信頼性の高いブロックのみを追跡ブロックとして選択する処理を行う。
【００２８】
ステップ２０では、ステップ１１において指定された追跡領域内に、ブロックを配置する処理を行う。このときのブロックのサイズは、あらかじめ決められたブロックの最大サイズとする。図４は、追跡領域内にブロックを配置した例である。ステップ２０ではさらに、配置した最大サイズのブロック全てに分割可能ラベルを付与しておく。分割可能ラベルは、ブロックをより小さなサイズのブロックに分割する可能性があることを示すラベルである。
【００２９】
次のステップ２１では、追跡ブロックから分割可能ラベルのついたものを一つ取り出し、これをブロックｉとする。まず、ブロックｉの信頼性Ｌｉを計算する。ここで用いる信頼性の算出方法については、後述する。そして、ブロックｉを４分割して得られる４つの小ブロックをｉ１，ｉ２，ｉ３，ｉ４とし、それぞれについて信頼性Ｌｉ１，Ｌｉ２，Ｌｉ３，Ｌｉ４を計算する。そして４つの小ブロックの信頼性の最大値を求め、これを小ブロックの信頼性Ｓｉ＝ｍａｘ（Ｌｉ１，Ｌｉ２，Ｌｉ３，Ｌｉ４）とする。
【００３０】
ステップ２２では、処理２１で算出された二つの信頼性ＬｉとＳｉとを比較し、もしもＳｉがＬｉ以上であればステップ２３へ処理を進める。すなわち、ブロックｉの４分割を実行する。他方、ＳｉがＬｉよりも小さければ、分割により信頼性の向上が見込めないのでブロックの分割は取りやめ、ステップ２４においてブロックｉから分割可能ラベルが取り去られる。ブロックｉはこれ以上分割されることがないので、ブロックサイズが決定する。
【００３１】
ステップ２２においてブロックの分割が選択され、ステップ２３において分割が実行された場合には、次のステップ２５において小ブロックｉ１〜ｉ４があらかじめ決められた最小サイズのブロックであるかどうかを判定する。小ブロックが最小サイズでない場合のみ、ステップ２６においてその小ブロックに分割可能ラベルが付与される。
【００３２】
次に、ステップ２７で処理続行か終了かを判定する。分割可能ラベルがついたブロックが残っていれば、再びステップ２１からの処理を行う。もし分割可能ラベルが付いたブロックがもう残っていなければ、全ての追跡ブロックのサイズが決定したことになり、処理を終了する。以上がステップ１２の詳細な説明である。
【００３３】
最後に各追跡ブロックの信頼性の算出方法について説明する。
図３は、ブロックの信頼性を算出する処理の流れを示した流れ図である。まず、ステップ３０においては、初期画像内でブロックの位置を（ｕ，ｖ）だけずらした位置でのブロックの非類似度Ｄ（ｕ，ｖ）を計算する。Ｄ（ｕ，ｖ）は前述したように画素ごとの輝度や色の絶対値差分の総和や、画素ごとの輝度や色の差分の２乗和などを用いる。このとき、非類似度Ｄ（ｕ，ｖ）を算出する範囲は、ブロックの大きさに応じてあらかじめ決められた値Ｗにより、―Ｗ≦ｕ，ｖ≦Ｗと定める。図１０は算出されたＤ（ｕ，ｖ）の例を示している。図中、１００は初期画像、１０１は信頼性算出対象となっているブロック、１０２はブロックを（ｕ，ｖ）だけずらした位置、１０３は―Ｗ≦ｕ，ｖ≦Ｗにより定まる画像領域である。１０４は領域１０３において算出された非類似度の分布を表している。
【００３４】
ステップ３１では、ステップ３０において算出されたＤ（ｕ，ｖ）の分布を用いて２行２列の行列Ｒを算出する。ＲはＤ（ｕ，ｖ）の（０，０）付近での曲率として計算される。ただし、ブロックの大きさが異なるものどうしを比較できるよう、ブロック内の画素数Ｍの２乗根でＤ（ｕ，ｖ）を除してから曲率を算出する。曲率は２次微分フィルタにより求められる。Ｄ（ｕ，ｖ）は一つの画像内でブロックマッチングを行い、算出されるものである。よって、この処理は追跡領域指定後直ちに実行することができるため、初期処理の時間短縮が可能である。
【００３５】
ステップ３２では、処理３１で算出された行列Ｒから信頼度ｒを計算する。この方法としては、Ｒから算出される様々なものが利用可能である。例えばＲの行列式ｒ＝ｄｅｔ（Ｒ）とする方法、Ｒの二つの固有値λ１，λ２を算出し、このうちの最小値ｒ＝ｍｉｎ（λ１，λ２）とする方法、固有値の和ｒ＝λ１＋λ２とする方法などがある。以上により算出されたブロックの信頼度は、ブロックマッチングを行って得られる移動量の信頼性の一つの予測値となる。
【００３６】
【発明の効果】
本発明の映像領域追跡方法および装置により、初期画像の追跡対象として指定された領域を複数の小領域に分割し、小領域ごとに他時刻の画像とブロックマッチングを行う処理を行い、小領域ごとに大きさを選択することにより追跡能力の向上が図れ、さらに個々に選択された大きさを有する小領域からブロックマッチングを行う小領域を選択することにより処理時間を短縮することができる。
また、本発明の動画像の領域追跡方法および装置により、小領域ごとに大きさを選択する際に、小領域と小領域を含む画像との間でブロックマッチングを行い、ブロックマッチングの際に算出された類似度または非類似度の分布から小領域の信頼度を算出し、また、小領域をさらに小さな領域に分割した際の分割後の領域の信頼度を同一画像内のブロックマッチングで算出された類似度または非類似度の分布から算出し、小領域の信頼度と分割後の信頼度との比較により分割を行うか否かを判定することにより、追跡処理前に小領域の選択ができるため、追跡処理の初期処理にかかる時間を短縮できる。
さらにまた、本発明の動画像の領域追跡方法および装置により、追跡領域を小領域に分割し、以後入力される画像においてブロックマッチングの処理対象となる小領域を選択する処理を追跡領域の指定された初期画像においてのみ行うことで、追跡時の処理時間を短縮することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である追跡処理の流れ図。
【図２】図１におけるステップ１２の詳細を説明する流れ図。
【図３】追跡ブロックの信頼性の算出方法を示す流れ図。
【図４】追跡領域をブロックに分割した例を示す図。
【図５】数種のブロックサイズに分割されたブロックの例を示す図。
【図６】追跡ブロックの選択例を示す図。
【図７】追跡ブロックのブロックマッチングの例を示す図。
【図８】ブロックマッチングにより得られた追跡ブロックの移動先の例を示す図。
【図９】追跡ブロックの更新例を示す図。
【図１０】初期画像内でのブロックの非類似度の算出結果の例を示す図。
【符号の説明】
４０，５０，６０追跡対象物体
４１追跡領域
４２，５１，５２，６１、９２，１０１ブロック
７０現画像
７１次画像
９０現画像における追跡物体の位置
９１次画像における追跡物体の位置
１００初期画像
１０２ブロックを（ｕ，ｖ）だけずらした位置
１０３ ―Ｗ≦ｕ，ｖ≦Ｗにより定まる画像領域
１０４領域１０３において算出された非類似度の分布

Claims

時系列に入力される画像系列に対し、初期画像の追跡領域を指定する工程と、
指定された追跡領域を複数の小領域に分割する工程と、
前記追跡領域及び分割された複数の小領域毎に信頼度を算出する工程と、
前記追跡領域及び分割された複数の小領域毎に算出された信頼度に基づいて追跡ブロックサイズ及び追跡すべきブロックを選択する工程と、
当該選択された追跡ブロックと次画像との間のブロックマッチングを行ない、当該追跡ブロックの移動先を計算する工程と、
当該追跡ブロックの移動先の位置から当該追跡領域の移動パラメータを推定する工程とを有することを特徴とする映像領域追跡方法。
前記信頼度を算出する工程は、前記追跡領域及び分割された複数の小領域毎にブロックの非類似度を算出することを特徴とする請求項１記載の映像領域追跡方法。
前記推定された移動パラメータに基づいて追跡ブロックの位置を更新する工程と、
当該更新された追跡ブロックと次々画像との間のブロックマッチングを行ない、当該更新された追跡ブロックの移動先を計算する工程と、
当該追跡ブロックの移動先の位置から当該追跡領域の移動パラメータを推定する工程とを有することを特徴とする請求項１または２記載の映像領域追跡方法。
時系列に入力される画像系列に対し、初期画像の追跡領域を指定する手段と、
指定された追跡領域を複数の小領域に分割する手段と、
前記追跡領域及び分割された複数の小領域毎に信頼度を算出すると、
前記追跡領域及び分割された複数の小領域毎に算出された信頼度に基づいて追跡ブロックサイズ及び追跡すべきブロックを選択する手段と、
当該選択された追跡ブロックと次画像との間のブロックマッチングを行ない、当該追跡ブロックの移動先を計算する手段と、
当該追跡ブロックの移動先の位置から当該追跡領域の移動パラメータを推定する手段とを有することを特徴とする映像領域追跡装置。
前記信頼度を算出する手段は、前記追跡領域及び分割された複数の小領域毎にブロックの非類似度を算出することを特徴とする請求項４記載の映像領域追跡装置。
前記推定された移動パラメータに基づいて追跡ブロックの位置を更新する手段と、
当該更新された追跡ブロックと次々画像との間のブロックマッチングを行ない、当該更新された追跡ブロックの移動先を計算する手段と、
当該追跡ブロックの移動先の位置から当該追跡領域の移動パラメータを推定する手段とを有することを特徴とする請求項４または５記載の映像領域追跡装置。