JP5412984B2 - フォロー対象検出装置、フォロー対象検出方法およびフォロー対象検出プログラム - Google Patents

Description

本発明は、フォロー撮影における追尾の対象であるフォロー対象を検出するフォロー対象検出装置、フォロー対象検出方法およびフォロー対象検出プログラムに関し、特に、映像中から撮影者によって追尾撮影されたフォロー対象を検出するためのフォロー対象検出装置、フォロー対象検出方法およびフォロー対象検出プログラムに関する。

フォロー撮影とは、撮影者が移動する物体（移動体）を撮影する際に、対象を追うようにカメラを動かして撮影する撮影技法である。本発明では、フォロー撮影によって撮影される移動体をフォロー対象とし、またフォロー対象上の領域（フォロー対象が写り込んでいる画面上の領域）をフォロー領域とし、フレーム上のある領域がフォロー領域であるか否かを判定することを、フォロー判定と呼ぶ。

フォロー対象検出装置の一例が、特許文献１に記載されている。フォロー撮影では、フォロー対象の移動に合わせてカメラを動かすため、一般にフォロー対象の実際の移動量とカメラによる撮影領域の移動量はほぼ等しく、映像内でのフォロー対象の見かけ上の動き（すなわち、フレーム間でのフォロー対象の動き）は小さい。特許文献１に記載されている方法は、上記の特性に着目し、フレーム上の単位領域のうち、固定時間後のフレームとの間で得られる見かけ上の移動量（動きベクトル）が小さく、動きベクトルにカメラによる撮影領域の移動量を加算することで算出される実際の移動量（絶対ベクトル）が大きい単位領域を、フォロー領域と判定する。

また、フォロー対象検出装置の一例が、特許文献２に記載されている。特許文献２に記載されている方法は、カメラを一定方向に動かして撮影した映像区間の各フレームを入力フレームとし、入力フレームと、入力フレームからのカメラによる撮影領域の移動量が閾値以上となるフレームを撮影領域の移動量で補正することで生成した背景画像との差を、フォロー領域として検出する。

また、特許文献３には、フレーム差分により背景の候補領域と動物体の候補領域とを分離し、動物体の候補領域と判断されたマクロブロックに対して、隣接フレーム間の動きベクトルとその次フレームとの間における動きベクトルの探索を行い、その動きベクトルに基づいて動物体を構成するマクロブロックを特定する動物体検出装置が記載されている。

また、特許文献４には、動画像内でカメラが一定方向に連続して動いた複数のフレームについて、動きベクトルで補償したフレーム間（パンニング区間）の相関画像から求まる相関集中度合いに基づいて、被写体を追尾したシーンであるか否かを判定するシーン判別方法が記載されている。

特開２００７−１９８１４号公報 特開平９−４４６８１号公報 特開２００４−３１０５９５号公報 特開平８−１９１４１１号公報

特許文献１または特許文献２に記載されている方法のように、ある１点の時刻での動きベクトルのみによって算出したカメラによる撮影領域の移動量とフォロー対象の移動量をもとにフォロー判定をする場合、フォロー領域を誤検出したり、フォロー領域の検出漏れを生じるという問題がある。例えば、カメラによる撮影領域の移動量とフォロー対象でない移動体の移動量とが一時的に一致した場合には、フォロー領域を誤検出してしまう。また、例えば、カメラによる撮影領域の移動量とフォロー対象の移動量とが一時的に一致しない場合には、フォロー領域の検出漏れを生じてしまう。

なお、特許文献３に記載されている方法は、複数の動きベクトルを用いてフォロー判定を行っているが、その具体的判定方法は、フレーム上のブロックついてに隣接フレームとの間で得た動きベクトルが隣接フレームとの間でのカメラワークの方向と異なり、近接ブロックの動きベクトルと向きが類似し、１フレーム飛ばした次のフレームとの間で得た動きベクトルと向きが類似する場合に、ブロックを動物体領域と検出するというものである。

しかし、この方法では、フォロー撮影されていない動物体を検出してしまうという問題がある。例えば、右方向に移動する人物をフォロー撮影している際に背景に左方向に移動する車が写り込んだ場合には、人物と車の両方を検出するなど、カメラワークとは異なる動きをする動物体の領域は全て検出してしまう。

なお、特許文献４に記載されている方法は、パンニング区間内の２フレームについて、２フレーム間でのカメラの動きを補償した一方のフレームともう一方のフレームとの間の相関画像を作成し、相関画像内で相関の低い部分の分布特性を測定し、その特徴を統合して算出した値をもとに判定を行う方法である。すなわち、相関の低い領域の検出に、カメラの動きを補償した画像とフレームの２フレーム間の差分を利用しているが、複数時刻におけるカメラの位置と領域の位置の間のずれを利用しているわけではない。従って、この方法では、カメラワークと異なる動きで一定時間登場する動領域を全てフォロー領域と検出してしまうという問題がある。

そこで、本発明は、誤検出や検出漏れを抑制して、より高精度にフォロー領域を検出することを目的とする。

本発明によるフォロー対象検出装置は、映像中のフレーム上の領域または点に対する複数の時刻における動きベクトルをもとに、判定対象とされる領域または点の移動軌跡を算出するとともに、複数の時刻で算出されたカメラワークに関する情報であるカメラワークパラメータに基づいて、撮影領域の移動軌跡を算出する移動軌跡算出手段と、移動軌跡算出手段によって算出された撮影領域の移動軌跡と判定対象とされる領域または点の移動軌跡とに基づいて、領域または点が、カメラによる追尾撮影の対象上の領域であるフォロー領域か否かを判定することによって、映像からフォロー対象を検出するフォロー領域判定手段とを備えたことを特徴とする。

また、本発明によるフォロー対象検出方法は、映像中のフレーム上の領域または点に対する複数の時刻における動きベクトルをもとに、判定対象とされる領域または点の移動軌跡を算出するとともに、複数の時刻で算出されたカメラワークに関する情報であるカメラワークパラメータに基づいて、撮影領域の移動軌跡を算出する移動軌跡算出ステップと、撮影領域の移動軌跡と、判定対象とされる領域または点の移動軌跡とに基づいて、領域または点が、カメラによる追尾撮影の対象上の領域であるフォロー領域か否かを判定することによって、映像からフォロー対象を検出するフォロー領域判定ステップとを含むことを特徴とする。

また、本発明によるフォロー対象検出プログラムは、コンピュータに、映像中のフレーム上の領域または点に対する複数の時刻における動きベクトルをもとに、判定対象とされる領域または点の移動軌跡を算出するとともに、複数の時刻で算出されたカメラワークに関する情報であるカメラワークパラメータに基づいて、撮影領域の移動軌跡を算出する移動軌跡算出処理と、撮影領域の移動軌跡と、判定対象とされる領域または点の移動軌跡とに基づいて、領域または点が、カメラによる追尾撮影の対象上の領域であるフォロー領域か否かを判定することによって、映像からフォロー対象を検出するフォロー領域判定処理とを実行させることを特徴とする。

本発明によれば、誤検出や検出漏れを抑制して、より高精度にフォロー領域を検出することができる。例えば、カメラによる撮影領域の移動量とフォロー対象でない移動体の移動量とが一時的に一致した場合であっても、複数の時刻における動きベクトルをもとに推定した撮影領域の移動軌跡と各領域または点の移動軌跡とをもとにフォロー判定を行うため、フォロー領域を誤検出しないからである。また例えば、カメラによる撮影領域の移動量とフォロー対象の移動量とが一時的に一致しない場合であっても、複数の時刻における動きベクトルをもとに推定した撮影領域の移動軌跡と各領域または点の移動軌跡とをもとにフォロー判定を行うため、フォロー領域の検出できるからである。

第１の実施形態のフォロー対象検出装置の構成例を示すブロック図である。 第１の実施形態のフォロー対象検出装置の動作の一例を示すフローチャートである。 撮影領域の移動軌跡の一例を示す説明図である。 撮影領域の移動軌跡の一例を示す説明図である。 領域または点の移動軌跡の一例を示す説明図である。 領域または点の移動軌跡の一例を示す説明図である。 撮影領域の移動軌跡の更新例を示す説明図である。 撮影領域の移動軌跡の更新例を示す説明図である。 領域または点の移動軌跡の更新例を示す説明図である。 領域または点の移動軌跡の更新例を示す説明図である。 判定対象フレームから軌跡生成フレームまでの各フレームの画像の一例を示す説明図である。 撮影領域の移動軌跡と領域または点の移動軌跡をグラフ化した例を示す説明図である。 判定対象フレームから軌跡生成フレームまでの各フレームの画像の一例を示す説明図である。 撮影領域の移動軌跡と領域または点の移動軌跡をグラフ化した例を示す説明図である。 判定対象フレームから軌跡生成フレームまでの各フレームの画像の一例を示す説明図である。 撮影領域の移動軌跡と領域または点の移動軌跡をグラフ化した例を示す説明図である。 第２の実施形態のフォロー対象検出装置の構成例を示すブロック図である。 実施例において入力される入力される映像の概要を示す説明図である。 実施例におけるフォロー対象検出装置の構成例を示すブロック図である。 実施例におけるステータス情報の例を示す説明図である。 実施例における撮影領域の移動軌跡の例を示す説明図である。 実施例における各領域または点の移動軌跡の例を示す説明図である。 ステータス情報の更新例を示す説明図である。 撮影領域の移動軌跡の更新例を示す説明図である。 各領域または点の移動軌跡の更新例を示す説明図である。 撮影領域の移動軌跡の更新例を示す説明図である。 各領域または点の移動軌跡の更新例を示す説明図である。 撮影領域の移動軌跡と領域または点の移動軌跡をグラフ化した例を示す説明図である。 ステータス情報の更新例を示す説明図である。 撮影領域の移動軌跡の更新例を示す説明図である。 各領域または点の移動軌跡の更新例を示す説明図である。 撮影領域の移動軌跡と領域または点の移動軌跡をグラフ化した例を示す説明図である。 ステータス情報の更新例を示す説明図である。 ステータス情報の更新例を示す説明図である。 撮影領域の移動軌跡の更新例を示す説明図である。 各領域または点の移動軌跡の更新例を示す説明図である。 各領域または点の移動軌跡の更新例を示す説明図（図３６のつづき）である。 撮影領域の移動軌跡と領域または点の移動軌跡をグラフ化した例を示す説 ステータス情報の更新例を示す説明図である。 本発明の概要を示すブロック図である。 本発明のフォロー検出装置の構成例を示すブロック図である。

はじめに、本発明で用いる用語について説明する。判定対象フレームとは、フォロー判定を行うフレームである。また、軌跡生成フレームは、フォロー判定に用いる撮影領域の移動軌跡と領域または点の移動軌跡を、判定対象フレームとの間で生成するフレームとする。また、現フレームおよび参照フレームは、撮影領域の移動軌跡と領域または点の移動軌跡を算出するための動きベクトルの検出に用いるフレームの表現として用いる場合がある。

撮影領域の移動軌跡とは、映像中の任意のフレームを基準フレームに設定したときの、基準フレーム上の座標系における判定対象フレームと軌跡生成フレームとの間でのカメラによる撮影領域の位置の遷移とする。また、領域または点の移動軌跡は、基準フレーム上の座標系における判定フレームと軌跡生成フレームとの間での判定対象フレーム上の領域または点の位置の遷移とする。撮影領域の移動軌跡と領域または点の移動軌跡は、判定対象フレームと軌跡生成フレームの間の複数の現フレームについて、参照フレームとの間で算出した動きベクトルをもとに算出する。

実施形態１．
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１の実施形態のフォロー対象検出装置の構成例を示すブロック図である。図１に示すフォロー対象検出装置は、映像入力手段１００と、データ処理装置１１０と、判定結果出力手段１２０とを備えている。また、データ処理装置１１０は、動きベクトル検出手段１１１と、カメラワークパラメータ算出手段１１２と、移動軌跡推定手段１１３と、フォロー判定手段１１４とを含む。

映像入力手段１００は、映像中のフレームの画像データを動きベクトル検出手段１１１に入力する。

動きベクトル検出手段１１１は、第１および第２の更新関連情報に応じて、映像入力手段１００から現フレームと参照フレームのフレーム情報を受け取り、判定フレーム上の領域または点について、現フレームと参照フレームの間での動きベクトルを検出する。

ここで、第１および第２の更新関連情報は、いずれも現在の判定対象フレームに対するフォロー判定のために動きベクトル検出処理が必要であることを動きベクトル検出手段１１１に通知するための情報であって、動きベクトル検出手段１１１に入力する時点での、判定フレーム上の各領域または点（判定対象とされる領域または点）に対するフォロー判定結果（ステータス情報）と、処理に利用中のデータ（現フレームや参照フレーム、判定対象フレーム、軌跡生成フレームのフレーム番号等）を含むものである。なお、第１の更新関連情報は、移動軌跡推定手段１１１によって管理される情報である。また、第２の更新関連情報は、フォロー判定手段１１４によって管理される情報である。

本実施形態では、第１および第２の更新関連情報は、いずれも更新の有無を表す更新フラグと、判定対象フレーム・軌跡生成フレーム・現フレーム・参照フレームのフレーム番号と、各領域または点のステータス情報として、フォロー判定の結果を表すフラグ、動きベクトル検出の状態を表すフラグおよび保留開始フレームのフレーム番号を含む情報とする。

ステータス情報に含まれる、フォロー判定の結果を表すフラグは、”未判定”、”フォロー領域”、”非フォロー領域”の３つの結果のいずれかを示すものとする。なお、フォロー判定結果における”未判定”は、フォロー判定がまだ行われていない状態を表わしている。また、”フォロー領域”は、フォロー判定の結果、当該領域または点（当該ステータス情報が対応づけられている領域または点）がフォロー領域として判定されたことを表している。また、”非フォロー領域”は、当該領域または点が非フォロー領域として判定されたことを表している。

また、動きベクトル検出の状態を表すフラグは、”正常”、”除外”、”保留”の３つの状態のいずれかを示すものとする。なお、動きベクトル検出状態における”正常”は、当該領域または点を動きベクトル検出処理の対象とされた状態を表している。また、”除外”は、当該領域または点が撮影領域の移動が起因して消滅したために動きベクトル検出処理から除外された状態を表している。また、”保留”は、当該領域または点がフォロー対象自体の動きやフォロー対象の前景によるオクルージョンによって一時的に隠れたために動きベクトル検出処理を保留にされた状態を表している。なお、動きベクトル検出の状態を表すフラグを”保留”に設定することを「保留フラグを付与する」と表現する場合がある。その際、保留開始フレームは、保留フラグが付与されたときの現フレームを表す。また、同様に”正常”に設定することを「正常フラグを付与する」と表現する場合がある。なお、”除外”についても同様とする。

また、動きベクトル検出手段１１１は、カメラパラメータ算出手段１１２に、判定対象とされる領域または点の現フレーム上での座標と動きベクトルを入力する。また、移動軌跡推定手段１１３に、各領域または点の現フレームと参照フレームの間での動きベクトルと、ステータス情報と、判定対象フレーム・軌跡生成フレーム・現フレーム・参照フレームのフレーム番号と、判定対象フレームの画像データと、領域または点の判定対象フレーム上での座標とを入力する。

カメラワークパラメータ算出手段１１２は、動きベクトル検出手段１１１から受け取った領域または点の現フレーム上での座標と動きベクトルとをもとに、現フレームと参照フレームとの間でのカメラワークパラメータを算出する。また、算出したカメラワークパラメータを移動軌跡推定手段１１３に入力する。

ここで、カメラワークパラメータとは、いわゆるカメラワークに関する情報であって、カメラワーク（カメラの移動やレンズの向きの移動、ズーム変更等によって生じる撮影領域の見かけ上の動き（すなわちフレーム間での撮影領域の動き）を特定可能な情報とする。例えば、ズームパラメータや水平方向の併進パラメータ、垂直方向の併進パラメータ、回転パラメータなどを含む情報である。

移動軌跡推定手段１１３は、判定対象フレームと軌跡生成フレームとの間の複数の現フレームについて算出された領域または点の動きベクトルとカメラワークパラメータをもとに、判定対象フレームと軌跡生成フレームとの間での撮影領域の移動軌跡と、領域または点の移動軌跡とを推定する。

また、移動軌跡推定手段１１３は、撮影領域の移動軌跡をもとに、判定対象フレームと軌跡生成フレームとの間の撮影領域の総移動量を算出する。

移動軌跡推定手段１１３は、動きベクトル検出手段１１１から各領域または点の現フレームと参照フレームの間での動きベクトルとステータス情報、判定対象フレーム・軌跡生成フレーム・現フレーム・参照フレームのフレーム番号、判定対象フレームの画像データと領域または点の判定対象フレーム上での座標を受け取る。また、カメラワークパラメータ算出手段１１２から、現フレームと参照フレームとの間でのカメラワークパラメータを受けとる。

また、移動軌跡推定手段１１３は、算出した撮影領域の総移動量が閾値以上の場合には、撮影領域の移動軌跡、領域または点の移動軌跡、領域または点のステータス情報、判定対象フレーム・軌跡生成フレーム・現フレーム・参照フレームのフレーム番号、判定対象フレームの画像データと領域または点の判定対象フレーム上での座標を、フォロー判定手段１１４に入力する。一方、算出した撮影領域の総移動量が閾値未満の場合には、現在の判定対象フレームに対するフォロー判定のために更なる動きベクトル検出処理が必要であるとして、その旨を示す情報（更新フラグ）と、現時点での判定結果（ステータス情報）と処理に利用中のデータとを表した第１の更新関連情報を動きベクトル検出手段１１１に入力する。

フォロー判定手段１１４は、撮影領域の移動軌跡および各領域または点の移動軌跡をもとに判定対象フレーム上の各領域または点がフォロー領域か否かを判定する。また、領域または点のステータス情報内のフォロー判定結果を更新する。

フォロー判定手段１１４は、移動軌跡推定手段１１３から、撮影領域の移動軌跡、領域または点の移動軌跡、領域または点のステータス情報、判定対象フレーム・軌跡生成フレーム・現フレーム・参照フレームのフレーム番号、判定対象フレームの画像データと領域または点の判定対象フレーム上での座標を受け取る。

また、フォロー判定手段１１４は、判定対象フレームに対するフォロー判定が完了した場合には、各領域または点のステータス情報、判定対象フレームの画像データと領域または点の判定対象フレーム上での座標を判定結果出力手段１２０に入力する。未完了の場合には、現在の判定対象フレームに対するフォロー判定のために更なる動きベクトル検出処理が必要であるとして、その旨を示す情報（更新フラグ）と、現時点での判定結果（ステータス情報）と処理に利用中のデータとを表した第２の更新関連情報を動きベクトル検出手段１１１に入力する。

判定結果出力手段１２０は、領域または点のステータス情報、判定対象フレームの画像データと領域または点の判定対象フレーム上での座標を取得し、フォロー判定の結果を出力する。

本実施形態において、動きベクトル検出手段１１１、カメラワークパラメータ算出手段１１２、移動軌跡推定手段１１３、フォロー判定手段１１４は、例えば、プログラムに従って動作するＣＰＵにより実現される。また、映像入力手段１００は、映像入力端子や映像を構成する画像データ群をファイルやストリームデータとして入力するネットワークカードやディスクドライブといったデータ入力装置によって実現される。また、判定結果出力手段１２０は、ディスプレイ装置などのデータ出力装置によって実現される。

次に、本実施形態の動作について説明する。図２は、本実施形態のフォロー対象検出装置の動作の一例を示すフローチャートである。図２に示す例では、映像入力手段１００から動きベクトル検出手段１１１に対して、追尾撮影された一連のフレームの中から任意のフレームの画像データが入力可能とする。なお、映像入力手段１００は、一連のフレームの画像データの全てを動きベクトル検出手段１１１に入力し、動きベクトル検出手段１１１が入力された画像データの中から任意のフレームの画像データを選出するようにしてもよい。また、フォロー対象検出処理の開始が指示されたタイミングで、第１の更新関連情報および第２の更新関連情報には初期値が設定されているものとする。なお、第１および第２の更新関連情報とも初期値は、更新フラグを”更新なし”を示す値に設定する。ステータス情報および各フレーム（現フレーム，参照フレーム，判定対象フレーム，軌跡生成フレーム）のフレーム番号は未設定（値を持たない状態）とすればよい。

本例では、まず、動きベクトル検出手段１１１が、移動軌跡推定手段１１３およびフォロー判定手段１１４から取得した第１の更新関連情報および第２の更新関連情報中の更新フラグを確認する。ここでは更新がないものとする。動きベクトル検出手段１１１は、各更新フラグをもとに、更新がないことを確認すると、フォロー判定を行うフレームを判定対象フレームに、判定フレームから時間間隔Δｔ離れたフレームを軌跡生成フレームに設定する。そして、判定対象フレームを現フレームに、軌跡生成フレームを参照フレームに設定し、現フレームと参照フレームの画像データを取得する（ステップＡ０１）。

なお、軌跡生成フレームを設定するために用いる時間間隔Δｔは、固定の時間間隔でも良いし、判定対象フレームに応じて変化する時間間隔でもよい。また、軌跡生成フレームは、判定対象フレームからΔｔ前のフレームあっても、Δｔ後のフレームであってもよい。以下、Δｔ後のフレームを選択した場合について、説明する。

現フレームと参照フレームの画像データを取得すると、動きベクトル検出手段１１１は、現フレーム上から動きベクトルの検出対象（すなわち、フォロー領域の判定対象）とする領域または点を選択し、選択した領域または点についての現フレームから参照フレームへの動きベクトルを検出する（ステップＡ０２）。なお、フォロー領域の判定対象として選択する領域または点は、いくつであってもよい。例えば、フレームの画像を等分割した各分割領域を対象としてもよい。また、例えば、フレームの画像を同じ色を持った領域ごとに分割した各分割領域を対象としてもよい。また、例えば、フレームの画像データからＳＩＦＴやＨａｒｒｉｓオペレータ等の特徴点抽出エンジンを使って抽出した特徴点の中で、特徴点として信頼度の高い特徴点を対象としてもよい。

動きベクトルは、ブロックマッチングやテンプレートマッチング、Ｍｅａｎｓｈｉｆｔ法やパーティクルフィルタなどの領域追跡に基づく手法や、Ｌｕｃｕｓ−Ｋａｎａｄｅトラッカなどの特徴点追跡に基づく手法によって検出できる。例えば、ブロックマッチングに基づく手法を用いた場合、現フレーム上の各ブロックについて参照フレーム上を走査し、ブロックに類似する領域を対応ブロックとして検出し、参照フレーム上のブロックの中央点座標から対応ブロックの中央点座標へのベクトルを領域の動きベクトルとして検出できる。

動きベクトルの検出方法は、上記を用いても他の手法を用いてもかまわない。動きベクトルは、判定対象フレーム上の全ての領域または点に対して検出しても良いし、あらかじめ指定した個数分の領域または点に対してのみ検出してもよいし、あらかじめ指定した領域または点に対してのみ検出してもよい。

また、動きベクトル検出手段１１１は、動きベクトルの検出状況によって、領域または点のステータス情報を次のように更新する。

まず、動きベクトルが検出できなかった場合について説明する。動きベクトルが検出できなかった場合には、現フレームの端付近の領域または点については、カメラによる撮影領域の移動が起因してフレームから外れた領域または点として、除外フラグを付与する。この除外フラグを付与することにより、その領域または点を以降の動きベクトル検出処理の対象から除外する。

また、現フレーム中央付近に存在する領域または点については、フォロー対象自体の動きやフォロー対象の前景により一時的に隠れた領域または点として、保留フラグを付与する。この保留フラグを付与することにより、今回の動きベクトル検出処理を保留とし、現フレームの更新後に再度動きベクトルの検出対象とする。また、現フレームを保留開始フレームに設定する。

次に、動きベクトルが検出できた場合について説明する。動きベクトルが検出できた場合には、動きベクトルが正常に検出できた領域または点として、正常フラグを付与する。

動きベクトル検出手段１１１が動きベクトル検出処理を終えると、次に、カメラワークパラメータ算出手段１１２は、現フレームと参照フレームとの間のカメラワークパラメータを算出する（ステップＡ０３）。カメラワークパラメータの算出は、例えば、上述の特許文献１に記載されている方法を用いてもよい。

より具体的には、カメラの操作をｘ,ｙ方向の平行移動、拡大縮小、回転で表現できるものと仮定して、以下の式（１）のカメラワークモデルを元に各撮影情報を算出してもよい。

なお、式（１）の座標系は、現フレームの画像中心を原点とする同次座標系である。点ｐは、現フレーム上の特徴点であり、動きベクトル検出処理で選択した点であってもよいし、動きベクトル検出処理で選択した領域の重心点や、領域の輪郭線上から選択した代表点など、領域内の任意の点であってもよい。また、点ｐ’は参照フレーム上の点ｐに対応する点（対応点）であり、点ｐにおける動きベクトルの終点座標にあたる。

このモデルにおけるカメラワークパラメータは、４要素｛ｚ，ｄｘ，ｄｙ，θ｝によって表現され、ｚをズームパラメータ、ｄｘとｄｙを水平および垂直方向の併進パラメータ、θを回転パラメータと呼ぶ。カメラワークパラメータは、特徴点と対応点の組である対応組｛（ｘ，ｙ），（ｘ’，ｙ’）｝２組を式（１）に代入することで算出できる。

カメラワークパラメータの算出方法としては、この他にも特徴点としての信頼度の高い２組の対応組を利用する方法がある。また、移動体の動きによる影響を抑えるために、対応組の全組み合わせで算出したカメラワークパラメータ群から、各要素の最頻値あるいは中央値を選択する方法がある。カメラワークパラメータの算出には、上記の方法を用いてもその他の方法を用いても構わない。

また、現フレームと参照フレームとの間の各フレームにおける動きベクトルに加え、それらフレーム以外のフレーム上の領域または点に対する複数の各フレームにおける動きベクトル（例えば、旧現フレーム時に算出された動きベクトル）をもとに、カメラワークパラメータを算出してもよい。

また、ズームおよび回転が無視できるほど小さい場合には、カメラワークパラメータの算出方法として、現フレームと参照フレームとの間の動きベクトルの平均値あるいは最頻値あるいは中央値を、カメラワークパラメータの併進パラメータとして用いてもよい。また、フレーム上の座標位置によって動きベクトルを数個のグループにまとめ、各グループから選択した代表値をカメラワークパラメータの併進パラメータとして用いてもよい。

このように、カメラワークパラメータを上記のように画像処理によって求められた動きベクトルをもとに算出してもよいし、カメラに搭載した加速度センサによって算出してもよい。

次いで、移動軌跡推定手段１１３は、動きベクトル検出手段１１１が求めた判定対象とされる領域または点についての動きベクトルと、カメラワークパラメータ算出手段１１２が求めた現フレームと参照フレームとの間のカメラワークパラメータとをもとに、判定対象フレームと軌跡生成フレームの間での撮影領域の移動軌跡および各領域または点の移動軌跡を推定する（ステップＡ０４）。

このとき、移動軌跡推定手段１１３は、現在の判定対象フレームに対して、判定対象フレームと軌跡生成フレームの間での撮影領域の移動軌跡および各領域または点の移動軌跡を初めて推定した場合には（ステップＡ０５のＹｅｓ）、移動軌跡を新規に生成後に、動きベクトル検出手段１１１に第１の更新関連情報を入力し（ステップＡ０６）、ステップＡ０１〜Ａ０４の処理を再実行させる。

一方、現在の判定対象フレームに対する推定が２度目以降の場合には（ステップＡ０５のＮｏ）、現在の判定対象フレームに対する各移動軌跡を更新し、ステップＡ０７に進む。

以下に、移動軌跡の算出方法について説明する。

まず、移動軌跡の新規作成について説明する。図３および図４は、撮影領域の移動軌跡の一例を示す説明図である。撮影領域の移動軌跡は、判定対象フレームから軌跡生成フレームまでの、判定対象フレームの領域または点の予測点の基準フレームの座標系上での位置遷移で表現できる。ここで、予測点とは、判定対象フレームの領域または点が、撮影領域の移動によって配置されると予測される基準フレームの座標系上の点とし、領域または点の座標を以下の式（２）に代入することで算出される座標とする。

ｘ’＝（ｘ＋ｙθ１−ｄｘ１）ｚ１
ｙ’＝（−ｘθ１＋ｙ−ｄｙ１）ｚ１ ・・・式（２）

図３は、判定対象フレームを基準フレームに設定し、現フレームと参照フレームとの間で算出されたカメラワークパラメータのパラメータセット｛ズームパラメータｚ，水平方向の併進パラメータｄｘ，垂直方向の併進パラメータｄｙ，回転パラメータθ｝が｛ｚ１，ｄｘ１，ｄｙ１，θ１｝で表される場合の撮影領域の移動軌跡の例を示す説明図である。例えば、図３では、判定対象とされた各領域（領域ａ，ｂ，ｃ）の位置遷移により、撮影領域の移動軌跡が示されている。なお、領域ａの位置遷移は、フレーム間距離が０のときの座標Ａ：（ｘａ，ｙａ）と、フレーム間距離がΔｔのときの予測点である座標Ａｃ’：（（ｘａ＋ｙａθ１−ｄｘ１）ｚ１，（−ｘａθ１＋ｙａ−ｄｙ１）ｚ１））とによって示されている。領域ｂの位置遷移は、フレーム間距離が０のときの座標Ｂ：（ｘｂ，ｙｂ）と、フレーム間距離がΔｔのときの予測点である座標Ｂｃ’：（（ｘｂ＋ｙｂθ１−ｄｘ１）ｚ１，（−ｘｂθ１＋ｙｂ−ｄｙ１）ｚ１））とによって示されている。領域ｃの位置遷移は、フレーム間距離が０のときの座標Ｃ：（ｘｃ，ｙｃ）と、フレーム間距離がΔｔのときの予測点である座標Ｃｃ’：（（ｘｃ＋ｙｃθ１−ｄｘ１）ｚ１，（−ｘｃθ１＋ｙｃ−ｄｙ１）ｚ１））とによって示されている。

カメラワークパラメータにズームパラメータが含まれる場合には、基準フレーム上での点の位置によって撮影領域の移動軌跡が異なるため、全ての領域または点について位置遷移を算出する。なお、カメラワークパラメータが併進パラメータのみ値をもつ場合には、基準フレームの角３点などの撮影領域を特定しうる代表的な点についてのみ位置遷移を算出し、撮影領域の移動軌跡として保持するようにしてもよい。

また、ズームおよび回転が無視できるほど小さい場合、撮影領域の移動軌跡は、判定対象フレームから軌跡生成フレームまでの判定対象フレームの画像中心点Ｏの基準フレームの座標系上での位置遷移で表現できる。

図４は、基準フレームを判定対象フレームとし、現フレームにおけるカメラワークパラメータの水平方向成分が−Ｖｘ１，垂直方向成分が−Ｖｙ１のときの撮影領域の移動軌跡の例を示す説明図である。例えば、図４では、撮影領域の移動軌跡として、画像中心点Ｏの基準フレームの座標系での位置遷移が、フレーム間距離が０のときの座標Ｏ：（０，０）と、フレーム間距離がΔｔのときの座標Ｏ’：（Ｖｘ１，Ｖｙ１）とによって示されている。ここで、水平方向成分または垂直方向成分とは、動きベクトルの平均値等をカメラワークパラメータの併進パラメータとして用いた場合のｄｘまたはｄｙをいう。

また、図５および図６は、領域または点の移動軌跡の一例を示す説明図である。各領域または点の移動軌跡は、判定対象フレームから軌跡生成フレームまでの、判定対象フレームの各領域または点の基準フレームの座標系上での位置遷移で表現できる。ここで、撮影領域の移動軌跡が図３に示す例の場合であって、判定対象フレームを基準フレームに設定し、領域ａ、ｂ、ｃの座標がそれぞれＡ：（ｘａ，ｙａ）、Ｂ：（ｘｂ，ｙｂ）、Ｃ：（ｘｃ，ｙｃ）、現フレームから参照フレームへの各領域の動きベクトルをＶａ１：（Ｖｘａ１，Ｖｙａ１）、Ｖｂ１：（Ｖｘｂ１，Ｖｙｂ１）、Ｖｃ１：（Ｖｘｃ１，Ｖｙｃ１）とすると、図３に示す撮影領域の移動軌跡は、更新により図７に示すように表される。

例えば、図７では、撮影領域の移動軌跡を表す領域ａの位置遷移として、領域ａの基準フレームの座標系上での位置遷移が、フレーム間距離が０のときの座標Ａ：（ｘａ，ｙａ）と、フレーム間距離がΔｔのときの予測点である座標Ａ’：（（Ｖｘａ１＋（ｘａ＋ｙａθ１−ｄｘ１）ｚ１，（Ｖｙａ１＋（−ｘａθ１＋ｙａ−ｄｙ１）ｚ１））とによって示されている。また、例えば、領域ｂの移動軌跡として、領域ｂの基準フレームの座標系上での位置遷移が、フレーム間距離が０のときの座標Ｂ：（ｘｂ，ｙｂ）と、フレーム間距離がΔｔのときの予測点である座標Ｂ’：（（Ｖｘｂ１＋（ｘｂ＋ｙｂθ１−ｄｘ１）ｚ１，（Ｖｙｂ１＋（−ｘｂθ１＋ｙｂ−ｄｙ１）ｚ１））とによって示されている。また、領域ｃの移動軌跡として、領域ｃの基準フレームの座標系上での位置遷移が、フレーム間距離が０のときの座標Ｃ：（ｘｃ，ｙｃ）と、フレーム間距離がΔｔのときの予測点である座標Ｃ’：（（Ｖｘｃ１＋（ｘｃ＋ｙｃθ１−ｄｘ１）ｚ１，（Ｖｙｃ１＋（−ｘｃθ１＋ｙｃ−ｄｙ１）ｚ１））とによって示されている。

次に、移動軌跡の更新について説明する。ステップＡ０５の判定により、動きベクトル検出手段１１１に第１の更新関連情報が入力されると、動きベクトル検出手段１１１は、ステップＡ０１の処理から再実行する。

すなわち、動きベクトル検出手段１１１は、更新関連情報を受け取ると、現フレームを現在の参照フレームに、参照フレームを現フレームから時間Δｔ後のフレームに設定する。また、軌跡生成フレームを参照フレームに設定する。映像入力手段１００から現フレームと参照フレームの画像データを取得する（ステップＡ０１（再実行））。

次いで、判定対象フレーム上の各領域または点に対応する現フレーム上の領域または点について、以下に示すように、動きベクトル検出の状態を表すフラグに応じて動きベクトルを検出する（ステップＡ０２（再実行））。

すなわち、正常フラグが付与された領域または点については、現フレームと参照フレームとの間で動きベクトルを算出する。また、保留フラグが付与された領域または点については、保留開始フレームと参照フレームとの間で動きベクトルを算出し、現フレームと参照フレームとの間の動きベクトルを推定する。保留開始フレームと参照フレームとのフレーム間隔と、現フレームと参照フレームとの間のフレーム間隔との比によって推定できる。また、除外フラグのついた領域または点については、動きベクトル処理を行わない。除外フラグの付与された領域または点の個数分の領域または点を現フレームから選択し、動きベクトルを算出してもよい。

そして、動きベクトル検出手段１１１は、動きベクトルの検出結果に応じてステータス情報を更新し、カメラワークパラメータ算出手段１１２および移動軌跡推定手段１１３に、領域または点の現フレーム上の座標と動きベクトルを入力する。ステータス情報の更新は、例えば、保留フラグが付与された領域で動きベクトルが検出された場合は、保留フラグを正常フラグに変更すればよい。また例えば、動きベクトルが検出されない場合には、保留開始フレームと参照フレームとのフレーム間隔が閾値以下の場合には保留フラグ、それ以外の場合には除外フラグを付与すればよい。

カメラワークパラメータ算出手段１１２は、領域または点の現フレーム上の座標と、現フレームから参照フレームへの動きベクトルとをもとに、現フレームから参照フレームへのカメラワークパラメータを算出する（ステップＡ０３（再実行））。

ステップＡ０１〜Ａ０３の再実行により、再設定された現フレームおよび参照フレームについて、動きベクトルとカメラワークパラメータが算出されると、移動軌跡推定手段１１３は、その動きベクトルとカメラワークパラメータとをもとに、判定対象フレームと軌跡生成フレームの間での撮影領域の移動軌跡および各領域または点の移動軌跡を更新する（ステップＡ０４（再実行））。

図７および図８は、更新後の撮影領域の移動軌跡の一例を示す説明図である。図７は、現フレームと参照フレームとの間で算出されたカメラワークパラメータのパラメータセットが｛ｚ２，ｄｘ２，ｄｙ２，θ２｝で表される場合であって更新前の撮影領域の移動軌跡が図３に示す例の場合のときの、撮影領域の移動軌跡の更新例を示している。例えば、図７では、撮影領域の移動軌跡として、領域ａの位置遷移が、図３に示すフレーム間距離が０のときの座標Ａとフレーム間距離がΔｔのときの座標Ａｃ’に加えて、フレーム間距離が２Δｔのときの座標Ａｃ’’：（（（ｘａ＋ｙａθ１−ｄｘ１）ｚ１＋（−ｘａθ１＋ｙａ−ｄｙ１）ｚ１θ２−ｄｘ２）ｚ２，（−（ｘａ＋ｙａθ１−ｄｘ１）ｚ１θ２）＋（−ｘａθ１＋ｙａ−ｄｙ１）ｚ１−ｄｙ２）ｚ２）によって示されている。

また、現フレームから参照フレームへのカメラワークパラメータの水平方向成分を−Ｖｘ２、垂直方向成分を−Ｖｙ２とすると、図４に示す撮影領域の移動軌跡は、更新により図８に示すように表される。例えば、図８では、撮影領域の移動軌跡を表す画像中心点Ｏの位置遷移が、図４に示すフレーム間距離が０のときの座標Ｏとフレーム間距離がΔｔのときの座標Ｏ’に加えて、フレーム間距離が２Δｔのときの座標Ｏ’’：（Ｖｘ１＋Ｖｘ２，Ｖｙ１＋Ｖｙ２）によって示されている。

また、図９および図１０は、更新後の領域または点の移動軌跡の一例を示す説明図である。現フレームから参照フレームへの領域ａ、ｂ、ｃの動きベクトルをＶａ１：（Ｖｘａ２，Ｖｙａ２）、Ｖｂ１：（Ｖｘｂ２，Ｖｙｂ２）、Ｖｃ１：（Ｖｘｃ２，Ｖｙｃ２）とすると、図５に示す各領域の移動軌跡は、更新により図９に示すように表される。例えば、図９では、領域ａの移動軌跡として、領域ａの基準フレームの座標系上での位置遷移が、図５に示すフレーム間距離が０のときの座標Ａと、フレーム間距離がΔｔのときの座標Ａ’に加えて、フレーム間距離が２Δｔのときの座標Ａ’’：（Ｖｘａ２＋（Ｖｘａ１＋（ｘａ＋ｙａθ１−ｄｘ１）ｚ１）＋（Ｖｙａ１＋（−ｘａθ１＋ｙａ−ｄｙ１）ｚ１）θ２−ｄｘ２）ｚ２，Ｖｙａ２＋（−（Ｖｘａ１＋（ｘａ＋ｙａθ１−ｄｘ１）ｚ１）θ２＋（Ｖｙａ１＋（−ｘａθ１＋ｙａ−ｄｙ１）ｚ１）−ｄｙ２）／ｚ２）によって示されている。

また、同様に、図６に示す各領域の移動軌跡は、更新により図１０に示すように表される。例えば、図１０では、領域ａの移動軌跡として、領域ａの基準フレームの座標系上での位置遷移が、図６に示すフレーム間距離が０のときの座標Ａと、フレーム間距離がΔｔのときの座標Ａ’に加えて、フレーム間距離が２Δｔのときの座標Ａ’’：（ｘａ＋（Ｖｘａ１＋Ｖｘａ２）＋（Ｖｘ１＋Ｖｘ２），ｙａ＋（Ｖｙａ１＋Ｖｙａ２）＋（Ｖｙ１＋Ｖｙ２））によって示されている。

移動軌跡推定手段１１３は、撮影領域の移動軌跡および領域または点の移動軌跡を更新した場合には（ステップＡ０５のＮｏ）、撮影領域の移動軌跡をもとに判定対象フレームから軌跡生成フレームまでの撮影領域の総移動量を算出する（ステップＡ０７）。

撮影領域の総移動量は、例えば以下のように表現できる。撮影領域の移動軌跡が図７の場合、｜Ｖｘ１＋Ｖｙ１｜＋｜Ｖｘ２＋Ｖｙ２｜と表せる。また、撮影領域の移動軌跡が図８の場合、各画像領域とその予測点座標の間の距離の平均｛（｜Ａｃ’−Ａ｜＋｜Ａｃ’’−Ａ’｜）＋（｜Ｂｃ’−Ｂ｜＋｜Ｂｃ’’−Ｂ’｜）＋（｜Ｃｃ’−Ｃ｜＋｜Ｃｃ’’−Ｃ’｜）｝／３によって表せる。あるいは、カメラワークパラメ−タの要素ごとに、｜ｄｘ１｜＋｜ｄｘ２｜、｜ｄｙ１｜＋｜ｄｙ２｜、｜１−ｚ１｜＋｜１−ｚ２｜、｜θ１｜＋｜θ２｜と表してもよい。

そして、撮影領域の総移動量の大きさに応じて以降の処理を場合分けする（ステップＡ０８）。移動軌跡推定手段１１３は、撮影領域の総移動量の大きさが閾値未満の場合（ステップＡ０８のＮｏ）、動きベクトル検出手段１１１に第２の更新関連情報を入力し（ステップＡ０６）、ステップＡ０１〜Ａ０５，Ａ０７を再実行させる。

一方、撮影領域の総移動量の大きさが閾値以上の場合（ステップＡ０８のＹｅｓ）、判定対象フレームから軌跡生成フレームまでの撮影領域の移動軌跡および各領域または点の移動軌跡を、フォロー判定手段１１４に入力し、ステップＡ０９に進む。

ステップＳ０９では、フォロー判定手段１１４が、判定対象フレームから軌跡生成フレームまでの撮影領域の移動軌跡と各領域または点の移動軌跡との類似度をもとに、判定対象フレーム上の各領域または点のフォロー判定を行う。

撮影領域の移動軌跡と領域または点の移動軌跡との類似性は、各軌跡の任意方向成分の間で評価してもよいし、複数方向成分を合わせたベクトル間で評価してもよい。

以下に、撮影領域の移動軌跡と領域または点の移動軌跡との類似性評価によるフォロー判定について、水平方向を例にして説明する。

判定方法の例１．
例えば、撮影領域の移動軌跡と領域または点の移動軌跡をもとに、複数時刻での撮影領域の位置と領域または点の位置との差（すなわち、カメラの位置と領域または点の位置ずれ）を求め、その累積値を評価値として判定を行ってもよい。より具体的には、撮影領域の移動軌跡上の位置座標と、任意の基準時刻における領域または点の位置を撮影領域の移動軌跡上の位置に合わせた領域または点の移動軌跡上の位置座標との差分値を、判定対象フレームから軌跡生成フレームの間の複数の時刻において算出し、その差分値を累積した値（総和）をフレーム数で平均化した値を評価値として用いて、フォロー判定を行ってもよい。この場合、求めた評価値が閾値以下の領域または点をフォロー領域と判定すればよい。

例えば、判定対象フレームと軌跡生成フレームの間のフレーム間隔がＮΔｔ、判定対象フレームから軌跡生成フレームまでの撮影領域の水平方向への移動軌跡をＧｏ、領域ａの水平方向への移動軌跡をＧａとしたとき、ＧｏとＧａの評価値Ｓａを以下の式（３）によって求めることができる。なお、−Ｇａ（０）は、領域ａの絶対的な移動軌跡の始点と撮影領域の移動軌跡の始点とを合わせるための項である。

ここで、右方向に移動する被写体をフォロー撮影した映像の例を用いて説明する。図１１は、本例における判定対象フレームから軌跡生成フレームまでの各フレームの画像を示す説明図である。なお、本例では、図１１に示す画像において、フォロー対象の移動体の一部（ある特徴点）を含む領域ａと、背景として写り込んでいる地表の一部（ある特徴点）を含む領域ｂと、背景として写り込んでいるフォロー対象でない移動体の一部（ある特徴点）を含む領域ｃとが、フォロー領域の判定対象とする領域として選別されているものとする。

撮影領域の移動軌跡が図７に示す例のとおりであって、領域ａ，ｂ，ｃの移動軌跡が図１０に示す例のとおりであったとする。このとき、撮影領域の水平方向への移動軌跡Ｇｏ（Ｏのｘ座標→Ｏ’のｘ座標→Ｏ’’のｘ座標）、領域ａ、ｂ、ｃの水平方向への移動軌跡Ｇａ、Ｇｂ、Ｇｃ（Ａのｘ座標→Ａ’のｘ座標→Ａ’’のｘ座標、Ｂのｘ座標→Ｂ’のｘ座標→Ｂ’’のｘ座標、Ｃのｘ座標→Ｃ’のｘ座標→Ｃ’’のｘ座標）は、それぞれ図１２のようにグラフ化できる。

図１２に示すグラフにおける移動軌跡としての各座標のｘ座標値の遷移の様子からもわかるように、領域ａ、ｂ、ｃの移動軌跡と撮影領域の移動軌跡との各評価値Ｓａ、Ｓｂ、Ｓｃの大小関係は、Ｓａ＜Ｓｂ、Ｓｃとなる。

典型的なフォロー映像を用いてＳａ＜Ｔ＜Ｓｂ，Ｓｃとなる閾値Ｔをあらかじめ設定することにより、領域ａをフォロー領域と判定できる。あるいは、２種の閾値Ｔ１、Ｔ２（Ｔ１＜Ｔ２）を設定し、評価値がＴ１以下の領域をフォロー領域、評価値がＴ２以上の領域を非フォロー領域と判定し、Ｔ１からＴ２の間の評価値をもつ領域について未判定としてもよい。

このような評価値を利用することにより、領域ｃのように判定対象フレームと軌跡生成フレームの２フレーム間での動きベクトルが小さい移動体上の領域を、非フォロー領域と判定できるという効果がある。

判定方法の例２．
また、移動軌跡の重み付き差分の累積値を評価値として用いて判定を行ってもよい。上記判定方法において示した移動軌跡の差分値に重みを付与し、重みつき差分の判定対象フレームから軌跡生成フレームまでの累積値をフレーム数で平均化した値を評価値として用いることが可能である。

判定対象フレームと軌跡生成フレームの間のフレーム間隔がＮΔｔ、判定対象フレームから軌跡生成フレームまでの撮影領域の水平方向への移動軌跡をＧｏ、領域ａの水平方向への移動軌跡をＧａ、任意時刻ｎΔｔにおける評価値に対する重みをｗｎとしたとき、ＧｏとＧａの間の評価値Ｓａを、以下の式（４）によって求めてもよい。なお、−Ｇａ（０）は、領域ａの移動軌跡の始点と撮影領域の移動軌跡の始点とを合わせるための項である。

例えば、急に動き始めた対象をその動きの開始時刻から少し遅れてフォロー撮影を開始するケースを考える。図１３は、静止していた被写体が右に移動を開始し、その移動開始時刻からΔｔ後にカメラを動かしはじめた場合の、判定対象フレームから軌跡生成フレームまでの各フレームの映像の例である。

撮影領域の移動軌跡が図８、領域または点の移動軌跡が図１０のとき、撮影領域の水平方向への移動軌跡Ｇｏ、領域ａ、ｂの水平方向への絶対的な移動軌跡Ｇａ、Ｇｂ、Ｇｃは、図１４のようにグラフ化できる。

このとき、ｗｎには、例えば以下のような重み関数を用いる。

重み関数の例１．
重み関数として、例えば、撮影領域の移動開始時刻に基づく関数を用いることが可能である。撮影者は、フォロー対象が移動を開始してからΔｔまでのフォロー対象の移動軌跡を見て、予測されるフォロー対象の位置に向かってカメラを動かす。そのため、フォロー対象上の領域ａの位置と撮影領域の位置の差｜Ｇｏ（ｔ）−（Ｇａ（ｔ）−ｘａ）｜は、フォロー対象の移動開始時刻から撮影領域の移動開始時刻までの区間では増加するが、撮影領域の移動開始時刻から撮影領域の位置と領域の絶対的な位置が一致する時点までは減少する。一方、背景は静止しているため、背景上の領域ｂの絶対的な位置と撮影領域の位置との差｜Ｇｏ（ｔ）−（Ｇｂ（ｔ）−ｘｂ）｜は、撮影領域の移動開始以降増加する。移動体は撮影領域の移動と無関係に動くため、移動体上の領域ｃの位置と撮影領域の位置との差｜Ｇｏ（ｔ）−（Ｇｃ（ｔ）−ｘｃ）｜は、撮影領域の移動開始時刻にかかわらず大きな値をとる。

上記の傾向から、撮影領域の移動開始時刻以降に大となる重み関数を設定すると、重みなしの場合よりもフォロー対象上の領域の評価値が小、背景領域および移動体上の領域の評価値が大となり、フォロー領域と非フォロー領域を良好に分離できる。

重み関数の例２．
また、例えば、撮影領域の位置と領域または点の位置との距離に基づく関数を用いることが可能である。撮影者は、カメラによる撮影領域がフォロー対象の位置に追いついて以降は、フォロー対象に追従してカメラを動かす。そのため、フォロー対象上の領域ａの位置と撮影領域の位置の差は、フォロー対象上の領域の位置と撮影領域の位置が一定値以下の値となった時刻以降は、小さい値をとる。一方、背景領域および移動体上の領域の撮影領域については、領域の位置と撮影領域の位置が一定値以下の値となった時刻以降であっても、大きな値をとる。

上記の傾向から、領域または点の位置と撮影領域の位置が一定値以下の値となった時刻以降に大となる重み関数を設定すると、重みなしの場合よりもフォロー対象上の領域の評価値が小、背景領域および移動体上の領域の評価値が大となり、フォロー領域と非フォロー領域を良好に分離できる。

重み関数を用いた評価値を利用することにより、フォロー対象の動きが予測できないために、フォロー対象の動きに遅れてカメラを動かし始めフォロー撮影するケースであっても、フォロー対象上の領域をフォロー領域と判定できるという効果がある。

また、例えば、高速に移動する対象をフォロー撮影する際に、対象の動きを正確に追わず、対象が次に到達すると予測される点にむけてカメラを動かすケースを考える。図１５は、はじめ左右に高速に行き来しつつ右に移動し（時刻ｔ１から時刻ｔ１＋２Δｔの間）、その後速度を緩めて右に移動する（時刻ｔ１＋２Δｔから時刻ｔ１＋４Δｔの間）対象を、カメラを右に移動させてフォロー撮影するケースにおいて、判定対象フレームから軌跡生成フレームまでの各フレームの画像の例である。このとき、撮影領域の水平方向への移動軌跡Ｇｏと、領域ａの水平方向への移動軌跡Ｇａは、図１６のようにグラフ化できる。

このとき、ｗｎには、例えば以下のような重み関数を用いてもよい。

重み関数の例３．
例えば、領域の移動速度に基づく関数を用いることが可能である。撮影者は、対象が高速に左右に行き来している間は、対象の動きを正確に追わずに対象が次に到達すると予測される点に向けてカメラを動かし、対象の速度が遅くなって以降は対象とほぼ等しい軌跡でカメラを動かす。そのため、フォロー対象上の領域ａの位置と撮影領域の位置の差は、対象の移動速度が大の時刻ｔ１＋２Δｔまでは大きい値をとり、対象の移動速度が小さくなった時刻ｔ１＋２Δｔ以降では小さい値をとる。

上記の傾向から、領域の移動速度が大のときに重み小となる重み関数を設定すると、重みなしの場合よりも領域の評価値を小となり、フォロー領域と非フォロー領域を良好に分離できる。

第３の例として示した重み関数を用いた評価値を利用することにより、高速に移動する対象をその動きを正確に追わずに撮影するケースであっても、フォロー対象上の領域をフォロー領域と判定できるという効果がある。

なお、重み関数は、上記第１〜第３の例として示した重み関数に限らず、他の重み関数を用いてもよい。

そして、フォロー判定１１４は、フォロー判定結果に応じて、各領域または点のステータス情報を更新する。

フォロー判定手段１１４は、フォロー判定が未完了の領域が存在する場合、かつ、参照フレームと判定対象フレームの間のフレーム間隔があらかじめ定めた限界フレーム間隔未満の場合には（ステップＡ１０のＮｏかつステップＡ１１のＮｏ）、第２の更新関連情報を動きベクトル検出手段１１１に入力し（ステップＡ０６）、ステップＡ０１〜Ａ０９までを再実行させる。

フォロー判定が全ての領域に対して完了した場合、あるいは、参照フレームと判定対象フレームの間のフレーム間隔があらかじめ定めた限界フレーム間隔以上の場合には（ステップＡ１０のＹｅｓ，ステップＡ１１のＹｅｓ）、ステップＡ１２に進む。

ステップＳ１２では、フォロー判定手段１１４は、撮影領域の移動軌跡と領域または点の移動軌跡に基づく領域または点のフォロー判定結果をもとに、フォロー領域を決定する。

フォロー判定手段１１４は、例えば、フォロー領域と判定した全ての領域または点を、フォロー領域に決定してもよい。また、フォロー領域と判定した領域または点だけでなく、フォロー領域と判定した領域または点に近接する領域または点を含めて、フォロー領域を決定してもよい。また、非フォロー領域と判定した領域または点および未判定の領域または点と、当該領域または点に近接する領域または点を、非フォロー領域に決定することにより、それ以外の領域をフォロー領域としてもよい。

また、フォロー領域と判定した領域または点について、撮影領域の移動軌跡と領域または点の移動軌跡とをもとにグループ化し、グループ内の領域または点の個数が閾値未満のグループを除外し、残ったグループに属する領域または点をフォロー領域に決定してもよい。より具体的には、判定対象フレーム上での位置が近いもの同士が同じグループに属するようにグループ化し、グループ内の領域または点の個数が閾値未満のグループを除外するようにしてもよい。あるいは、フォロー領域と判定した領域または点のうち、フォロー判定を既に実行済みの判定対象フレーム上でフォロー領域に決定された領域に近い領域または点を、フォロー領域に追加する形で決定していってもよい。

上記の方法によって時空間的に雑音を除外することによって、フォロー領域の誤検出、検出漏れを防ぐ効果がある。

フォロー判定手段１１４は、フォロー領域の決定結果をもとに、領域または点のフォロー判定結果フラグを更新する。そして、フォロー判定手段１１４は、判定対象フレームの画像データと、フォロー領域に決定された領域または点について、ステータス情報および判定対象フレーム上での位置座標を判定結果出力手段１２０に入力する。

フォロー判定手段１１４から、フォロー領域に決定された領域または点に関する情報が入力されると、判定結果出力手段１２０は、フォロー判定結果を出力する（ステップＡ１３）。

フォロー判定結果の出力形式は、フォロー領域と判定された領域または点の判定対象フレーム上の座標をリスト化したものであってもよいし、判定対象フレーム上にフォロー領域と判定された領域を内包する矩形を重畳させた画像であってもよいし、判定対象フレーム上からフォロー領域と判定された領域を切り出した画像であってもよい。

映像中にフォロー判定が未完了のフレームが存在する場合には、判定対象フレームを変更して、同様の処理を実行する。映像中の全ての判定対象フレームに対してフォロー判定が完了したときに、処理を終了する。

以上のように、本実施形態によれば、複数の各フレームにおける動きベクトルをもとに推定した撮影領域の移動軌跡と各領域または点の移動軌跡とをもとにフォロー判定するため、撮影領域の移動量とフォロー対象ではない移動体の移動量とが一時的に一致した場合であっても、移動体上の領域をフォロー領域と誤判定しないという効果がある。

また、複数の各フレームにおける動きベクトルをもとに推定した撮影領域の移動軌跡と各領域または点の移動軌跡とをもとにフォロー判定するため、撮影領域の移動量とフォロー対象の移動量とが一時的に一致しない場合であっても、フォロー対象上の領域をフォロー領域と判定できるという効果がある。

例えば、領域または点の動きベクトルの方向がカメラワークの方向と異なり、近接領域の動きベクトルと向きが類似していても、撮影領域の移動軌跡と領域または点の移動軌跡とが類似しない限り、フォロー領域と判定しないため、フォロー撮影された移動体の領域のみを的確に検出することができる。

また、例えば、領域または点の移動方向が変化する場合であっても、撮影領域の移動軌跡と領域または点の移動軌跡とが類似する場合には、フォロー領域と判定するため、等速直線運動をしていないフォロー対象であっても的確に検出することができる。

また例えば、撮影領域の移動開始時刻以降に重みを高くするなど、撮影領域の移動開始時刻に基づく重みを付与した重みつき差分値をもとに、撮影領域の移動軌跡と領域または点の移動軌跡の類似性を評価してフォロー判定を行うことによって、急に移動速度を変える移動体をフォロー対象とした場合など撮影領域の移動開始時刻が移動体の移動開始時刻から遅れた場合であっても、フォロー対象上の領域をフォロー領域と判定できるという効果ある。

また例えば、撮影領域の位置と領域または点の位置との距離が閾値以下となった時刻以降に高い重みを付与するなど、撮影領域の位置と領域または点の位置との距離に基づく重みを付与した重みつき差分値をもとに、撮影領域の移動軌跡と領域または点の移動軌跡の類似性を評価してフォロー判定を行うことによって、急に移動速度を変える移動体をフォロー対象とした場合など撮影領域の移動開始時刻が移動体の移動開始時刻から遅れた場合であっても、フォロー対象上の領域をフォロー領域と判定できるという効果がある。

また例えば、領域または点の移動速度が緩やかであるほど高い重みを付与するなど領域または点の移動速度に基づく重みを付与した重みつき差分値をもとに、撮影領域の移動軌跡と領域または点の移動軌跡の類似性を評価してフォロー判定を行うことによって、高速に移動する対象をその動きを正確に追わずに撮影する場合であっても、フォロー対象上の領域をフォロー領域と判定できるという効果がある。

また、本実施形態によれば、判定対象フレーム上の各領域がフォロー対象上の領域か否かを、判定対象フレームとの間の撮影領域の総移動量が一定値以上の軌跡生成フレームをもとに判定することによって、例えば、緩やかに移動する移動体を、移動体の動きに合わせて緩やかにカメラを動かして撮影した場合のように固定時間間隔での撮影領域の移動量が小さい場合でも、フォロー対象を検出できるという効果がある。

実施形態２．
次に、本発明の第２の実施形態について図面を参照して説明する。図１７は、第２の実施形態のフォロー対象検出装置の構成例を示すブロック図である。図１７に示すフォロー対象検出装置は、映像入力手段１００と、判定結果出力手段１２０と、データ処理装置２１０と、フォロー対象検出プログラム２３０とを備えている。本実施形態では、図１に示した第１の実施形態と比べて、データ処理装置１１０に代わって、データ処理装置２１０と、フォロー対象検出プログラム２３０とを備えている点が異なる。

フォロー対象検出プログラム２３０は、第１の実施形態における動きベクトル検出手段１１１、カメラワークパラメータ算出手段１１２、移動軌跡推定手段１１３およびフォロー判定手段１１４が行っている各処理をデータ処理装置２１０に実行させるためのプログラムであって、例えば、第１の実施形態において各手段が実行する処理を記述したプログラムコードを、当該データ処理装置２１０において実行可能なデータに変換したものである。

データ処理装置２１０は、フォロー対象検出用プログラム２３０を読み込んで、フォロー対象検出用プログラム２３０に従って動作することにより、第１の実施の形態におけるデータ処理装置１１０による処理と同一の処理を実行する。

次に、具体的な実施例を用いて本発明の実施形態の動作について説明する。本実施例は、上述の第１の実施形態に対応するものである。本実施例では、本発明のフォロー対象検出装置を、静止していた人物が右向きに歩き出したときに、その人物をフォロー撮影した映像に適用した例を示す。図１８は、本実施例において入力される映像の概要を示す説明図である。入力映像は、画面（フレーム枠）中央に存在する人物Ａが時刻ｔ１で歩き始め、その人物Ａをカメラがｔ２からフォロー撮影した映像とする。

また、図１９は、本実施例のフォロー対象検出装置の構成例を示すブロック図である。図１９に示すように、本実施例のフォロー対象検出装置は、映像入力手段１００として映像入力端子３００を、データ処理装置１１０としてパーソナル・コンピュータ３１０を、判定結果出力手段１２０としてディスプレイ３２０を備えている。また、パーソナル・コンピュータ３１０は、動きベクトル検出手段１１１と、カメラワークパラメータ算出手段１１２と、移動軌跡推定手段１１３と、フォロー判定手段１１４として機能する中央演算装置３１１を有している。

次に、本実施例の動作について説明する。今、映像入力端子から映像（映像信号）が入力されたとする。まず、最初にフォロー判定処理を行うフレームである時刻ｔ０のフレーム（Ｆ０）と時刻ｔ０からΔｔ後のフレーム（Ｆ１）の間の処理について説明する。中央演算装置３１１は、動きベクトル検出処理として、最初にフォロー判定処理を行うフレームである時刻ｔ０のフレーム（Ｆ０）を判定対象フレームに、判定対象フレームからΔｔ後のフレーム（Ｆ１）を軌跡算出フレームに設定する。また、現フレームをＦ０、参照フレームをＦ１に設定し、判定対象フレーム上の領域ａからｅについてＦ０とＦ１の間の動きベクトルを算出する。全領域のステータス情報と動きベクトルを、カメラワークパラメータ算出処理に入力する。このときの各領域のステータス情報を、図２０に示す。図２０は、本実施例におけるステータス情報の例を示す説明図である。本実施例では、このとき図２０に示すように、領域ａ〜ｅのステータス情報には、いずれもフォロー判定結果フラグに”未判定”が、動きベクトル検出の状態フラグに”正常”が設定される。

中央演算装置３１１は、カメラワークパラメータ算出処理として、領域ａ、ｂ、ｃ、ｄ、ｅについて検出した動きベクトルをもとに、Ｆ０とＦ１の間の撮影領域の移動量を算出する。

次に、中央演算装置３１１は、移動軌跡推定処理として、Ｆ０とＦ１の間の撮影領域の移動量と領域の動きベクトルとをもとに、撮影領域の移動軌跡と各領域または点の移動軌跡とを推定する。このとき推定された撮影領域の移動軌跡を図２１に示す。図２１は、本実施例における撮影領域の移動軌跡の例を示す説明図である。本実施例では、このとき図２１に示すように、撮影領域の移動軌跡として、画像中心点Ｏの基準フレームの座標系での位置遷移が、フレーム間距離が０のときの座標Ｏ：（０，０）とフレーム間距離がΔｔのときの座標Ｏ’：（０，０）と求まったとする。

また、このとき推定された各領域または点の移動軌跡を図２２に示す。図２２は、本実施例における各領域または点の移動軌跡の例を示す説明図である。本実施例では、このとき図２２に示すように、領域ａの移動軌跡として、領域ａの基準フレームの座標系上での位置遷移が、フレーム間距離が０のときの座標Ａ：（ｘａ，ｙａ）と、フレーム間距離がΔｔのときの予測座標Ａ’：（ｘａ，ｙａ）と求まったとする。また、領域ｂの基準フレームの座標系上での位置遷移が、フレーム間距離が０のときの座標Ｂ：（ｘｂ，ｙｂ）と、フレーム間距離がΔｔのときの予測座標Ｂ’：（ｘｂ，ｙｂ）と求まったとする。また、領域ｃの基準フレームの座標系上での位置遷移が、フレーム間距離が０のときの座標Ｃ：（ｘｃ，ｙｃ）と、フレーム間距離がΔｔのときの予測座標Ｃ’：（ｘｃ，ｙｃ）と求まったとする。また、領域ｄの基準フレームの座標系上での位置遷移が、フレーム間距離が０のときの座標Ｄ：（ｘｄ，ｙｄ）と、フレーム間距離がΔｔのときの予測座標Ｄ’：（ｘｄ，ｙｄ）と求まったとする。また、領域ｅの基準フレームの座標系上での位置遷移が、フレーム間距離が０のときの座標Ｅ：（ｘｅ，ｙｅ）と、フレーム間距離がΔｔのときの予測座標Ｅ’：（ｘｅ，ｙｅ）と求まったとする。

ここでは、各移動軌跡が新規に生成されたため、第１の更新関連情報として、更新フラグ＝１（更新有り）、判定対象フレームのフレーム番号＝Ｆ０、軌跡算出フレームのフレーム番号＝Ｆ１、現フレーム番号＝Ｆ０、参照フレーム番号＝Ｆ１、各領域のステータス情報を、再度動きベクトル検出処理に入力する。

以下は、時刻ｔ０のフレーム（Ｆ０）から時刻ｔ０から２Δｔ後のフレーム（Ｆ２）の間の処理である。中央演算装置３１１は、動きベクトル検出処理として、移動軌跡推定処理によって更新された第１の更新関連情報を取得し、現フレームにＦ１、参照フレームにＦ２、軌跡生成フレーム番号にＦ２を設定する。また、Ｆ０上で検出した領域ａ、ｂ、ｃ、ｄ、ｅの対応する領域であるＦ１上の領域ａ’、ｂ’、ｃ’、ｄ’、ｅ’を新たな領域に設定する。新たな領域について、Ｆ２上から対応する領域を検出し、動きベクトルを抽出する。そして、全領域のステータス情報と動きベクトルを、カメラワークパラメータ算出処理に入力する。このときの各領域のステータス情報を図２３に示す。図２３は、ステータス情報の更新例を示す説明図である。図２３に示すように、ここでは、対応する領域が検出されなかった領域ｂ’については、座標が画面の端ではないため保留フラグが付与されている。

カメラワークパラメータ算出処理では、領域ａ’、ｃ’、ｄ’、ｅ’について検出した動きベクトルをもとに、Ｆ１とＦ２との間の撮影領域の移動量を算出する。

そして、移動軌跡推定処理で、Ｆ１とＦ２の間の撮影領域の移動量と領域の動きベクトルとをもとに、撮影領域の移動軌跡と各領域または点の移動軌跡とを推定する。このとき推定される撮影領域の移動軌跡を図２４に、各領域または点の移動軌跡を図２５に示す。本実施例では、このとき図２４に示すように、撮影領域の移動軌跡として、画像中心点Ｏの基準フレームの座標系での位置遷移が、フレーム間距離が２Δｔのときの座標Ｏ’’：（０，０）と求まったとする。また、図２５に示すように、領域ａの基準フレームの座標系上での位置遷移が、フレーム間距離が２Δｔのときの予測座標Ａ’’：（ｘａ＋Ｖｘａ’’，ｙａ＋Ｖｙａ’’）と求まったとする。また、領域ｃの基準フレームの座標系上での位置遷移が、フレーム間距離が２Δｔのときの予測座標Ｃ’’：（ｘｃ，ｙｃ）と求まったとする。また、領域ｄの基準フレームの座標系上での位置遷移が、フレーム間距離が２Δｔのときの予測座標Ｄ’’：（ｘｄ，ｙｄ）と求まったとする。また、領域ｅの基準フレームの座標系上での位置遷移が、フレーム間距離が２Δｔのときの予測座標Ｅ’’：（ｘｅ，ｙｅ）と求まったとする。なお、領域ｂの基準フレームの座標系上での位置遷移については、フレーム間距離が２Δｔのときの予測座標Ｂ’’を求めない。

ここでは、フレームＦ０からＦ２までの撮影領域の総移動量が閾値未満のため、第１の更新関連情報として、更新フラグ＝１、判定対象フレームのフレーム番号＝Ｆ０、軌跡生成フレームのフレーム番号＝Ｆ２、現フレームのフレーム番号＝Ｆ１、参照フレームのフレーム番号＝Ｆ２、各領域のステータス情報を、再度動きベクトル検出処理に入力する。

以下は、時刻ｔ０のフレーム（Ｆ０）から時刻ｔ０から３Δｔ後のフレーム（Ｆ３）の間の処理である。中央演算装置３１１は、動きベクトル検出処理として、移動軌跡推定手段から更新関連情報を取得し、現フレームにＦ２、参照フレームにＦ３、軌跡生成フレームにＦ３を設定する。また、Ｆ１上で検出した領域ａ’、ｃ’、ｄ’、ｅ’の対応する領域であるＦ２上の領域ａ’’、ｃ’’、ｄ’’、ｅ’’を新たな領域に設定する。そして、領域ａ’’、ｃ’’、ｄ’’、ｅ’’についてＦ２とＦ３の間での動きベクトルを検出する。前回までの動きベクトル検出処理で保留になっていた領域ｂ’については、保留開始フレームであるＦ１と参照フレームであるＦ３の間での動きベクトルを検出する。ただし、今回もＦ３上に対応する領域が存在しないため、ｂ’については、保留開始フレームと参照フレームとの間隔|Ｆ３−Ｆ１|が閾値未満のため、再び保留とする。全領域のステータス情報と動きベクトルを、カメラワークパラメータ算出処理に入力する。このときの領域のステータス情報は、図２３に示したものと同じである。

カメラワークパラメータ算出処理では、領域ａ’’、ｃ’’、ｄ’’、ｅ’’について検出した動きベクトルをもとに、フレームＦ２とＦ３との間の撮影領域の移動量を算出する。

また、移動軌跡推定処理で、Ｆ２とＦ３の間の撮影領域の移動量と領域の動きベクトルとをもとに、撮影領域の移動軌跡と各領域または点の移動軌跡とを推定する。このとき推定される撮影領域の移動軌跡を図２６に、領域の移動軌跡を図２７に示す。

このとき、フレームＦ０からＦ３までの撮影領域の総移動量｜Ｏ−Ｏ’’’｜が閾値以上になったものとし、中央演算装置３１１は、撮影領域の移動軌跡および領域または点の移動軌跡をフォロー判定処理に入力する。

フォロー判定処理では、Ｆ０からＦ３までの撮影領域の移動軌跡と判定対象フレーム上の各領域または点の移動軌跡をもとに、各領域がフォロー対象上の領域か否かを判定する。図２８に、Ｆ０からＦ３における、撮影領域の移動軌跡Ｇｏと、領域ａおよびｂの絶対的な移動軌跡Ｇａ、Ｇｂをグラフ化して示す。

本実施例では、移動軌跡の類似性を、移動軌跡の重みつき差分の累積値で評価する。例えば、中央演算装置３１１は、撮影領域の移動開始時刻に基づく重み値として、各フレームＦ０、Ｆ１、Ｆ２、Ｆ３への重みをそれぞれｗ０＝０、ｗ１＝０、ｗ２＝２、ｗ３＝２として、領域ａの評価値Ｓａを次のように算出する。

Ｓａ＝｜Ａｘ’’−Ａｘ｜×２／４＋｜Ｏｘ’’’−Ａｘ’’’−Ａｘ｜×２／４

同様に、領域ｃ、ｄについても評価値Ｓｃ、Ｓｄ、Ｓｅを算出する。領域ｂについては、フレームＦ３上で対応する領域が検出されなかったため、Ｆ３までの撮影領域の移動軌跡との類似性は評価しない。また、あらかじめ定めた２種の閾値Ｔ１、Ｔ２と、Ｓａ、Ｓｃ、Ｓｄ、Ｓｅとの関係がＴ１＜Ｓａ，Ｓｃ，Ｓｄ，Ｓｅ＜Ｔ２とする。このとき、領域ａ、ｂ、ｃ、ｄ、ｅを未判定とする。

そして、第２の更新関連情報として、更新フラグ＝１、判定対象フレームのフレーム番号＝Ｆ０、軌跡生成フレームのフレーム番号＝Ｆ３、現フレームのフレーム番号＝Ｆ２、参照フレームのフレーム番号＝Ｆ３、各領域のステータス情報を、動きベクトル検出処理に入力する。

以下は、時刻ｔ０のフレーム（Ｆ０）から時刻ｔ０から４Δｔ後のフレーム（Ｆ４）の間の処理である。動きベクトル検出手段は、移動軌跡推定手段から更新関連情報を取得し、現フレームにＦ３、参照フレームにＦ４、軌跡生成フレームにＦ４を設定する。また、Ｆ２上で検出した領域ａ’’、ｃ’’、ｄ’’、ｅ’’の対応する領域であるＦ３上の領域ａ’’’、ｃ’’’、ｄ’’’、ｅ’’’を新たな領域に設定する。そして、領域ａ’’’、ｃ’’’、ｄ’’’、ｅ’’’についてＦ３とＦ４の間での動きベクトルを検出する。動きベクトル検出処理が保留となっている領域ｂ’については、保留開始フレームであるＦ１と参照フレームであるＦ４の間での動きベクトルを検出する。

本実施例では、このときａ’’’、ｄ’’’およびｂ’については、Ｆ４上に対応する領域が存在するので検出対象とする。ｃ’’’については、Ｆ４上に対応する領域が存在せず、ｃ’’’の座標が画面の端のため、カメラによる撮影領域の移動によって参照フレームから外れた領域として除外する。ｅ’’’については、Ｆ４上に対応する領域が存在せず座標が画面端ではないため、オクルージョンと判定し保留とする。そして、各領域のステータス情報を図２９のように更新し、動きベクトル情報とともにカメラワークパラメータ算出処理に入力する。

カメラワークパラメータ算出処理では、動きベクトル情報をもとに、フレームＦ３とＦ４との間の撮影領域の移動量を算出する。

また、移動軌跡推定処理では、Ｆ３とＦ４の撮影領域の移動量と領域の動きベクトルとをもとに、撮影領域の移動軌跡と各領域または点の移動軌跡とを推定する。このとき推定される撮影領域の移動軌跡を図３０に、領域の移動軌跡を図３１に示す。

ここでは、フレームＦ０からＦ４までの撮影領域の総移動量｜Ｏ−Ｏ’’’’｜が閾値以上であるとして、撮影領域の移動軌跡および領域または点の移動軌跡をフォロー判定処理に入力する。

フォロー判定処理では、Ｆ０からＦ４までの撮影領域の移動軌跡と判定対象フレーム上の各領域または点の移動軌跡をもとに、各領域がフォロー対象上の領域か否かを判定する。図３２に、Ｆ０からＦ４における、撮影領域の移動軌跡Ｇｏと、領域ａおよびｂの絶対的な移動軌跡Ｇａ、Ｇｂを示す。

例えば、中央演算装置３１１は、撮影領域の移動開始時刻に基づく重み値として、各フレームＦ０、Ｆ１、Ｆ２、Ｆ３、Ｆ４への重みをそれぞれｗ０＝０、ｗ１＝０、ｗ２＝５／３、ｗ３＝５／３、ｗ４＝５／３として、領域ａとｂの評価値Ｓａ、Ｓｂを次のように算出する。なお、式中のＢｘ’’およびＢｘ’’’は、ＢｘからＢｘ’’’’まで線形に移動すると仮定して算出する。

Ｓａ＝ ｜Ａｘ’’−Ａｘ｜×５／３
＋｜Ｏｘ’’’−Ａｘ’’’−Ａｘ｜×５／３
＋｜Ｏｘ’’’’−Ａｘ’’’’−Ａｘ｜×５／３
Ｓｂ＝ ｜Ｂｘ’’−Ｂｘ｜×５／３
＋｜Ｏｘ’’’−Ｂｘ’’’−Ｂｘ｜×５／３
＋｜Ｏｘ’’’’−Ｂｘ’’’’−Ｂｘ｜×５／３

同様に、領域ｄについても評価値Ｓｄを算出する。領域ｃおよびｅについては、フレームＦ４上で対応する領域が検出されないため、Ｆ４までの撮影領域の移動軌跡との類似性は評価しない。また、あらかじめ定めた２種の閾値Ｔ１、Ｔ２と、Ｓａ、Ｓｂ、Ｓｄとの関係がＴ１＜Ｓａ＜Ｔ２，Ｔ２＜Ｓｂ、Ｓｄとする。このとき、領域ａは未判定、領域ｂおよびｄは非フォロー領域と判定する。

また、除外フラグが付与された領域ｃは、非フォロー領域と判定する。そこで、中央演算装置３１１は、ステータス情報を図３３のように更新する。未判定の領域が存在することから、第２の更新関連情報として、更新フラグ＝１、判定対象フレームのフレーム番号＝Ｆ０、軌跡生成フレームのフレーム番号＝Ｆ４、現フレームのフレーム番号＝Ｆ３、参照フレームのフレーム番号＝Ｆ４、各領域のステータス情報を、動きベクトル検出処理に入力する。

以下は、時刻ｔ０のフレーム（Ｆ０）から時刻ｔ０から５Δｔ後のフレーム（Ｆ５）の間の処理である。中央演算装置３１１は、動きベクトル検出処理として、移動軌跡推定処理で更新した第２の更新関連情報を取得し、現フレームにＦ４、参照フレームにＦ５を設定する。また領域ａ’’’’、ｂ’’’’、ｄ’’’’に加え、除外された領域ｃ’’’にかわる領域ｆ’’’’を新たな領域に設定する。そして、各領域についてＦ４とＦ５の間での動きベクトルを検出する。なお、前回までの動きベクトル検出処理で保留になっていた領域ｅ’’’については、Ｆ３とＦ５の間での動きベクトルを検出する。また領域ｄ’’’’については、Ｆ５上に対応する領域が存在せず座標が画面の端のため除外する。そして、各領域のステータス情報を図３４のように更新し、動きベクトル情報とともにカメラワークパラメータ算出処理に入力する。

カメラワークパラメータ算出処理では、動きベクトル情報をもとに、フレームＦ４とＦ５との間の撮影領域の移動量を算出する。

また、移動軌跡推定処理で、Ｆ４とＦ５の撮影領域の移動量と領域の動きベクトルとをもとに、撮影領域の移動軌跡と各領域または点の移動軌跡とを推定する。撮影領域の移動軌跡を図３５に、各領域の移動軌跡を図３６および図３７に示す。ここでは、フレームＦ０からＦ５までの撮影領域の総移動量｜Ｏ−Ｏ’’’’’｜が閾値以上であるとし、撮影領域の移動軌跡および領域または点の移動軌跡をフォロー判定処理に入力する。

フォロー判定処理では、Ｆ０からＦ５までの撮影領域の移動軌跡と判定対象フレーム上の各領域または点の移動軌跡をもとに、各領域がフォロー対象上の領域か否かを判定する。図３８に、Ｆ０からＦ５における撮影領域の移動軌跡Ｇｏと、領域ａの絶対的な移動軌跡Ｇａを示す。

例えば、中央演算装置３１１は、撮影領域の移動開始時刻に基づく重み値として、各フレームＦ０、Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５への重みをそれぞれｗ０＝０、ｗ１＝０、ｗ２＝３／２、ｗ３＝３／２、ｗ４＝３／２、ｗ５＝３／２とし、領域ａの評価値Ｓａを次のように算出する。

Ｓａ＝｜Ａｘ’’−Ａｘ｜×３／２
＋｜Ｏｘ’’’−Ａｘ’’’−Ａｘ｜×３／２
＋｜Ｏｘ’’’’−Ａｘ’’’’−Ａｘ｜×３／２
＋｜Ｏｘ’’’’’−Ａｘ’’’’’−Ａｘ｜×３／２

同様に、領域eについても評価値Ｓｅを算出する。あらかじめ定めた２種の閾値Ｔ１、Ｔ２と、Ｓａ、Ｓｂ、Ｓｄとの関係がＳａ＜Ｔ１，Ｔ２＜Ｓｅとすると、領域ａはフォロー領域、領域ｅは非フォロー領域と判定される。このときのステータス情報を図３９に示す。

中央演算装置３１１は、全領域について、フォロー判定が完了したため、Ｆ１上のフォロー領域である領域ａの画像情報をディスプレイに出力し、Ｆ０に対する処理を終了する。

また、中央演算装置３１１は、判定対象フレームのフレーム番号を次にフォロー判定処理を行うフレームＦ０’に変更した第２の更新関連情報として、更新フラグ＝１、判定対象フレームのフレーム番号＝Ｆ０’、軌跡生成フレームのフレーム番号＝Ｆ０’、現フレームのフレーム番号＝Ｆ０’、参照フレームのフレーム番号＝Ｆ０’、各領域のステータス情報を、動きベクトル検出処理に入力する。

判定対象フレームＦ０’に対しても同様の処理を行い、映像中の全ての判定対象フレームに対してフォロー判定が完了したときに、全処理を終了する。

次に、本発明の概要について説明する。図４０は、本発明の概要を示すブロック図である。本発明のフォロー対象検出装置は、移動軌跡算出手段１１と、フォロー領域判定手段１２とを備えている。

移動軌跡算出手段１１（例えば、移動軌跡推定手段１１３）は、映像中のフレーム上の領域または点に対する複数の時刻における動きベクトルをもとに、判定対象とされる領域または点の移動軌跡を算出するとともに、複数の時刻で算出されたカメラワークに関する情報であるカメラワークパラメータに基づいて、撮影領域の移動軌跡を算出する。

フォロー領域判定手段１２（例えば、フォロー判定手段１１４）は、移動軌跡算出手段１１によって算出された撮影領域の移動軌跡と判定対象とされる領域または点の移動軌跡とに基づいて、領域または点が、カメラによる追尾撮影の対象上の領域であるフォロー領域か否かを判定することによって、映像からフォロー対象を検出する。

また、フォロー領域判定手段１２は、撮影領域の総移動量と、判定対象とされる領域または点の移動軌跡と撮影領域の移動軌跡との間の類似性による評価値とに基づいて、領域または点がフォロー領域か否かを判定してもよい。

また、図４１は、本発明のフォロー対象検出装置の他の構成例を示すブロック図である。図４１に示すように、本発明のフォロー対象検出装置は、さらに動きベクトル検出手段１３と、カメラワークパラメータ算出手段１４とを備えていてもよい。

動きベクトル検出手段１３（例えば、動きベクトル検出手段１１１）は、映像中のフレーム上の領域または点について、複数の時刻における動きベクトルを検出する。

カメラワークパラメータ算出手段１４（例えば、カメラワークパラメータ算出手段１１２）は、複数の時刻における動きベクトルをもとに、複数の時刻におけるカメラワークパラメータを算出する。

図４１に示す構成において、例えば、移動軌跡算出手段１１は、動きベクトル検出手段によって検出された動きベクトルと、カメラワークパラメータ算出手段によって算出されたカメラワークパラメータから、撮影領域の移動軌跡と、判定対象とされる領域または点の移動軌跡とを算出してもよい。

また、フォロー領域判定手段１２は、任意の基準時刻からの撮影領域の移動軌跡上の位置座標と、判定対象とされる領域または点の位置を撮影領域の移動軌跡上の位置に合わせた、同基準時刻からの領域または点の移動軌跡上の位置座標との差分値である位置座標差分値を複数の時刻において算出し、算出した位置座標差分値の累積値をもとに、撮影領域の移動軌跡と領域または点の移動軌跡との類似性を評価してもよい。

また、フォロー領域判定手段１２は、複数の各時刻における位置座標差分値に重みを付与して、撮影領域の移動軌跡と領域または点の移動軌跡との類似性を評価してもよい。

重みとして、例えば、撮影領域の移動開始時刻に基づいて算出される重みを用いてもよい。また、例えば、判定対象とされる領域または点の位置と撮影領域の位置とが最も近接する時刻に基づいて算出される重みを用いてもよい。また、例えば、判定対象とされる領域または点の位置の移動速度に基づいて算出される重みを用いてもよい。なお、移動速度に基づく重みは、より具体例には、差分値を算出する時刻のうち、判定対象とされる領域または点の位置の移動速度が速い時刻ほど、小さい値をとる重みを用いてもよい。

また、フォロー領域判定手段１２は、フォロー領域と判定された領域または点を、撮影領域の移動軌跡と当該領域または点の移動軌跡とをもとにグループ化し、グループに属する領域または点の個数に応じてグループ内の領域または点をフォロー領域でないと再判定してもよい。

また、カメラワークパラメータ算出手段１４は、映像中のフレーム上の領域または点に対する複数の各フレームにおける動きベクトルに加え、フレーム以外のフレーム上の領域または点に対する複数の各フレームにおける動きベクトルをもとに、カメラワークパラメータを算出してもよい。

また、カメラワークパラメータ算出手段１４は、複数の各フレームにおける動きベクトルの平均値を、各フレームにおけるカメラワークパラメータの併進パラメータとしてもよい。

また、カメラワークパラメータ算出手段１４は、複数の各フレームにおける動きベクトルの最頻値をもとに、各フレームにおけるカメラワークパラメータの併進パラメータとしてもよい。

また、移動軌跡算出手段１１は、撮影領域の移動軌跡と、判定対象とされる領域または点の移動軌跡とを、複数の各フレームのうちカメラワークパラメータを算出できたフレームにおけるカメラワークパラメータと、複数の各フレームのうち動きベクトルを検出できたフレームにおける動きベクトルとをもとに推定してもよい。

以上のような構成により、誤検出や検出漏れを抑制して、より高精度にフォロー領域を検出することができる。

本発明は、例えば、映像に登場するフォロー対象の一覧表を作成する用途、フォロー対象の登場する区間を特定してフォロー対象を把握可能な要約映像を生成する用途、あるいは、フォロー対象の登場する区間からフォロー対象を鮮明に映したフレームを選択することでフォロー対象を把握可能な代表画群を抽出する用途に適用可能である。また、ホームビデオや素材映像において、フォロー対象に基づく映像の整理や分類、編集用の映像区間の選定のためのフォロー対象判定装置としても利用できる。

１１ 移動軌跡算出手段
１２ フォロー領域判定手段
１３ 動きベクトル検出手段
１４ カメラワークパラメータ算出手段
１００ 映像入力手段
１１０，２１０ データ処理装置
１１１ 動きベクトル検出手段
１１２ カメラワークパラメータ算出手段
１１３ 移動軌跡推定手段
１１４ フォロー判定手段
１２０ 判定結果出力手段
２３０ フォロー対象検出用プログラム
３００ 映像入力端子
３１０ パーソナルコンピュータ
３１１ 中央演算装置
３２０ ディスプレイ

Claims (27)

1. 映像中のフレーム上の領域または点に対する複数の時刻における動きベクトルをもとに、判定対象とされる領域または点の移動軌跡を算出するとともに、前記複数の時刻で算出されたカメラワークに関する情報であるカメラワークパラメータに基づいて、撮影領域の移動軌跡を算出する移動軌跡算出手段と、
   前記移動軌跡算出手段によって算出された前記撮影領域の移動軌跡と前記判定対象とされる領域または点の移動軌跡とに基づいて、前記領域または点が、カメラによる追尾撮影の対象上の領域であるフォロー領域か否かを判定することによって、映像からフォロー対象を検出するフォロー領域判定手段とを備えた
   ことを特徴とするフォロー対象検出装置。
2. フォロー領域判定手段は、撮影領域の総移動量と、判定対象とされる領域または点の移動軌跡と撮影領域の移動軌跡との間の類似性による評価値とに基づいて、前記領域または点がフォロー領域か否かを判定する
   請求項１に記載のフォロー対象検出装置。
3. 映像中のフレーム上の領域または点について、複数の時刻における動きベクトルを検出する動きベクトル検出手段と、
   前記複数の時刻における動きベクトルをもとに、前記複数の時刻におけるカメラワークパラメータを算出するカメラワークパラメータ算出手段とを備え、
   移動軌跡算出手段は、前記動きベクトル検出手段によって検出された動きベクトルと、前記カメラワークパラメータ算出手段によって算出されたカメラワークパラメータから、撮影領域の移動軌跡と、判定対象とされる領域または点の移動軌跡とを算出する
   請求項１または請求項２に記載のフォロー対象検出装置。
4. フォロー領域判定手段は、任意の基準時刻からの撮影領域の移動軌跡上の位置座標と、判定対象とされる領域または点の位置を前記撮影領域の移動軌跡上の位置に合わせた、同基準時刻からの前記領域または点の移動軌跡上の位置座標との差分値である位置座標差分値を複数の時刻において算出し、算出した前記位置座標差分値の累積値をもとに、前記撮影領域の移動軌跡と前記領域または点の移動軌跡との類似性を評価する
   請求項２または請求項３に記載のフォロー対象検出装置。
5. フォロー領域判定手段は、複数の各時刻における位置座標差分値に重みを付与して、撮影領域の移動軌跡と領域または点の移動軌跡との類似性を評価する
   請求項４に記載のフォロー対象検出装置。
6. フォロー領域判定手段は、撮影領域の移動開始時刻に基づいて算出される重みを用いる
   請求項５に記載のフォロー対象検出装置。
7. フォロー領域判定手段は、判定対象とされる領域または点の位置と撮影領域の位置とが最も近接する時刻に基づいて算出される重みを用いる
   請求項５に記載のフォロー対象検出装置。
8. フォロー領域判定手段は、判定対象とされる領域または点の位置の移動速度に基づいて算出される重みを用いる
   請求項５に記載のフォロー対象検出装置。
9. フォロー領域判定手段は、差分値を算出する時刻のうち、判定対象とされる領域または点の位置の移動速度が速い時刻ほど、小さい値をとる重みを用いる
   請求項８に記載のフォロー対象検出装置。
10. フォロー領域判定手段は、フォロー領域と判定された領域または点を、撮影領域の移動軌跡と当該領域または点の移動軌跡とをもとにグループ化し、グループに属する領域または点の個数に応じて前記グループ内の領域または点をフォロー領域でないと再判定する
    請求項３から請求項９のいずれかに記載のフォロー対象検出装置。
11. カメラワークパラメータ算出手段は、映像中のフレーム上の領域または点に対する複数の各フレームにおける動きベクトルに加え、前記フレーム以外のフレーム上の領域または点に対する複数の各フレームにおける動きベクトルをもとに、カメラワークパラメータを算出する
    請求項３から請求項１０のいずれかに記載のフォロー対象検出装置。
12. カメラワークパラメータ算出手段は、複数の各フレームにおける動きベクトルの平均値を、各フレームにおけるカメラワークパラメータの併進パラメータとする
    請求項３から請求項１１のいずれかに記載のフォロー対象検出装置。
13. カメラワークパラメータ算出手段は、複数の各フレームにおける動きベクトルの最頻値をもとに、各フレームにおけるカメラワークパラメータの併進パラメータとする
    請求項３から請求項１１のいずれかに記載のフォロー対象検出装置。
14. 移動軌跡算出手段は、撮影領域の移動軌跡と、判定対象とされる領域または点の移動軌跡とを、複数の各フレームのうちカメラワークパラメータを算出できたフレームにおけるカメラワークパラメータと、前記複数の各フレームのうち動きベクトルを検出できたフレームにおける動きベクトルとをもとに推定する
    請求項３から請求項１３のいずれかに記載のフォロー対象検出装置。
15. 映像中のフレーム上の領域または点に対する複数の時刻における動きベクトルをもとに、判定対象とされる領域または点の移動軌跡を算出するとともに、前記複数の時刻で算出されたカメラワークに関する情報であるカメラワークパラメータに基づいて、撮影領域の移動軌跡を算出する移動軌跡算出ステップと、
    前記撮影領域の移動軌跡と、前記判定対象とされる領域または点の移動軌跡とに基づいて、前記領域または点が、カメラによる追尾撮影の対象上の領域であるフォロー領域か否かを判定することによって、映像からフォロー対象を検出するフォロー領域判定ステップとを含む
    ことを特徴とするフォロー対象検出方法。
16. フォロー領域判定ステップで、撮影領域の総移動量と、判定対象とされる領域または点の移動軌跡と撮影領域の移動軌跡との間の類似性による評価値とに基づいて、前記領域または点がフォロー領域か否かを判定する
    請求項１５に記載のフォロー対象検出方法。
17. 映像中のフレーム上の領域または点について、複数の時刻における動きベクトルを検出する動きベクトル検出ステップと、
    前記複数の時刻における動きベクトルをもとに、前記複数の時刻におけるカメラワークパラメータを算出するカメラワークパラメータ算出ステップとを含み、
    移動軌跡算出ステップで、前記動きベクトル検出ステップで検出された動きベクトルと、前記カメラワークパラメータ算出ステップで算出されたカメラワークパラメータから、撮影領域の移動軌跡と、判定対象とされる領域または点の移動軌跡とを算出する
    請求項１５または請求項１６に記載のフォロー対象検出方法。
18. フォロー領域判定ステップで、任意の基準時刻からの撮影領域の移動軌跡上の位置座標と、判定対象とされる領域または点の位置を前記撮影領域の移動軌跡上の位置に合わせた、同基準時刻からの前記領域または点の移動軌跡上の位置座標との差分値である位置座標差分値を複数の時刻において算出し、算出した前記位置座標差分値の累積値をもとに、前記撮影領域の移動軌跡と前記領域または点の移動軌跡との類似性を評価する
    請求項１６または請求項１７に記載のフォロー対象検出方法。
19. フォロー領域判定ステップで、複数の各時刻における位置座標差分値に重みを付与して、撮影領域の移動軌跡と領域または点の移動軌跡との類似性を評価する
    請求項１８に記載のフォロー対象検出方法。
20. フォロー領域判定ステップで、撮影領域の移動開始時刻に基づいて算出される重みを用いる
    請求項１９に記載のフォロー対象検出方法。
21. フォロー領域判定ステップで、判定対象とされる領域または点の位置と撮影領域の位置とが最も近接する時刻に基づいて算出される重みを用いる
    請求項１９に記載のフォロー対象検出方法。
22. フォロー領域判定ステップで、判定対象とされる領域または点の位置の移動速度に基づいて算出される重みを用いる
    請求項１９に記載のフォロー対象検出方法。
23. コンピュータに、
    映像中のフレーム上の領域または点に対する複数の時刻における動きベクトルをもとに、判定対象とされる領域または点の移動軌跡を算出するとともに、前記複数の時刻で算出されたカメラワークに関する情報であるカメラワークパラメータに基づいて、撮影領域の移動軌跡を算出する移動軌跡算出処理と、
    前記撮影領域の移動軌跡と、前記判定対象とされる領域または点の移動軌跡とに基づいて、前記領域または点が、カメラによる追尾撮影の対象上の領域であるフォロー領域か否かを判定することによって、映像からフォロー対象を検出するフォロー領域判定処理とを
    実行させるためのフォロー対象検出プログラム。
24. コンピュータに、
    フォロー領域判定処理で、撮影領域の総移動量と、判定対象とされる領域または点の移動軌跡と撮影領域の移動軌跡との間の類似性による評価値とに基づいて、前記領域または点がフォロー領域か否かを判定させる
    請求項２３に記載のフォロー対象検出プログラム。
25. コンピュータに、
    映像中のフレーム上の領域または点について、複数の時刻における動きベクトルを検出する動きベクトル検出処理と、
    前記複数の時刻における動きベクトルをもとに、前記複数の時刻におけるカメラワークパラメータを算出するカメラワークパラメータ算出処理とを実行させ、
    移動軌跡算出処理で、前記動きベクトル検出処理で検出された動きベクトルと、前記カメラワークパラメータ算出処理で算出されたカメラワークパラメータから、撮影領域の移動軌跡と、判定対象とされる領域または点の移動軌跡とを算出させる
    請求項２３または請求項２４に記載のフォロー対象検出プログラム。
26. コンピュータに、
    フォロー領域判定処理で、任意の基準時刻からの撮影領域の移動軌跡上の位置座標と、判定対象とされる領域または点の位置を前記撮影領域の移動軌跡上の位置に合わせた、同基準時刻からの前記領域または点の移動軌跡上の位置座標との差分値である位置座標差分値を複数の時刻において算出し、算出した前記位置座標差分値の累積値をもとに、前記撮影領域の移動軌跡と前記領域または点の移動軌跡との類似性を評価させる
    請求項２４または請求項２５に記載のフォロー対象検出プログラム。
27. コンピュータに、
    フォロー領域判定処理で、複数の各時刻における位置座標差分値に重みを付与して、撮影領域の移動軌跡と領域または点の移動軌跡との類似性を評価させる
    請求項２６に記載のフォロー対象検出プログラム。

Images