JP5454570B2 - 追尾対象判定装置、追尾対象判定方法、および追尾対象判定プログラム - Google Patents

Description

本発明は、追尾対象判定装置、追尾対象判定方法および追尾対象判定プログラムに関し、特に映像に登場する対象が撮影者によって追尾撮影された対象であることを判定するための追尾対象判定装置、追尾対象判定方法および追尾対象判定プログラムに関する。

追尾対象とは、映像に登場する動物体のうち画面上に映りつづけるように撮影されている対象であり、撮影者の注目する重要な対象と仮定できる。そのため、映像に登場する重要な対象を把握するための要約映像の生成や、代表画像の抽出において、動物体の追尾判定が要望されている。

追尾対象判定装置の一例が、特許文献１（特開平８−１９１４１１）に記載されている。

特許文献１の手法は、カメラを一定方向に動かして撮影した映像区間において、カメラの動きによって生じる動きベクトルとは異なる動きベクトルを持った画像領域である移動領域の分布に基づき、映像区間における追尾対象の存在可能性を算出する。この手法では、移動領域の画素数、集中度、重心位置、分散度合いによって得られる移動領域のまとまりの度合いや、映像区間における移動領域を含むフレーム数の割合によって得られる定常の度合いを利用して、「まとまって定常的に存在する移動領域の集合」を追尾対象と判定する。

追尾対象を判定するための構造として、図２３に示すように、映像の各フレームについて動きベクトルを検出する動きベクトル検出手段３００、動きベクトルをもとにパニング区間の開始点と終了点を検出するパニング区間検出部３０１と、過去の映像フレームから動きベクトル分平行移動させた予測画像である動き補償予測画像と、現在のフレームとの間で相関の低い領域を移動領域として検出し、この領域の分布情報を抽出する移動領域情報検出手段３０２と、各パニング区間について区間内で検出された移動領域の分布情報をもとに、この区間が対象を追尾したシーンであることを判定するシーン判定手段３０３とで構成されている。

特開平８−１９１４１１号公報

鳥井陽介、紺谷精一、森本正志、"映像の動きを用いた動物体アップショット・フォローショット検出"、ＭＩＲＵ２００５ ｐｐ．２４−３１ 岩井儀雄、勞世▲光▼瓣山口修、平山高嗣、"画像処理による顔検出と顔認識"、情報処理学会研究報告（ＣＶＩＭ−１４９）、２００５年 ｐｐ．３４３〜３６８

関連技術の手法における第１の問題点は、動物体の移動速度とほぼ等しい速度でカメラを動かしていない場合には、動物体を追尾対象と判定できないという点である。

例えば、ショットが短いためにカメラの移動速度が動物体の移動速度と等しくなる前にショットが終わってしまう場合や、動物体がランダムに動くために動物体の移動先を撮影者が予測できない場合や、望遠カメラで撮影する際のように動物体の動きに対しカメラの移動速度が揺らぐ場合には、動物体を追尾対象と判定できない。

その理由は、動物体が追尾対象であるか否かを、カメラの動きによって生じる動きベクトルとは異なる動きベクトルを持った画像領域である移動領域の分布状態によって判定するためである。従って、カメラの動きが動物体の移動速度と異なるために移動領域の分布が「まとまって定常的に存在する」特性を満たさない場合には、移動領域の集合である動物体を追尾対象と判定できないためである。

関連技術の手法における第２の問題点は、カメラを一定方向に動かして撮影する映像区間が終了するまで、動物体を追尾対象と判定できないという点である。

その理由は、動物体が追尾対象であるか否かを、映像区間の中で動物体を安定して追尾できているフレーム数の割合をもとに判定するため、映像区間長を取得しないと動物体を追尾対象と判定できないためである。

（発明の目的）
本発明の目的は、映像に登場する動物体が撮影者によって追尾撮影された対象であることを判定することにある。

本発明の第１の追尾対象判定装置は、動物体の動きベクトルによって定められる運動状態が変化した時刻と、カメラモーションの動きベクトルによって定められる撮影状態が変化した時刻との差である時間差をもとに、前記動物体が撮影者の着目する被写体である追尾対象と判定する手段を含む。

本発明の第１の追尾対象判定方法は、動物体の動きベクトルによって定められる運動状態が変化した時刻と、カメラモーションの動きベクトルによって定められる撮影状態が変化した時刻との差である時間差をもとに、前記動物体が撮影者の着目する被写体である追尾対象と判定するステップを有する。

本発明の第１の追尾対象判定プログラムは、動物体の動きベクトルによって定められる運動状態が変化した時刻と、カメラモーションの動きベクトルによって定められる撮影状態が変化した時刻との差である時間差をもとに、前記動物体が撮影者の着目する被写体である追尾対象と判定する処理を実行させる。

第１の効果は、動物体の動きとほぼ等しい速度でカメラを動かしていない場合であっても、その動物体を追尾対象と判定できる点である。そのため、例えば、ショットが短いためにカメラの移動速度が動物体の移動速度と等しくなる前にショットが終わってしまう場合や、動物体がランダムに動くために動物体の移動先を撮影者が予測できない場合や、望遠カメラで撮影する際のように追尾撮影中にカメラの移動速度が揺らぐ場合のように、動物体が画面上の一定位置に定常的に存在しない場合についても、動物体の運動の変化と撮影状態の変化の時刻差に応じて追尾対象と判定できる。

第２の効果は、映像区間長を取得しなくても動物体が追尾対象と判定できる点である。そのため、カメラを一定方向に動かして撮影した映像区間が終了する前に、追尾対象と判定できる。

本発明の第１の実施の形態による追尾対象判定装置の構成を示すブロック図である。 第１の実施の形態における運動状態変化点の時刻および動物体情報の一例を示す図である。 第１の実施の形態における撮影状態変化点の時刻および撮影状態の一例を示す図である。 第１の実施の形態における時間差の一例を示す図である。 本発明の第１の実施の形態による追尾対象判定装置の動作を示すフローチャートである。 第１の実施の形態におけるカメラ座標系上の点Ｐとカメラの旋回角度であるパン角とチルト角との関係を説明する図である。 第１の実施の形態におけるρ（Ｄｉ｜ｉが追尾対象）と時間差との関係性を、統計量に基づいて表現する関数の一例である。 第１の実施の形態における動物体の画面上での見かけ上の運動状態を説明する図である。 第１の実施の形態における動物体ｉが追尾対象である場合に時間差がＤｉである確率と時間差との関係性を、動物体の画面上での位置と速さに基づいて表現する関数の一例である。 第１の実施の形態における動物体ｉが追尾対象である場合に時間差がＤｉである確率と時間差との関係性を、動物体の画面上での位置と速さに基づいて表現する関数の一例である。 第１の実施の形態における動物体ｉが追尾対象である場合に時間差がＤｉである確率と時間差との関係性を、動物体の画面上での大きさに基づいて表現する関数の一例である。 第１の実施の形態における動物体ｉが追尾対象である場合に時間差がＤｉである確率と時間差との関係性を、動物体の画面上での大きさに基づいて表現する関数の一例である。 第１の実施の形態における動物体ｉが追尾対象である場合に時間差がＤｉである確率の算出方法を説明する図である。 第１の実施の形態における追尾判定結果の出力の一例である。 第１の実施の形態における追尾判定結果の出力の一例である。 本は対の第２の実施の形態による追尾対象判定装置の構成を示すブロック図である。 実施例１における入力映像の概要を示す図である。 実施例１の構成を示すブロック図である。 実施例１において、時間差を算出する撮影状態変化点と移動状態変化点の組み合わせを説明する図である。 実施例１において、動物体ｉが追尾対象である場合に時間差がＤｉである確率を算出するための関数を示す図である。 実施例１において、動物体ｉが追尾対象である場合に時間差がＤｉである確率を算出するための関数を示す図である。 実施例１における追尾判定結果の出力例を示す図である。 関連技術における追尾対象判定装置例を示すブロック図である。

次に、本発明の実施の形態について面を参照して詳細に説明する。

（第１の実施の形態）

図１を参照すると、本発明の第１の実施の形態による追尾対象判定装置は、映像を入力する映像入力手段１００と、プログラム制御により動作するデータ処理装置１１０と、各動物体の追尾判定結果を出力する判定結果出力手段１２０とを含む。

映像入力手段１００は、映像を構成する各フレームの画像情報をデータ処理装置１１０に入力する。

データ処理装置１１０は、運動状態変化点検出手段１１１と、撮影状態変化点検出手段１１２と、追尾スコア算出手段１１３と、追尾判定手段１１４とを含む。

運動状態変化点検出手段１１１は、動物体の動きベクトルによって定められる運動状態が変化した時刻である運動状態変化点を検出する機能を有する。

運動状態変化点検出手段１１１は、映像入力手段１００から受け取ったフレーム画像から動物体を検出し、動物体情報として、動物体ＩＤ、動物体の画像データ、動物体の見かけ上の位置座標、動物体の動きベクトル、動物体の運動状態を取得する。

また、運動状態変化点検出手段１１１は、動物体の運動状態が変化した時刻である運動状態変化点を検出し、運動状態変化点の時刻と、運動状態変化点における動物体情報を取得し、追尾スコア算出手段１１３に入力する。

なお、動物体とは、車やボールや動物や人物等のような動き得る物体を意味し、水のような液体を除くものとする。

ここで、動物体の見かけ上の位置座標とは、カメラと動物体の相対的な位置関係であるカメラ座標系上での位置を表わす。動物体の動きベクトルは、カメラによる操作と動物体の運動との相対的な動きであるカメラ座標系での動きベクトル（見かけ上の動きベクトル）ではなく、実空間における位置を投影した２次元の座標系での動きベクトル（絶対的な動きベクトル）とする。

また、動物体の運動状態とは、動物体の動きベクトルによって定められる状態であり、各状態は動きベクトルの方向あるいは大きさについてあらかじめ閾値を定めることで定義しても良いし、カメラの撮像面に対する平行・垂直運動などの動きベクトルの種類によって定義しても良い。

運動状態の変化点は、動物体の運動状態が変化した時刻とする。図２に、運動状態変化点の時刻と、運動状態変化点における動物体情報の一例を示す。

撮影状態変化点検出手段１１２は、映像のカメラモーションの動きベクトルによって定められる撮影状態が変化した時刻である撮影状態変化点を検出する機能を有する。

撮影状態変化点検出手段１１２は、映像入力手段１００から受け取った映像の各フレームから、撮影情報として、カメラモーションの動きベクトル、撮影状態を取得する。

また、撮影状態変化点検出手段１１２は、撮影状態が変化した時刻である撮影状態変化点（時刻）を検出し、撮影状態変化点と、撮影状態変化点における撮影情報を取得し、追尾スコア算出手段１１３に入力する。

なお、カメラモーションの動きベクトルは、カメラのフレーム画像の中央点の実空間における位置を投影した２次元の座標系状での動きベクトルとする。

撮影状態とは、カメラモーションの動きベクトルによって定められる状態であり、各状態はカメラモーションの動きベクトルの方向あるいは大きさによってあらかじめ閾値を定めることで定義しても良いし、パン、チルト、ズーム、フィックス等のカメラモーションの種類によって定義しても良い。

撮影状態の変化点は、撮影状態が変化した時刻とする。図３に、撮影状態変化点の時刻と、撮影状態変化点における撮影情報の一例を示す。

追尾スコア算出手段１１３は、撮影状態変化点の時刻と運動状態変化点の時刻との差を動物体の時間差とし、動物体の時間差をもとに動物体の追尾スコアを算出する機能を有する。

追尾スコア算出手段１１３は、運動状態変化点検出手段１１１から運動状態変化点の時刻と、運動状態変化点における動物体情報を受け取り、撮影状態変化点検出手段１１２から撮影状態変化点の時刻と、撮影状態変化点における撮影情報を受け取ると、運動状態変化点の時刻と撮影状態変化点の時刻の差である時間差をもとに、動物体の追尾スコアを算出する。

また、追尾スコア算出手段１１３は、動物体の追尾スコアと動物体情報を追尾判定手段１１４に入力する。

追尾スコアについて、図２、図３、および図２と図３をまとめた図４を用いて説明する。

例えば、静止していたねずみが右向きに走り出し、急に静止し、次に左向きに走りだす様子を横から追尾撮影する場合を考える。このときのねずみの運動状態は、図２の動物体Ａの運動状態で表せる。

一方、撮影者は、ねずみの動きに合わせてカメラを動かし始め、右に一定速度でカメラを動かした後、ねずみが次の瞬間に止まることを予測できないために、ねずみが静止した時刻から一瞬遅れてカメラを静止させる。また、次にねずみが左に走りだすと、その走り出しから一瞬遅れてカメラを左に動かしはじめる。このときの撮影状態は図３のように表せる。

また、右向きに転がるボールが映像に映りこんだとする。ボールを動物体Ｂとしたとき、その運動状態は図２のように表せる。ここで、ボールは追尾対象でないため、撮影者によるカメラの操作は、ボールの動きに影響されない。

動物体の運動の変化に反応して撮影者が撮影状態を変化させるまでにかかる一瞬の遅れを時間差とすると、動物体Ａについての時間差は、動物体Ａの運動状態変化点の時刻ｓＡ１と撮影状態変化点の時刻ｔ１、時刻ｓＡ２と時刻ｔ２、時刻ｓＡ３と時刻ｔ３、時刻ｓＡ４と時刻ｔ４、時刻ｓＡ５と時刻ｔ５の間でそれぞれ算出される。

また、動物体Ｂについての時間差は、動物体Ｂの運動状態変化点の時刻ｓＢ０と撮影状態変化点の時刻ｔ２との間で算出される。動物体Ａ、Ｂに関する時間差の一例を図４に示す。

撮影者は、追尾対象である動物体Ａを常にカメラに捉えようと、動物体Ａの動きに合わせて撮影状態を変化させるため、動物体Ａについて算出された各時間差は、いずれも一定範囲内の値をとることが予測される。

また、撮影者は動物体Ｂを追尾していないため、動物体Ｂについて算出された時間差は一定範囲外の値をとることが予測される。

そこで、本実施の形態では、上記の傾向に基づき、時間差が一定範囲内にある場合には高い値を、一定範囲外にある場合に低い値をとる関数を設定し、この関数と時間差とをもとに追尾スコアを算出する。

追尾判定手段１１４は、動物体の追尾スコアをもとに、動物体が追尾対象であることを判定する機能を有する。

追尾判定手段１１４は、追尾スコア算出手段１１３から入力された動物体の追尾スコアをもとに、動物体が追尾対象か否かを判定し、動物体の追尾判定結果と動物体情報を判定結果出力手段１２０に入力する。

判定結果出力手段１２０は、追尾判定手段１１４から入力された動物体の追尾判定結果と動物体情報を出力する。

（第１の実施の形態の動作の説明）
次に、図１及び図５のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、映像入力手段１００は、運動状態変化点検出手段１１１および撮影状態変化点検出手段１１２に、入力映像を構成する各フレームを入力する（ステップＡ０１）。

運動状態変化点検出手段１１１は、映像入力手段１００からフレーム画像を受け取ると動物体を検出し、動物体情報として動物体ＩＤ、動物体の画像データ、動物体の見かけ上の位置、動物体の動きベクトル、動物体の運動状態を抽出する（ステップＡ０２）。

動物体が既知の場合での動物体の検出手法として、テンプレートに基づく手法が挙げられる。テンプレートに基づく手法では、あらかじめ記憶した動物体のテンプレート画像と入力フレームとの画素値の差分を算出し、差分が閾値以下のとき入力画像に動物体が存在すると判定する。

あるいは、様々な大きさのテンプレート画像をあらかじめ用意しておき、画素値の差分が最も小さくなるテンプレートを利用して動物体の領域を検出しても良い。

また、あらかじめ用意したテンプレート画像との差分が最も小さくなる領域をフレーム画像から切りだし、新規のテンプレート画像として利用しても良い。

複数のテンプレートの利用や、フレーム画像から切り出した領域のテンプレート登録によって、動物体の形状や大きさが移動中に変化した場合であっても安定して動物体を検出できるという効果がある。

動物体が未知の場合での動物体の検出方法として、ブロックマッチングに基づく方法が挙げられる。ブロックマッチング基づく方法では、入力フレームを単位ブロックに区切り、各単位ブロックについて、過去フレーム内の最も高い類似度を算出する領域との距離を各単位ブロックの動きベクトルとして取得する。

また、方向および大きさが類似する動きベクトルを持つブロックをグループ化し、カメラの動きによって生じる動きベクトルを持つグループを除いた最大のグループに属するブロック群を移動領域として検出する。

動物体の検出には、テンプレートに基づく手法や、ブロックマッチングに基づく方法を用いても、他の方法を用いても良い。

動物体ＩＤは、検出された順に連番で採番してもよいし、あらかじめテンプレートにＩＤを付与しておき動物体を検出した際に利用したテンプレートのＩＤをその動物体に付与してもよい。

動物体の画像データは、画像フレームから検出された動物体領域を切り出して用いてもよいし、動物体領域を含む矩形領域を切り出して用いてもよいし、切り出した画像領域をあらかじめ定めた形状やサイズに変換して用いてもよいし、検出した際に利用したテンプレート画像を用いてもよい。

動物体の見かけ上の位置は、フレーム画像における動物体領域の重心位置を利用してもよいし、動物体領域を含む矩形領域の重心を用いてもよいし、動物体領域を含む矩形領域の４つの頂点を用いてもよい。

動物体の動きベクトルは以下のようにして求める。

フレーム画像中の任意の点は、カメラの旋回角度であるパン角とチルト角により表現される２次元の絶対座標系を用いて表現できる。例えば、図６に示すように、フレーム画像中央点（カメラ座標系上の原点）Ｏｃをカメラの旋回角度であるパン角Ｐ０とチルト角Ｔ０を用いて（Ｐ０，Ｔ０）と表す場合、フレーム画像上の点Ｐの絶対座標系における位置は式１で表せる。

ただし、ｆはレンズ系の焦点距離、ｘ、ｙは見かけ上の位置であり、結像面での位置はカメラ撮像素子ＣＣＤの大きさおよびピクセル数から算出する。また、ｘ、ｙ＜＜ｆであれば、式１は以下のように近似できる。

P(X,Y)=(αx+P0,βy+T0) (式2)

αとβは、カメラのパン角がＰ０からΔＰ、チルト角がＴ０からΔＴだけ旋回した際に、カメラ座標系上の任意の点（ｘ，ｙ）が（ｘ＋Δｘ，ｙ＋Δｙ）に移動した場合に、α＝ΔＰ／Δｘ、β＝ΔＴ／Δｙによって算出される。このαとβは、各ｆについてあらかじめ算出しておく。

動物体の動きベクトルは、動物体の画像領域内の代表点Ｐの見かけ上の位置（ｘ，ｙ）と、その単位時間前の時刻における代表点Ｐ’の見かけ上の位置を、式２によりそれぞれ絶対座標系上の点Ｐ（Ｘ，Ｙ）とＰ’（Ｘ’，Ｙ’）に変換し、その差によって算出する。

あるいは動物体の画像領域内の複数の代表点Ｐ１〜Ｐｎの絶対座標上の各点と、単位時間前の時刻における代表点Ｐ１’からＰｎ’の絶対座標上の各点との間で差を算出し、各点で算出された動きベクトルｎ本の平均を用いても良い。

なお、パン角Ｐ０、チルト角Ｔ０は、カメラの初期状態でともに０度とし、ショット開始時から現フレームまでのカメラの回転角度として求められる。Ｐ０、Ｔ０は、カメラに搭載した角速度センサを利用して取得できる。

あるいは、動物体以外の領域から取得される動きベクトルをカメラの動きを反映した動きベクトルとして抽出し、ショット開始から現在までの各フレームで抽出したカメラの動きを反映した動きベクトルを累積し、あらかじめ取得した累積値とパン角およびチルト角の関係からＰ０、Ｔ０を算出しても良い。

動物体の運動状態は、動物体の動きベクトルを利用して以下のように判定する。

例えば、過去数フレームで算出される動きベクトルの平均値を用いる。

また、動きベクトルの大きさの閾値処理によって「速度大」、「速度中」、「速度小」のような分類を定めても良い。

また、動きベクトルの方向の閾値処理により「０度〜９０度」、「９０度〜１８０度」、「１８０度〜２２５度」、「２２５度〜３６０度」のような分類を定めても良い。

また、方向と速度の閾値処理により「静止」、「（カメラの撮像面に対し）右方向へ平行移動」、「左方向へ平行移動」、「上方向へ平行移動」、「下方向へ平行移動」のような分類を定めても良い。

あるいは、過去数フレームにおける動きベクトルをもとに現フレームにおける加速度を算出し、過去数フレームで算出される加速度の平均値を用いても良い。

なお、動きベクトルｕ’で移動する動物体が、時刻Δｔ前のフレームで動きベクトルｕで移動する場合に、加速度αは式３によって求められる。

動物体の動きベクトルおよび運動状態は、あらかじめ動物体に搭載したＧＰＳセンサと角速度センサによって取得しても良いし、他の手法を用いてもかまわない。

運動状態変化点検出手段１１１は、動物体の運動状態が変化した運動状態変化点を検出し、運動状態変化点の時刻と、運動状態変化点における動物体情報を追尾スコア算出手段１１３に入力する（ステップＡ０３）。

動物体の運動状態変化点は、動きベクトルの平均値や動きベクトルの加速度の平均値が閾値以上となった時刻を変化点として検知する。あるいは、動きベクトルの閾値処理によって定めた分類について、現フレームの属する分類が前フレームの属する分類と異なる場合に現フレームの時刻を変化点として検知してもよい。

動物体の運動状態の変化点は、動物体が等速運動あるいは等加速度運動を保つ状態を定常状態とした場合に、ある定常状態から次の定常状態に遷移し始めた点とする。定常状態から次の定常状態に移るまでの過渡状態は、次の定常状態に含めるものとする。

撮影状態変化点検出手段１１２は、映像入力手段１００から受け取った各フレームから、カメラモーションの動きベクトルと、カメラモーションの動きベクトルによって定められる撮影状態を、撮影情報として取得する（ステップＡ０４）。カメラモーションの動きベクトルを画像処理によって取得する手法の一例が、非特許文献１に記載されている。

非特許文献１では、ショットの先頭フレームからコーナー点を検出し、同一ショット内の連続するフレーム群に対しコーナー点の追跡を行う。コーナー点の抽出および追跡は、Ｌｕｃａｓ−Ｋａｎａｄｅ−Ｔｏｍａｓｉの手法によって実現できる。

次に、カメラモーションをｘ，ｙ方向の平行移動、拡大縮小、回転で表現できるものと仮定して、式４のカメラワークモデルを元にカメラモーションを算出する。

なお、 （ｘ，ｙ）は現フレームＦｉにおけるコーナー点の見かけ上の座標、（ｘ’，ｙ’）はＦｉの１単位時間前のフレームＦｉ’からコーナー点追跡によって検出された（ｘ，ｙ）に対応するコーナー点の見かけ上の座標とする。

パラメータセット｛ｚ，ｄｘ，ｄｙ，θ｝は、フレームＦｉとフレームＦｉ’との間でのカメラモーションを表わし、ｚは拡大縮小パラメータ、ｄｘ，ｄｙはそれぞれｘ，ｙ方向の平行移動、θは回転パラメータである。

なお、上記モデルでは回転角θは微少であることを前提としており、カメラの回転方向の動きが無視できる場合に利用できる。また、拡大縮小操作には、ズーム、ドリーの何れかを指し、平行移動にはトラック、ブーム、パン、チルト撮影の何れかを指す。

パラメータセット｛ｚ，ｄｘ，ｄｙ，θ｝は、コーナー点の対応組｛（ｘ，ｙ）， （ｘ’，ｙ’）｝２組を（式４）に代入することで算出できる。

パラメータセットの算出方法としては、コーナー点としての信頼性の高さから選択されたコーナー点２点を利用してパラメータセットを算出する方法がある。

また、動物体による局所的な動きによる影響を抑えるために、コーナー点の対応組の全組み合わせで算出したパラメータセット群の中で最頻となるパラメータセットを選択する方法や、コーナー点の対応組の全組み合わせで算出したパラメータセット群の中の中央値を選択する方法がある。

パラメータセットの算出方法として、上記のいずれかの方法を用いても、その他の方法を用いても構わない。

カメラモーションの動きベクトルのうちカメラの撮像面に対して平行方向の動き成分は、現フレームＦｉの中央点Ｏｉの見かけ上の位置（ｘ，ｙ）と、Ｏｉの単位時間前の中央点Ｏｉ’の見かけ上の位置（ｘ’，ｙ’）を式２により絶対座標（Ｘ，Ｙ）、（Ｘ’，Ｙ’）に変換し、その差によって算出できる。また、拡大縮小方向の成分は、パラメータｚに相当する。

撮影状態は、カメラモーションの動きベクトルを利用して以下のように判定する。

例えば、過去数フレームから算出されるカメラモーションの動きベクトルの平均値を用いる。

または、動きベクトルの大きさの閾値処理により「速度大」、「速度中」、「速度小」のような分類を定めても良い。

また、動きベクトルの方向の閾値処理により「右パン（右トラック）」、「左パン（左トラック）」、「上チルト（上ブーム）」、「下チルト（下ブーム）」、「静止」、「ズーム（拡大）」、「ズーム（縮小）」のような分類を定めても良い。

あるいは、過去の数フレームにおけるカメラモーションの動きベクトルをもとに現フレームにおける加速度を算出し、過去の数フレームで算出される加速度の平均値を用いても良い。

なお、現フレームにおいてカメラモーションの動きベクトルｕ’で撮影し、時刻Δｔ前のフレームにおいて動きベクトルｕで撮影した場合に、加速度αは式３によって求められる。

カメラモーションの動きベクトルおよび撮影状態は、あらかじめカメラに搭載した各種センサおよびズーム機能の操作履歴から取得しても良いし、他の手法を用いてもかまわない。

撮影状態変化点検出手段１１２は、撮影状態が変化した撮影状態変化点を検出する。撮影状態変化点が検出された場合、撮影状態変化点の時刻と、撮影状態変化点における撮影情報を追尾スコア算出手段１１３に入力する。検出されない場合、ステップＡ０１を実行する（ステップＡ０５）。

撮影状態変化点は、カメラモーションの動きベクトルの平均値や動きベクトルの加速度の平均値が閾値以上となった時刻を変化点として検知する。

あるいは、動きベクトルの閾値処理によって定めた分類について、現フレームの属する分類が前フレームの属する分類と異なる場合に現フレームの時刻を変化点として検知してもよい。

撮影状態変化点は、カメラモーションが等速あるいは等加速度を保つ状態を定常状態とした場合に、ある定常状態から次の定常状態に遷移し始めた点とする。定常状態から次の定常状態に移るまでの過渡状態は、次の定常状態に含めるものとする。

追尾スコア算出手段１１３は、撮影状態変化点検出手段１１２から撮影状態変化点の時刻が入力されると、運動状態変化点検出手段１１１から既に入力されている運動状態変化点の時刻との間で、各動物体に関する時間差を算出する（ステップＡ０６）。

時間差は、各動物体について、撮影状態変化点の時刻より以前に検出された最も近傍の時刻の運動状態変化点との間で算出する。

あるいは、撮影状態変化点の時刻より以前に検出された運動状態変化点のうち、撮影状態と類似する運動状態である運動状態変化点との間で算出しても良い。

あるいは、撮影状態変化点の時刻より以前に検出された運動状態変化点のうち、撮影状態変化点の時刻から微少時間Δｔ後に予測される動物体の絶対座標系における位置が、Δｔ後にフレーム画像上の点となる運動状態である運動状態変化点との間で算出しても良い。

追尾スコア算出手段１１３は、時間差をもとに追尾スコアを算出し、追尾スコアと動物体情報を追尾判定手段１１４に入力する（ステップＡ０７）。

動物体ｉの追尾スコアＲｉは、動物体ｉが追尾対象である確率が高く、動物体ｉが非追尾対象である確率が低いときに、大きな値をとるように定義する。

例えば、式５のように動物体ｉが追尾対象である確率と動物体ｉが非追尾対象である確率の比によって算出できる。なお、ρ（ｉが追尾対象｜Ｄｉ）は、時間差Ｄｉのときに、動物体ｉが追尾対象である確率を表す。

また、式５ベイズの定理より以下のように展開できる。なお、ρ（Ｄｉ｜ｉが追尾対象）は、動物体ｉが追尾対象である場合に時間差がＤｉである確率を示す。

同一フレーム内に動物体がＮ個含まれる場合、Ｒｉは以下のように算出される。

なお、ｊは、１≦ｊ≦Ｎ（ｊ≠ｉ）のＮ−１個の値をとり、各動物体のＩＤを表わす。

ρ（Ｄｉ｜ｉが非追尾対象）は、非追尾対象ｉである場合に時間差がＤｉである確率を表す。非追尾対象ｉに対してあらゆる時間差Ｄｉが均等に生じうる（一様分布）と仮定すると、ρ（Ｄｉ｜ｉが非追尾対象）は定数となる。

なお、Ｄｉの取りうる範囲を仮定すると（一般に数秒程度）、ρ（Ｄｉ｜ｉが非追尾対象）は有限の値となる。

ρ（ｊが追尾対象）はｊが追尾対象である事前確率を表す。ｊ＝１からＮの各動物体が追尾対象となる確率が均等と仮定すると、ρ（ｉが追尾対象）および全てのｊにおけるρ（ｊが追尾対象）は（１―Ｃ）／Ｎとなる。

また、Ｃは撮影状態の変化が追尾の目的でない確率を表す定数であり、統計に基づき設定する。

また、ｗｉは動物体ｉの運動方向とカメラによる撮影方向が類似する場合に１を、類似しない場合に０をとる重み係数を表す。

以上より、式７の分母は、定数Ｃ’を取ると仮定できる。

ρ（Ｄｉ｜ｉが追尾対象）は、以下の関数によって算出される。

（１）統計量に基づく関数を利用する方法
時間差は、動物体の運動状態の変化を認知してからカメラによる撮影状態を変化させるまでの撮影者の反応速度に相当する。そこで、一般的な人間の反応速度の統計量をもとに関数を設定する。

ρ（Ｄｉ｜ｉが追尾対象）は、例えば図７の関数によって表現できる。図７の関数Ｇ１（ｔ）は、一般的な人間の反応速度の最頻値をＴ１としたとき、時間差Ｔ１のとき１００％、時間差０のとき０％となる。これにより、動物体の運動の変化に反応して撮影状態を変化させるまでの時間が一般的な人間の反応速度に近いほど、高い値を算出できる。

また、撮影者固有の反応速度について統計に基づいた関数を設定しても良い。これにより、撮影者のくせに応じた値を算出できる。

（２）動物体の画面上での位置と速さに基づく関数を利用する方法
時間差は、動物体の画面上での位置と速さに応じて変化する。例えば、画面右端に位置する動物体が右向きに運動を変化させた場合、撮影者は動物体を画面上に捉えるために、短い時間差で撮影状態を変化させる。

逆に、画面中央に位置する動物体が運動を変化させた場合、右端に位置する動物体が右向きに運動を変化させた場合と比較して、動物体が画面外に移動するまでに時間がかかるため、時間差は長くなる。

上記の特性に基づき、動物体の画面上の位置と速さに応じて時間差が変化すると仮定すると、ρ（Ｄｉ｜ｉが追尾対象）は、見かけ上の位置（ｘ，ｙ）で見かけ上の動きベクトルｕで運動する動物体ｉが追尾対象である場合に時間差がＤｉである確率ρ（Ｄｉ｜ｉが追尾対象、（ｘ，ｙ）、ｕ）を用いて以下のように算出できる。

ρ（（ｘ，ｙ）ｕ）は、動物体が見かけ上の位置（ｘ，ｙ）、見かけ上の動きベクトルｕで映像に登場する確率を表し、全ての位置および全ての速さで動物体が登場する確率が同等と仮定した場合には、定数値として扱える。

また、ρ（Ｄｉ｜ｉが追尾対象、（ｘ，ｙ）、ｕ）は、以下によって求められる。例えば、図８で示すように、動物体の運動状態が変化した時刻における動物体の重心の見かけ上の位置座標を（ｘ１，ｙ１）、フレームの幅をＷと高さをＨとする。このとき、見かけ上の動きベクトルｕは、（ｘ１，ｙ１）と、あらかじめ定めた単位時間前に（ｘ１，ｙ１）が存在した見かけ上の位置座標（ｘ１’，ｙ１’）との差によって表せる。

動物体が動きベクトルｕで等速直線運動すると仮定すると、動物体の重心座標を始点とし、動きベクトルｕと平行に引いた直線とフレーム枠との交点を（ｘ２，ｙ２）としたときに、動物体が画面外に移動するまでにかかる時間Ｔ２は以下のように表せる。

このとき、ρ（Ｄｉ｜ｉが追尾対象、（ｘ，ｙ）、ｕ）は図９、図１０に示す関数Ｇ２を用いて表現できる。

Ｔ２＞Ｔ１の場合、撮影者は動物体が画面上で捉えられなくなるまでに時間があることを察知し、Ｔ１よりも長くＴ２よりも短い時間差で撮影状態を変化させる確率が高い。また、動物体が画面上で捉えられなくなる時間Ｔ２以降で撮影状態を変化させる確率は低い。よって、関数Ｇ２は図９で表せる。

一方、Ｔ２＜Ｔ１の場合、撮影者は、動物体が画面上に捉えられなくなるまでに撮影状態を変化させることが困難なため、人間の反応速度Ｔ１で撮影状態を変化させる確率が高い。また、動物体が運動を変化させたＴ１後には動物体は既に画面外にあるため、Ｔ１以降で撮影状態を変化させる可能性は低い。よって、関数Ｇ２は図１０で表せる。

（３）動物体の画面上での大きさに基づく関数を利用する方法
時間差は、動物体の画面上での大きさに応じて変化する。例えば、大きな動物体の運動状態が変化した場合、撮影者はその動きに素早く気づくことができるため、短い時間差で撮影状態を変化させる。

一方、小さな動物体の運動状態が変化した場合には、大きな動物体と比較して気づくまでに時間がかかるため、時間差は長くなる。

上記の特性に基づき、動物体の画面上の大きさに応じて時間差が変化すると仮定すると、ρ（Ｄｉ｜ｉが追尾対象）は、見かけ上の大きさがｓである動物体ｉが追尾対象である場合に時間差がＤｉである確率ρ（Ｄｉ｜ｉが追尾対象、ｓ）を用いて以下のように算出できる。

ρ（ｓ）は、動物体が見かけ上の大きさｓで映像に登場する確率を表すが、全ての大きさで動物体が登場する確率が同等と仮定した場合には、定数値として扱える。

また、ρ（Ｄｉ｜ｉが追尾対象、ｓ）は、図１１、図１２に示す関数Ｇ３を用いて表現できる。動物体の見かけ上の大きさをｓ、映像に映る動物体の平均的な大きさをＳとする。

ｓ＜Ｓの場合では、撮影者は動物体の運動状態の変化に気づかず、反応速度Ｔ１よりも長い時間差で撮影状態を変化させる可能性が高い。よって、関数Ｇ３は図１１で表せる。

一方、ｓ＞Ｓの場合、撮影者は動物体の運動状態の変化に即座に気づくが、人間の反応速度Ｔ１よりも短い時間差で撮影状態を変化させるのは困難なため、人間の反応速度Ｔ１で撮影状態を変化させる可能性が高い。よって、Ｇ３は図１２で表せる。

動物体ｉが追尾対象の場合に、動物体ｉが追尾対象である場合に、時間差がＤｉである確率ρ（Ｄｉ｜ｉが追尾対象）は、（１）（２）（３）の関数を用いて表現してもよいし、（１）（２）（３）以外の関数を用いて表現してもかまわない。

追尾スコア算出手段１１３の動作の一例を説明する。

ステップＡ０６で、各動物体について撮影状態変化点の時刻より以前に検出された最も近傍する時刻の運動状態変化点との間で時間差を算出し、関数Ｇ１を利用した場合について、図４と図１３を用いて説明する。

時刻ｔ１で撮影状態変化点が検出されると、図４より、動物体Ａの運動状態変化点であるｓＡ１と時刻ｔ１との間で、物体Ａに関する時間差ＤＡ１（＝ｔ１−ｓＡ１）を算出する。よって、時刻ｔ１における動物体Ａの追尾スコアは、ＲＡ１（＝ρＡ１／Ｃ’）となる。追尾スコア算出手段１１３は追尾判定手段１１４に、｛ＲＡ１，時刻ｓＡ１における動物体Ａの動物体情報｝を入力する。

時刻ｔ２で撮影状態が検出されると、動物体Ａに関する時間差ＤＡ２（＝ｔ２−ｓＡ２）をもとに、時刻ｔ２における動物体Ａの追尾スコアＲＡ２（＝ρＡ２／（Ｃ’＋ρＢ０））を算出する。また、動物体Ｂに関する時間差ＤＢ０（＝ｔ２−ｓＢ０）をもとに、時刻ｔ２における動物体Ｂの追尾スコアＲＢ０（＝ρＢ０／（Ｃ’＋ρＡ２））を算出する。

追尾スコア算出手段１１３は追尾判定手段１１４に、｛ＲＡ２，時刻ｓＡ２における動物体Ａの動物体情報｝と｛ＲＢ０，時刻ｓＢ０における動物体Ｂの動物体情報｝を入力する。

以下同様にして、撮影状態変化点が検出される時刻ｔ３、ｔ４、ｔ５において各動物体の追尾スコアを算出し、追尾スコアおよび動物体情報を追尾判定手段１１４に算出結果を入力する。

追尾判定手段１１４は、追尾スコア算出手段１１３から追尾スコアと動物体情報を取得すると、追尾スコアをもとに各動物体が追尾対象であるか否かを判定し、判定結果と動物体情報を判定結果出力手段１２０に入力する（ステップＡ０７）。

追尾対象か否かの判定は、追尾スコアが予め定めた閾値よりも大である動物体を追尾対象と判定することで実現する。

例えば、ＲＡ０からＲＡ５については閾値以上、ＲＢ０が閾値以下であった場合、撮影状態変化点ｔ１、ｔ２、ｔ３、ｔ４、ｔ５において動物体Ａを追尾対象、撮影状態変化点ｔ２において動物体Ｂを非追尾対象と判定する。

判定結果出力手段１２０は、追尾判定手段１１４から入力された判定結果と動物体情報を出力する。出力形式は、図１４に示すように、動物体のＩＤと、動物体の画像データと、動物体の運動状態変化点の時刻と、判定結果を表形式で画面提示する。

あるいは、映像の全フレームに対して動物体の追尾判定結果を行った後に、全ての結果をまとめて表示する方法として以下が挙げられる。図１５のように、同じ動物体ＩＤをまとめた形式で画面提示してもよい。

あるいは、異なるＩＤをもった動物体の画像データを比較し、類似度が閾値以内のものについては新規に同一のＩＤを付与した後に、同一ＩＤの判定結果をまとめて画面提示してもよい。

なお、動物体の画像データ間の類似判定は、画像データ間の色差分が閾値以下の場合に類似と判定する方法や、画像データから色ヒストグラムやエッジ特徴量や色分散などの画像特徴量を算出し、画像特徴量の差分が閾値以下の場合に類似と判定する方法で実現できる。また、画像データには、動物体の画像データのうち最も平均的な画像データを選択してもよい。

あるいは、追尾と判定された各動物体の画像データをテンプレートとして、入力映像から動物体の登場区間を検出し、再生する。これにより、利用者は映像の中で１回以上追尾撮影された動物体の登場する全ての映像区間を視聴できるという効果がある。

あるいは、同じ動物体の登場する区間の中から、動物体の画像データが最も大きい区間、あるいは、動物体の移動速度が最も小さい区間、あるいは、カメラワークの種類がフィックスである区間、あるいは、カメラワークの速度が最も小さい区間を選択し、選択区間を再生してもよいし選択区間の中央フレームを代表画像として提示してもよい。これにより、利用者は各追跡対象を把握しやすい映像の視聴または代表画像を確認できるという効果がある。

（第１の実施の形態による効果）
次に本実施の形態の効果について説明する。

関連技術における手法では、動物体が追尾対象であるか否かを、カメラの動きによって生じる動きベクトルとは異なる動きベクトルを持った画像領域である移動領域の分布状態によって判定する。このため、動物体の移動速度とカメラの移動速度が異なるために移動領域の分布が「まとまって定常的に存在する」特性を満たさない場合には、移動領域の集合である動物体を追尾対象と判定できなかった。

これに対し、本実施の形態では、動物体が追尾対象であるか否かの判定を、動物体の運動状態の変化時刻と撮影状態の変化時刻の差に基づいて判定する。

そのため、例えば、ショットが短いためにカメラの移動速度が動物体の移動速度と等しくなる前にショットが終わってしまう場合や、動物体が常に予測不能な動きをするために動物体の移動先を撮影者が予測できない場合や、望遠カメラで撮影する際のように追尾撮影中にカメラの移動速度が揺らぐ場合のように、動物体が画面上の一定位置に定常に存在しない場合についても、動物体の運動の変化と撮影状態が変化した時刻差に応じて追尾対象と判定できるという効果がある。

また、関連技術における手法では、動物体が追尾対象であるか否かを、映像区間の中で動物体を安定して追尾できている部分区間の割合をもとに判定するため、カメラを一定方向に動かして撮影した映像区間が終了するまで、動物体を追尾対象と判定できなかった。

これに対し、本実施の形態では、動物体が追尾対象であるか否かを、動物体の運動状態の変化時刻と撮影状態の変化時刻の差にもとづいて判定するため、カメラを一定方向に動かして撮影した映像区間が終了する前に、動物体を追尾対象と判定できるという効果がある。

（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。

図１６を参照すると、本発明の第２の実施の形態は、本発明の第１の実施の形態に加え、追尾判定用プログラムを備える。

追尾判定用プログラム２３０は、データ処理装置２１０に読み込まれデータ処理装置２１０の動作を制御し、データ処理装置２１０内の手段によって得られた判定結果を、判定結果出力手段２２０に出力する。

データ処理装置２１０は、同一性判定用プログラム２３０の制御により、第１の実施の形態におけるデータ処理装置１１０による処理と同一の処理を実行する。

（第２の実施の形態による効果）
本実施の形態によれば、追尾対象判定を外部プログラムから実行できるという効果がある。

次に、具体的な実施例を用いて本発明の追尾対象判定装置の動作を説明する。

本実施例は、本発明の第１の実施の形態に対応するものである。本実施例では、本発明の追尾対象判定装置を、右向きに歩いていた人物Ａが立ち止まり、右向きに走り出す様子を追尾撮影した映像に適用した例を示す。

（構成の説明）
図１７に、入力映像の概要を示す。画面中央に存在する人物Ａが時刻ｔ０で歩き始める。人物Ａは、時刻ｔ３で立ち止まり静止した後に、ｔ６から右方向に走り出す。

撮影者は、人物Ａが動き始めたことに気づいて、時刻ｔ１か人物Ａの歩く速度と等しい速度でカメラを動かす。時刻ｔ４で人物Ａの静止に反応し、ｔ５からカメラを逆向きに動かし、ｔ６で人物Ａをフレームの中心に捉えた後カメラを静止させる。人物Ａが走りだしたことに時刻ｔ７で反応し、カメラを加速させつつ動かしはじめ、時刻ｔ８で人物Ａを画面上に捉え、時刻ｔ８以降は人物の走る速度と等しい速度でカメラを動かす。

図１８に示すように、本実施例では、映像入力手段として映像入力端子を、データ処理装置としてパーソナル・コンピュータを、映像出力装置としてディスプレイを備えている。

パーソナル・コンピュータは、移動状態変化点検出手段と、人物撮影状態変化点検出手段と、人物追尾スコア算出手段と、人物追尾判定手段として機能する中央演算装置を有している。

（動作の説明）
今、映像入力端子から映像を構成する各フレームが入力されたものとする。

中央演算装置の移動状態変化点検出手段は、入力フレームから人物領域を検出し、人物情報として人物ＩＤ、人物領域の画像データ、人物の見かけ上の位置、人物の動きベクトル、人物の移動状態を抽出する。人物の移動状態とは、人物の動きベクトルによって定められる状態であり、各状態は動きベクトルの方向と速度によって定められる状態とする。

また、入力フレームにおいて人物の移動状態が変化した場合、移動状態変化点検出手段は、時刻と人物情報を人物追尾スコア算出手段に入力する。

人物領域の検出手段として、人物領域全体から得られる情報を利用する手法がある。例えば、様々な人物の映っている画像をテンプレートとして記憶し、入力画像とテンプレートの差分がある閾値以下のとき人物が入力画像中に存在すると判定する手法が挙げられる。

また、肌色などの色情報や、エッジの方向や密度を組み合わせたモデルをあらかじめ記憶しておき、入力フレームからモデルに類似した領域が検出された場合に人物が存在すると判定する手法が考えられる。

また、大量の人物領域画像と非人物領域画像の学習サンプルから得られた特徴量分布を統計的に学習し、入力画像から得られる特徴量が人物領域画像と非人物領域画像のどちらの分布に属するかを判定する手法として、ニューラルネットやサポートベクターマシン、Ａｄａｂｏｏｓｔ法などを利用した手法が挙げられる。

また、人物の顔情報を利用する手法がある。例えば、非特許文献２に示されるように、顔（頭部）の輪郭を楕円、目や口を細長の形状をしていることを利用して作成したテンプレートを用いて顔検出を行う手法や、頬や額の部分は輝度が高く、目や口の部分の輝度は低いという輝度分布の特性を利用して顔検出手法や、顔の対称性や肌色領域と位置を利用して顔検出を行う手法などの手法が挙げられる。

上記の例あるいは他の手法により人物の顔が検出されたときに、顔と顔の下部の一定領域を人物領域と判定する方法が考えられる。人物の検出手法として、上記の例を利用しても他の手法を適用しても構わない。

これら人物領域検出手段の関連技術については、非特許文献２に開示されている。

人物ＩＤは、人物領域検出手段でテンプレートに基づく手法を用いた場合には、以下の手順で付与する。

まず、あらかじめ登録した様々な人物の映った画像をテンプレートとし、時刻ｔ０の画像フレームから検出された人物領域に“人物Ａ”と付与する。検出された人物Ａの画像を新たにテンプレートとして登録し、次フレーム以降で検出された人物領域が人物Ａの画像と類似する場合には、同一のＩＤ“人物Ａ”を付与する。人物Ａの画像と類似しない場合には、新たなＩＤを付与する。

人物領域の画像データは、人物領域検出手段によって検出された人物領域を含む矩形領域とする。

人物の見かけ上の位置は、フレーム画像における人物領域の重心座標とする。

人物領域の動きベクトルは、以下のテンプレートを用いた方法で抽出できる。

入力フレームＦｉから人物領域を検出し、人物領域を含む矩形領域をテンプレートとして取得する。フレームＦｊ（ｊ＞ｉ）に対し、フレームＦｉ上の人物領域の重心座標を中心に一定範囲を走査して、テンプレートと類似する領域を検出し、検出された領域の重心座標を取得する。

フレームＦｉとＦｊにおけるカメラの初期状態からのパン方向およびチルト方向への旋回角度を取得し、式２に代入してフレームＦｉとＦｊにおける人物領域の重心位置の絶対的な座標をそれぞれ求め、その差をもとに人物Ａの動きベクトルを算出する。

カメラの初期状態からのパン方向およびチルト方向への旋回角度は、カメラに搭載したＧＰＳまたは角速度センサによって取得できる。

人物領域の運動状態は、過去数フレームにおいてそれぞれ検出された動きベクトルの平均値とし、平均値があらかじめ定めた閾値以上に変化した時刻を運動状態変化点として検出する。人物領域の移動状態の例を図１７に示す。

入力映像の場合、移動状態変化点検出手段は、時刻ｔ０において人物の動きベクトルｕＡ０、時刻ｔ３において人物の動きベクトルｕＡ１、時刻ｔ６において人物の動きベクトルｕＡ２を取得する。人物Ａの移動状態変化点は、時刻ｔ０、ｔ３、ｔ６で検出され、各時刻において時刻および人物情報を人物追尾スコア算出手段に入力する。

人物撮影状態変化点検出手段は、入力フレームから撮影情報として、カメラモーションの動きベクトル、撮影状態を取得する。

撮影情報は、カメラに搭載された角速度センサから取得する。カメラモーションの動きベクトルの変化量が閾値以上であった時刻を撮影状態変化点として検出する。入力フレームが撮影状態変化点の場合には、撮影状態変化点の時刻と、撮影状態変化点における撮影情報を人物追尾スコア算出手段に入力し、入力フレームが撮影状態変化点でない場合には、映像入力端子から次のフレームを入力させる。

人物撮影状態変化点検出手段はカメラワークの速度として時刻ｔ０においてｖｏ、時刻ｔ１においてｖ１、時刻ｔ２においてｖ２、時刻ｔ４においてｖ３、時刻ｔ５においてｖ４、時刻ｔ７においてｖ５、時刻ｔ８においてｖ６を取得する。撮影状態の一例を図１７に示す。

人物追尾スコア算出手段は、人物撮影状態変化点検出手段から撮影状態変化点の時刻が入力されると、移動状態変化点検出手段から既に入力されている移動状態変化点の時刻との間で、各人物に関する時間差を算出する。時間差をもとに人物の追尾スコアを算出し、追尾スコアと人物情報を人物追尾判定手段に入力する。

時間差は、撮影状態変化点の時刻と、人物撮影状態変化点の時刻より以前に検出された移動状態変化点のうち、撮影状態変化点の時刻から微少時間Δｔ後に予測される人物の絶対座標系における位置が、Δｔ後にフレーム画像上の点となる移動状態である移動状態変化点の時刻との間で算出する。

時間差を算出する撮影状態変化点と移動状態変化点の組み合わせを、図１９を用いて説明する。

時刻ｔ１で撮影状態変化点を検出すると、ｔ１以前に検出された移動状態変化点ｔ０との間で時間差を算出するかを判別する。時刻０における人物の絶対座標系における位置をＱ０とすると、時刻ｔ１＋Δｔにおける人物の絶対座標系における位置Ｑ１は、Ｑ０＋（ｔ１＋Δｔ）＊ｕＡ０で表される。

一方、時刻０におけるフレーム画像の中心をＯ０とすると、時刻ｔ１＋Δｔにおけるフレーム画像の中心位置はＯ０＋ｖ１＊Δｔに移動する。このとき、｛Ｑ０＋（ｔ１＋Δｔ）＊ｕＡ０｝＝｛Ｏ０＋ｖ１＊Δｔ＋ＴＨ１｝となるΔｔ（＜ＴＨ２）が存在するとき、撮影状態変化点ｔ１と移動状態変化点ｔ０との間で時間差Ｄ０（＝ｔ１−ｔ０）を算出する。

なお、ＴＨ１はΔｔ後に動物体が存在する画面中心からの距離を表し、中心に位置する場合にはＴＨ１＝０、左右の画面端に位置する場合にはＴＨ１＝Ｗとし、利用者が事前に設定しておく。またＴＨ２は、動物体が追尾対象であるならば、Δｔ後にその追尾対象をＴＨ１の位置で捉えるべき時間差を表す。ＴＨ１として、通常２、３秒を設定する。

入力映像においてＴＨ１＝０とすると、Ｑ０＝Ｏ０のため、Δｔ＝ｕＡ０／（ｖ１−ｕＡ０）となる。Δｔが数秒であれば、撮影状態変化点ｔ１と移動状態変化点ｔ０との間で時間差を算出する。

また、時刻ｔ２で撮影状態変化点を検出すると、ｔ２以前に検出された移動状態変化点ｔ０との間で時間差を算出するかを判定する。ｔ２からΔｔ後の人物Ａの絶対座標系における位置は、Ｑ０＋（ｔ２＋Δｔ）＊ｕＡ０である。

一方、時刻ｔ２＋Δｔにおけるフレーム画像の中心位置は、Ｏ０＋（ｔ２−ｔ１）＊ｖ１＋ｖ２＊Δｔである。このとき、ｕＡ０＝ｖ２のため、｛Ｑ０＋（ｔ２＋Δｔ）＊ｕＡ０｝＝｛Ｏ０＋（ｔ２−ｔ１）＊ｖ１＋ｖ２＊Δｔ｝は、任意のΔｔで成り立つため、撮影状態変化点ｔ２と移動状態変化点ｔ０との間で時間差Ｄ１（＝ｔ２−ｔ０）を算出する。

同様にして、時刻ｔ４では時間差Ｄ２を、時刻ｔ５では時間差Ｄ３、時刻ｔ６では時間差Ｄ４を、時刻ｔ８では時間差Ｄ５を算出する。

追尾スコアは、動物体の画面上での位置と速さに基づく関数Ｇ２を用いて、以下のように算出する。

時刻ｔ１においては、撮影状態変化点ｔ１と移動状態変化点ｔ２との間で算出される時間差をもとに、追尾スコアＲ０を以下のように算出する。時刻ｔ０において、人物Ａの見かけ上の位置は画面の中心、人物の見かけ上の移動速度はｕＡ０であるため、人物Ａが画面上に捉えられなくなるまでの時間Ｔは、式９よりＷ／（２＊｜ｕＡ０｜）である。

そこで、図９で示した関数を利用する。この関数を図２０に示す。時刻ｔ１において時間差はＤ０のため、人物の追尾スコアはＲ０（＝ρ０／Ｃ’）となる。｛Ｒ０、時刻ｔ０における人物Ａの移動情報｝を人物追尾判定手段に入力する。

時刻ｔ２においては、撮影状態変化点ｔ２と移動状態変化点ｔ１との間で算出される時間差をもとに、追尾スコアＲ１を以下のように算出する。時刻ｔ０において、人物Ａの見かけ上の位置は画面の中心、人物Ａの見かけ上の移動速度はｕＡ０であるため、図２０に示す関数を利用する。時刻ｔ２において時間差はＤ１のため、人物の追尾スコアはＲ１（＝ρ１／Ｃ’）となる。｛Ｒ１、時刻ｔ０における人物Ａの移動情報｝を人物追尾判定手段に入力する。

時刻ｔ４においては、撮影状態変化点ｔ３と移動状態変化点ｔ２との間で算出される時間差をもとに、追尾スコアＲ２を以下のように算出する。時刻ｔ３において、人物Ａの見かけ上の位置は画面の中心、人物Ａの見かけ上の移動速度はーｖ２（＝−ｕＡ０）であるため、図２０に示す関数を利用する。

時刻ｔ４において時間差は、Ｄ２のため、追尾スコアはＲ２（＝ρ２／Ｃ’）となる。｛Ｒ２、時刻ｔ３における人物Ａの移動情報｝を人物追尾判定手段に入力する。

時刻ｔ５においても同様に、時間差Ｄ３をもとに追尾スコアＲ３（＝ρ３／Ｃ’）を算出し、｛Ｒ３、時刻ｔ３における人物Ａの移動情報｝を人物追尾判定手段に入力する。

時刻ｔ７においては、撮影状態変化点７と移動状態変化点ｔ６との間で算出した時間差をもとに、追尾スコアＲ４を以下のように算出する。時刻ｔ６において、人物Ａの見かけ上の位置は画面の中心、人物の見かけ上の移動速度はｕＡ２であるため、人物が画面上に捉えられなくなるまでの時間Ｔ’は、式９よりＷ／（２＊｜ｕＡ２｜）となる。

そこで、図２１に示す関数を利用する。｜ｕＡ２｜＞｜ｕＡ０｜よりＴ’＜Ｔとなる。時刻ｔ７において時間差はＤ４のため、人物の追尾スコアはＲ４（＝ρ４／Ｃ’）となる。｛Ｒ４、時刻ｔ６における人物Ａの移動情報｝を人物追尾判定手段に入力する。

同様にして、時刻ｔ８においては、時間差Ｄ５をもとに追尾スコアＲ５（＝ρ５／Ｃ’）を算出し、｛Ｒ５、時刻ｔ６における人物Ａの移動情報｝を人物追尾判定手段に入力する。

人物追尾判定手段は、追尾スコアと人物情報が入力されると、追尾スコアがあらかじめ定めた閾値Ｒｔｈよりも大のとき、人物Ａを追尾対象と判定する。人物追尾判定手段は、追尾判定結果と人物情報をディスプレイに入力する。

ディスプレイは、人物ＩＤ、画像、登場時刻、判定結果について、映像全体の判定結果をまとめて表示する。判定結果の表示の一例を図２２に示す。

画像には、全移動状態変化点における人物Ａの人物情報をもとに、人物Ａの移動速度が最も小さい移動状態変化における画像データを表示する。これにより、人物Ａの動きによるモーションブラーがない画像を表示することができる。

登場時刻には、人物Ａの全移動状態変化点の時刻をまとめて表示する。判定結果には、“追尾”と表示する。

以上好ましい実施の形態と実施例をあげて本発明を説明したが、本発明は必ずしも、上記実施の形態及び実施例に限定されるものでなく、その技術的思想の範囲内において様々に変形して実施することができる。

本発明によれば、映像に登場する追尾対象の一覧表を作成するため、追尾対象の登場する区間を特定して追尾対象を把握可能な要約映像を生成するため、あるいは、追尾対象の登場する区間から追尾対象を鮮明に映したフレームを選択することで追尾対象を把握可能な代表画群を抽出するために、映像に登場する動物体が追尾対象であるか否かを判定する、追尾対象判定装置や、追尾対象判定装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、ホームビデオや素材映像において、追尾対象に基づく映像の整理や分類、編集用の映像区間の選定のための追尾対象判定装置としても利用できる。

この出願は、２００９年３月３１日に出願された日本出願特願２００９−０８５９６３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (39)

1. 動物体の動きベクトルによって定められる運動状態が変化した時刻と、カメラモーションの動きベクトルによって定められる撮影状態が変化した時刻との差である時間差をもとに、前記動物体が追尾撮影する追尾対象であるかを判定する手段を備えることを特徴とする追尾対象判定装置。
2. 動物体の動きベクトルによって定められる運動状態が変化した時刻である運動状態変化点を検出する運動状態変化点検出手段と、
   前記映像のカメラモーションの動きベクトルによって定められる撮影状態が変化した時刻である撮影状態変化点を検出する撮影状態変化点検出手段と、
   前記撮影状態変化点の時刻と前記運度状態変化点の時刻との差を前記動物体の時間差とし、前記動物体の時間差をもとに前記動物体の追尾スコアを算出する追尾スコア算出手段と、
   前記動物体の追尾スコアをもとに、前記動物体が追尾対象であるかを判定する追尾対象判定手段と
   を備えることを特徴とする請求項１に記載の追尾対象判定装置。
3. 前記運動状態変化点検出手段は、入力フレームからカメラの操作によって生じる動きベクトルをカメラモーションの動きベクトルとして検出し、前記カメラモーションの動きベクトルと異なる動きベクトルをもつ領域である動物体の実空間上での移動速度の変化量の大きさに基づいて運動状態変化点を出することを特徴とする請求項２に記載の追尾対象判定装置。
4. 前記撮影状態変化点検出手段は、入力フレームからカメラの操作によって生じる動きベクトルをカメラモーションの動きベクトルとして検出し、前記カメラモーションの動きベクトルの変化量の大きさに基づいて撮影状態変化点を検出することを特徴とする請求項２又は請求項３に記載の追尾対象判定装置。
5. 前記運動状態変化点検出手段は、前記カメラモーションの動きベクトルを、カメラに搭載したＧＰＳまたは角速度センサによって取得したカメラの位置の移動量によって算出することを特徴とする請求項３又は請求項４に記載の追尾対象判定装置。
6. 前記カメラモーションの動きベクトルを、入力フレームの各部分領域から動きベクトルを検出し、前記動きベクトルを互いの方向と大きさの類似性によってグループ化し、最大のグループに属する動きベクトルの代表ベクトルとすることを特徴とする請求項３又は請求項４に記載の追尾対象判定装置。
7. 前記追尾スコア算出手段は、撮影状態変化点の時刻と、前記撮影状態変化点の時刻以前に検知した運動状態変化点との差によって時間差を算出することを特徴とする請求項２から請求項６の何れかに記載の追尾対象判定装置。
8. 前記追尾スコア算出手段は、撮影状態変化点の時刻と、前記撮影状態変化点の時刻以前に検知した運動状態変化点のうち最も近接の運動状態変化点の時刻との差によって、時間差を算出することを特徴とする請求項２から請求項６の何れかに記載の追尾対象判定装置。
9. 前記追尾スコア算出手段は、撮影状態変化点の時刻と、前記撮影状態変化点の時刻以前に検知した運動状態変化点のうち前記撮影状態変化点の撮影状態と最も類似する動物体の運動状態である運動状態変化点の時刻との差によって、時間差を算出することを特徴とする請求項２から請求項６の何れかに記載の追尾対象判定装置。
10. 前記追尾スコア算出手段は、撮影状態変化点の時刻と、前記撮影状態変化点の時刻以前に検知した運動状態変化点のうち撮影状態変化点の時刻から微少時間Δｔ後に予測される動物体の絶対座標系における位置が、Δｔ後にフレーム画像上の点となる運動状態である運動状態変化点の時刻との差によって、時間差を算出することを特徴とする請求項２から請求項６の何れかに記載の追尾対象判定装置。
11. 前記追尾スコア算出手段は、前記動物体の時間差と、特定の運動状態の追尾対象を追尾撮影する際に要する時間の事前知識とをもとに、追尾スコアを算出することを特徴とすることを特徴とする請求項２から請求項１０の何れかに記載の追尾対象判定装置。
12. 前記追尾スコア算出手段は、前記動物体の時間差と、特定の大きさ、または特定の位置、または特定の速度のいずれかを含む特定の運動状態の追尾対象を追尾撮影する際に要する時間の事前知識とをもとに、追尾スコアを算出することを特徴とする請求項２から請求項１０の何れかに記載の追尾対象判定装置。
13. 前記追尾対象判定手段は、追尾スコアが所定の閾値以上の値である場合に、動物体を追尾対象と判定することを特徴とする請求項２から請求項１２の何れかに記載の追尾対象判定装置。
14. 動物体の動きベクトルによって定められる運動状態が変化した時刻と、カメラモーションの動きベクトルによって定められる撮影状態が変化した時刻との差である時間差をもとに、前記動物体が追尾撮影する追尾対象であるかを判定することを特徴とする追尾対象判定方法。
15. 動物体の動きベクトルによって定められる運動状態が変化した時刻である運動状態変化点を検出する運動状態変化点検出ステップと、
    前記映像のカメラモーションの動きベクトルによって定められる撮影状態が変化した時刻である撮影状態変化点を検出する撮影状態変化点検出ステップと、
    前記撮影状態変化点の時刻と前記運度状態変化点の時刻との差を前記動物体の時間差とし、前記動物体の時間差をもとに前記動物体の追尾スコアを算出する追尾スコア算出ステップと、
    前記動物体の追尾スコアをもとに、前記動物体が追尾対象であるかを判定する追尾対象判定ステップと
    を含むことを特徴とする請求項１４に記載の追尾対象判定方法。
16. 前記運動状態変化点検出ステップにおいては、入力フレームからカメラの操作によって生じる動きベクトルをカメラモーションの動きベクトルとして検出し、前記カメラモーションの動きベクトルと異なる動きベクトルをもつ領域である動物体の実空間上での移動速度の変化量の大きさに基づいて運動状態変化点を出することを特徴とする請求項１５に記載の追尾対象判定方法。
17. 前記撮影状態変化点検出ステップにおいては、入力フレームからカメラの操作によって生じる動きベクトルをカメラモーションの動きベクトルとして検出し、前記カメラモーションの動きベクトルの変化量の大きさに基づいて撮影状態変化点を検出することを特徴とする請求項１５又は請求項１６に記載の追尾対象判定方法。
18. 前記運動状態変化点検出ステップにおいては、前記カメラモーションの動きベクトルを、カメラに搭載したＧＰＳまたは角速度センサによって取得したカメラの位置の移動量によって算出することを特徴とする請求項１６又は請求項１７に記載の追尾対象判定方法。
19. 前記カメラモーションの動きベクトルを、入力フレームの各部分領域から動きベクトルを検出し、前記動きベクトルを互いの方向と大きさの類似性によってグループ化し、最大のグループに属する動きベクトルの代表ベクトルとすることを特徴とする請求項１６又は請求項１７に記載の追尾対象判定方法。
20. 前記追尾スコア算出ステップにおいては、撮影状態変化点の時刻と、前記撮影状態変化点の時刻以前に検知した運動状態変化点との差によって時間差を算出することを特徴とする請求項１５から請求項１９の何れかに記載の追尾対象判定方法。
21. 前記追尾スコア算出ステップにおいては、撮影状態変化点の時刻と、前記撮影状態変化点の時刻以前に検知した運動状態変化点のうち最も近接の運動状態変化点の時刻との差によって、時間差を算出することを特徴とする請求項１５から請求項１９の何れかに記載の追尾対象判定方法。
22. 前記追尾スコア算出ステップにおいては、撮影状態変化点の時刻と、前記撮影状態変化点の時刻以前に検知した運動状態変化点のうち前記撮影状態変化点の撮影状態と最も類似する動物体の運動状態である運動状態変化点の時刻との差によって、時間差を算出することを特徴とする請求項１５から請求項１９の何れかに記載の追尾対象判定方法。
23. 前記追尾スコア算出ステップにおいては、撮影状態変化点の時刻と、前記撮影状態変化点の時刻以前に検知した運動状態変化点のうち撮影状態変化点の時刻から微少時間Δｔ後に予測される動物体の絶対座標系における位置が、Δｔ後にフレーム画像上の点となる運動状態である運動状態変化点の時刻との差によって、時間差を算出することを特徴とする請求項１５から請求項１９の何れかに記載の追尾対象判定方法。
24. 前記追尾スコア算出ステップにおいては、前記動物体の時間差と、特定の運動状態の追尾対象を追尾撮影する際に要する時間の事前知識とをもとに、追尾スコアを算出することを特徴とすることを特徴とする請求項１５から請求項２３の何れかに記載の追尾対象判定方法。
25. 前記追尾スコア算出ステップにおいては、前記動物体の時間差と、特定の大きさ、または特定の位置、または特定の速度のいずれかを含む特定の運動状態の追尾対象を追尾撮影する際に要する時間の事前知識とをもとに、追尾スコアを算出することを特徴とする請求項１５から請求項２３の何れかに記載の追尾対象判定方法。
26. 前記追尾対象判定ステップにおいては、追尾スコアが所定の閾値以上の値である場合に、動物体を追尾対象と判定することを特徴とする請求項１５から請求項２５の何れかに記載の追尾対象判定方法。
27. コンピュータに、
    動物体の動きベクトルによって定められる運動状態が変化した時刻と、カメラモーションの動きベクトルによって定められる撮影状態が変化した時刻との差である時間差をもとに、前記動物体が追尾撮影する追尾対象であるかを判定する処理を、実行させることを特徴とする追尾対象判定プログラム。
28. 前記コンピュータに、
    動物体の動きベクトルによって定められる運動状態が変化した時刻である運動状態変化点を検出する運動状態変化点検出処理と、
    前記映像のカメラモーションの動きベクトルによって定められる撮影状態が変化した時刻である撮影状態変化点を検出する撮影状態変化点検出処理と、
    前記撮影状態変化点の時刻と前記運度状態変化点の時刻との差を前記動物体の時間差とし、前記動物体の時間差をもとに前記動物体の追尾スコアを算出する追尾スコア算出処理と、
    前記動物体の追尾スコアをもとに、前記動物体が追尾対象であるかを判定する追尾対象判定処理と、を実行させることを特徴とする請求項２７に記載の追尾対象判定プログラム。
29. 前記運動状態変化点検出処理では、入力フレームからカメラの操作によって生じる動きベクトルをカメラモーションの動きベクトルとして検出し、前記カメラモーションの動きベクトルと異なる動きベクトルをもつ領域である動物体の実空間上での移動速度の変化量の大きさに基づいて運動状態変化点を出することを特徴とする請求項２８に記載の追尾対象判定プログラム。
30. 前記撮影状態変化点検出処理では、入力フレームからカメラの操作によって生じる動きベクトルをカメラモーションの動きベクトルとして検出し、前記カメラモーションの動きベクトルの変化量の大きさに基づいて撮影状態変化点を検出することを特徴とする請求項２８又は請求項２９に記載の追尾対象判定プログラム。
31. 前記カメラモーションの動きベクトルを、カメラに搭載したＧＰＳまたは角速度センサによって取得したカメラの位置の移動量によって算出することを特徴とする請求項２９又は請求項３０に記載の追尾対象判定プログラム。
32. 前記カメラモーションの動きベクトルを、入力フレームの各部分領域から動きベクトルを検出し、前記動きベクトルを互いの方向と大きさの類似性によってグループ化し、最大のグループに属する動きベクトルの代表ベクトルとすることを特徴とする請求項２９又は請求項３０に記載の追尾対象判定プログラム。
33. 前記追尾スコア算出処理では、撮影状態変化点の時刻と、前記撮影状態変化点の時刻以前に検知した運動状態変化点との差によって時間差を算出することを特徴とする請求項２８から請求項３２の何れかに記載の追尾対象判定プログラム。
34. 前記追尾スコア算出処理では、撮影状態変化点の時刻と、前記撮影状態変化点の時刻以前に検知した運動状態変化点のうち最も近接の運動状態変化点の時刻との差によって、時間差を算出することを特徴とする請求項２８から請求項３２の何れかに記載の追尾対象判定プログラム。
35. 前記追尾スコア算出処理では、撮影状態変化点の時刻と、前記撮影状態変化点の時刻以前に検知した運動状態変化点のうち前記撮影状態変化点の撮影状態と最も類似する動物体の運動状態である運動状態変化点の時刻との差によって、時間差を算出することを特徴とする請求項２８から請求項３２の何れかに記載の追尾対象判定プログラム。
36. 前記追尾スコア算出処理では、撮影状態変化点の時刻と、前記撮影状態変化点の時刻以前に検知した運動状態変化点のうち撮影状態変化点の時刻から微少時間Δｔ後に予測される動物体の絶対座標系における位置が、Δｔ後にフレーム画像上の点となる運動状態である運動状態変化点の時刻との差によって、時間差を算出することを特徴とする請求項２８から請求項３２の何れかに記載の追尾対象判定プログラム。
37. 前記追尾スコア算出処理では、前記動物体の時間差と、特定の運動状態の追尾対象を追尾撮影する際に要する時間の事前知識とをもとに、追尾スコアを算出することを特徴とすることを特徴とする請求項２８から請求項３６の何れかに記載の追尾対象判定プログラム。
38. 前記追尾スコア算出処理では、前記動物体の時間差と、特定の大きさ、または特定の位置、または特定の速度のいずれかを含む特定の運動状態の追尾対象を追尾撮影する際に要する時間の事前知識とをもとに、追尾スコアを算出することを特徴とする請求項２８から請求項３６の何れかに記載の追尾対象判定プログラム。
39. 前記追尾対象判定処理では、追尾スコアが所定の閾値以上の値である場合に、動物体を追尾対象と判定することを特徴とする請求項２８から請求項３８の何れかに記載の追尾対象判定プログラム。

Images