JP7359306B2 - 追跡装置、追跡システム、追跡方法、およびプログラム - Google Patents

Description

本発明は、追跡対象を追跡する追跡装置等に関する。

人物追跡技術は、監視カメラによって撮影された動画を構成する画像フレームから人物を検出し、検出された人物を追跡する技術である。人物追跡技術では、例えば、検出された個々の人物を顔認証等で識別して識別番号を付与し、識別番号が付与された人物を時系列で連続する画像フレームにおいて追尾する。一般的な人物追跡技術では、追跡中の人物（追跡対象人物とも呼ぶ）が遮蔽物等と交差する時点の画像フレームがあると、その後の時点の画像フレームで追跡対象人物が入れ替わってしまったり、追跡対象人物が新たな人物として検出されたりすることがあった。

特許文献１には、動画中の物体が所定の物体であるか判断する頻度を動的に設定する設定装置について開示されている。特許文献１の装置は、動画中の物体が所定の物体であると判断すると、判断する頻度をそれ以前よりも低く設定する。

特開２０１５－０５３０３２号公報

特許文献１の手法によれば、予め指定されたルールに基づいて、動画中の物体が所定の物体であるか判断する頻度を動的に変化させることによって、動画中の物体が所定の物体であるか精度よく判断できる。しかしながら、特許文献１の手法では、動画中の物体が障害物等と交差するような場合、物体が障害物と交際する前後において、同じ物体が別のものとして識別されやすく、追跡の精度が低下しやすかった。また、特許文献１の手法では、複数のカメラによって撮影された画像間において、同じ物体が別のものとして識別されやすく、広範囲に亘った物体の追跡には向いていなかった。

本発明の目的は、実空間のシーンに合わせて精度よく追跡対象を追尾することを可能とする追跡装置等を提供することにある。

本発明の一態様の追跡装置は、映像データを構成する複数の画像フレームごとに指定された指定範囲を取得する指定範囲取得部と、映像データから検証対象の画像フレームを抽出し、抽出された画像フレームごとに追跡対象を検出し、検出された追跡対象に対して照合範囲を設定し、画像フレームごとに設定された指定範囲に基づいて照合範囲を調整する追跡部と、追跡対象に照合範囲が対応付けられた追跡画像を画像フレームごとに生成する表示情報生成部と、を備える。

本発明の一態様の追跡方法においては、コンピュータが、映像データを構成する複数の画像フレームごとに指定された指定範囲を取得し、映像データから検証対象の画像フレームを抽出し、抽出された画像フレームごとに追跡対象を検出し、検出された追跡対象に対して照合範囲を設定し、画像フレームごとに設定された指定範囲に基づいて照合範囲を調整し、追跡対象に照合範囲が対応付けられた追跡画像を画像フレームごとに生成する。

本発明の一態様のプログラムは、映像データを構成する複数の画像フレームごとに指定された指定範囲を取得する処理と、映像データから検証対象の画像フレームを抽出する処理と、抽出された画像フレームごとに追跡対象を検出する処理と、検出された追跡対象に対して照合範囲を設定する処理と、画像フレームごとに設定された指定範囲に基づいて照合範囲を調整する処理と、追跡対象に照合範囲が対応付けられた追跡画像を画像フレームごとに生成する処理と、をコンピュータに実行させる。

本発明によれば、実空間のシーンに合わせて精度よく追跡対象を追尾することを可能とする追跡装置等を提供することが可能になる。

第１の実施形態に係る追跡システムの構成の一例を示すブロック図である。 第１の実施形態に係る追跡システムに含まれる端末装置の構成の一例を示すブロック図である。 第１の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に設定される表示領域の一例を示す概念図である。 第１の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第１の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第１の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第１の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第１の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第１の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第１の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第１の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第１の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第１の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第１の実施形態に係る追跡システムに含まれる追跡装置の動作の一例を示すフローチャートである。 第１の実施形態に係る追跡システムに含まれる追跡装置による照合範囲設定処理の一例を示すフローチャートである。 第２の実施形態に係る追跡システムの構成の一例を示すブロック図である。 第２の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に設定される表示領域の一例を示す概念図である。 第２の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第２の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第２の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第２の実施形態に係る追跡システムに含まれる端末装置に接続された表示機器の画面に表示される表示情報の一例を示す概念図である。 第２の実施形態に係る追跡システムに含まれる追跡装置の動作の一例を示すフローチャートである。 第２の実施形態に係る追跡システムに含まれる追跡装置による照合範囲設定処理の一例を示すフローチャートである。 第３の実施形態に係る追跡装置の構成の一例を示すブロック図である。 各実施形態に係る追跡装置や端末装置等のハードウェア構成の一例を示すブロック図である。

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。また、図面中の矢印の向きは、一例を示すものであり、ブロック間の信号等の向きを限定するものではない。

（第１の実施形態）
まず、第１の実施形態に係る追跡装置について図面を参照しながら説明する。本実施形態の追跡装置は、監視カメラ等によって撮影された動画を構成する画像（画像フレームとも呼ぶ）から人物等の追跡対象を検出し、検出された追跡対象を追尾する。なお、本実施形態の追跡装置の追跡対象には特に限定を加えない。例えば、本実施形態の追跡装置は、人物のみならず、犬や猫等の動物、自動車や自転車、ロボット等の移動体、任意の物体などを追跡対象としてもよい。本実施形態の追跡装置は、ユーザによって指定された範囲（指定範囲とも呼ぶ）を計算に入れて、画像フレームから検出された追跡対象に対応付けられた照合範囲を設定する。照合範囲は、画像フレームから検出された追跡対象に対応付けられる実空間における範囲であり、連続する画像フレーム間において追跡対象の照合に用いられる。例えば、照合範囲は、追跡対象を中心とする球や円で設定される。例えば、連続する画像フレーム間において、照合範囲の少なくとも一部が重なり合う追跡対象や、照合範囲が近接する追跡対象が照合対象となる。本実施形態の追跡装置は、画像フレーム中の障害物等に対応付けて設定された指定範囲（除外範囲と呼ぶ）を除外するように、追跡対象の照合範囲を設定する。

（構成）
図１は、本実施形態の追跡システム１の構成の一例を示すブロック図である。追跡システム１は、追跡装置１０、監視カメラ１１０、および端末装置１２０を備える。図１には、監視カメラ１１０や端末装置１２０を一つしか図示していないが、監視カメラ１１０や端末装置１２０は複数あってもよい。

監視カメラ１１０は、監視対象範囲を撮影可能な位置に配置される。監視カメラ１１０は、一般的な監視カメラの機能を有する。監視カメラ１１０は、可視領域に感度があるカメラであってもよいし、赤外領域に感度がある赤外線カメラであってもよい。例えば、監視カメラ１１０は、人の多い街頭や室内に配置される。監視カメラ１１０と追跡装置１０の接続方式については、特に限定を加えない。例えば、監視カメラ１１０は、インターネットやイントラネットなどのネットワークを介して、追跡装置１０に接続される。

監視カメラ１１０は、設定された撮影間隔で監視対象範囲を撮影し、映像データを生成する。監視カメラ１１０は、生成された映像データを追跡装置１０に出力する。映像データは、設定された撮影間隔で撮影された複数の画像データ（画像フレームとも呼ぶ）によって構成される。監視カメラ１１０が追跡装置１０にデータを出力するタイミングには、特に限定を加えない。例えば、監視カメラ１１０は、複数の画像フレームによって構成される映像データを追跡装置１０に出力してもよいし、複数の画像フレームの各々を撮影された時系列順で追跡装置１０に出力してもよい。

追跡装置１０は、映像取得部１１、映像記憶部１２、追跡部１３、表示情報生成部１４、表示情報出力部１５、および指定範囲取得部１６を有する。例えば、追跡装置１０は、サーバやクラウドに配置される。例えば、追跡装置１０は、端末装置１２０にインストールされるアプリケーションとして提供されてもよい。

映像取得部１１は、処理対象の映像データを監視カメラ１１０から取得する。映像取得部１１は、取得した映像データを映像記憶部１２に記憶させる。追跡装置１０が監視カメラ１１０からデータを取得するタイミングには、特に限定を加えない。例えば、映像取得部１１は、複数の画像フレームによって構成される映像データを監視カメラ１１０から取得してもよいし、複数の画像フレームの各々を撮影順で監視カメラ１１０から取得してもよい。なお、映像取得部１１は、監視カメラ１１０によって生成された映像データのみならず、図示しない外部のストレージやサーバ等に保存された映像データを取得してもよい。

映像記憶部１２は、監視カメラ１１０によって生成された映像データを記憶する。映像記憶部１２に記憶された映像データを構成する画像フレームは、追跡部１３によって取得され、追跡対象の追跡に用いられる。

追跡部１３は、空間閾値および時間閾値を記憶する。空間閾値は、検証対象の画像フレーム（検証フレームとも呼ぶ）から検出された追跡対象に対応付けて設定される空間的な閾値である。時間閾値は、複数の画像フレームによって構成される映像データから、検証対象である検証フレームと照合される画像フレームを抽出する基準である。空間閾値および時間閾値は、予め設定された値である。なお、空間閾値および時間閾値は、ユーザの操作に応じて変更可能であってもよい。例えば、空間閾値および時間閾値は、映像データを構成する全ての画像フレームに対して共通に設定されてもよいし、画像フレームごとに設定されてもよい。

空間閾値は、追跡対象の照合範囲に関する値である。例えば、照合範囲が円の場合、空間閾値は照合範囲の直径や半径に設定される。空間閾値は、検証フレームにおける追跡対象の大きさに合わせて調整される。例えば、空間閾値は、検証フレームにおける追跡対象の大きさを基準とする値に設定される。例えば、追跡対象が人物である場合、空間閾値は、人物の身長を基準とした比率に設定される。例えば、追跡対象の人物の身長に空間閾値を乗じた値の直径や半径の円が照合範囲として設定される。なお、空間閾値は、人物の身長を基準とした比率ではなく、検証フレームのピクセル数等で設定されてもよい。

時間閾値は、映像データを構成する画像フレームのうち、何フレーム前（何秒前）までの画像フレームを検証フレームと照合するのかを設定する時間的な閾値である。時間閾値は、検証フレームの時刻を基準として、追跡対象を照合する際にさかのぼる時刻の最大値に相当する。時間閾値の時刻に対応する画像フレームから、検証フレームの直前の画像フレームまでが、検証フレームの照合対象になる。例えば、時間閾値は、映像データを構成する画像フレームのうち、何フレーム前（何秒前）までの画像フレームを検証フレームと照合するのかを示すフレーム数で設定される。例えば、時間閾値が１０フレームの場合、その画像フレームに対して、１、２、・・・、１０フレーム前の合計１０フレーム分の画像フレームが、検証フレームと照合される。なお、時間閾値は、フレーム数を時間に変換した値であってもよい。

追跡部１３は、検証フレームにおいて検出された追跡対象と、検証フレームの照合対象の画像フレームにおいて検出された追跡対象とを照合することによって、追跡対象を追尾する。

追跡部１３は、映像記憶部１２から検証フレームを取得する。追跡部１３は、取得した検証フレームから追跡対象を検出する。例えば、追跡部１３は、背景差分法等の検出技術によって、検証フレームから追跡対象を検出する。例えば、追跡部１３は、動きベクトル等の特徴量を用いた検出技術によって、検証フレームから追跡対象を検出してもよい。追跡部１３の追跡対象は、人物や、移動する物体（移動体とも呼ぶ）である。例えば、追跡対象が人物である場合、追跡部１３は、顔検出等の技術を用いて、検証フレームから追跡対象を検出する。例えば、追跡部１３は、人体検出や物体検出等を用いて、検証フレームから追跡対象を検出してもよい。例えば、追跡部１３は、移動体ではないものの、一定の位置において、形や模様、色等の特徴量が変化する物体を検出してもよい。例えば、追跡部１３は顔認証や歩容認証等の技術を用いて、連続する検証フレームから検出される追跡対象を照合する。

追跡部１３は、時間閾値に基づいて抽出される画像フレームにおいて検出された追跡対象に関して、検証フレームから検出された追跡対象と時間的および空間的に近いものを照合する。追跡部１３は、それらの追跡対象の一致度が高ければ同一の追跡対象であると判定し、同一の識別番号を付与する。本実施形態において、追跡部１３による追跡対象の照合方法には、特に限定を加えない。例えば、追跡部１３は、追跡対象が人物である場合、顔認証や歩容認証の技術を用いて追跡対象を照合する。例えば、追跡部１３は、検証フレームから検出された人物の全身、衣服の色、姿勢、および持ち物等の特徴に基づいて追跡対象を照合してもよい。例えば、追跡部１３は、検証フレームにおいて検出された追跡対象に対して仮の識別番号を付与し、時間閾値に基づいて抽出された画像フレームにおいて検出された追跡対象との照合が取れた後に、検証フレームにおいて検出された追跡対象に対して正式な識別番号を付与する。追跡部１３は、時間閾値に基づいて抽出された画像フレームにおいて検出されておらず、検証フレームにおいて新たに検出された追跡対象に対しては、新規の識別番号を付与する。例えば、追跡部１３は、時間閾値に基づいて抽出された画像フレームにおける追跡情報に基づいて、検証フレームにおける追跡対象の位置を予測し、予測された画面上の位置の近傍に位置する追跡対象に同じ識別番号を付与する。追跡情報とは、画像フレームから検出された追跡対象に関して、追跡対象の識別番号、画像フレーム内における追跡対象の位置や大きさ、速度等が対応付けられた情報である。

追跡部１３は、検証フレームから検出された追跡対象に関して、追跡対象の識別番号、画像フレーム内における追跡対象の位置や大きさ、速度等が対応付けられた追跡情報を生成する。また、追跡部１３は、画像フレーム内における追跡対象の大きさに応じて、空間閾値に基づく照合範囲を追跡対象の位置に対応付けて設定する。

画像フレームに除外範囲が設定されている場合、追跡部１３は、追跡対象に対応付けられた照合範囲のうち除外範囲と重なる部分を、除外範囲の対向側の位置に移すように設定する。例えば、除外範囲が照合範囲を跨ぐ場合、追跡部１３は、除外範囲を挟んで照合範囲を分割する。例えば、除外範囲が照合範囲を跨がない場合、照合範囲のうち除外範囲と重なる部分を、除外範囲の対向側の位置に設定する。例えば、照合範囲が除外範囲の対向側に初めからはみ出している場合、追跡部１３は、照合範囲のうち除外範囲と重なっている部分と、はみ出している部分とを結合させた部分を、除外範囲を挟んだ対向側の位置に設定する。例えば、照合範囲が除外範囲の対向側に初めからはみ出している場合、はみ出している部分に基づいて追跡対象を追跡することができるので、その照合範囲をそのまま用いてもよい。

追跡部１３は、設定した照合範囲を追跡情報に追加する。例えば、追跡部１３は、追跡対象の位置や大きさ、速度等に基づいて、各画像フレームに対応する追跡情報を推定してもよい。追跡部１３は、映像データを構成する画像フレームごとの追跡情報を表示情報生成部１４に出力する。

表示情報生成部１４は、映像データを構成する複数の画像フレームごとの追跡情報を追跡部１３から取得する。表示情報生成部１４は、取得した追跡情報を用いて、画像フレームにおいて追跡対象に照合範囲を対応付けた追跡画像と、時間閾値および空間閾値を設定するための操作画像とを含む表示情報を生成する。表示情報生成部１４が生成する表示情報は、ユーザの参照する端末装置１２０に表示させるグラフィカルユーザインターフェース（ＧＵＩ：Graphical User Interface）である。表示情報生成部１４は、生成した表示情報を表示情報出力部１５に出力する。

表示情報出力部１５は、映像データを構成する画像フレームごとのＧＵＩを表示情報生成部１４から取得する。表示情報出力部１５は、画像フレームごとの表示情報を端末装置１２０に出力する。画像フレームごとの表示情報は、ユーザが参照する画面にＧＵＩとして表示される。

指定範囲取得部１６は、ユーザによって指定された指定範囲（除外範囲）を端末装置１２０から取得する。指定範囲取得部１６は、取得した除外範囲を追跡部１３に出力する。

図２は、端末装置１２０等の構成の一例を示すブロック図である。端末装置１２０は、表示情報取得部１２１、表示情報記憶部１２２、表示部１２３、および入力部１２４を有する。図２には、端末装置１２０に接続される追跡装置１０、入力機器１２７、および表示機器１３０を併せて図示する。

表示情報取得部１２１は、映像データを構成する複数の画像フレームごとの追跡情報を追跡装置１０から取得する。表示情報取得部１２１は、画像フレームごとの追跡情報を表示情報記憶部１２２に記憶させる。

表示情報記憶部１２２は、表示情報生成部１４によって生成された表示情報を記憶する。表示情報記憶部１２２に記憶された表示情報は、例えばユーザの操作等に応じて、表示部１２３の画面にＧＵＩとして表示される。

表示部１２３は、画面を有する表示機器１３０に接続される。表示部１２３は、表示情報記憶部１２２から表示情報を取得する。表示部１２３は、取得した表示情報を表示機器１３０の画面に表示させる。なお、端末装置１２０が表示機器１３０の機能を含んでいてもよい。

例えば、表示部１２３は、入力部１２４を介して、ユーザによる操作を受け付け、受け付けた操作内容に応じた表示情報を表示機器１３０の画面に表示させる。例えば、表示部１２３は、ユーザによって指定されたフレーム番号の画像フレームに対応する表示情報を表示機器１３０の画面に表示させる。例えば、表示部１２３は、ユーザによって指定されたフレーム番号の画像フレームを含む一連の複数の画像フレームの各々に対応する表示情報を時系列順に表示機器１３０の画面に表示させる。

例えば、表示部１２３は、予め設定された表示条件に従って、少なくとも一つの表示情報を表示機器１３０の画面に表示させてもよい。例えば、予め設定された表示条件とは、予め設定されたフレーム番号を含む連続した所定枚数の画像フレームに対応する複数の表示情報を時系列順に表示させるという条件である。例えば、予め設定された表示条件とは、予め設定された時刻を含む所定時間帯に生成された複数の画像フレームに対応する複数の表示情報を時系列順に表示させるという条件である。なお、表示条件は、予め設定されていれば、ここで挙げた例に限定されない。

入力部１２４は、ユーザによる操作を受け付ける入力機器１２７に接続される。例えば、入力機器１２７は、タッチパネルやマウス等のポインティング機能のあるデバイスによって実現される。入力部１２４は、入力機器１２７を介して入力されたユーザによる操作内容を追跡装置１０に出力する。また、入力部１２４は、映像データや画像フレーム、表示情報等の指定をユーザから受け付けた場合、指定された画像を画面に表示させる指示を表示部１２３に出力する。

図３は、表示機器１３０の画面に表示される表示情報について説明するための概念図である。表示機器１３０の画面には、画像表示領域１５０が設定される。画像表示領域１５０には、画像フレームごとの追跡画像が表示される。なお、表示機器１３０の画面には、画像表示領域１５０以外の表示領域を設定してもよい。また、画像表示領域１５０の画面上における表示位置は、任意に変更できる。

図４～図６は、表示機器１３０の画面に設定された表示領域に表示される表示情報の一例を示す概念図である。図４～図６の各々は、フレーム番号ｔ、ｔ＋１０、およびｔ＋２０の各々に関する画像フレームが画像表示領域１５０に表示される例である。実際には、検証フレーム間の画像フレームに対応する表示情報も表示領域に表示されるが、以下においては検証フレームに対応する画像フレームが表示領域に表示される例を挙げる。

画像表示領域１５０には、監視カメラ１１０によって生成された映像データを構成する画像フレームに照合範囲等が重ねられた追跡画像が表示される。図４～図６は、識別番号０１が付与された追跡対象Ｔが、矢印の向きに向けて、いくつかの柱のある空間において移動する例である。識別番号は、追跡対象の位置に対応付けて表示されてもよいし、表示されなくてもよい。破線の人型は、追跡対象Ｔの移動に伴う軌跡について説明するためのものであり、追跡画像においては表示されない。画像フレームにおける追跡対象Ｔの周囲には、追跡対象Ｔを中心として、空間閾値を直径とする円が照合範囲として設定される。画像表示領域１５０において、追跡対象Ｔの周囲に設定される照合範囲を示す円は、監視カメラ１１０の視座や画角等に応じた形状で表示される。なお、照合範囲は、円ではなく、楕円や矩形、正方形、正三角形、正五角形など、任意の形状に変形可能である。図４～図６のように、照合範囲の大きさは、画像フレームにおける追跡対象Ｔの大きさに合わせて変更される。

図７は、複数の追跡対象（追跡対象Ａ、Ｂ、Ｃ、Ｄ）が検出された画像フレームの追跡画像が画像表示領域１５０に表示される例である。追跡対象Ａには識別番号１１が付与され、追跡対象Ｂには識別番号１２が付与され、追跡対象Ｃには識別番号１３が付与され、追跡対象Ｄには識別番号１４が付与される。図７の例では、追跡対象Ａの照合範囲が柱と重なっている。このような場合、追跡対象Ａが柱の向こう側を通過する前後において、追跡対象Ａに異なる識別番号が付与される可能性がある。例えば、追跡対象Ａが柱の向こう側を通過する際に、追跡対象Ａの照合範囲が柱の陰に途切れると、照合範囲が途切れた段階で追跡対象Ａに付与された識別番号が削除される。その後、追跡対象Ａが柱の陰から現れ、追跡対象Ａに照合範囲が再び設定されると、同じ追跡対象でありながら、追跡対象Ａには異なる識別番号は付与される。本実施形態においては、画像フレーム間において照合範囲を追跡することによって、その照合範囲に対応する追跡対象を追跡し続ける。そのため、画像フレーム間で同じ追跡対象に異なる識別番号が付与されると、追跡が途切れてしまう。例えば、顔認証等の認証技術を用いて、画像フレームごとに、いずれかのデータベースに格納された個人情報等に照合すれば、同じ追跡対象に異なる識別番号が付与されても、その追跡対象を追跡し続けることはできる。ただし、その場合、画像フレームごとにデータベースにアクセスする必要があるため、アクセス遅延によって追跡対象を追跡しきれない場合も生じうる。

図８は、ユーザによる操作に応じて、画像表示領域１５０に表示された追跡画像に除外範囲１６０が設定される例である。図８において、除外範囲１６０は、一点鎖線で囲んだ矩形の範囲内である。図８の例では、追跡対象Ａに対応付けられた照合範囲の左側の一部が、除外範囲１６０を挟んで分割されている。除外範囲１６０と照合範囲が重なると、照合範囲のうち除外範囲１６０と重なっている部分が、除外範囲１６０を挟んだ対向側の位置に設定される。なお、除外範囲１６０が照合範囲を跨がない場合は、照合範囲のうち除外範囲１６０と重なる部分を、除外範囲１６０の対向側の位置に設定する。例えば、照合範囲が除外範囲１６０の対向側に初めからはみ出している場合は、照合範囲のうち除外範囲１６０と重なっている部分と、はみ出している部分とを結合させた部分が、除外範囲１６０を挟んだ対向側の位置に設定される。例えば、照合範囲が除外範囲１６０の対向側に初めからはみ出している場合は、はみ出している部分に基づいて追跡対象を追跡することができるので、除外範囲１６０を無視して、その照合範囲をそのまま用いてもよい。

除外範囲１６０の外郭は、矩形ではなく、三角形や五角形などの任意の多角形であってもよい。例えば、除外範囲１６０の外郭は、円形や楕円形などの任意の閉曲線であってもよい。例えば、除外範囲１６０は、フリーハンドで指定された領域であってもよい。除外範囲１６０は、閉じた領域であってもよい、開いた領域であってもよい。

例えば、除外範囲１６０は、画像表示領域１５０におけるポインター１６５の操作に応じて設定される。例えば、画像フレームにおける柱の一部に合わせて、ユーザがポインター１６５を操作して領域を選択すると、選択された領域が除外範囲１６０に設定される。なお、ポインター１６５の操作に応じた領域の選択の方法には、特に限定を加えない。

図９～図１０は、追跡対象Ｅが柱の向こう側を通過して移動する例について説明するための概念図である。図９の画像表示領域１５０には、フレーム番号ｔの画像フレームの追跡画像が表示される。フレーム番号ｔの画像フレームの追跡画像においては、追跡対象Ｅに識別番号２１が付与されている。図１０の画像表示領域１５０には、フレーム番号ｔの画像フレームに後続するフレーム番号ｔ＋１０の画像フレームの追跡画像が表示される。フレーム番号ｔ＋１０の画像フレームにおいては、フレーム番号ｔの画像フレームとは異なる識別番号２２が追跡対象Ｅに付与されている。このように、異なる画像フレームにおいて、同じ追跡対象であるのに異なる識別番号が付与される一因として、空間的な閾値である空間閾値が小さすぎることがあげられる。空間閾値が小さすぎると、連続する画像フレーム間において照合範囲に基づいて追跡対象を追跡しきれず、同じ追跡対象に異なる識別番号が付与されやすくなる。

図１１～図１２は、図９～図１０の例において、ユーザの設定に応じて、画像表示領域１５０に表示された追跡画像において除外範囲１６０が設定される例について説明するための概念図である。

図１１の画像表示領域１５０には、フレーム番号ｔの画像フレームの追跡画像が表示される。フレーム番号ｔの画像フレームの追跡画像においては、追跡対象Ｅに識別番号２１が付与されている。図１２の画像表示領域１５０には、フレーム番号ｔの画像フレームに後続するフレーム番号ｔ＋１０の画像フレームの追跡画像が表示される。フレーム番号ｔ＋１０の画像フレームにおいては、追跡対象Ｅには、フレーム番号ｔの画像フレームと同じ識別番号２１が付与されている。図１１の例では、柱を無視して照合範囲が設定されるため、追跡対象Ｅが柱を通過する前後における照合範囲に基づいて追跡対象を追跡しやすくなる。

このように、一連の画像フレームにおいて、障害物等があるような場合には、障害物等に対応付けて除外範囲を設定すればよい。障害物等に対応付けて除外範囲を設定すれば、障害物等を無視して照合範囲が設定されるため、連続する画像フレーム間で照合範囲に基づいて追跡対象を追跡しやすくなる。その結果、追跡対象の動線をつなげやすくなるため、一連の画像フレームにおいて、同じ追跡対象に異なる識別番号が付与されにくくなる。空間閾値を大きくしすぎると、連続する画像フレーム間において、異なる追跡対象同士の照合範囲が重なり合い、識別番号が入れ替わりやすくなる。そのため、一連の画像フレームにおいて同じ追跡対象に異なる識別番号が付与されることを低減するためには、本実施形態のように、ユーザによる除外範囲の設定に応じて、最適な照合範囲を設定できることが効果的である。

図１３は、複数の障害物がある空間を撮影した映像データに含まれる画像フレームにおいて、複数の障害物に対応付けられた除外範囲１６０を予め設定しておく例について説明するための概念図である。図１３の例では、画像表示領域１５０に表示される追跡画像に含まれる障害物の全てに除外範囲１６０が設定されている。追跡対象Ｆに対応付けられた照合範囲は、障害物を挟んで分割される。除外範囲１６０は、障害物の位置に対応付けられて予め設定されていればよい。除外範囲１６０は、ユーザによって設定されてもよいし、追跡部１３によって自動的に設定するように構成してもよい。例えば、追跡部１３は、除外範囲に設定される対象物（障害物等）の特徴量を画像フレームから抽出し、抽出された特徴量に基づいて除外範囲１６０を自動的に設定するように構成してもよい。例えば、追跡部１３は、複数の画像フレームから抽出された障害物の特徴量を、ディープラーニングなどの手法を用いて学習し、任意の画像フレームから障害物の位置を推定するモデルを生成する。例えば、追跡部１３は、検証対象フレームをモデルに入力することで出力される障害物の位置に対応付けて除外範囲を設定する。なお、追跡部１３が画像フレームから障害物を検出する手法は、ここで挙げた方法に限定されない。例えば、追跡部１３は、画像フレームにおける障害物の色や濃淡、輝度、追跡対象との位置関係等に基づいて、障害物を検出してもよい。

（動作）
次に、本実施形態の追跡装置１０の動作について図面を参照しながら説明する。ここでは、検証フレームごとに表示情報を生成する処理（表示情報生成処理）と、ユーザの操作に応じて照合範囲を設定する処理（照合範囲設定処理）について説明する。

〔表示情報生成処理〕
図１４は、追跡装置１０による表示情報生成処理について説明するためのフローチャートである。図１４のフローチャートに沿った処理においては、追跡装置１０を動作の主体とする。

図１４において、まず、追跡装置１０は、検証フレームを取得する（ステップＳ１１１）。

次に、追跡装置１０は、取得した検証フレームにおいて追跡対象の有無を検証する（ステップＳ１１２）。検証フレームにおいて追跡対象を検出した場合（ステップＳ１１２でＹｅｓ）、追跡装置１０は、検出された追跡対象を識別する（ステップＳ１１３）。一方、検証フレームにおいて追跡対象を検出しなかった場合（ステップＳ１１２でＮｏ）、ステップＳ１１８に進む。

ステップＳ１１３の次に、追跡装置１０は、識別された追跡対象の追跡情報を生成する（ステップＳ１１４）。

次に、追跡装置１０は、追跡対象ごとの追跡情報に基づいて、追跡対象に対応付けて照合範囲を設定する照合範囲設定処理を実行する（ステップＳ１１５）。照合範囲設定処理の詳細については、図１５のフローチャートを用いて説明する。

次に、追跡装置１０は、画像フレームごとの表示情報を生成する（ステップＳ１１６）。

次に、追跡装置１０は、画像フレームごとの表示情報を端末装置１２０に出力する（ステップＳ１１７）。

ここで、次の検証フレームを取得した場合（ステップＳ１１８でＹｅｓ）、ステップＳ１１２に戻る。一方、次の検証フレームを取得していない場合（ステップＳ１１８でＮｏ）、図１４のフローチャートに沿った処理は終了である。図１４のフローチャートに沿った処理が終了すると、追跡装置１０は、次に検証フレームを取得するまで待機状態になる。

〔照合範囲設定処理〕
図１５は、追跡装置１０による照合範囲設定処理について説明するためのフローチャートである。照合範囲設定処理は、図１４のフローチャートのステップＳ１１５の照合範囲設定処理である。図１５のフローチャートに沿った処理においては、追跡装置１０を動作の主体とする。

図１５において、まず、追跡装置１０は、除外範囲の設定の有無を確認する（ステップＳ１５１）。除外範囲の設定がある場合（ステップＳ１５１においてＹｅｓ）、追跡装置１０は、追跡対象の照合範囲のうち除外範囲と重なるものがあるか検証する（ステップＳ１５２）。一方、除外範囲の設定がない場合（ステップＳ１５１においてＮｏ）、ステップＳ１５４に進む。

ステップＳ１５２において、追跡対象の照合範囲のうち除外範囲と重なるものがある場合（ステップＳ１５２でＹｅｓ）、追跡装置１０は、照合範囲のうち除外範囲と重なる部分を、除外範囲の対向側の位置に設定する（ステップＳ１５３）。一方、追跡対象の照合範囲のうち除外範囲と重なるものがない場合（ステップＳ１５２においてＮｏ）、ステップＳ１５４に進む。

そして、追跡装置１０は、追跡対象に対応付けて照合範囲を設定する（ステップＳ１５４）。ステップＳ１５４の後は、図１４のフローチャートのステップＳ１１６に進む。

以上のように、本実施形態の追跡システムは、追跡装置、少なくとも一つの監視カメラ、および端末装置を備える。監視カメラは、監視対象範囲を撮影して映像データを生成する。端末装置は、追跡装置によって生成される表示情報を表示させる画面を有する表示機器に接続される。

追跡装置は、映像取得部、映像記憶部、追跡部、表示情報生成部、表示情報出力部、および指定範囲取得部を有する。映像取得部は、映像データを取得する。映像記憶部は、映像取得部によって取得された映像データを記憶する。指定範囲取得部は、映像データを構成する複数の画像フレームごとに指定された指定範囲を取得する。追跡部は、映像データから検証対象の画像フレームを抽出し、抽出された画像フレームごとに追跡対象を検出し、検出された追跡対象に対して照合範囲を設定し、画像フレームごとに設定された指定範囲に基づいて照合範囲を調整する。表示情報生成部は、追跡対象に照合範囲が対応付けられた追跡画像を画像フレームごとに生成する。

本実施形態の一態様において、指定範囲取得部は、画像フレームを表示する画面上で指定された除外範囲を指定範囲として取得する。追跡部は、追跡対象に対して除外範囲の対向側の位置に、除外範囲と重なる照合範囲を移すように設定する。

本実施形態の一態様において、追跡部は、画像フレームから抽出される特徴量に基づいて画像フレームに除外範囲を指定し、追跡対象に対して除外範囲の対向側の位置に、除外範囲と重なる照合範囲を移すように設定する。

本実施形態の一態様において、端末装置は、少なくとも一つの追跡画像が表示される画像表示領域を表示機器の画面上に設定する。端末装置は、画像表示領域に表示された追跡画像において指定範囲の指定を受け付け、追跡画像において指定された指定範囲を追跡装置に出力する。端末装置は、指定範囲の設定に基づいて更新された追跡画像を追跡装置から取得し、更新された追跡画像を表示機器の画面に表示させる。例えば、端末装置は、少なくとも一つの追跡画像を画像表示領域に表示させ、追跡画像において除外範囲の指定を受け付け、追跡画像において指定された除外範囲を指定範囲として追跡装置に出力する。

本実施形態によれば、監視カメラによって撮影された映像において障害物等と重なる照合範囲を実空間のシーンに合わせて調整するので、実空間のシーンに合わせて精度よく追跡対象を追尾することが可能になる。例えば、本実施形態によれば、監視カメラによって撮影された映像において照合範囲が障害物等と重なっている場合、複雑な計算をせずに、映像における除外範囲を直感的に指定できる。

（第２の実施形態）
次に、第２の実施形態に係る追跡装置について図面を参照しながら説明する。本実施形態の追跡装置は、複数の監視カメラによって撮影された映像データを構成する画像フレームを対応付ける点において、第１の実施形態とは異なる。本実施形態においては、異なる監視カメラによって撮影された異なる画像フレームのうち、実空間において距離が近い範囲を含む少なくとも二つの画像フレームに関して、近接範囲に位置する追跡対象に対して共通の照合範囲を設定する。実空間において距離が近い範囲は、ユーザによって指定される指定範囲（近接範囲とも呼ぶ）である。

（構成）
図１６は、本実施形態の追跡システム２の構成の一例を示すブロック図である。追跡システム２は、追跡装置２０、複数の監視カメラ２１０－１～Ｎ、および端末装置２２０を備える（Ｎは、２以上の自然数）。複数の監視カメラ２１０－１～Ｎの各々を区別しない場合は、監視カメラ２１０と記載する。図１６には、端末装置２２０を一つしか図示していないが、端末装置２２０は複数あってもよい。

複数の監視カメラ２１０－１～Ｎの各々は、監視対象範囲を撮影可能な位置に配置される。複数の監視カメラ２１０－１～Ｎの各々は、第１の実施形態の監視カメラ１１０と同様の構成である。複数の監視カメラ２１０－１～Ｎのうち少なくとも二つは、実空間において近接範囲を含む監視対象範囲を撮影する。

複数の監視カメラ２１０－１～Ｎの各々は、設定された撮影間隔で監視対象範囲を撮影し、映像データを生成する。複数の監視カメラ２１０－１～Ｎの各々の撮影タイミングは、任意のタイミングに設定される。ただし、実空間において近接範囲を含む監視対象範囲を撮影する少なくとも二つの監視カメラ２１０によって撮影された画像フレームを検証する際には、同じタイミングで撮影された画像フレームを用いる。複数の監視カメラ２１０－１～Ｎの各々は、生成された映像データを追跡装置２０に出力する。映像データは、設定された撮影間隔で撮影された複数の画像データ（画像フレームとも呼ぶ）によって構成される。複数の監視カメラ２１０－１～Ｎの各々が追跡装置２０にデータを出力するタイミングには、特に限定を加えない。例えば、複数の監視カメラ２１０－１～Ｎの各々は、複数の画像フレームによって構成される映像データを追跡装置２０に出力する。例えば、複数の監視カメラ２１０－１～Ｎの各々は、複数の画像フレームの各々を撮影された時系列順で追跡装置２０に出力してもよい。

追跡装置２０は、映像取得部２１、映像記憶部２２、追跡部２３、表示情報生成部２４、表示情報出力部２５、および指定範囲取得部２６を有する。例えば、追跡装置２０は、サーバやクラウドに配置される。例えば、追跡装置２０は、端末装置２２０にインストールされるアプリケーションとして提供されてもよい。なお、映像取得部２１、映像記憶部２２、表示情報生成部２４、および表示情報出力部２５の機能は、第１の実施形態の追跡装置１０の対応する構成と同様であるので、詳細な説明は省略する。また、追跡部２３の主な機能は、第１の実施形態の追跡装置１０の追跡部１３と同様であるため、以下においては追跡部１３との相違点に焦点を当てて説明する。

追跡部２３は、少なくとも二つの監視カメラ２１０によって撮影された映像データに関して、時間閾値に基づいて抽出された検証フレームを映像記憶部２２から取得する。追跡部２３は、取得した検証フレームから追跡対象を検出する。追跡部２３は、検証フレームから検出された追跡対象に識別番号を付与する。追跡部２３は、検証フレームから検出された追跡対象に関して、追跡対象の識別番号、画像フレーム内における追跡対象の位置や大きさ、速度等が対応付けられた追跡情報を生成する。また、追跡部２３は、画像フレーム内における追跡対象の大きさに応じて、空間閾値に基づく照合範囲を追跡対象の位置に対応付けて設定する。

画像フレームに近接範囲が設定されている場合、追跡部２３は、近接範囲の内部に関して、異なる画像フレーム間において共有される照合範囲を実空間の座標系に基づいて計算する。例えば、追跡部２３は、画像フレームごとの相対座標系を実世界における世界座標系に対応付けるテーブルを用いて、近接範囲の内部の相対座標を実世界における世界座標系に変換する。例えば、追跡部２３は、異なる画像フレームの近接範囲の内部に関しては、実世界における世界座標系に基づいた位置に応じた照合範囲を計算する。例えば、追跡部２３は、その照合範囲を各々の画像フレームの相対座標系に変換して、異なる画像フレームにおいて共有される照合範囲を設定する。

追跡対象に対応付けられた照合範囲が近接範囲に含まれる場合、追跡部２３は、その照合範囲の全てを世界座標系に変換し、実世界における距離に基づいて照合範囲を設定する。追跡対象に対応付けられた照合範囲の一部が近接範囲と重なる場合、追跡部２３は、近接範囲と重なった照合範囲を世界座標系に変換し、実世界における距離に基づいて照合範囲を設定する。なお、追跡対象に対応付けられた照合範囲の一部が近接範囲と重なる場合、追跡部２３は、照合範囲の全てを世界座標系に変換し、実世界における距離に基づいて照合範囲を設定してもよい。

追跡部２３は、設定した照合範囲を追跡情報に追加する。追跡部２３は、映像データを構成する画像フレームごとの追跡情報を表示情報生成部２４に出力する。

指定範囲取得部２６は、ユーザによって指定された指定範囲（近接範囲）を端末装置２２０から取得する。指定範囲取得部２６は、取得した近接範囲を追跡部２３に出力する。

図１７は、端末装置２２０に接続される表示機器２３０の画面に表示される表示情報について説明するための概念図である。表示機器２３０の画面には、画像表示領域２５０が設定される。画像表示領域２５０は、第１表示領域２５１と第２表示領域２５２を含む。第１表示領域２５１には、複数の監視カメラ２１０－１～Ｎのうちいずれかが撮影した動画データを構成する画像フレームに基づく追跡画像が表示される。第２表示領域２５２には、第１表示領域２５１に表示された追跡画像の元となる画像フレームと実空間において共通部分を有する画像フレームの追跡画像が表示される。第１表示領域２５１および第２表示領域２５２には、画像フレームごとの追跡画像が表示される。なお、表示機器２３０の画面には、画像表示領域２５０以外の表示領域を設定してもよい。また、画像表示領域２５０の画面上における表示位置は、任意に変更できる。

図１８および図１９は、実空間における近接範囲を画像フレームに設定しない場合の表示情報の表示例である。図１８および図１９においては、実空間における近接範囲を有する二つの映像データの各々を構成する画像フレームに対応する追跡画像が、第１表示領域２５１および第２表示領域２５２の各々に表示される。これらの二つの映像データは、異なる監視カメラ２１０によって撮影されたものとする。図１８は、フレーム番号ｔにおける追跡画像が画像表示領域２５０に表示される例である。図１９は、フレーム番号ｔに後続するフレーム番号ｔ＋１０における追跡画像が画像表示領域２５０に表示される例である。第１表示領域２５１に表示された追跡画像の右側の一部と、第２表示領域２５２に表示された追跡画像の左側の一部が、実空間における近接範囲である。追跡対象Ｇは、図１８に示す第１表示領域２５１に表示された追跡画像中の追跡対象Ｇの位置から、図１９に示す第２表示領域２５２に表示された追跡画像中の追跡対象Ｇの位置に向けて移動するものとする。

図１８のように、フレーム番号ｔにおいては、第１表示領域２５１に表示された追跡画像に追跡対象Ｇが含まれる。追跡対象Ｇには、第１表示領域２５１に表示された追跡画像のみにおいて照合範囲が設定される。追跡対象Ｇには、識別番号２１が付与される。図１９のように、フレーム番号ｔ＋１０においては、第２表示領域２５２に表示された追跡画像に追跡対象Ｇが含まれる。追跡対象Ｇには、第２表示領域２５２に表示された追跡画像のみにおいて照合範囲が設定される。追跡対象Ｇには、識別番号２２が付与される。このように、異なる監視カメラ２１０によって撮影された実空間に近接部分があっても、画像フレーム間で近接範囲を設定しないと、異なる画像フレームにおいて同じ追跡対象に異なる識別番号が付与されてしまう。例えば、異なる監視カメラ２１０の間で識別番号が共有されない場合、同じ追跡対象に対して、監視カメラ２１０ごとに異なる識別番号が付与される。同じ追跡対象に異なる識別番号が付与されると、監視カメラ２１０間で追跡対象を追跡し続けることが難しくなる。例えば、顔認証等の認証技術を用いて、画像フレームごとに、いずれかのデータベースに格納された個人情報等に照合すれば、同じ追跡対象に異なる識別番号が付与されても、その追跡対象を追跡し続けることはできる。ただし、その場合、画像フレームごとにデータベースにアクセスする必要があるため、アクセス遅延によって追跡対象を追跡しきれない場合も生じうる。

図２０および図２１は、実空間における近接範囲を画像フレームに設定する場合の表示情報の表示例である。図２０および図２１においては、実空間における近接範囲を有する二つの映像データの各々を構成する画像フレームに対応する追跡画像が、第１表示領域２５１および第２表示領域２５２の各々に表示される。これらの二つの映像データは、異なる監視カメラ２１０によって撮影されたものとする。図２０は、フレーム番号ｔにおける追跡画像が画像表示領域２５０に表示される例である。図２１は、フレーム番号ｔに後続するフレーム番号ｔ＋１０における追跡画像が画像表示領域２５０に表示される例である。第１表示領域２５１に表示された追跡画像の右側の一部と、第２表示領域２５２に表示された追跡画像の左側の一部が、実空間における近接範囲である。追跡対象Ｇは、図２０に示す第１表示領域２５１に表示された追跡画像中の追跡対象Ｇの位置から、図２１に示す第２表示領域２５２に表示された追跡画像中の追跡対象Ｇの位置に向けて移動するものとする。

図２０には、画像表示領域２５０において、ポインター２６５を用いたユーザの操作に応じて、第１表示領域２５１と第２表示領域２５２の近接範囲２６０が選択される様子を図示する。近接範囲２６０の内部では、実空間の位置座標が計算に入れられて、追跡対象に対応付けられた照合範囲が設定される。

図２０のように、フレーム番号ｔにおいては、第１表示領域２５１に表示された追跡画像に追跡対象Ｇが含まれる。追跡対象Ｇには、近接範囲２６０の内部における実空間の位置座標が計算に入れられて、第１表示領域２５１と第２表示領域２５２に亘る照合範囲が追跡対象Ｇに対応付けて設定される。追跡対象Ｇには、識別番号２１が付与される。図２１のように、フレーム番号ｔ＋１０においては、第２表示領域２５２に表示された追跡画像に追跡対象Ｇが含まれる。追跡対象Ｇには、近接範囲２６０の内部における実空間の位置座標が計算に入れられて、第１表示領域２５１と第２表示領域２５２に亘る照合範囲が追跡対象Ｇに対応付けて設定される。追跡対象Ｇには、識別番号２１が付与される。このように、異なる監視カメラ２１０によって撮影された実空間に近接部分があり、画像フレーム間で近接範囲を設定すると、異なる画像フレームにおいて同じ追跡対象に同じ識別番号を付与できる。異なる監視カメラ２１０によって撮影された映像において、同じ追跡対象に同じ識別番号が付与されれば、監視カメラ２１０間で追跡対象を追跡し続けやすくなる。

（動作）
次に、本実施形態の追跡装置２０の動作について図面を参照しながら説明する。ここでは、検証フレームごとに表示情報を生成する処理（表示情報生成処理）と、ユーザの操作に応じて照合範囲をする処理（照合範囲設定処理）について説明する。

〔表示情報生成処理〕
図２２は、追跡装置２０による表示情報生成処理について説明するためのフローチャートである。図２２のフローチャートに沿った処理においては、追跡装置２０を動作の主体とする。

図２２において、まず、追跡装置２０は、異なる監視カメラ２１０によって同じタイミングで撮影された映像データを構成する少なくとも二つの検証フレームを取得する（ステップＳ２１１）。

次に、追跡装置２０は、取得した検証フレームにおいて追跡対象の有無を検証する（ステップＳ２１２）。検証フレームにおいて追跡対象を検出した場合（ステップＳ２１２でＹｅｓ）、追跡装置２０は、検出された追跡対象を識別する（ステップＳ２１３）。一方、検証フレームにおいて追跡対象を検出しなかった場合（ステップＳ２１２でＮｏ）、ステップＳ２１８に進む。

ステップＳ２１３の次に、追跡装置２０は、識別された追跡対象の追跡情報を生成する（ステップＳ２１４）。

次に、追跡装置２０は、追跡対象ごとの追跡情報に基づいて、追跡対象に対応付けて照合範囲を設定する照合範囲設定処理を実行する（ステップＳ２１５）。照合範囲設定処理の詳細については、図２３のフローチャートを用いて説明する。

次に、追跡装置２０は、画像フレームごとの表示情報を生成する（ステップＳ２１６）。

次に、追跡装置２０は、画像フレームごとの表示情報を端末装置２２０に出力する（ステップＳ２１７）。

ここで、次の検証フレームを取得した場合（ステップＳ２１８でＹｅｓ）、ステップＳ２１２に戻る。一方、次の検証フレームを取得していない場合（ステップＳ２１８でＮｏ）、図２２のフローチャートに沿った処理は終了である。図２２のフローチャートに沿った処理が終了すると、追跡装置２０は、次に検証フレームを取得するまで待機状態になる。

〔照合範囲設定処理〕
図２３は、追跡装置２０による照合範囲設定処理について説明するためのフローチャートである。照合範囲設定処理は、図２２のフローチャートのステップＳ２１５の照合範囲設定処理である。図２３のフローチャートに沿った処理においては、追跡装置２０を動作の主体とする。

図２３において、まず、追跡装置２０は、近接範囲の設定の有無を確認する（ステップＳ２５１）。近接範囲の設定がある場合（ステップＳ２５１においてＹｅｓ）、追跡装置２０は、追跡対象の照合範囲のうち近接範囲と重なるものがあるか検証する（ステップＳ２５２）。一方、近接範囲の設定がない場合（ステップＳ２５１においてＮｏ）、ステップＳ２５５に進む。

追跡対象の照合範囲のうち近接範囲と重なるものがある場合（ステップＳ２５２でＹｅｓ）、追跡装置２０は、近接範囲の内部に関して、異なる画像フレーム間において共有される照合範囲を実空間の座標系に基づいて計算する（ステップＳ２５３）。一方、追跡対象の照合範囲のうち近接範囲と重なるものがない場合（ステップＳ２５２においてＮｏ）、ステップＳ２５５に進む。

ステップＳ２５３の次に、追跡装置２０は、異なる画像フレーム間において共有される照合範囲を設定する（ステップＳ２５４）。

そして、追跡装置２０は、追跡対象に対応付けて照合範囲を設定する（ステップＳ２５５）。ステップＳ２５５の後は、図２２のフローチャートのステップＳ２１６に進む。

以上のように、本実施形態の追跡システムは、追跡装置、複数の監視カメラ、および端末装置を備える。複数の監視カメラは、監視対象範囲を撮影して映像データを生成する。端末装置は、追跡装置によって生成される表示情報を表示させる画面を有する表示機器に接続される。

追跡装置は、映像取得部、映像記憶部、追跡部、表示情報生成部、表示情報出力部、および指定範囲取得部を有する。映像取得部は、映像データを取得する。映像記憶部は、映像取得部によって取得された映像データを記憶する。指定範囲取得部は、映像データを構成する複数の画像フレームごとに指定された指定範囲を取得する。追跡部は、映像データから検証対象の画像フレームを抽出し、抽出された画像フレームごとに追跡対象を検出し、検出された追跡対象に対して照合範囲を設定し、画像フレームごとに設定された指定範囲に基づいて照合範囲を調整する。表示情報生成部は、追跡対象に照合範囲が対応付けられた追跡画像を画像フレームごとに生成する。

本実施形態の一態様において、指定範囲取得部は、少なくとも二つの画像フレームにおいて指定された実空間における近接範囲を指定範囲として取得する。追跡部は、近接範囲の内部における実空間の位置座標を計算に入れて少なくとも二つの画像フレームに照合範囲を設定し、少なくとも二つの画像フレームに設定された照合範囲を追跡対象に対応付ける。

本実施形態の一態様において、端末装置は、少なくとも一つの追跡画像が表示される画像表示領域を表示機器の画面上に設定する。端末装置は、画像表示領域に表示された追跡画像において指定範囲の指定を受け付け、追跡画像において指定された指定範囲を追跡装置に出力する。端末装置は、指定範囲の設定に基づいて更新された追跡画像を追跡装置から取得し、更新された追跡画像を表示機器の画面に表示させる。例えば、端末装置は、少なくとも二つの追跡画像を画像表示領域に表示させ、少なくとも二つの追跡画像に亘る近接範囲の指定を受け付け、少なくとも二つの追跡画像において指定された近接範囲を指定範囲として追跡装置に出力する。

本実施形態によれば、異なる監視カメラによって撮影された少なくとも二つの画像フレームに指定された近接範囲と重なる照合範囲を実空間のシーンに合わせて調整するので、実空間のシーンに合わせて精度よく追跡対象を追尾することが可能になる。例えば、本実施形態によれば、異なる監視カメラによって撮影された映像間で視野が重なっている場合、複雑な計算をせずに、異なる映像間の共通部分を直感的に指定できる。

（第３の実施形態）
次に、第３の実施形態に係る追跡装置について図面を参照しながら説明する。本実施形態の追跡装置は、第１～第２の実施形態の追跡装置を簡略化した構成である。

図２４は、本実施形態の追跡装置３０の構成の一例を示すブロック図である。追跡装置３０は、追跡部３３、表示情報生成部３４、および指定範囲取得部３６を有する。

指定範囲取得部３６は、映像データを構成する複数の画像フレームごとに指定された指定範囲を取得する。追跡部３３は、映像データから検証対象の画像フレームを抽出し、抽出された画像フレームごとに追跡対象を検出し、検出された追跡対象に対して照合範囲を設定し、画像フレームごとに設定された指定範囲に基づいて照合範囲を調整する。表示情報生成部３４は、追跡対象に照合範囲が対応付けられた追跡画像を画像フレームごとに生成する。

以上のように、本実施形態の追跡装置は、追跡部、表示情報生成部、および指定範囲取得部を備える。指定範囲取得部は、映像データを構成する複数の画像フレームごとに指定された指定範囲を取得する。追跡部は、映像データから検証対象の画像フレームを抽出し、抽出された画像フレームごとに追跡対象を検出し、検出された追跡対象に対して照合範囲を設定し、画像フレームごとに設定された指定範囲に基づいて照合範囲を調整する。表示情報生成部は、追跡対象に照合範囲が対応付けられた追跡画像を画像フレームごとに生成する。

本実施形態によれば、実空間のシーンに合わせて追跡対象ごとの照合範囲を調整するので、実空間のシーンに合わせて精度よく追跡対象を追尾することが可能になる。

（ハードウェア）
ここで、本発明の各実施形態の追跡装置や端末装置を実現するハードウェア構成について、図２３のコンピュータ９０を一例として挙げて説明する。なお、図２３のコンピュータ９０は、各実施形態の追跡装置や端末装置を実現するための構成例であって、本発明の範囲を限定するものではない。

図２３のように、コンピュータ９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６を備える。図２３においては、インターフェースをＩ／Ｆ（Interface）と略して表記する。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６は、バス９８を介して互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。

プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを主記憶装置９２に展開し、展開されたプログラムを実行する。本実施形態においては、コンピュータ９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、本実施形態の追跡装置や端末装置による処理を実行する。

主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとすればよい。また、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリを主記憶装置９２として構成・追加してもよい。

補助記憶装置９３は、種々のデータを記憶する。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。

入出力インターフェース９５は、コンピュータ９０と周辺機器とを接続するためのインターフェースである。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース９５および通信インターフェース９６は、外部機器と接続するインターフェースとして共通化してもよい。

コンピュータ９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ９１と入力機器との間のデータ通信は、入出力インターフェース９５に仲介させればよい。

また、コンピュータ９０には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、コンピュータ９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられていることが好ましい。表示機器は、入出力インターフェース９５を介してコンピュータ９０に接続すればよい。

以上が、各実施形態の追跡装置や端末装置を可能とするためのハードウェア構成の一例である。なお、図２３のハードウェア構成は、各実施形態の追跡装置や端末装置を実現するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態の追跡装置や端末装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録した記録媒体も本発明の範囲に含まれる。記録媒体は、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体で実現できる。また、記録媒体は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現してもよい。プロセッサが実行するプログラムが記録媒体に記録されている場合、その記録媒体が記録媒体に相当する。

各実施形態の追跡装置や端末装置の構成要素は、任意に組み合わせることができる。また、各実施形態の追跡装置や端末装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ 追跡システム
１０、２０ 追跡装置
１１ 映像取得部
１２ 映像記憶部
１３、２３ 追跡部
１４、２４ 表示情報生成部
１５ 表示情報出力部
１６、２６ 指定範囲取得部
１１０ 監視カメラ
１２０ 端末装置
１２１ 表示情報取得部
１２２ 表示情報記憶部
１２３ 表示部
１２４ 入力部
１２７ 入力機器
１３０ 表示機器

Claims (10)

1. 映像データを構成する複数の画像フレームごとに指定された指定範囲を取得する指定範囲取得手段と、
   前記映像データから検証対象の前記画像フレームを抽出し、抽出された前記画像フレームごとに追跡対象を検出し、検出された前記追跡対象に対して照合範囲を設定し、前記画像フレームごとに設定された前記指定範囲に基づいて前記照合範囲を調整する追跡手段と、
   前記追跡対象に前記照合範囲が対応付けられた追跡画像を前記画像フレームごとに生成する表示情報生成手段と、を備え、
   前記指定範囲取得手段は、
   前記画像フレームを表示する画面上で指定された除外範囲を前記指定範囲として取得し、
   前記追跡手段は、
   前記追跡対象に対して前記除外範囲の対向側の位置に、前記除外範囲と重なる前記照合範囲を移すように設定する追跡装置。
2. 映像データを構成する複数の画像フレームごとに指定された指定範囲を取得する指定範囲取得手段と、
   前記映像データから検証対象の前記画像フレームを抽出し、抽出された前記画像フレームごとに追跡対象を検出し、検出された前記追跡対象に対して照合範囲を設定し、前記画像フレームごとに設定された前記指定範囲に基づいて前記照合範囲を調整する追跡手段と、
   前記追跡対象に前記照合範囲が対応付けられた追跡画像を前記画像フレームごとに生成する表示情報生成手段と、を備え、
   前記追跡手段は、
   前記画像フレームから抽出される特徴量に基づいて前記画像フレームに除外範囲を指定し、前記追跡対象に対して前記除外範囲の対向側の位置に、前記除外範囲と重なる前記照合範囲を移すように設定する追跡装置。
3. 映像データを構成する複数の画像フレームごとに指定された指定範囲を取得する指定範囲取得手段と、
   前記映像データから検証対象の前記画像フレームを抽出し、抽出された前記画像フレームごとに追跡対象を検出し、検出された前記追跡対象に対して照合範囲を設定し、前記画像フレームごとに設定された前記指定範囲に基づいて前記照合範囲を調整する追跡手段と、
   前記追跡対象に前記照合範囲が対応付けられた追跡画像を前記画像フレームごとに生成する表示情報生成手段と、を備え、
   前記指定範囲取得手段は、
   少なくとも二つの前記画像フレームにおいて指定された実空間における近接範囲を前記指定範囲として取得し、
   前記追跡手段は、
   前記近接範囲の内部における実空間の位置座標を計算に入れて少なくとも二つの前記画像フレームに前記照合範囲を設定し、少なくとも二つの前記画像フレームに設定された前記照合範囲を前記追跡対象に対応付ける追跡装置。
4. 請求項１乃至３のいずれか一項に記載の追跡装置と、
   監視対象範囲を撮影して前記映像データを生成する少なくとも一つの監視カメラと、
   前記追跡装置によって生成される前記追跡画像を表示させる画面を有する表示機器に接続される端末装置と、を備える追跡システム。
5. 前記端末装置は、
   少なくとも一つの前記追跡画像が表示される画像表示領域を前記表示機器の画面上に設定し、
   前記画像表示領域に表示された前記追跡画像において前記指定範囲の指定を受け付け、
   前記追跡画像において指定された前記指定範囲を前記追跡装置に出力し、
   前記指定範囲の設定に基づいて更新された前記追跡画像を前記追跡装置から取得し、
   更新された前記追跡画像を前記表示機器の画面に表示させる請求項４に記載の追跡システム。
6. 前記端末装置は、
   少なくとも一つの前記追跡画像を前記画像表示領域に表示させ、
   前記追跡画像において除外範囲の指定を受け付け、
   前記追跡画像において指定された前記除外範囲を前記指定範囲として前記追跡装置に出力する請求項５に記載の追跡システム。
7. 前記端末装置は、
   少なくとも二つの前記追跡画像を前記画像表示領域に表示させ、
   少なくとも二つの前記追跡画像に亘る近接範囲の指定を受け付け、
   少なくとも二つの前記追跡画像において指定された前記近接範囲を前記指定範囲として前記追跡装置に出力する請求項５に記載の追跡システム。
8. 映像データを構成する複数の画像フレームごとに指定された指定範囲を取得する指定範囲取得手段と、前記映像データから検証対象の前記画像フレームを抽出し、抽出された前記画像フレームごとに追跡対象を検出し、検出された前記追跡対象に対して照合範囲を設定し、前記画像フレームごとに設定された前記指定範囲に基づいて前記照合範囲を調整する追跡手段と、前記追跡対象に前記照合範囲が対応付けられた追跡画像を前記画像フレームごとに生成する表示情報生成手段と、を備える追跡装置と、
   監視対象範囲を撮影して前記映像データを生成する少なくとも一つの監視カメラと、
   前記追跡装置によって生成される前記追跡画像を表示させる画面を有する表示機器に接続される端末装置と、を備え、
   前記端末装置は、
   少なくとも二つの前記追跡画像を画像表示領域に表示させ、
   少なくとも二つの前記追跡画像に亘る近接範囲の指定を受け付け、
   少なくとも二つの前記追跡画像において指定された前記近接範囲を前記指定範囲として前記追跡装置に出力する追跡システム。
9. コンピュータが、
   映像データが表示された画面上で指定された除外範囲を取得し、
   前記映像データから検証対象の画像フレームを抽出し、
   抽出された前記画像フレームごとに追跡対象を検出し、
   検出された前記追跡対象に対して照合範囲を設定し、
   前記画像フレームごとに設定された前記除外範囲に基づいて前記照合範囲を調整し、
   前記追跡対象に対して前記除外範囲の対向側の位置に、前記除外範囲と重なる前記照合範囲を移し、
   前記追跡対象に前記照合範囲が対応付けられた追跡画像を前記画像フレームごとに生成する追跡方法。
10. 映像データが表示された画面上で指定された除外範囲を取得する処理と、
    前記映像データから検証対象の画像フレームを抽出する処理と、
    抽出された前記画像フレームごとに追跡対象を検出する処理と、
    検出された前記追跡対象に対して照合範囲を設定する処理と、
    前記画像フレームごとに設定された前記除外範囲に基づいて前記照合範囲を調整する処理と、
    前記追跡対象に対して前記除外範囲の対向側の位置に、前記除外範囲と重なる前記照合範囲を移す処理と、
    前記追跡対象に前記照合範囲が対応付けられた追跡画像を前記画像フレームごとに生成する処理と、をコンピュータに実行させるプログラム。

Images