JP6555906B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、複数の撮像装置を用いて被写体を追尾するために用いて好適なものである。

従来から、ショッピングモールや空港などの広域に設置された複数のカメラで撮像された映像を、ネットワークを介して受信し、映像解析することにより、不審人物などを追尾する技術が開示されている。この種の技術として、特許文献１に記載の技術がある。特許文献１には、各カメラで撮像された映像から人物の領域を検出し、当該人物の領域から服装の色や形といった特徴量を取得し、当該特徴量を比較することにより、各カメラで撮像された映像における人物が同一人物か否かを同定することが開示されている。

特開２００９−２６５９２２号公報 米国特許出願公開第２００７／０２３７３８７号明細書

Stauffer C, Grimson W. E. L. Adaptive background mixture models for real‐time tracking. In Proceedings. 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （Cat. No PR00149）. IEEE Comput. Soc. Part Vol. 2, 1999 R. Layne, T. M. Hospedales, and S. Gong. "Towards Person Identification and Re‐identification with Attributes." In Proc. ECCV, 2012 Kuwan‐Wen, C., Chin‐Chuan, L., Yi-Ping, H., Chu-Song, C. An Adaptive Learning Method for Target Tracking across Multiple Cameras (CVPR.2008)

広域にわたって被写体を追尾できるようにカメラを設置台数を増やすと、ネットワークに流れるデータ量も増大する。カメラの数が多くなると、ネットワーク帯域の制限から、全てのカメラから高いフレームレートの映像を取得することが難しい場合がある。従って、このような場合、例えば、一部或いは全てのカメラにおいて、低いフレームレートで撮像することが考えられる。しかしながら、低いフレームレートで撮像すると、単位時間内に被写体を撮像できる回数が減る。このため、特徴量を抽出するのに最適な被写体の映像を取得できる可能性が減ることになる。更に、走っている人物や動いている物体については、撮像すること自体が難しくなる場合がある。

また、ネットワーク帯域の制限から、カメラから送信されるデータのビットレート（伝送速度）を低くすることも考えられる。しかしながら、カメラから送信されるデータのビットレートが低い場合には、画質が低下する虞がある。従って、このような場合には、仮に被写体が撮像されていたとしても、当該被写体を適切に検出することができない虞がある。

以上のように特許文献１に記載のような手法では、被写体の同定ができなくなることにより、被写体の追尾ができなくなる虞がある。
即ち、従来の技術では、ネットワークを介して接続された複数の撮像装置で撮像された被写体の同定の精度を保ちつつ、ネットワークの負荷を低減することは容易ではなかった。
本発明は、以上の問題点に鑑みてなされたものであり、ネットワークを介して接続されたそれぞれの撮像装置で撮像された被写体の同定の精度が低下することと、ネットワークの負荷が増大することとの双方を抑制することを目的とする。

本発明の情報処理装置は、第１の撮像装置により撮像された映像に含まれる被写体に対応する被写体が含まれるか否かが判定されるべき映像を撮像する第２の撮像装置を特定する特定手段と、前記第１の撮像装置により撮像された映像に含まれる被写体が、前記第２の撮像装置により撮像される映像に出現する時間を推定する推定手段と、前記特定手段により特定された前記第２の撮像装置の撮像フレームレートおよび画質のうち、少なくとも何れか一方を上げるための指示を前記第２の撮像装置に出力する第１の出力手段と、を有し、前記指示は、前記推定手段により推定された時間に基づくタイミングにおいて、前記特定手段により特定された前記第２の撮像装置の撮像フレームレートおよび画質のうち、少なくとも何れか一方を上げる指示であることを特徴とする。

本発明によれば、ネットワークを介して接続されたそれぞれの撮像装置で撮像された被写体の同定の精度が低下することと、ネットワークの負荷が増大することとの双方を抑制することができる。

ネットワークカメラシステムの構成を示す図である。 被写体同定装置のハードウェア構成を示す図である。 撮像装置の機能構成を示す図である。 被写体同定装置の機能構成の一例を示す図である。 監視対象領域中の人物の位置と、その人物を撮像した映像を示す図である。 被写体同定装置の第１の処理を説明するフローチャートである。 入出点を示す図である。 被写体同定装置の第２の処理を説明するフローチャートである。

以下、図面を参照しながら実施形態を説明する。
図１は、ネットワークカメラシステムの構成の一例を示す図である。
撮像装置（カメラ）１０１〜１０３は、撮像範囲の映像として動画像を撮像する。撮像装置１０１〜１０３は、ネットワーク１０４を介して、撮像した映像を被写体同定装置１０５などの外部の情報処理装置に送信する。被写体同定装置１０５は、各撮像装置１０１〜１０３で撮像された映像を、ネットワーク１０４を介して受信し、当該受信した映像を基に、撮像装置１０１〜１０３で撮像された映像に出現した被写体を同定する装置である。

図２は、被写体同定装置１０５のハードウェア構成の一例を示すブロック図である。
ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されたプログラムに従って命令を実行する。

ＲＯＭ２０２は、不揮発性メモリであり、後述するフローチャートによる処理を実行するプログラムや、その他の制御に必要なプログラムや、データを格納する。
ＲＡＭ２０３は、揮発性メモリであり、フレーム画像データや、被写体の同定の結果などの一時的なデータを記憶する。

２次記憶装置２０４は、ハードディスクドライブやフラッシュメモリーなど、データの書き換えが可能な２次記憶装置であり、画像情報や、画像処理プログラムや、各種設定内容などを記憶する。これらの情報は、ＲＡＭ２０３に転送されて、ＣＰＵ２０１がプログラムを実行する際に利用されたり、データとして利用されたりする。
入力装置２０５は、キーボードやマウスなどであり、ユーザからの入力を可能とする。

表示装置２０６は、ブラウン管ＣＲＴや液晶ディスプレイなどであり、ユーザに対して処理結果などを表示する。
ネットワークＩ／Ｆ２０７は、モデムやＬＡＮなどであり、インターネットやイントラネットなどのネットワークと接続を行う。
バス２０８は、前述した被写体同定装置１０５の各要素を相互に通信可能に接続する。被写体同定装置１０５の各要素は、バス２０８を介して相互にデータの入出力を行う。
以上の構成を有する被写体同定装置１０５には、オペレーティングシステムの上で動作するアプリケーションが実装されている。

図３は、撮像装置１０１の機能構成の一例を示す図である。尚、撮像装置１０１〜１０３は同じもので実現できるので、ここでは、撮像装置１０１の機能構成を説明し、その他の撮像装置１０２、１０３の機能構成の詳細な説明を省略する。
撮像部３０１は、撮像レンズと、撮像センサとを有し、映像を撮像する。撮像センサとしては、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳセンサなどが挙げられる。

映像送信部３０２は、撮像部３０１で撮像された映像を、ネットワーク１０４を介して被写体同定装置１０５へ送信する。映像送信部３０２により送信される映像のフレームレートを高くするほど、ネットワーク１０４の帯域を消費することになる。
制御パラメータ受信部３０３は、被写体同定装置１０５から送信された制御パラメータを、ネットワーク１０４を介して受信する。ここで、制御パラメータには、例えば、パラメータ変更のコマンドと、撮像部３０１で映像を撮像する際のフレームレートとが含まれる。ただし、制御パラメータに含めるパラメータは、撮像部３０１で映像を撮像する際のフレームレートに限定されない。撮像部３０１で映像を撮像する際のフレームレートに加えてまたは代えて、以下のパラメータの少なくとも１つを制御パラメータに含めても良い。即ち、撮像部３０１で映像を撮像する際のシャッタースピード・露出時間、映像送信部３０２で映像を送信する際のフレームレート・ビットレート、映像の圧縮方式の少なくとも何れか１つを制御パラメータに含めても良い。映像送信部３０２で映像を送信する際のフレームレートは、撮像部３０１で映像を撮像する際のフレームレートと同じであっても良いし、撮像部３０１で映像を撮像する際のフレームレートより低くても良い。後者の場合、例えば、撮像されたフレーム画像を間引いて送信することになる。

パラメータ制御部３０４は、制御パラメータ受信部３０３で受信した制御パラメータに基づいて、撮像部３０１および映像送信部３０２の少なくとも何れか一方を制御する。これにより、例えば、撮像部３０１のフレームレートを１ｆｐｓ（１秒あたりのフレーム数）から３０ｆｐｓに変更することができる。

図４は、被写体同定装置１０５の機能構成の一例を示す図である。
映像受信部４０１は、ネットワーク１０４を介して撮像装置１０１〜１０３で撮像された映像を受信する。映像受信部４０１は、例えば、ネットワークＩ／Ｆ２０７を用いることにより実現される。
被写体検出部４０２は、映像受信部４０１で受信した映像から、被写体の領域を検出する。本実施形態では、検出対象の被写体が人物である場合を例に挙げて説明する。被写体検出部４０２は、例えば、ＣＰＵ２０１およびＲＯＭ２０２を用いることにより実行される。

被写体追尾部４０３は、被写体検出部４０２で検出された、現在のフレーム画像における被写体の領域を、被写体検出部４０２で以前に検出された被写体の領域と相互に関連付けることにより、被写体検出部４０２で検出された被写体を映像中で追尾する。これにより、被写体が画面内でどのように移動しているかを求めることができる。被写体追尾部４０３は、例えば、ＣＰＵ２０１およびＲＯＭ２０２を用いることにより実行される。

被写体特徴抽出部４０４は、被写体検出部４０２で検出された被写体の領域から、被写体の特徴量を抽出する。被写体の特徴量として、例えば、服の色、髪の色、顔の器官の形状、身長、サングラスの有無、髭の有無、鞄の所持の有無などの情報を採用することができる。被写体特徴抽出部４０４は、例えば、ＣＰＵ２０１およびＲＯＭ２０２を用いることにより実行される。

被写体特徴記憶部４０５は、被写体特徴抽出部４０４で抽出された被写体の特徴量を、当該被写体を撮像した撮像装置に固有のカメラＩＤおよび現在時刻と相互に関連付けて記憶する。被写体特徴記憶部４０５は、例えば、ＲＡＭ２０３または２次記憶装置２０４を用いることにより実現される。

被写体同定部４０６は、被写体特徴記憶部４０５から、所定の時間中に記憶された被写体の特徴量を読み出して、撮像装置１０１〜１０３で撮像された映像中の被写体を照合し、異なる撮像装置で撮像された同一の被写体を同定する。被写体同定部４０６は、例えば、ＣＰＵ２０１およびＲＯＭ２０２を用いることにより実行される。
出力部４０７は、被写体同定部４０６で同定された被写体に関する情報などを表示し、ユーザに提示する。出力部４０７は、例えば、表示装置２０６を用いることにより実現される。

近接カメラ出現時間推定部４０８は、被写体追尾部４０３で追尾される被写体が、当該被写体を撮像している撮像装置の撮像範囲から、どの撮像装置の撮像範囲へ向かうのかを予測する。この予測は、後述するカメラ配置情報記憶部４０９に記憶されているカメラ配置情報と、撮像装置で撮像されている映像に基づいて行われる。そして、近接カメラ出現時間推定部４０８は、予測した撮像範囲を撮像する撮像装置で撮像される映像に被写体が出現するのに要する時間を推定する。近接カメラ出現時間推定部４０８は、例えば、ＣＰＵ２０１およびＲＯＭ２０２を用いることにより実行される。なお、以下の説明では、被写体を撮像中の撮像装置の次に当該被写体を撮像すると予測される撮像装置を、必要に応じて「近接カメラ」と称する。

カメラ配置情報記憶部４０９は、撮像装置１０１〜１０３が監視対象領域内でどのように配置されているかを示すカメラ配置情報を記憶する。カメラ配置情報記憶部４０９は、例えば、ＲＡＭ２０３または２次記憶装置２０４を用いることにより実現される。
近接カメラパラメータ決定部４１０は、後述する出現時間確率記憶部４１１に記憶されている出現時間確率に基づいて、近接カメラのフレームレートを、制御パラメータに含めるパラメータの一例として決定する。

出現時間確率記憶部４１１は、出現時間確率を記憶する。出現時間確率は、Ｔ時間後に被写体が近接カメラの撮像範囲内に出現し、当該近接カメラで当該被写体が撮像される確率である。出現時間確率記憶部４１１は、例えば、ＲＡＭ２０３または２次記憶装置２０４を用いることにより実現される。
制御パラメータ送信部４１２は、近接カメラパラメータ決定部で決定されたフレームレートとパラメータ変更のコマンドとを含む制御パラメータを、ネットワーク１０４を介して近接カメラへ送信する。制御パラメータ送信部４１２は、例えば、ネットワークＩ／Ｆ２０７を用いることにより実現される。

次に、被写体同定装置１０５の処理の一例を説明する。
図５は、時刻ｔの時点における監視対象領域中の人物の位置と、その人物を撮像した映像と、その後の時刻t'の時点における監視対象領域中の人物の位置と、その人物を撮像した映像の一例を概念的に示す図である。図５では、監視対象領域中の人物の位置を上に示し、その人物を撮像した映像を下に示す。また、図５では、複数の撮像装置１０１〜１０３のうち、撮像装置１０１が、被写体を先に撮像する第１の撮像装置であり、撮像装置１０２が、その次に被写体を撮像する第２の撮像装置である場合を例に挙げて説明する。

図５に示す例では、監視対象領域５０１には、撮像装置１０１、１０２が設置されている。撮像装置１０１、１０２は、それぞれ撮像範囲５０２、５０３の映像を撮像する。人物５０４は、時刻ｔの時点では、撮像装置１０１の撮像範囲５０２内にいる。

映像５０５は、撮像装置１０１で撮像された時刻ｔの時点の映像である。映像５０５には、撮像装置１０１のカメラＩＤ５０６が表示される。また、映像５０５には、人物５０７が映し出される（即ち、実世界における人物５０４が映像として映し出される）。また、映像５０５には、矩形状の被写体領域５０８と被写体ＩＤ５０９とが表示される。被写体領域５０８と被写体ＩＤ５０９については後述する。

時刻t'の時点では、人物５０４は、撮像装置１０２の撮像範囲５０３内にいる。
映像５１０は、撮像装置１０２で撮像された時刻t'の時点の映像である。映像５０５と同様に、映像５１０には、撮像装置１０２のカメラＩＤ５１１が表示される。また、映像５１０には、人物５１２が映し出される（即ち、実世界における人物５０４が映像として映し出される）。また、映像５１０には、矩形状の被写体領域５１３と被写体ＩＤ５１４とが表示される。

図６のフローチャートを参照しながら、人物を検出・追尾して、近接カメラへ制御パラメータを送信する際の被写体同定装置１０５の処理の一例を説明する。図５に示す例では、この処理は、撮像装置１０１で人物５０４が撮像されてから、人物５０４が撮像範囲５０２から出るまでの間に行われる処理に相当する。

映像受信部４０１は、ネットワーク１０４を介して、撮像装置１０１〜１０３で撮像された映像をフレーム画像の単位で受信する(ステップＳ６０１)。尚、撮像装置１０１〜１０３は、撮像装置に固有のカメラＩＤを保有する。また、フレーム画像には、フレームを特定するためのフレームＩＤとして、当該フレームを取得した時刻の情報が付与される。撮像装置１０１〜１０３は、カメラＩＤおよびフレームＩＤをフレーム画像と相互に関連付け、カメラＩＤおよびフレームＩＤと共にフレーム画像を送信する。被写体同定装置１０５は、受信したフレーム画像に関連付けられたカメラＩＤおよびフレームＩＤによって、当該フレーム画像が、どの撮像装置でどのタイミングで撮像された映像であるのかを判別できる。

次に、被写体検出部４０２は、ステップＳ６０１で受信した映像内から、被写体を検出する（ステップＳ６０２）。
被写体を検出するための具体的な方法としては、例えば、背景差分による方法がある（非特許文献１を参照）。この方法は、背景のみが撮像された映像から、背景モデルを予め生成しておき、この背景モデルと、入力映像との差分をとり、その結果から被写体を検出する方法である。

この他、被写体を検出する手法として、例えば、特許文献２に記載の方法がある。この方法では、所定の大きさの検出ウィンドウを入力映像上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し人物であるか否かの判別を行う。アダブースト（ＡｄａＢｏｏｓｔ）を使って多くの弱判別器を有効に組み合わせて判別器を構成し、判別の精度を向上させる。また、この判別器を直列に繋ぎ、カスケード型の検出器を構成する。弱判別器は、ＨＯＧ（Histograms of Oriented Gradients）特徴量を入力として判別を行う。そして、カスケード型の検出器は、まず前段の単純な判別器を使って明らかに被写体でないパターンの候補をその場で除去する。それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って人物かどうかの判別を行う。

尚、本実施形態では、検出対象の被写体が人物である場合を例に挙げて説明しているが、人物以外の他の被写体についても適用可能である。例えば、被写体として車両を扱う場合には、特許文献２にある判別器を車両について作れば良い。

被写体検出部４０２は、以上の方法によって、ステップＳ６０１で受信した映像内から、被写体領域を検出することができる。
例えば、フレーム画像の左上を原点とする座標であって、人物を囲む矩形の左上と右下の２点のｘ座標、ｙ座標で被写体領域を表す。更に、被写体検出部４０２は、これに加えて、矩形状の被写体領域内の人物に対応する画素を「１」、それ以外の画素を「０」で表したマスク画像を作成して、被写体領域の情報に付与しても良い。マスク画像を利用することで、被写体領域を矩形で表現することによって含まれてしまう人物以外の画素と人物の画素とを区別することができる。

次に、被写体追尾部４０３は、被写体の追尾処理を行う（ステップＳ６０３）。被写体の追尾処理は、現在のフレーム画像で検出された被写体が、１つ前のフレーム画像で検出されたどの被写体と対応するのかを求める処理である。被写体の追尾処理には様々な手法がある。例えば、被写体の追尾処理の手法として、１つ前のフレーム画像に含まれる被写体領域の中心位置と、現在のフレーム画像に含まれる被写体領域の中心位置とが最短のものを対応付ける手法がある。この他にも、被写体の追尾処理の手法として、１つ前のフレーム画像の被写体領域を照合パターンとして、現在のフレーム画像とのパターンマッチングを行う手法などがある。被写体の追尾処理は、フレーム画像間の被写体を相互に関連付けることができればどのような手法であっても良い。

被写体追尾部４０３は、以上の被写体の追尾処理の結果として、１つ前のフレーム画像における人物と同じ人物であることを示す被写体ＩＤを、ステップＳ６０１で受信されたフレーム画像に付与する。即ち、被写体追尾部４０３は、当該１つ前のフレーム画像で検出された人物を特定する被写体ＩＤと同じＩＤを、ステップＳ６０１で受信されたフレーム画像に関連付ける。
被写体追尾部４０３は、カメラＩＤおよび被写体ＩＤと相互に関連付けられた被写体の領域の情報を、被写体特徴抽出部４０４に出力する。

次に、被写体特徴抽出部４０４は、被写体領域から、被写体の特徴量を抽出し（ステップＳ６０４）、被写体特徴記憶部４０５に記憶する(ステップＳ６０５)。
被写体の特徴量としては、被写体の領域内から抽出された色、輝度、エッジなどがあげられる。
また、鞄、サングラス、髭の有無などを示す人間にとって意味をなす特徴を被写体の特徴量として抽出しても良い。これらの特徴量は、例えば、「０」から「１」の範囲の値で示される。例えば、鞄の有無であれば、「０」は鞄が無いことを示し、「１」は鞄が有ることを示す。画像のみから有無をはっきりと断定できない場合もある。このため、「０．５」など中間の値も、被写体の特徴量としてとり得る。

特徴量として、形状特徴であるＬＢＰ（Local Binary Pattern）特徴量やＨＯＧ特徴量、或いは、ＧａｂｏｒフィルタやＳｃｈｍｉｄフィルタを用いて抽出したテクスチャ特徴を用いることができる。また、多数の正解付き画像を用いて、特徴量空間の中で正解に対応する特徴量とそうでない特徴量とを識別する識別器を生成して特徴量を決定することができる。識別器としてはサポートベクターマシーン（ＳＶＭ）などの手法が挙げられる（非特許文献２を参照）。

被写体特徴抽出部４０４は、以上のようにして抽出した被写体の特徴量に、カメラＩＤ、被写体ＩＤ、および被写体の領域の情報を関連付ける。尚、１つの被写体の特徴量として、複数の種類の特徴量を抽出する場合、被写体特徴抽出部４０４は、それぞれの特徴量に対し、当該特徴量の種類を識別する被写体属性ＩＤを関連付ける。これにより、例えば、後述する図８のステップＳ８０７において、それぞれの特徴量を総合的に考慮して同一の被写体であるか否かの判定を行うことができる。

次に、被写体追尾部４０３は、被写体が、当該被写体を撮像中の撮像装置の撮像範囲から出たか否かを判定する（ステップＳ６０６）。図５に示す例では、被写体追尾部４０３は、人物５０４が、撮像装置１０１の撮像範囲５０２から出たか否かを判定する。
ここで、フレーム画像内の入出点について説明する。図７は、映像内に設定された入出点の一例を概念的に示す図である。図７において、映像７０１は、建物内のＴ字状の廊下に設置された撮像装置で撮像される映像である。この撮像装置は、Ｔ字状の廊下の突き当りの左右に分岐している方向に向けられている。ここで、被写体がこの撮像装置の撮像範囲内に入る、または、撮像範囲から出る場所として想定される場所を入出点と称する。図７に示す例では、Ｔ字状の廊下の突き当りの左側の領域７０２、Ｔ字状の廊下の突き当りの右側の領域７０３、および廊下の手前の領域７０４が入出点となる。入出点は、撮像装置１０１〜１０３の設置時などに、予めユーザによって指定されることにより、被写体同定装置１０５に設定される。

ステップＳ６０３の被写体の追尾処理の結果から、１つ前のフレーム画像において、当該フレーム画像内の入出点に被写体が到達しており、且つ、現在のフレーム画像において、当該被写体が検出されなかったとする。被写体追尾部４０３は、このような場合に、被写体が、当該被写体を撮像中の撮像装置の撮像範囲から出たことを判定する。
この判定の結果、被写体が、当該被写体を撮像中の撮像装置の撮像範囲から出た場合には、ステップＳ６０７に進む。一方、被写体が、当該被写体を撮像中の撮像装置の撮像範囲から出ていない場合には、ステップＳ６０１に戻る。そして、被写体が、当該被写体を撮像中の撮像装置の撮像範囲から出たと判定されるまで、ステップＳ６０１〜Ｓ６０６の処理を繰り返し行う。

次に、近接カメラ出現時間推定部４０８は、被写体を撮像中の撮像装置の次に当該被写体を撮像すると予測される撮像装置（近接カメラ）を特定する（ステップＳ６０７）。すなわち、近接カメラ出現時間推定部４０８は、第１の撮像装置により撮像された映像に含まれる被写体に対応する被写体が含まれるか否かが判定されるべき映像を撮像する第２の撮像装置を特定する。
カメラ配置情報記憶部４０９には、カメラ配置情報が予め記憶される。前述したようにカメラ配置情報は、撮像装置１０１〜１０３が監視対象領域内でどのように配置されているかを示す情報である。具体的にカメラ配置情報は、例えば、カメラＩＤ、撮像装置のデフォルトのフレームレート、撮像装置における入出点を識別する入出点ＩＤ、各入出点ＩＤに対応する近接カメラＩＤ、および当該撮像装置から近接カメラまでの距離を含む。入出点ＩＤに対応する近接カメラＩＤとは、被写体が入出点から撮像範囲を出た後、次に通過する撮像範囲を撮像する撮像装置（即ち近接カメラ）のカメラＩＤである。

各撮像装置から近接カメラまでの距離は、例えば、当該撮像装置の撮像範囲の所定の位置（例えば、当該撮像装置に対する入出点の位置）と近接カメラの撮像範囲の所定の位置（例えば、当該近接カメラに対する入出点の位置）とを結ぶ経路の距離である。この経路の距離としては、例えば、予め実測した値を用いても良いし、直線距離などで近似した値を用いても良い。このように、各撮像装置から近接カメラまでの距離は、撮像装置１０１〜１０３の設置時などに予めユーザにより被写体同定装置１０５に設定される。
近接カメラ出現時間推定部４０８は、以上のようなカメラ配置情報を参照し、被写体が撮像範囲から出たときに通過した入出点を基に、近接カメラＩＤを特定する。

次に、近接カメラ出現時間推定部４０８は、被写体が近接カメラに出現するのに要する時間である出現時間を推定する（ステップＳ６０８）。本実施形態では、近接カメラ出現時間推定部４０８は、被写体が、撮像装置の撮像範囲を出てから、近接カメラの撮像範囲の所定の位置に到達するまでの時間から、被写体が近接カメラに出現するのに要する時間を出現時間として推定する。近接カメラの撮像範囲の所定の位置としては、例えば、近接カメラにおける入出力点のうち、被写体が、当該被写体を撮像していた撮像装置の撮像範囲を出た後、最初に通過する入出力点の位置が挙げられる。

まず、近接カメラ出現時間推定部４０８は、ステップＳ６０３で行われた被写体の追尾処理の結果から、被写体の移動速度を算出する。具体的に被写体の移動速度は、フレーム画像間の被写体の重心位置の画面内の（画素単位の）移動距離をフレーム画像間の時間で割ることにより得られる。尚、フレーム画像間の時間はフレームレートより得ることができる。被写体を追尾中に被写体の移動速度として複数の移動速度が得られることになる。そこで、近接カメラ出現時間推定部４０８は、例えば、これら複数の移動速度の算術平均値を、注目している被写体の移動速度として導出する。ここで導出される移動速度は画面上の移動速度である。従って、近接カメラ出現時間推定部４０８は、撮像装置が設置されている位置の地面からの高さ、水平面に対する撮像装置の（光軸の）角度、および撮像装置の焦点距離などに基づいて、画面上の移動速度を実世界での移動速度に換算する。ここで、本実施形態では、撮像装置の撮像範囲を出てから、近接カメラの撮像範囲の所定の位置に到達するまで、被写体は同じ移動速度で移動するものと仮定する。従って、近接カメラ出現時間推定部４０８は、カメラ配置情報に含まれる撮像装置から近接カメラまでの距離を、換算した移動速度で除算することにより、被写体が近接カメラに出現するのに要する時間を導出する。

次に、近接カメラパラメータ決定部４１０は、ステップＳ６０８で導出された出現時間に基づいて、近接カメラの撮像部３０１のフレームレート（撮像フレームレート）を決定する（ステップＳ６０９）。被写体が近接カメラの撮像範囲に到達する前に近接カメラのフレームレートを予め上げておくことにより、近接カメラで被写体を撮像できる可能性を高めることができる。

前述したように本実施形態では、制御パラメータに含めるパラメータがフレームレートであり、近接カメラの撮像部３０１のフレームレートを上げる場合を例に挙げている。しかしながら、被写体同定装置１０５で処理を行う画像の単位時間当たりの頻度（数）と、被写体同定装置１０５で処理を行う画像の画質との少なくとも何れか一方を上げるためのパラメータであれば、どのようなパラメータを採用しても良い。例えば、撮像部３０１で映像を撮像する際のフレームレート・シャッタースピード・露出時間、映像送信部３０２で映像を送信する際のフレームレート・ビットレート、映像の圧縮方式の少なくとも何れか１つを変更することができる。

出現時間確率記憶部４１１には、出現時間確率が予め記憶される。前述したように出現時間確率は、Ｔ時間後に被写体が近接カメラの撮像範囲内に出現し、当該近接カメラで当該被写体が撮像される確率Ｐ（Ｔ）である。出現時間確率は、例えば、次のようにして求めることができる（非特許文献３を参照）。まず、撮像装置１０１〜１０３の設置後の運用開始の前に、各撮像装置１０１〜１０３で一定時間の間に検出された被写体の色ヒストグラムを導出する。次に、導出した被写体の色ヒストグラムを比較して、被写体の類似度を導出し、導出した被写体の類似度を用いて、出現時間（Ｔ）ごとの被写体の出現頻度を導出し、導出した出現頻度から出現時間確率Ｐ（Ｔ）を導出する。出現時間確率Ｐ（Ｔ）は、被写体が連続して通過する２つの撮像範囲を撮像する２つの撮像装置の組み合わせ毎に導出される。出現時間確率Ｐ（Ｔ）には、これら２つの撮像装置のカメラＩＤが関連付けられる。

出現時間確率Ｐ（Ｔ）により、ステップＳ６０８で推定された出現時間（被写体が近接カメラに出現するのに要する時間）から、被写体を撮像中の撮像装置で検出された被写体と同じ被写体が近接カメラで撮像される確率を得ることができる。図５に示す例では、撮像装置１０１で検出された人物５０４と同じ被写体が撮像装置１０２で撮像される確率を得ることができる。出現時間確率Ｐ（Ｔ）が低いということは、近接カメラのフレームレートが高くても、被写体を撮像中の撮像装置で検出された被写体と同じ被写体を撮影できる可能性は低い。そこで、本実施形態では、出現時間確率Ｐ（Ｔ）に対して所定の閾値を設定しておく。

近接カメラパラメータ決定部４１０は、ステップＳ６０８で推定された出現時間に対応する出現時間確率Ｐ（Ｔ）であって、被写体を撮像中の撮像装置と当該撮像装置の次に被写体を撮像する撮像装置（近接カメラ）に対する出現時間確率Ｐ（Ｔ）を導出する。近接カメラパラメータ決定部４１０は、導出した出現時間確率Ｐ（Ｔ）が閾値以上である場合に、近接カメラのフレームレートを上げることを指示する。一方、導出した出現時間確率Ｐ（Ｔ）が閾値以上ない場合、近接カメラパラメータ決定部４１０は、近接カメラのフレームレートを上げない。これにより、一律にフレームレートを上げるよりも更にネットワーク１０４への負荷を低減することができる。

尚、フレームレートを常に最大値に変更しても良いし、出現時間確率Ｐ（Ｔ）の値が高いほど最大値に近いフレームレートに変更しても良い。例えば、フレームレートの最大値をｆｍａｘ、現在のフレームレートをｆｃとしたとき、（ｆｍａｘ−ｆｃ）×Ｐ（Ｔ）をフレームレートの変更値にすることができる。或いは、被写体の移動速度から近接カメラの撮像範囲内を被写体が通過する時間である通過時間を推定し、推定した通過時間内に所定の回数の撮像ができるようにフレームレートを決定しても良い。例えば、近接カメラの撮像範囲に対する入出点間の全ての組み合わせについて、２つの入出点間の距離を導出し、導出した距離の算術平均値を、被写体が近接カメラの撮像範囲を通過するための距離とする。この距離を被写体の移動速度で除算することにより通過時間を導出することができる。

また、図５では、１人の人物のみを追跡する場合を例に挙げて示す。しかしながら、同時に複数の人物を追跡する場合もある。このような場合には、ネットワーク全体でフレームレートの増加量の上限値を設定しておくようにしても良い。この上限値内で、各撮像装置１０１〜１０３でのフレームレートの増加量を、前述した通過時間が短い順に割り当てるようにしても良い。即ち、撮像範囲における被写体の通過時間が短い近接カメラであるほど、フレームレートを高くする。このようにすれば、撮像範囲における通過時間が短い被写体を追尾できなくなることをより確実に抑制することができる。

次に、制御パラメータ送信部４１２は、第１の出力処理を行う（ステップＳ６１０）。第１の出力処理では、ステップＳ６０９で決定されたフレームレートで撮像できるように制御パラメータを近接カメラへ送信する。尚、制御パラメータは、現在時刻から、ステップＳ６０８で推定された出現時間が経過するタイミングまたは当該タイミングに対し所定の時間だけ前もしくは後のタイミングに送信される。これにより、近接カメラは、被写体が撮像範囲に出現しているときに、ステップＳ６０９で決定されたフレームレートで被写体を撮像することができる。
尚、フレームレートを上げた場合には、撮像装置１０１〜１０３から被写体同定装置１０５に送信される映像（フレーム画像）の解像度を下げることにより、ネットワーク１０４の全体の負荷を一定に保つようにしても良い。

近接カメラでは、制御パラメータ受信部３０３にて制御パラメータを受信し、パラメータ制御部３０４にて撮像部３０１のフレームレートを変更する。尚、制御パラメータに、映像送信部３０２で映像を送信する際のフレームレートが含まれる場合には、近接カメラの映像送信部３０２のフレームレートを変更する。その他のパラメータについても、パラメータの内容に応じて、被写体同定装置１０５で単位時間に処理される画像の頻度（数）と、被写体同定装置１０５で処理される画像の画質との少なくとも何れか一方が上がるように、近接カメラの設定が変更される。

次に、図８のフローチャートを参照しながら、或る撮像装置で検出された人物と、出現時間が経過した後に近接カメラで検出された人物とを同定する際の被写体同定装置１０５の処理の一例を説明する。図５に示す例では、図８のフローチャートの処理により、撮像装置１０１で検出された人物５０４と撮像装置１０２で検出された人物５０４とを同定することになる。
ステップＳ８０１〜Ｓ８０５は、それぞれ図６のステップＳ６０１〜ステップＳ６０５と同じ処理であるので、詳細な説明を省略する。尚、ステップＳ８０１で受信される映像は、図６のフローチャートで決定されたフレームレートで撮像されたものになる。

ステップＳ８０５の処理が終了すると、被写体同定部４０６は、現在の処理対象の撮像装置における被写体の特徴量と、当該撮像装置の１つ前に処理対象であった撮像装置における被写体の特徴量を、被写体特徴記憶部４０５から読み出す。そして、被写体同定部４０６は、読み出した被写体の特徴量の被写体間距離を導出することにより、被写体の同定を行う（ステップＳ８０６）。被写体間距離としては、例えば、ユークリッド距離を用いることができる。この他、非特許文献２に記載されているように、マハラノビス距離を予め学習しておくなどの方法により被写体間距離を導出することができる。このように、ステップＳ８０６の被写体同定処理は、被写体同定装置１０５における現在の処理対象の撮像装置（図５では撮像装置１０２）と、当該撮像装置の１つ前の処理対象の撮像装置（図５では撮像装置１０１）の組み合わせについて行われる。１つ前の処理対象の撮像装置のカメラＩＤは、現在の処理対象の撮像装置の撮像範囲に被写体が入ってきた際に通過した入出点に対応する近似カメラＩＤから得ることができる。尚、前述したように、各入出点ＩＤに対応する近接カメラＩＤは、カメラ配置情報記憶部４０９に記憶されているカメラ配置情報に含まれる。

次に、被写体同定部４０６は、前述の２つの撮像装置間で、撮像対象の被写体が同一であるか否かを判定する（ステップＳ８０７）。
例えば、被写体同定部４０６は、ステップＳ８０６で導出された被写体間距離を所定の閾値と比較することによって、前述の２つの撮像装置間で、撮像対象の被写体が同一であるか否かを判定することができる。被写体同定部４０６は、ステップＳ８０６で導出された被写体間距離が閾値以内であれば、前述の２つの撮像装置間で、撮像対象の被写体が同一であると判定する。一方、ステップＳ８０６で導出された被写体間距離が閾値以内でなければ、被写体同定部４０６は、前述の２つの撮像装置間で、撮像対象の被写体が同一ではないと判定する。

この判定の結果、前述の２つの撮像装置間で、撮像対象の被写体が同一であれば、被写体同定部４０６は、次の処理を行う。即ち、被写体同定部４０６は、１つ前の処理対象の撮像装置で撮像された映像から得られた被写体の特徴量に付与された被写体ＩＤと同一のＩＤを、現在の処理対象の撮像装置で撮像された映像から得られた被写体の特徴量に付与する。これにより、現在の処理対象の撮像装置で撮像された映像から得られた被写体の特徴量と被写体ＩＤとが相互に関連付けられて被写体特徴記憶部４０５に記憶される（ステップＳ８０８）。

次に、出力部４０７は、被写体が同定された結果を表示する（ステップ８０９）。例えば、出力部４０７は、図５に示すように、撮像装置から送信された映像に被写体ＩＤ５１４を付加して表示する。或いは、出力部４０７は、被写体ＩＤごとに異なる色のついた矩形状の被写体領域５１３を表示しても良い。どの撮像装置で撮像された映像のどこの位置に同一の被写体が含まれているのかをユーザが認識できる方法であれば、被写体が同定された結果として、どのような表示を行っても良い。

或いは、出力部４０７は、特定の被写体がどの撮像装置の撮像範囲を通過してきたかを示す経路情報を、被写体ＩＤ、カメラＩＤ、通過時刻の情報を含めて表示しても良い。
また、出力部４０７は、以上のような表示に加えてまたは代えて、以上のような表示を行うための情報を記憶媒体や外部装置に出力（記憶）しても良い。このようにした場合には、ユーザが要求した時点で、以上のような表示を行うことができる。また、図５の上図に示したようなカメラ配置図などに、前述した経路情報を重畳して表示するようにしても良い。

次に、制御パラメータ送信部４１２は、第２の出力処理を行う（ステップＳ８１０）。第２の出力処理では、カメラ配置情報記憶部４０９に記憶されているカメラ配置情報を参照し、現在の処理対象の撮像装置のフレームレートが変更前の元のフレームレートになるように制御パラメータを送信する。これは、現在の処理対象の撮像装置で撮像されている被写体が１つ前の処理対象の撮像装置で撮像された被写体と同一の被写体であることが確認できたので、一時的に増加しているネットワーク１０４への負荷を速やかに戻すためである。尚、ユーザの視認性をより向上させるために、現在の処理対象の撮像装置の撮像範囲から、注目の被写体が出た時点で、当該撮像装置のフレームレートを変更前の元のフレームレートに戻すようにしても良い。また、フレームレートが下がるようにしていれば、必ずしも変更前の元のフレームレートに戻さなくても良い。

以上のように本実施形態では、撮像装置１０１で撮像対象の人物５０４が、当該撮像装置１０１の次に撮像を行う撮像装置１０２で撮像されるタイミングに応じて、撮像装置１０２（近接カメラ）のフレームレートを上げる。従って、各撮像装置１０１〜１０３のフレームレートを常に高い状態にする必要がなくなる。これにより、ネットワーク１０４を介して接続された複数の撮像装置１０１〜１０３で撮像された同一の人物５０４の同定の精度が低下することと、ネットワーク１０４の負荷が増大することとの双方を抑制することができる。

また、本実施形態では、撮像装置１０１で撮像対象の人物５０４の画面内の位置（入出点）に基づいて近接カメラを特定する。従って、複数の撮像装置１０１〜１０３の撮像範囲の被写体の通過順が一通りに決まっていない場合であっても、近接カメラのフレームレートを上げることができる。
尚、このように、複数の撮像装置１０１〜１０３の撮像範囲の被写体の通過順が一通りに決まっていない場合には、撮像装置１０１で撮像対象の人物５０４の画面内の位置（入出点）に基づいて近接カメラを特定するのが好ましい。しかしながら、複数の撮像装置１０１〜１０３の撮像範囲の被写体の通過順が一通りである場合には、このような近接カメラの特定を行わないようにしても良い。

また、本実施形態では、処理対象の撮像装置１０２で撮像された映像に含まれる人物と、１つ前の処理対象の撮像装置１０１で撮像された映像に含まれる人物とが同一であることが判定された後に、撮像装置１０２のフレームレートを下げる。従って、被写体の追跡に必要な期間において一時的に上げることができる。これにより、ネットワーク１０４の負荷が増大することをより一層抑制することができる。

また、本実施形態では、被写体が近接カメラに出現するのに要する時間（出現時間）を導出し、当該出現時間に近接カメラで被写体が撮像される確率である出現時間確率を導出する。そして、出現時間確率が閾値以上である場合に、近接カメラのフレームレートを上げる。従って、近接カメラで被写体が撮像される確率が高い場合に限り、近接カメラのフレームレートを上げることができる。これにより、ネットワーク１０４の負荷が増大することをより一層抑制することができる。

また、本実施形態では、被写体を撮像中の撮像装置の次に当該被写体を撮像すると予測される撮像装置を「近接カメラ」とする場合の例を中心に説明した。しかしながら、撮像装置の設置状況や被写体の移動経路によっては、被写体を撮像中の撮像装置の次の次に撮像すると予測される撮像装置を「近接カメラ」として、フレームレート等の制御をして、被写体の同定を行うケースも考えられる。すなわち、本実施形態の被写体同定装置１０５は、第１の撮像装置により撮像された映像に含まれる被写体と、第１の撮像装置よりも後に当該被写体を撮像する第２の撮像装置により撮像された映像に含まれる被写体とが同一であるか否かを判定することもできる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１０１〜１０３：撮像装置、１０４：ネットワーク、１０５：被写体同定装置

Claims (7)

1. 第１の撮像装置により撮像された映像に含まれる被写体に対応する被写体が含まれるか否かが判定されるべき映像を撮像する第２の撮像装置を特定する特定手段と、
   前記第１の撮像装置により撮像された映像に含まれる被写体が、前記第２の撮像装置により撮像される映像に出現する時間を推定する推定手段と、
   前記特定手段により特定された前記第２の撮像装置の撮像フレームレートおよび画質のうち、少なくとも何れか一方を上げるための指示を前記第２の撮像装置に出力する第１の出力手段と、
   を有し、
   前記指示は、前記推定手段により推定された時間に基づくタイミングにおいて、前記特定手段により特定された前記第２の撮像装置の撮像フレームレートおよび画質のうち、少なくとも何れか一方を上げる指示であることを特徴とする情報処理装置。
2. 前記特定手段は、前記第１の撮像装置により撮像された映像に含まれる被写体の位置に応じて、複数の撮像装置の中から、前記第２の撮像装置を特定することを特徴とする請求項１に記載の情報処理装置。
3. 前記推定手段は、前記第１の撮像装置および前記第２の撮像装置の位置と、前記第１の撮像装置で撮像された映像に含まれる被写体の当該映像における移動速度とに基づいて、前記時間を導出することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記推定手段により推定された時間で、前記第２の撮像装置により撮像される映像に、前記第１の撮像装置で撮像された映像に含まれる被写体が出現する確率を導出する導出手段をさらに有し、
   前記第１の出力手段は、前記導出手段により導出された確率が閾値以上である場合に、前記指示を出力することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
5. 前記第１の撮像装置により撮像された映像に含まれる被写体と、前記第２の撮像装置により撮像された映像に含まれる被写体とが同一であることが判定された後に、前記第１の出力手段により上げることが指示されたものを下げるための指示を前記第２の撮像装置に出力する第２の出力手段をさらに有することを特徴とする請求項１〜４の何れか１項に記載の情報処理装置。
6. 第１の撮像装置により撮像された映像に含まれる被写体に対応する被写体が含まれるか否かが判定されるべき映像を撮像する第２の撮像装置を特定する特定工程と、
   前記第１の撮像装置により撮像された映像に含まれる被写体が、前記第２の撮像装置により撮像される映像に出現する時間を推定する推定工程と、
   前記特定工程により特定された前記第２の撮像装置の撮像フレームレートおよび画質のうち、少なくとも何れか一方を上げるための指示を前記第２の撮像装置に出力する出力工程と、を有し、
   前記指示は、前記推定工程により推定された時間に基づくタイミングにおいて、前記特定工程により特定された前記第２の撮像装置の撮像フレームレートおよび画質のうち、少なくとも何れか一方を上げる指示であることを特徴とする情報処理方法。
7. 請求項１〜５の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images