JPWO2014045843A1 - 画像処理システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】確度の高いユーザ入力に応じて、映像に映る人物の対応付けを好適に行うことのできる画像処理システム、画像処理方法、及びプログラムを提供する。【解決手段】複数のビデオカメラ２００で撮像された映像の入力を受ける入力部１１０と、入力部１１０から入力された映像に映る人物を１以上登録可能な追跡人物登録部１３０と、入力部１１０により入力された映像を表示装置３００に表示する動画表示部１５１と、当該表示している映像に映る人物と追跡人物登録部１３０により登録済みの人物とが同一人物であること、及び同一人物ではないことを登録可能とするＵＩ生成部１５３と、を備える。

Description

本発明に係るいくつかの態様は、画像処理システム、画像処理方法及びプログラムに関する。

近年、複数のカメラからの映像を利用して広範囲にわたる監視を行うシステムが考えられている。例えば特許文献１は、カメラ間の連結関係情報を用いてカメラ間にまたがる人物の追尾（モニタリング）を適切に行うことのできる装置を開示している。この装置は、カメラ視野に出現した点（Ｉｎ点）と、カメラ視野から消失した点（Ｏｕｔ点）における人物特徴量の類似度に応じて、人物の対応関係を求める。

特開２００８−２１９５７０号公報

特許文献１記載の装置のように、類似度に応じて自動的に人物の対応関係を定める場合には、一定の確率で誤りが生じる。そこで、人間が関与する形で人物の対応付けを行うことが求められている。しかしながら、人間が対応付けを行う場合であっても、外見の似た人物が複数存在するような場合には対応付けを確定できない場合もある。

一方、人間が関与する場合には、確度の高いユーザ判定に基づき、より正確な結果を得られるようにシステムを構築すべきである。特に、多くの人物を監視（追跡）するシステムにおいては、人物の対応付けを矛盾なく迅速に行えるようにすることが求められている。

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、確度の高いユーザ入力に応じて、映像に映る人物の対応付けを好適に行うことのできる画像処理システム、画像処理方法、及びプログラムを提供することを目的の１つとする。

本発明に係る画像処理システムは、複数のビデオカメラで撮像された映像の入力を受ける入力手段と、前記入力手段から入力された映像に映る人物を１以上登録可能な登録手段と、前記入力手段により入力された映像を表示装置に表示する第１の表示制御手段と、当該表示している映像に映る人物と前記登録手段により登録済みの人物とが同一人物であること、及び同一人物ではないことを登録可能とする第２の表示制御手段と、を備える。

本発明に係る画像処理方法は、複数のビデオカメラで撮像された映像の入力を受けるステップと、前記入力された映像に映る人物を１以上登録可能とするステップと、前記入力された映像を表示装置に表示するステップと、当該表示している映像に映る人物と前記登録により登録済みの人物とが同一人物であること、及び同一人物ではないことを登録可能とするステップと、を画像処理システムが行う。

本発明に係るプログラムは、複数のビデオカメラで撮像された映像の入力を受ける処理と、前記入力された映像に映る人物を１以上登録可能とする処理と、前記入力された映像を表示装置に表示する処理と、当該表示している映像に映る人物と前記登録により登録済みの人物とが同一人物であること、及び同一人物ではないことを登録可能とする処理と、をコンピュータに実行させる。

なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、確度の高いユーザ入力に応じて、映像に映る人物の対応付けを好適に行うことのできる画像処理システム、画像処理方法、及びプログラムを提供することができる。

第１実施形態に係る監視システムの概略構成を示す機能ブロック図である。 第１実施形態に係る監視システムについて説明するための図である。 表示画面の具体例を示す図である。 表示画面に表示されるポップアップウィンドウの具体例を示す図である。 人物の対応関係を推定する方法を説明するための図である。 人物の対応関係を推定する方法を説明するための図である。 人物の対応関係を推定する方法を説明するための図である。 表示画面の具体例を示す図である。 図１に示す情報処理サーバの処理の流れを示すフローチャートである。 図１に示す情報処理サーバを実装可能なハードウェアの構成を示すブロック図である。 第２実施形態に係る監視装置の概略構成を示す機能ブロック図である。

以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。

（１ 第１実施形態）
図１乃至図１０は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず「１．１」でシステムの機能構成の概要を示すと共に、「１．２」で動作の概要を、表示画面の具体例等を示しながら説明する。その後、「１．３」で処理の流れを、「１．４」で、本システムを実現可能なハードウェア構成の具体例を示す。最後に、「１．５」以降で、本実施形態に係る効果などを説明する。

（１．１ システム構成）
（１．１．１ システム構成概要）
図１を参照しながら、本実施形態に係る画像処理システムである監視システム１のシステム構成を説明する。図１は、監視システム１のシステム構成を示すブロック図である。

監視システム１は、大きく分けて、情報処理サーバ１００と、映像（動画像）を撮像（撮影）する複数のビデオカメラ２００（ビデオカメラ２００Ａ乃至２００Ｎを総称してビデオカメラ２００と呼ぶ。）と、表示装置３００と、入力装置４００とから構成される。

以下、監視システム１は、ビデオカメラ２００で撮影された人物を監視するためのシステムであるものとして説明するが、監視対象を車や自転車、バイクなどの移動体に応用することも考えられる。

ビデオカメラ２００は、映像（動画像）を撮像すると共に、当該撮影した映像内に人物がいるか否かを判別した上で、当該人物に係る位置や特徴量などの情報を、撮影動画像と共に情報処理サーバ１００へと送信する。また、ビデオカメラ２００は、撮影した動画像をフレーム間で比較することにより、動画像内の人物追跡も行うことができる。
なお、人物の検出や特徴量の抽出、カメラ内の人物追跡などの処理は、例えば、情報処理サーバ１００や、図示しない他の情報処理装置上で行なっても良い。

情報処理サーバ１００は、ビデオカメラ２００で撮像された動画像を解析することにより、人物の検出や、追跡する人物の登録、登録された人物の追跡などの各種処理を行う。

なお、以下ではビデオカメラ２００により撮影されるリアルタイムの映像を元に人物監視を行う場合を中心に説明するが、これに限られるものではなく、例えば、ビデオカメラ２００により撮影された後、記憶装置（例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＶＣＲ（Ｖｉｄｅｏ Ｃａｓｓｅｔｔｅ Ｒｅｃｏｒｄｅｒ）など）に記憶された動画像を対象に追跡（分析）することも考えられる。更に、当該記憶装置に記憶された動画像を逆順に再生（逆再生）して追跡することも考えられる。通常、ある人物が不審な行動をとった場合には、その人物がその行為までにどのような経路で移動し、どのような行動をとったかを調べる必要があるため、このような逆再生による追跡を可能とすることは極めて有用である。

情報処理サーバ１００による人物監視において、情報処理サーバ１００は、表示装置３００に監視用の画面を出力すると共に、入力装置４００から、人物監視に係る各種操作入力に係る操作信号を受け付ける。より具体的には、例えば、表示装置３００に表示する監視用画面（後述する図３に具体例を示す。）では、ビデオカメラ２００から入力された映像を複数表示することで、監視対象の人物が今どこにいるのかを、監視者であるユーザが把握できるようにしている。

監視者であるユーザは、表示装置３００を見て、あるビデオカメラ２００の映像（動画像）に映った監視対象の人物が他のビデオカメラ２００の映像に映った場合には、入力装置４００を操作して、当該２人の人物を同一人物であるものとして対応付ける。また、本実施形態では、２人の人物が同一人物ではないことも対応付けられる。このように、ユーザの人手を介した人物の対応付けを行うこと、並びに、同一人物であること及び同一人物ではないことの２つの情報をユーザに入力可能とすることにより、多くの監視対象者に係る対応関係を好適に推定することを可能としている。この処理及び利点については後述する。

表示装置３００は、例えば、液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等に画像を表示するディスプレイである。情報処理サーバ１００から出力される監視用画面は、表示装置３００が表示する。

入力装置４００は、ユーザ（監視者）が各種情報を入力するための装置である。例えば、マウスやタッチパッド、タッチパネル等のポインティングデバイスやキーボード等が入力装置４００に該当する。監視対象人物の登録や、登録された人物とビデオカメラ２００に新たに登場した人物との対応付け（同一人物としての入力、及び同一人物ではないことの入力）等の各種処理は、ユーザの入力装置４００に対する操作に基づいてなされる。

なお、情報処理サーバ１００と表示装置３００、入力装置４００の構成は種々考えられる。例えば、表示装置３００及び入力装置４００を、１台のクライアントとして実現することも考えられるし、或いは、情報処理サーバ１００、表示装置３００、及び入力装置４００の機能を４台以上の情報処理装置により実現しても良い。また、表示装置３００及び入力装置４００を、１台のクライアントとして実現する場合には、本実施形態に係る情報処理サーバ１００の一部の機能を、当該クライアントに持たせても良い。

（１．１．２ 情報処理サーバ１００の構成）
以下、本実施形態に係る情報処理サーバ１００の構成を説明する。情報処理サーバ１００は、図１に示すように、入力部１１０、類似度算出部１２０、追跡人物登録部１３０、対応関係推定部１４０、表示制御部１５０、及びデータベース（ＤＢ）１６０を含む。なお、情報処理サーバ１００の機能は、複数の情報処理装置（コンピュータ）により実現しても良い。

入力部１１０は、ビデオカメラ２００から受信した映像や人物検出結果の情報を、撮影動画像１６３や検出人物情報１６５、及び人物追跡情報１６７としてＤＢ１６０へ登録する。入力部１１０がＤＢ１６０に登録する検出人物情報１６５には、ビデオカメラ２００により検出された人物の特徴量の情報が含まれる。また、入力部１１０がＤＢ１６０に登録する人物追跡情報１６７には、ビデオカメラ２００により検出された人物が、当該１台のビデオカメラ２００内でどのような移動をしたかのカメラ内追跡結果の情報等が含まれる。

類似度算出部１２０は、ビデオカメラ２００から入力された動画像に映る人物と、検出人物情報１６５に登録された人物との類似度を算出する。このとき、類似度算出部１２０は、登録された各人物に係る複数の人物画像（同一人物の複数のタイミングに係る人物画像）の中から、ビデオカメラ２００から入力された動画像内の人物の画像と姿勢が類似する人物画像を選択した上で類似度を算出するようにしてもよい。このように実装することで、類似度算出の精度を高めることが可能となる。

追跡人物登録部１３０は、ビデオカメラ２００から入力された撮影動画像の中に映っている人物を、入力装置４００から入力されたユーザ操作等に基づき、追跡対象の被監視者（監視対象者／追跡対象者）としてＤＢ１６０の人物追跡情報１６７へ登録する。また、追跡人物登録部１３０は、ビデオカメラ２００から入力された撮影映像の中に映っている人物が、人物追跡情報１６７に既に登録された人物と同一人物である、もしくは同一人物ではないとユーザに判定された場合には、その情報を人物追跡情報１６７に登録することもできる。

対応関係推定部１４０は、人物追跡情報１６７に既に登録された人物と同一人物である旨、及び同一人物ではない旨のユーザ入力に基づき、各ビデオカメラ２００の異なる時刻に映った人物の対応関係を推定し、当該結果を人物追跡情報１６７に登録する。具体的な手法は図２等を参照しながら後述するが、ユーザがある人物に係る同一人物である／同一人物ではない旨の入力を行った場合に、対応関係推定部１４０は、その他の人物にかかる同一人物であるか否かの対応関係をも予測する。

表示制御部１５０は、監視用画面等の各種表示画面を表示装置３００に表示させる。表示制御部１５０は、動画表示部１５１、ＵＩ生成部１５３、及び移動履歴生成部１５５を含む。

動画表示部１５１は、入力部１１０により入力された撮影映像を表示装置３００に表示させる。後述の図３の例では、監視用画面の一部に、動画表示部１５１が表示させる映像領域が設けられる。なお、動画表示部１５１が表示装置３００に表示させる映像はリアルタイムの映像でなくとも良い。もし、記録映像を表示装置３００に表示させる場合には、動画表示部１５１は、ＤＢ１６０から撮影動画像１６３を読みだして表示装置３００に表示させることとなる。

ＵＩ生成部１５３は、後述する図３や図８等に具体例を示す各種表示画面を生成して表示装置３００に表示させる。ＵＩ生成部１５３が生成及び提供するＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）により、監視対象人物の登録や同一人物であるか否かの対応付け等を行う。
移動履歴生成部１５５は、人物追跡情報１６７に基づき、後述する図８に具体例を示す移動履歴表示画面に表示する、監視対象人物の移動履歴を生成する。

ＤＢ１６０は、例えば図示しないＨＤＤ等の各種記憶装置上に構築される。ＤＢ１６０は、カメラ配置情報１６１、撮影動画像１６３、検出人物情報１６５、人物追跡情報１６７を記憶する。

カメラ配置情報１６１は、カメラ間の隣接関係や、カメラ間の距離（或いは、カメラ間の移動に必要となる平均時間）等の情報を含む。カメラ配置情報１６１は、対応関係推定部１４０による対応関係の推定や、移動履歴生成部１５５による移動履歴の生成等に使用される。

人物追跡情報１６７は、ビデオカメラ２００が撮影した各人物（監視対象人物のみならず、検出された全ての人物）に係る追跡情報を含む。より具体的には、ビデオカメラ２００で検出された人物のカメラ内追跡情報（同じ画角で、どのような経路で移動したかを示す情報）や、あるビデオカメラ２００に映った人物が、その後どのビデオカメラ２００の撮影範囲に移動したか（それぞれのビデオカメラ２００の異なる時刻に映った各人物が、どのように対応するかの対応情報に相当する）、ユーザがどのような対応付けを行ったか、等の情報を、人物追跡情報１６７が含む。

（１．２ 動作の概要）
以下、図２乃至図８を参照しながら、監視システム１の機能や動作を説明する。

（１．２．２ 人物監視の概略）
まず、図２を参照しながら、人物追跡（人物監視）の概略を説明する。
本実施形態に係る監視システム１では、前述の通り、ユーザが表示装置３００の表示画面を見て、あるビデオカメラ２００の映像に映った監視対象の人物（監視対象として登録済みの人物）が他のビデオカメラ２００に映った場合には、入力装置４００を操作して、当該２人の人物を同一人物として対応付ける。また、監視対象の人物ではない場合には、入力装置４００を操作して、当該２人の人物が同一人物ではないことを入力する。このような同一人物であること、及び同一人物ではないこと、をユーザに入力可能とすることにより、監視システム１では、あり得る人物の対応関係の中で可能性の高い人物の対応関係を求める。

以下、図２を参照しながら、もう少し詳細に具体例を説明する。図２の例では、時刻ｔには、「Ｃａｍｅｒａ００１」、「Ｃａｍｅｒａ００２」、及び「Ｃａｍｅｒａ００３」に相当する３台のビデオカメラ２００の映像に、それぞれ人物Ａ、人物Ｂ、及び人物Ｃが映り、時刻ｔ＋１に、「Ｃａｍｅｒａ００１」及び「Ｃａｍｅｒａ００２」に、それぞれ人物Ｘ及び人物Ｙが映っている。

ここで、図２の例において、経路上、「Ｃａｍｅｒａ００１」の画面右側、及び「Ｃａｍｅｒａ００３」の画面右側から、「Ｃａｍｅｒａ００２」の撮影範囲の画面左側に移動可能であり、また、「Ｃａｍｅｒａ００２」の画面右側から「Ｃａｍｅｒａ００１」の画面左側に移動可能であるものとする。また、人物Ｙは人物Ａ及び人物Ｃと外見が近似（すなわち、特徴が近似している。例えば、服装の色が近い場合などに相当する。）しており、人物Ｘは人物Ｂと外見が近似しているものとする。

この場合、人物Ｘに関しては、類似する特徴を持つのが人物Ｂしかいないため、人物Ｘと人物Ｂとは同一人物である可能性が高い。一方、人物Ｙに関しては、類似する特徴が２人（人物Ａ及び人物Ｃ）いるため、人物Ｙがいずれの人物に対応づくのかを決定するのは困難である。しかしながら、人物Ｙは、少なくとも人物Ｂではないことはユーザには容易に判別できる。

このような「同一人物であること」「同一人物ではないこと」の、信頼性の高い対応関係の入力を組み合わせていくことで、時刻ｔ＋１、時刻ｔ＋２・・・といった、将来的な人物の移動可能性の探索範囲を狭めることができるため、監視システム１では、あり得る（可能性の高い）人物の対応関係の組合せを好適に推測できるようになる。
人物の対応関係の推測方法については、図５乃至図７を参照しながら後述する。

（１．２．３ 表示画面の具体例）
以下、図３及び図４を参照しながら、表示装置３００が表示する表示画面の具体例を説明する。図３は、表示装置３００が、人物監視のために表示する表示画面（以下、監視用画面３０ともいう。）の具体例を示す図である。

図３の監視用画面３０の例では、複数のビデオカメラ２００から入力された撮影映像を表示する映像領域３１Ａ乃至３１Ｄ（以下、総称して映像領域３１ともいう。）と、監視対象の人物が表示される監視対象者表示領域３３とを含む。

映像領域３１は、前述の通り複数のビデオカメラ２００から入力されたマルチカメラ映像を表示する。ここで、それぞれの映像領域３１に表示されるビデオカメラ２００の映像は随時切り換わっても良い。例えば、監視対象の人物が表示領域から外れた後、当該人物の移動に併せて、次にその人物が現れると予測できるビデオカメラ２００の映像に切り換える等の制御をＵＩ生成部１５３及び動画表示部１５１は行なっても良い。

監視対象者表示領域３３は、監視者であるユーザが、映像領域３１に映った人物のうち、監視対象に選んだ人物が登録される領域である。図３の例のように、監視対象者は複数選択することができる（図３の例では３名）。また、それぞれの人物に対して、例えば正面と背面等、姿勢の異なる複数の人物画像（図３の例では２つ）が監視対象者表示領域３３に表示される。

更に、図３の監視用画面３０の例では、映像領域３１Ｄに映る人物Ｐの上方にポップアップウィンドウ３５が表示されている。ポップアップウィンドウ３５は、人物Ｐを監視対象とするか否か、及び、既に監視対象として監視対象者表示領域３３上に登録されている人物と同一人物であるか、同一人物ではないか、を選択可能とするためのものである。

ポップアップウィンドウ３５は、新たに検出された人物Ｐの近傍に表示されると共に、人物Ｐの移動（動き）に伴い、ポップアップウィンドウ３５の位置も移動する。このように近傍に表示することで、新たに登録すべき人物Ｐの特定を容易にしたり、人物Ｐと監視対象者との比較を容易にしたり、操作範囲を狭めたり、といった効果を得ることが可能となる。

なお、ポップアップウィンドウ３５は、必ずしも人物Ｐの動きに合わせて移動する必要はない。例えば、少なくとも一定時間は一定箇所に固定させて表示させても良い。これにより、ポップアップウィンドウ３５が移動する場合よりも、入力しやすくなる。
また、ポップアップウィンドウ３５が表示されると、ポップアップウィンドウ３５と重なった映像領域を見ることができずに視認性が悪くなることもあるので、ポップアップウィンドウ３５の外側をクリック（選択）するとポップアップウィンドウ３５が非表示となる機能や、逆に映像領域３１内の人物Ｐの周辺を含む領域（人物領域）をクリックすると、ポップアップウィンドウ３５が表示される機能を追加しても良い。

（１．２．４ ポップアップウィンドウの具体例）
図４は、ポップアップウィンドウ３５の具体例を示す図である。図４の例において、ＩＤ１、ＩＤ２、及びＩＤ３がそれぞれ割り当てられた監視対象者のサムネイルである人物画像４１Ａ乃至４１Ｃ（以下、総称して人物画像４１ともいう。）と、ＩＤ４が割り当てられた空白画像４３とが並列に並べられている。

ユーザが人物画像４１を選択すると、追跡人物登録部１３０は、当該人物画像４１に対応する監視対象者と、映像（動画像）に映る人物Ｐとを同一人物として対応付ける。また、ユーザが空白画像４３を選択すると、追跡人物登録部１３０は、映像に映る人物Ｐを、ＩＤ４を持つ新規の監視対象者として登録する。

更に、人物画像４１の下方には、同一人物ではないことをユーザが登録するための登録ボタン４５Ａ乃至４５Ｃ（図中、ｒｅｍｏｖｅを意味する「ｒｅｍ」と表記されている。以下、総称して登録ボタン４５ともいう。）は、既に登録されているＩＤ１、ＩＤ２及びＩＤ３に対応する監視対象者と、映像に映る人物Ｐとが同一人物ではないことをユーザが登録するためのものである。

またこのとき、ポップアップウィンドウ３５上に配置される各人物は、それぞれ人物Ｐと一致する可能性の高い順もしくは低い順に並べても良い。この、人物Ｐと一致する可能性は、対応関係推定部１４０が推定（算出）することが可能である。或いは、一致する可能性の低い人物は、予めポップアップウィンドウ３５に表示しないようにしても良い。このような手法をとることにより、ユーザによる人物Ｐと対応する（もしくは対応しない）人物の選択を容易にすることが可能となる。

（１．２．５ 対応関係の推定方法）
以下、図５乃至図７を参照しながら、ビデオカメラ２００で撮影された人物の対応関係を推定する方法を説明する。図５乃至図７は、ビデオカメラ２００で撮像された人物間の対応関係の推定方法を説明するための図である。

図５において、図面左側は時刻ｔの人物、図面右側は時刻ｔ＋１の人物を表す。対応付けが完了すると、時刻ｔに検出された人物Ａ乃至人物Ｃは、時刻ｔ＋１の状態を示す右側のいずれかの項目に１：１で対応付けられ、時刻ｔ＋１に検出された人物Ｘ及び人物Ｙは、時刻ｔの状態を示す左側のいずれかの項目に１：１で対応付けられる。

ここで、左側に「新規人物・誤検出」の項目が２つあるのは、人物Ｘ及び人物Ｙの双方が人物Ａ乃至人物Ｃのいずれにも対応しない可能性があるからであり、右側に「未出現・エリア外」が３つあるのは、人物Ａ乃至人物Ｃがいずれも人物Ｘ及び人物Ｙに対応しない可能性があるためである。

線上に記載された数値は、それぞれ対応付けられる場合のコストを表している。この数値が高い方が対応付けられる可能性が低く、数値が低い方が対応付けられる可能性が高い。図５の例で人物Ａを例にとって説明すると、人物Ａは人物Ｘと対応付けられる可能性が最も高く（コスト５）、続いて未出現である可能性が高く（コスト１０）、人物Ｙと対応付けられる可能性が最も低い（コスト２０）。

このようなコストは、検出済みの各人物（人物Ｘ及び人物Ｙ）と人物Ａとの特徴量の類似度や、時刻ｔから時刻ｔ＋１までの経過時間と、人物Ａが検出された位置から人物Ｘが検出された撮影位置や人物Ｙが検出された撮影位置までに到達する平均時間との比較等に応じて、対応関係推定部１４０が算出する。例えば、人物Ａと人物Ｘの特徴量の類似度が高ければ、人物Ａと人物Ｘとが対応付けられる可能性は高くなる（コストは低くなる）。また、人物Ａが検出された位置から人物Ｘが検出された位置まで到達する平均時間と経過時間との一致度が高ければ、人物Ａと人物Ｘとが対応付けられる可能性は高くなる（コストは低くなる）。なお、カメラの撮影範囲間を移動する時間は、カメラ配置情報１６１などから取得もしくは算出可能である。

対応付けの組合せを求める行為は、割り当て問題と理解することができるので、例えばハンガリアン法等により、最適な対応関係を求めることができる。つまり、これらのコストの総和が低くなるような組合せを求めればよい。図５の例であれば、人物Ａが「未出現・エリア外」であり、人物Ｂが人物Ｙに対応し、人物Ｃが人物Ｘに対応する場合が、コストの合計が１７となって、全ての組み合わせ中で最小となる。そこで、対応関係推定部１４０は、当該対応関係を、もっとも可能性の高い対応関係であるものと推定することができる。

次に、ユーザが人物の対応付け操作を行った場合の、対応関係推定部１４０による推定方法を、図６を参照しながら説明する。図６の例は、ユーザが人物Ａと人物Ｘとを対応付けた場合の、対応関係の推定方法を説明するための図である。

この場合、人物Ａは必ず人物Ｘと対応付けられるので、人物Ａと人物Ｘとが同一人物であるコストは０となっている。この前提のもと、ハンガリアン法により対応関係を求めると、コストの総和が低くなるのは、人物Ａが人物Ｘと対応し、人物Ｂが人物Ｙと対応し、人物Ｃが「未出現・エリア外」となる組合せである。

つまり、ユーザが人物Ａに係る対応付けを行っただけで、他の人物（図６の例では人物Ｃ）の対応関係にも影響が及んでいる（図５の場合とは結果が変わっている）。

図６は「同一人物である」旨の入力をユーザが行った場合であったが、「同一人物ではない」場合も考えられる。図７は、ユーザが「人物Ｃと人物Ｘとが同一人物ではない」場合の入力を行った場合の例である。

この場合、人物Ｃが人物Ｘと対応づくことはないので、人物Ｃと人物Ｘとが同一人物であるコストは無限大となっている（なお、無限大でなくとも、十分に大きいコストが設定されていれば良い）。この前提のもと、ハンガリアン法により対応関係を求めると、コストの総和が低くなるのは、人物Ａが人物Ｘと対応し、人物Ｂが人物Ｙと対応し、人物Ｃが「未出現・エリア外」となる組合せである。

つまり、図６の例と同様に、ユーザが人物Ｃに係る同一人物ではない旨の対応付けを行っただけで、他の人物（図７の例では人物Ａ）の対応関係にも影響が及んでいる（図５の場合とは結果が変わっている）。

このように、ユーザが「同一人物である」「同一人物ではない」旨の入力を行うようにし、更に、当該入力に基づき人物の対応関係を予測することで、監視対象人物全員を対象に、好適な対応関係の予測結果を得ることができるようになる。

なお、上述の例ではコストを元に対応関係の推定を行ったが、これに限られるものではない。例えば、コストは、対応付けられるもっともらしさ（尤度）と情報量は同一なので、尤度を元に対応付けを予測しても良い。なお、コストと尤度は、コスト＝−ｌｏｇ尤度、の関係にある。

また、上述の例では、対応付けの組合せを一括して予測しているが、これにも限られない。例えば、人物Ａ乃至人物Ｃのそれぞれについて、人物Ｘが対応づく確率、人物Ｙが対応づく確率、未出現もしくはエリア外である確率、を算出するようにしても良い。この手法はいくつか考えられるが、例えば、以下の数式のいずれかにより算出することが考えられる。

ここで、ある特定の対応関係の確からしさは、割り当て問題において割り当てがなされた全ての尤度の積として計算される。例えば、図５下部に示した対応関係に対する確からしさは、人物Ａが「未出現・エリア外」である尤度と人物Ｂが人物Ｙである尤度と人物Ｃが人物Ｘである尤度の積として計算することができる。また、図６下部に示した対応関係に対する確からしさは、人物Ａが人物Ｘである尤度と人物Ｂが人物Ｙである尤度と人物Ｃが「未出現・エリア外」である尤度の積として計算することができる。

上記数式を用いることで、人物Ｘが人物Ａと対応する確率、人物Ｘが人物Ｂと対応する確率、人物Ｘが人物監視である確率、人物Ｘが新規人物・誤検出である確率を計算することができる。この確率に基づき、上位Ｎ個を、人物Ｘに対応付く可能性の高い人物として、ポップアップウィンドウ３５上等でユーザに提示することが考えられる。人物Ｙについても同様である。

（１．２．６ 人物移動経路の表示）
ユーザ操作に基づき、対応関係推定部１４０が推定した人物の対応関係に基づき、移動履歴生成部１５５は、監視対象人物の移動履歴を表示可能である。図８は、移動履歴生成部１５５が生成する移動履歴表示画面８０の具体例を示す図である。なお、図８の移動履歴表示画面８０は、例えば、図３に例示した監視用画面３０において監視対象者表示領域３３上で、ユーザから監視対象者の指定を受けると共に、当該監視対象者の移動履歴の表示をユーザから指示された場合に、移動履歴生成部１５５が生成する。ここでユーザからの指示は、入力装置４００からの操作信号として情報処理サーバ１００に入力される。

図８に示す移動履歴表示画面８０は、移動履歴表示領域８１と、監視対象人物選択領域８３とを含む。監視対象人物選択領域８３で監視対象人物を選択すると、当該監視対象人物の移動経路が、移動履歴表示領域８１の地図上に表示される。

図８の例では、監視対象者の移動履歴が実線と破線とをつなぎあわせて表現されている。このうち、実線部分は、ビデオカメラ２００がカメラ内追跡を行った結果を示しており、破線部分は、対応関係推定部１４０が推定した対応関係に基づいて決定される移動経路を示している。

（１．３ 処理の流れ）
次に、情報処理サーバ１００の処理の流れを、図９を参照しながら説明する。図９は、本実施形態に係る情報処理サーバ１００の処理の流れを示すフローチャートである。

なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

まず、入力部１１０は、ビデオカメラ２００から受信する情報に基づき、ビデオカメラ２００で撮影された映像内に、検出対象オブジェクトとしての人物が映っているか否かを判別する（Ｓ９０１）。その結果、人物が検出されている場合には（Ｓ９０１のＹｅｓ）、類似度算出部１２０は、人物追跡情報１６７を読込んで（Ｓ９０３）、既に他のビデオカメラ２００で検出済みの人物の特徴量と、今回検出された人物の特徴量とを比較して類似度を算出する（Ｓ９０５）。

更に、対応関係推定部１４０は、Ｓ９０５で算出した類似度や、経過時間とカメラ間距離の関係等に応じて、対応付けに係るコスト（図５乃至図７を参照しながら上述）を算出する（Ｓ９０７）。さらに、当該コスト（尤度と情報量は同一）に基づき、人物間が対応づく確率を算出する。

ＵＩ生成部１５３は、Ｓ９０７で算出した確率に応じて、映像領域３１で表示中の映像に映る人物に対応する可能性の高い順に監視対象者を並べたポップアップウィンドウ３５を表示する（Ｓ９０９）。

当該ポップアップウィンドウ３５を用いて、同一である旨、及び同一でない旨の入力がユーザにより行われた場合には（Ｓ９１１のＹｅｓ）、対応関係推定部１４０は、当該入力に応じて、人物の対応付けに係るコストを再計算した上で（Ｓ９１３）、当該コストに基づき、全ての人物に係る対応関係を予測する（Ｓ９１５）。更に、対応関係推定部１４０は、当該予測した人物の対応関係を、人物追跡情報１６７としてＤＢ１６０に登録する。

（１．４ ハードウェア構成）
以下、図１０を参照しながら、上述してきた情報処理サーバ１００をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお、前述の通り、情報処理サーバ１００の機能は、複数の情報処理装置により実現することも可能である。

図１０に示すように、情報処理サーバ１００は、プロセッサ１００１、メモリ１００３、記憶装置１００５、入力インタフェース（Ｉ／Ｆ）１００７、データＩ／Ｆ１００９、通信Ｉ／Ｆ１０１１、及び表示装置１０１３を含む。

プロセッサ１００１は、メモリ１００３に記憶されているプログラムを実行することにより情報処理サーバ１００における様々な処理を制御する。例えば、図１で説明した入力部１１０、類似度算出部１２０、追跡人物登録部１３０、対応関係推定部１４０、及び表示制御部１５０に係る処理は、メモリ１００３に一時記憶された上で、主にプロセッサ１００１上で動作するプログラムとして実現可能である。

メモリ１００３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ１００３は、プロセッサ１００１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ１００３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。

記憶装置１００５は、例えばハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶装置１００５は、オペレーティングシステムや、入力部１１０、類似度算出部１２０、追跡人物登録部１３０、対応関係推定部１４０、及び表示制御部１５０を実現するための各種プログラムや、ＤＢ１６０として格納されるカメラ配置情報１６１、撮影動画像１６３、検出人物情報１６５、及び人物追跡情報１６７を含む各種データなどを記憶する。記憶装置１００５に記憶されているプログラムやデータは、必要に応じてメモリ１００３にロードされることにより、プロセッサ１００１から参照される。

入力Ｉ／Ｆ１００７は、ユーザからの入力を受け付けるためのデバイスである。図１で説明した入力装置４００は、入力Ｉ／Ｆ１００７により実現することも可能である。入力Ｉ／Ｆ１００７の具体例としては、キーボードやマウス、タッチパネル、各種センサ等が挙げられる。入力Ｉ／Ｆ１００７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介して情報処理サーバ１００に接続されても良い。

データＩ／Ｆ１００９は、情報処理サーバ１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ１００９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ１００９は、情報処理サーバ１００の外部に設けられることも考えられる。その場合、データＩ／Ｆ１００９は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００へと接続される。

通信Ｉ／Ｆ１０１１は、情報処理サーバ１００の外部の装置、例えばビデオカメラ２００等との間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ１０１１は情報処理サーバ１００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ１０１１は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００に接続される。

表示装置１０１３は、各種情報を表示するためのデバイスである。図１で説明した表示装置３００は、表示装置１０１３により実現することも可能である。表示装置１０１３の具体例としては、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示装置１０１３は、情報処理サーバ１００の外部に設けられても良い。その場合、表示装置１０１３は、例えばディスプレイケーブル等を介して情報処理サーバ１００に接続される。

（１．５ 本実施形態に係る効果）
以上説明したように、本実施形態に係る監視システム１では、ユーザから同一人物である旨、及び同一人物ではない旨の入力を受けることを可能とすることにより、その入力に応じて、好適な人物の対応関係を推定できる。特に、１人にかかる入力を行っただけであっても、他の人物の対応関係の予測にも影響を与えることができる。

同一人物である旨をユーザが判定することが難しい場合であっても、同一人物ではない旨の判定は高い精度で行うことができる場合も多い。よって、このような高い精度のユーザ入力を重ねることを可能とし、この入力に応じて人物の対応関係を予測することで、その予測精度を高めることが可能となる。

（２ 第２実施形態）
以下、第２実施形態を、図１１を参照しながら説明する。図１１は、画像処理システムである監視装置１１００の機能構成を示すブロック図である。図１１に示すように、監視装置１１００は、入力部１１１０と、登録部１１２０と、第１の表示制御部１１３０と、第２の表示制御部１１４０とを含む。

入力部１１１０は、複数のビデオカメラで撮像された映像の入力を受ける。登録部は、入力部１１１０から入力された映像に映る人物を１以上可能とする。当該登録は、例えば、ユーザ操作に基づき行うことができる。

第１の表示制御部１１３０は、入力部１１１０により入力された映像を、図示しない表示装置に表示する。また、第２の表示制御部１１４０は、第１の表示制御部１１３０が表示している映像に映る人物と、登録部１１２０により登録された人物とが同一人物であること、及び同一人物ではないことを登録可能とする。当該登録は、例えばユーザ操作に基づき行うことができる。
このように実装することで、本実施形態に係る監視装置１１００によれば、映像に係る人物の対応付けを好適に行うことができるようになる。

（３ 付記事項）
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。

（付記１）
複数のビデオカメラで撮像された映像の入力を受ける入力手段と、前記入力手段から入力された映像に映る人物を１以上登録可能な登録手段と、前記入力手段により入力された映像を表示装置に表示する第１の表示制御手段と、当該表示している映像に映る人物と前記登録手段により登録済みの人物とが同一人物であること、及び同一人物ではないことを登録可能とする第２の表示制御手段と、を備える画像処理システム。

（付記２）
同一人物であること、及び同一人物ではないことが登録された結果に基づき、前記複数のビデオカメラで撮像された映像に映る１以上の人物の対応関係を推定する推定手段を更に備える付記１記載の画像処理システム。

（付記３）
前記推定手段による推定の結果得られる人物の対応関係に基づき、人物の移動履歴を表示装置に表示する第３の表示制御手段を更に備える付記２記載の画像処理システム。

（付記４）
前記推定手段は、ビデオカメラ間の距離、人物が移動に要した時間、人物の特徴量の関係の少なくとも１以上と、同一人物であること、及び同一人物ではないことが登録された結果とに基づき、人物の対応関係を推定する、付記２又は付記３記載の画像処理システム。

（付記５）
複数のビデオカメラで撮像された映像の入力を受けるステップと、前記入力された映像に映る人物を１以上登録可能とするステップと、前記入力された映像を表示装置に表示するステップと、当該表示している映像に映る人物と前記登録により登録済みの人物とが同一人物であること、及び同一人物ではないことを登録可能とするステップと、を画像処理システムが行う、画像処理方法。

（付記６）
同一人物であること、及び同一人物ではないことが登録された結果に基づき、前記複数のビデオカメラで撮像された映像に映る１以上の人物の対応関係を推定するステップを更に画像処理システムが行う、付記５記載の画像処理方法。

（付記７）
前記推定の結果得られる人物の対応関係に基づき、人物の移動履歴を表示装置に表示するステップを更に画像処理システムが行う、付記６記載の画像処理方法。

（付記８）
前記推定は、ビデオカメラ間の距離、人物が移動に要した時間、人物の特徴量の関係の少なくとも１以上と、同一人物であること、及び同一人物ではないことが登録された結果とに基づき、人物の対応関係を推定する、付記６又は付記７記載の画像処理方法。

（付記９）
複数のビデオカメラで撮像された映像の入力を受ける処理と、前記入力手段から入力された映像に映る人物を１以上登録可能とする処理と、前記入力された映像を表示装置に表示する処理と、当該表示している映像に映る人物と前記登録により登録済みの人物とが同一人物であること、及び同一人物ではないことを登録可能とする処理と、をコンピュータに実行させるプログラム。

（付記１０）
同一人物であること、及び同一人物ではないことが登録された結果に基づき、前記複数のビデオカメラで撮像された映像に映る１以上の人物の対応関係を推定する処理を更にコンピュータに実行させる付記９記載のプログラム。

（付記１１）
前記推定の結果得られる人物の対応関係に基づき、人物の移動履歴を表示装置に表示する処理を更にコンピュータに実行させる付記１０記載のプログラム。

（付記１２）
前記推定は、ビデオカメラ間の距離、人物が移動に要した時間、人物の特徴量の関係の少なくとも１以上と、同一人物であること、及び同一人物ではないことが登録された結果とに基づき、人物の対応関係を推定する、付記１０又は付記１１記載のプログラム。

この出願は、２０１２年９月１９日に出願された日本出願特願２０１２−２０５９１２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１・・・監視システム、３０・・・監視用画面、３１・・・映像領域、３３・・・監視対象者表示領域、３５・・・ポップアップウィンドウ、４１・・・人物画像、４３・・・空白画像、４５・・・登録ボタン、８０・・・移動履歴表示画面、８１・・・移動履歴表示領域、８３・・・監視対象人物選択領域、１００・・・情報処理サーバ、１１０・・・入力部、１２０・・・類似度算出部、１３０・・・追跡人物登録部、１４０・・・対応関係推定部、１５０・・・表示制御部、１５１・・・動画表示部、１５３・・・ＵＩ生成部、１５５・・・移動履歴生成部、１６０・・・データベース（ＤＢ）、１６１・・・カメラ配置情報、１６３・・・撮影動画像、１６５・・・検出人物情報、１６７・・・人物追跡情報、２００・・・ビデオカメラ、３００・・・表示装置、４００・・・入力装置、１００１・・・プロセッサ、１００３・・・メモリ、１００５・・・記憶装置、１００７・・・入力インタフェース（Ｉ／Ｆ）、１００９・・・データインタフェース、１０１１・・・通信インタフェース、１０１３・・・表示装置、１１００・・・監視装置、１１１０・・・入力部、１１２０・・・登録部、１１３０・・・第１の表示制御部、１１４０・・・第２の表示制御部

Claims (6)

1. 複数のビデオカメラで撮像された映像の入力を受ける入力手段と、
   前記入力手段から入力された映像に映る人物を１以上登録可能な登録手段と、
   前記入力手段により入力された映像を表示装置に表示する第１の表示制御手段と、
   当該表示している映像に映る人物と前記登録手段により登録済みの人物とが同一人物であること、及び同一人物ではないことを登録可能とする第２の表示制御手段と、
   を備える画像処理システム。
2. 同一人物であること、及び同一人物ではないことが登録された結果に基づき、前記複数のビデオカメラで撮像された映像に映る１以上の人物の対応関係を推定する推定手段
   を更に備える請求項１記載の画像処理システム。
3. 前記推定手段による推定の結果得られる人物の対応関係に基づき、人物の移動履歴を表示装置に表示する第３の表示制御手段
   を更に備える請求項２記載の画像処理システム。
4. 前記推定手段は、ビデオカメラ間の距離、人物が移動に要した時間、人物の特徴量の関係の少なくとも１以上と、同一人物であること、及び同一人物ではないことが登録された結果とに基づき、人物の対応関係を推定する、
   請求項２又は請求項３記載の画像処理システム。
5. 複数のビデオカメラで撮像された映像の入力を受けるステップと、
   前記入力された映像に映る人物を１以上登録可能とするステップと、
   前記入力された映像を表示装置に表示するステップと、
   当該表示している映像に映る人物と前記登録により登録済みの人物とが同一人物であること、及び同一人物ではないことを登録可能とするステップと、
   を画像処理システムが行う、画像処理方法。
6. 複数のビデオカメラで撮像された映像の入力を受ける処理と、
   前記入力された映像に映る人物を１以上登録可能とする処理と、
   前記入力された映像を表示装置に表示する処理と、
   当該表示している映像に映る人物と前記登録により登録済みの人物とが同一人物であること、及び同一人物ではないことを登録可能とする処理と、
   をコンピュータに実行させるプログラム。

Images