WO2014045670A1 - 画像処理システム、画像処理方法及びプログラム - Google Patents

Abstract

（課題）カメラ間での人物の対応付けを誤った場合でも、それを事後的に修復することのできる画像処理システム、画像処理方法、及びプログラムを提供する。 （解決手段）複数のビデオカメラで撮像された映像の入力を受ける画像入力部１１０と、画像入力部１１０から入力された映像に映る移動体を１以上登録可能な登録・修正指示入力部１２０と、登録・修正指示入力部１２０により入力された映像を表示装置に表示する動画表示部１４１とを備える。登録・修正指示入力部１２０は、当該表示している映像に映る移動体と登録済みの移動体とが同一移動体であることを登録可能とすると共に、同一移動体として登録された対応関係の一方の移動体を、他方の移動体とは異なる他の移動体と対応づけることにより、移動体の対応関係を修正可能とする。

Description

画像処理システム、画像処理方法及びプログラム

　本発明に係るいくつかの態様は、画像処理システム、画像処理方法及びプログラムに関する。

　近年、複数のカメラからの映像を利用して広範囲にわたる監視を行うシステムが考えられている。例えば特許文献１は、カメラ間の連結関係情報を用いてカメラ間にまたがる人物の追尾（モニタリング）を適切に行うことのできる装置を開示している。この装置は、カメラ視野に出現した点（Ｉｎ点）と、カメラ視野から消失した点（Ｏｕｔ点）における人物特徴量の類似度に応じて、人物の対応関係を求める。

特開２０１０－２４５９４５号公報

　特許文献１記載の装置のように、類似度に応じて自動的に人物の対応関係を定める場合には、一定の確率で誤りが生じる。そこで、人間が関与する形で人物の対応付けを行うことが求められている。しかしながら、人間が対応付けを行う場合であっても、例えば、外見の似た人物が複数存在するような場合や、操作ミスが生じた場合等には対応付けを誤る可能性もある。

　本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、カメラ間での人物の対応付けを誤った場合でも、それを事後的に修復することのできる画像処理システム、画像処理方法、及びプログラムを提供することを目的の１つとする。

　本発明に係る画像処理システムは、複数のビデオカメラで撮像された映像の入力を受ける入力手段と、前記入力手段から入力された映像に映る移動体を１以上登録可能な第１の登録手段と、前記入力手段により入力された映像を表示装置に表示する第１の表示制御手段と、当該表示している映像に映る移動体と前記第１の登録手段により登録済みの移動体とが同一移動体であることを登録可能とする第２の登録手段と、前記第２の登録手段により同一移動体として登録された対応関係の一方の移動体を、他方の移動体とは異なる他の移動体と対応づけることにより、移動体の対応関係を修正可能とする修正手段とを備える。

　本発明に係る画像処理方法は、複数のビデオカメラで撮像された映像の入力を受けるステップと、前記入力された映像に映る移動体を１以上登録可能とするステップと、前記入力された映像を表示装置に表示するステップと、当該表示している映像に映る移動体と前記登録済みの移動体とが同一移動体であることを登録可能とするステップと、同一移動体として登録された対応関係の一方の移動体を、他方の移動体とは異なる他の移動体と対応づけることにより、移動体の対応関係を修正可能とするステップとを画像処理システムが行う。

　本発明に係るプログラムは、複数のビデオカメラで撮像された映像の入力を受ける処理と、前記入力された映像に映る移動体を１以上登録可能とする処理と、前記入力された映像を表示装置に表示する処理と、当該表示している映像に映る移動体と前記登録済みの移動体とが同一移動体であることを登録可能とする処理と、同一移動体として登録された対応関係の一方の移動体を、他方の移動体とは異なる他の移動体と対応づけることにより、移動体の対応関係を修正可能とする処理とをコンピュータに実行させる。

　なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

　本発明によれば、カメラ間での人物の対応付けを誤った場合でも、それを事後的に修復することのできる画像処理システム、画像処理方法、及びプログラムを提供することができる。

第１実施形態に係る監視システムの概略構成を示す機能ブロック図である。 表示画面の具体例を示す図である。 表示画面に表示されるポップアップウィンドウの具体例を示す図である。 表示画面に表示されるユーザインタフェースの具体例を示す図である。 表示画面に表示されるユーザインタフェースの具体例を示す図である。 表示画面に表示されるユーザインタフェースの具体例を示す図である。 表示画面の具体例を示す図である。 表示画面に表示されるユーザインタフェースの具体例を示す図である。 図１に示した情報処理サーバの概略構成を示す機能ブロック図である。 図１に示す情報処理サーバの処理の流れを示すフローチャートである。 図１に示す情報処理サーバを実装可能なハードウェアの構成を示すブロック図である。 第２実施形態に係る監視装置の概略構成を示す機能ブロック図である。

　以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。

　（１　第１実施形態）
　図１乃至図１１は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、次の流れに従って本実施形態を説明する。まず、「１．１」でシステム構成の概要を示すとともに、「１．２」で動作の概要を、表示画面の具体例等を示しながら説明する。その後、「１．３」でシステムの機能構成を説明し、「１．４」で処理の流れを、「１．５」で、本システムを実現可能なハードウェア構成の具体例を示す。最後に、「１．６」以降で、本実施形態に係る効果等を説明する。

　（１．１　システム構成）
　図１を参照しながら、本実施形態に係る画像処理システムである監視システム１のシステム構成を説明する。図１は、監視システム１のシステム構成を示すブロック図である。

　監視システム１は、大きく分けて、情報処理サーバ１００と、映像（動画像）を撮影（撮像）する複数のビデオカメラ２００（ビデオカメラ２００Ａ乃至２００Ｎを総称してビデオカメラ２００と呼ぶ。）と、表示装置３００と、入力装置４００とから構成される。

　以下、監視システム１は、ビデオカメラ２００で撮影された人物を監視するためのシステムであるものとして説明するが、監視対象はこれに限られるものではない。例えば、監視対象を車や自転車、バイク等の各種移動体に応用することも考えられる。

　ビデオカメラ２００は、映像（動画像）を撮影すると共に、当該撮影した映像内に人物がいるか否かを判別した上で、当該人物に係る位置や特徴量などの情報を、撮影動画像と共に情報処理サーバ１００へと送信する。また、ビデオカメラ２００は、撮影した映像をフレーム間で比較することにより、映像内の人物追跡も行うことができる。

　なお、人物の検出や特徴量の抽出、カメラ内の人物追跡などの処理は、ビデオカメラ２００上でなくとも、例えば、情報処理サーバ１００や、図示しない他の情報処理装置上で行なっても良い。

　情報処理サーバ１００は、ビデオカメラ２００で撮像された映像を解析することにより、追跡する人物の登録、登録された人物の追跡等の各種処理を行う。

　なお、情報処理サーバ１００で処理する映像は、ビデオカメラ２００により撮影されるリアルタイムの映像のみならず、ビデオカメラ２００により撮影された後、記憶装置（例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＶＣＲ（Ｖｉｄｅｏ　Ｃａｓｓｅｔｔｅ　Ｒｅｃｏｒｄｅｒ）など）に記憶された映像を対象に追跡（分析）することも考えられる。特に、後述の人物の対応関係の登録関係の修正を可能とするためにも、撮像した映像を記録した上で、その記録映像を元に再度追跡処理を行えるようにする必要がある。

　更に、当該記憶装置に記憶された動画像を逆順に再生（逆再生）して追跡することも考えられる。通常、ある人物が不審な行動をとった場合には、その人物がその行為までにどのような経路で移動し、どのような行動をとったかを調べる必要が有るため、このような逆再生による追跡を可能とすることは極めて重要である。

　情報処理サーバ１００における人物監視において、情報処理サーバ１００は、表示装置３００に監視用の画面等の各種表示画面を出力すると共に、入力装置４００から、人物監視に係る各種操作入力に係る操作信号を受け付ける。より具体的には、例えば、表示装置３００に表示する監視用画面（後述する図２に具体例を示す。）では、ビデオカメラ２００から入力された映像を複数表示することで、監視対象の人物が今どこにいるのかを、監視者であるユーザが把握できるようにしている。

　監視者であるユーザは、表示装置３００を見て、あるビデオカメラ２００の映像（動画像）に映った監視対象の人物が他のビデオカメラ２００の映像に映った場合には、入力装置４００を操作して、当該２人の人物を同一人物であるものとして対応付ける。また、本実施形態では、後述の通り、対応付けが誤っていた場合には、ユーザは入力装置４００を操作して、当該対応付けを修正できる。

　表示装置３００は、例えば、液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）等に画像を表示するディスプレイである。情報処理サーバ１００から出力される監視用画面は、表示装置３００が表示する。

　入力装置４００は、ユーザ（監視者）が各種情報を入力するための装置である。例えば、マウスやタッチパッド、タッチパネルなどのポインティングデバイスやキーボード等が入力装置４００に該当する。監視対象人物の登録や、登録された人物とビデオカメラ２００に現れた人物とが同一人物である旨の対応付けやその修正等の各種処理は、ユーザの入力装置４００に対する操作に基づいてなされる。

　なお、情報処理サーバ１００と表示装置３００、入力装置４００の構成は種々考えられる。例えば、表示装置３００及び入力装置４００を１台のクライアントとして実現することも考えられるし、或いは、情報処理サーバ１００、表示装置３００、及び入力装置４００の機能を３台以上の情報処理装置により実現しても良い。また、表示装置３００及び入力装置４００を１台のクライアントとして実現する場合には、本実施形態に係る情報処理サーバ１００の一部の機能を、当該クライアントに持たせても良い。

　（１．２　動作説明）
　（１．２．１　対応関係の登録）
　以下、図２及び図３を参照しながら、表示装置３００が表示する、人物監視の為に表示する表示画面の具体例を説明する。図２は、表示装置３００が、人物監視のために表示する表示画面（以下、監視用画面２０ともいう。）の具体例を示す図である。

　図２の監視用画面２０の例では、複数のビデオカメラ２００から入力された撮影映像を表示する映像領域２１Ａ乃至２１Ｄ（以下、総称して映像領域２１ともいう。）と、監視対象の人物が表示される監視対象者表示領域２３とを含む。

　映像領域２１は、前述の通り複数のビデオカメラ２００から入力されたマルチカメラの映像を表示する。ここで、それぞれの映像領域２１に表示されるビデオカメラ２００の映像は随時切り換わっても良い。例えば、監視対象の人物が表示領域から外れた後、当該人物の移動に併せて、次にその人物が現れると予測されるビデオカメラ２００の映像に切り換える等の制御を行なっても良い。

　監視対象者表示領域２３は、監視者であるユーザが、映像領域２１に映った人物のうち、監視対象に選んだ人物が登録される領域である。図２の例のように、監視対象者は複数選択することができる（図２の例では３名）。また、それぞれの人物に対して、例えば正面と背面など、姿勢の異なる複数の人物画像（図２の例では２つ）が監視対象者表示領域２３に表示される。

　更に、図２の監視用画面２０の例では、映像領域２１Ｄに映る人物Ｐの上方にポップアップウィンドウ２５が表示されている。ポップアップウィンドウ２５は、人物Ｐを監視対象とするか否か、及び、既に監視対象として監視対象者表示領域２３上に登録されている人物と同一人物であるか否かを選択可能とするためのものである。

　ポップアップウィンドウ２５は、新たに検出された人物Ｐの近傍に表示される。人物Ｐの移動（動き）に伴い、ポップアップウィンドウ２５の位置は移動する。このようにポップアップウィンドウ２５を対象人物Ｐの近傍に配置することで、ユーザによる新たに登録作業すべき人物Ｐの特定を容易にしたり、人物Ｐと登録済みの監視対象者との比較を容易にしたり、操作範囲を狭めたり、といった効果を得ることが可能となる。

　続いて、図３を参照しながら、ポップアップウィンドウ２５の具体例について説明する。図３は、ポップアップウィンドウ２５の具体例を示す図である。図３の例において、ＩＤ１、ＩＤ２、及びＩＤ３がそれぞれ割り当てられた監視対象者のサムネイルである人物画像３１Ａ乃至３１Ｃ（以下、総称して人物画像３１という。）と、ＩＤ４が割り当てられた空白画像３３とが並んでいる。

　ユーザが人物画像３１を選択すると、情報処理サーバ１００は、当該人物画像３１に対応する監視対象者と、映像に映る人物Ｐとを同一人物として対応付ける。また、ユーザが空白画像３３を選択すると、情報処理サーバ１００は、映像に映る人物Ｐを、ＩＤ４を持つ新規の監視対象者として登録する。

　更に、人物画像３１の下方には、同一人物ではないことをユーザが登録するための登録ボタン３５Ａ乃至３５Ｃ（図中、ｒｅｍｏｖｅを意味する「ｒｅｍ」と表記されている。以下、総称して登録ボタン３５ともいう。）は、既に登録されているＩＤ１、ＩＤ２及びＩＤ３に対応する監視対象者と、映像に映る人物Ｐとが同一人物ではないことをユーザが登録するためのものである。

　またこのとき、ポップアップウィンドウ２５配置される各人物は、それぞれ人物Ｐと一致する可能性の高い順等で並べても良いし、或いは、可能性の高いＮ個だけを並べるようにしても良い。この、人物Ｐと一致する可能性は、後述する対応付け推定により算出が可能である。このような手法をとることにより、ユーザによる人物Ｐと対応する（もしくはしない）人物の選択を容易にすることが可能となる。

　（１．２．２　対応関係の修正）
　「１．２．１」で述べた操作により、ユーザは監視人物の登録や、監視対象人物に係る対応付けを行うが、監視対象人物と外見の似た人物が他にもいる場合や操作ミス等により、誤った人物の対応付けを行なってしまう場合も考えられる。そこで、本実施形態に係る監視システム１では、登録した対応付けを修正できるようにするユーザインタフェース（ＵＩ）を提供する。

　図４及び図５は、ユーザが修正を登録するためのユーザインタフェースの一例を示す図である。尚、図４及び図５の映像領域２１は、図２で説明した監視用画面２０の映像領域２１に対応する。なお、図４や図５のインタフェースは、修正の必要がある旨、及び誤った追跡処理がなされている移動体の指定、の２つの情報をユーザに入力させるためのものである。

　まず、図４の例を説明する。図４の例は、監視対象人物を認識させるための画像４１がユーザに選択された後、当該人物の対応付けを修正するための修正登録ボタン４３を表示画面上に表示したものである。

　図５の例は、順序が逆になっている場合の例である。監視用画面２０上に常に表示されている修正登録ボタン４３がユーザにより選択された後、対応付け修正対象の監視対象人物をユーザが選択する場合の表示画面の具体例を示したものである。

　図４や図５のような画面でユーザが修正を指示すると、当該人物にかかる対応付けを、どこから修正するかをユーザに選択させるための画面を情報処理サーバ１００は表示装置３００に表示させる。図６及び図７は、ユーザの対応付けをどこまで遡って修正するかを入力する（修正時刻を入力する）ための入力画面の具体例を示す図である。

　図６の例は、ユーザが修正対象として指定した人物Ｐが対応付けられた人物の人物画像を、時系列順に複数ならべて表示したものである。この例では、現在時刻から遡って５つの画像を並べると共に、それぞれの画像の下部において、撮影時刻、及び撮影したカメラの情報を示している。

　図７の例は、ユーザが修正対象として指定した人物Ｐについて、現在の対応付け情報に基づいて推定される移動経路と、撮像された画像とを示すものである。なお、図７の例にいて、カメラ内の移動追跡の結果得られた移動経路は実線で、ユーザによる人物の対応付けにより推定されるカメラ間の移動経路は破線で示されている。図中、斜線のエリアは、ビデオカメラ２００の撮影範囲を示す。

　図７のように、過去の人物画像のみならず、推定される移動経路をもユーザに提示することにより、ユーザは、移動経路の可能性も考慮した上で、対応付けを誤った箇所を特定できるようになる。

　図８は、修正後の正しい対応付けを行う人物を登録するための画像である。図８の例において、対応付け可能な人物の画像が、その可能性の高さの順に複数（図８の例では５つ）並べられている。また、それぞれの人物に関して、撮影方向の異なる複数の人物画像（図８の例では３つ。例えば、左右前後のうち、３つを選択することが考えられる。）を並べている。

　この他、それぞれの人物が歩く画像を表示することも考えられる。監視対象者の歩き方に特徴がある場合等には、動画の方が、同一人物であるか否かを比較しやすいためである。

　（１．３　システムの機能構成）
　次に、図９を参照しながら、本実施形態に係る情報処理サーバ１００の機能構成を説明する。図９は、本実施形態に係る情報処理サーバ１００の機能構成を示す機能ブロック図である。

　図９に示すように、情報処理サーバ１００は、大きく分けると、画像入力部１１０と、登録・修正指示入力部１２０と、人物追跡処理部１３０と、表示制御部１４０とを含む。

　画像入力部１１０は、ビデオカメラ２００が撮影した映像や、人物検出の結果の入力を逐次受ける。ここで、入力を受ける人物検出結果には、映像内で検出された人物の特徴量や、時系列の画像（フレーム）間の比較により、オブジェクトとして抽出された人物毎に同一画角内（同一映像内）で追跡した移動軌跡の情報（人物の位置と特徴量情報の時系列データ）等が含まれる。

　登録・修正指示入力部１２０は、ユーザが入力装置４００から入力した操作に基づき、入力装置４００から受信する操作信号に基づいて、監視対象者の登録指示や監視対象者の対応付け指示、対応付けの修正指示等の各種入力を受ける。修正時においては、例えば前述の通り、追跡を誤った時点の人物（移動体）の情報や、正しい追跡対象である人物の情報等が、登録・修正指示入力部１２０により入力される。

　表示制御部１４０は、人物追跡処理部１３０で行った人物追跡処理の結果に基づき、表示装置３００に各種表示画面を表示させることにより、図２乃至図８に例示したユーザインタフェースを監視者であるユーザに提供する。表示制御部１４０は、動画表示部１４１、及び移動履歴生成部１４３を含む。動画表示部１４１は、画像入力部１１０から入力された映像や、ＤＢ１３４に記録された撮影映像１３４Ａを再生し、例えば図２に具体例を示した映像領域２１上に映像を表示させる。移動履歴生成部１４３は、移動体追跡部１３６が解析した人物の追跡結果に基づき、図７の表示画面に含まれる移動履歴領域を生成する。

　人物追跡処理部１３０は、画像入力部１１０から入力された映像及び人物検出結果や、登録・修正指示入力部１２０から入力されたユーザ指示に基づき、人物追跡に係る処理を行う。人物追跡処理部１３０は、図９に示す通り、特徴量抽出部１３１、特徴量選択部１３２、対応付け推定部１３３、データベース（ＤＢ）１３４、情報削除部１３５、及び移動体追跡部１３６を含む。

　特徴量抽出部１３１は、画像入力部１１０から入力された映像及び人物検出結果から、人物の特徴量に係る情報を抽出する。

　特徴量選択部１３２は、特徴量抽出部１３１により抽出された特徴量を必要に応じてＤＢ１３４に特徴量情報１３４Ｄとして記憶する。また、特徴量選択部１３２は、登録・修正指示入力部１２０からの操作入力に応じて、特徴量抽出部１３１から入力された特徴量と対応する可能性の高い人物に係る情報を、ＤＢ１３４から読みだして移動体追跡部１３６に出力する。

　対応付け推定部１３３は、登録・修正指示入力部１２０からの操作入力に係る情報を、当該対応付けの操作を対応付け操作情報１３４ＢとしてＤＢ１３４に登録する。また、対応付け推定部１３３は、ＤＢ１３４に特徴量等の情報に基づき、人物の対応関係（対応付けの組合せ）を推定する。対応関係の推定は、ユーザが入力した対応付けの情報の他、各ビデオカメラ２００で撮影された映像に映る人物の特徴量の類似度や、その両ビデオカメラ間の移動に要した経過時間と、通常その両ビデオカメラ間の移動に要する平均時間との比較結果等に基づいて、行うことができる。

　例えば、ビデオカメラ２００Ａに時刻ｔに映ってフレームアウトした人物と、ビデオカメラ２００Ｎに時刻ｔ＋１に新たに映った人物との類似度が高い場合には、両人物は対応する（同一人物である）可能性が高いものと考えられる。また、ビデオカメラ２００Ａの撮影範囲からビデオカメラ２００Ｎの撮影範囲までの移動に通常要する時間（予め与えられても良いし、平均値により統計的に算出しても良い）と、実際に移動に要した時間（時刻ｔ＋１と時刻ｔとの差分）との乖離が小さければ、両人物は対応する可能性が高いものと考えられる。対応付け推定部１３３は、対応付けの可能性を人物毎に評価するとともに、それらの対応付けを組み合わせた対応関係が成立しうるか否かを評価することにより、それぞれの対応付けの確率を算出して、ＤＢ１３４に対応付け確率情報１３４Ｃとして登録する。

　また、対応付け推定部１３３は、登録・修正指示入力部１２０から人物関係の修正指示を受けると、当該指示に基づき、対応付け確率情報１３４Ｃを再計算し直す。当該確率に基づき、例えば図３を参照しながら説明したポップアップウィンドウ２５の表示や、図８を参照しながら説明した表示画面において、対象人物と対応付けを行う人物画像の表示順序が変わる。

　なお、ユーザが入力した対応付け（修正した対応付けも含む）に矛盾がある場合には、対応付け推定部１３３は、その旨を、表示制御部１４０によるメッセージ表示や音声通知等によりユーザに報知する。尚、対応付けに矛盾がある場合とは、例えば、時刻ｔのカメラ１に人物Ａが、時刻ｔのカメラ２に人物Ｂが、時刻ｔ＋１のカメラ３に人物Ｃがそれぞれ映っている場合に、人物Ｃに対して、人物Ａ及び人物Ｂの双方をユーザが対応付けた場合等が挙げられる。

　情報削除部１３５は、ＤＢ１３４に登録された各種情報のうち、不要と判別できるものを随時削除する。情報を削除する条件としては、例えば、抽出後、一定時間以上経過した特徴量情報１３４Ｄや、修正されずに一定時間以上経過した対応付け確率情報１３４Ｃ及び対応付け操作情報１３４Ｂ等が考えられる。或いは、ユーザから対応関係の修正指示がなされた場合には、当該対応関係修正前に係る対応付け操作情報１３４Ｂや対応付け確率情報１３４Ｃは、情報削除部１３５が削除する。

　移動体追跡部１３６は、特徴量選択部１３２から出力された特徴量に基づき、画像入力部１１０から入力された映像に対して人物追跡を行う。もし、ユーザから対応付けの修正指示が行われた場合には、当該修正後の対応関係に基づき、移動体追跡部１３６は修正時刻から現時刻までの人物追跡処理をやり直す。

　（１．４　処理の流れ）
　以下、情報処理サーバ１００の対応付け修正時に係る処理の流れを、図１０を参照しながら説明する。図１０は、本実施形態に係る情報処理サーバ１００の処理の流れを示すフローチャートである。

　なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

　まず、登録・修正指示入力部１２０は、入力装置４００を介して、ユーザから修正指示が入力されたか否かを判別する（Ｓ１００１）。これは、例えば図４や図５の表示画面において、ユーザが画像４１及び４３の双方を選択した状態に相当する。

　当該修正指示に基づき、表示制御部１４０はＤＢ１３４からデータを読み込んで、過去の対応付けの履歴である対応付け操作情報１３４Ｂを読み込んで（Ｓ１００３）、現在までに対応付けを行ったそれぞれの人物画像を表示装置３００に表示させる（Ｓ１００５）。当該インタフェースの具体例は、図６や図７で前述したものである。

　ユーザが、図６や図７に例示した画面において、遡って対応付けを修正する人物画像を選択すると（対応付けを修正する時点である修正時刻の選択に相当する）（Ｓ１００７のＹｅｓ）、表示制御部１４０はＤＢ１３４から対応付け確率情報１３４Ｃを読み込んで、図８に例示したような表示画面により、修正する人物及び時刻において対応付け確率の高い修正候補を表示装置３００に表示させる。

　ユーザにより、修正候補が選択されると（Ｓ１０１３のＹｅｓ）、対応付け推定部１３３は対応付け操作情報１３４Ｂを参照して、対応付けの矛盾の有無を確認する（Ｓ１０１５）。もし矛盾がある場合には（Ｓ１０１７のＹｅｓ）、表示制御部１４０は対応付けの修正が必要である旨のメッセージを表示装置３００に表示する（アラートを上げる）（Ｓ１０１９）。この結果、修正指示がユーザから入力された場合には（Ｓ１０２１のＹｅｓ）、当該矛盾の原因となっている人物を対象に、Ｓ１００３以降の処理を行う。

　Ｓ１０１７で矛盾がなかった場合（Ｓ１０１７のＮｏ）、もしくはＳ１０２１で修正指示がなかった場合には（Ｓ１０２１のＮｏ）、対応付け推定部１３３は、修正後の対応関係に基づいて、対応付け確率を再計算して（Ｓ１０２３）、ＤＢ１３４に対応付け確率情報１３４Ｃとして登録する（Ｓ１０２５）。なおこのとき、修正時刻から現在時刻までの映像を、速度を上げて再生して映像領域２１に表示することにより、早期に現在時刻での監視を再開できるようにしても良い。

　（１．５　ハードウェア構成）
　以下、図１１を参照しながら、上述してきた情報処理サーバ１００をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお、前述の通り、情報処理サーバ１００の機能は、複数の情報処理装置により実現することも可能である。

　図１１に示すように、情報処理サーバ１００は、プロセッサ１１０１、メモリ１１０３、記憶装置１１０５、入力インタフェース（Ｉ／Ｆ）１１０７、データＩ／Ｆ１１０９、通信Ｉ／Ｆ１１１１、及び表示装置１１１３を含む。

　プロセッサ１１０１は、メモリ１１０３に記憶されているプログラムを実行することにより情報処理サーバ１００における様々な処理を制御する。例えば、図９で説明した登録・修正指示入力部１２０、画像入力部１１０、特徴量抽出部１３１、特徴量選択部１３２、対応付け推定部１３３、情報削除部１３５、移動体追跡部１３６、及び表示制御部１４０に係る処理は、メモリ１１０３に一時記憶された上で、主にプロセッサ１１０１上で動作するプログラムとして実現可能である。

　メモリ１１０３は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ１１０３は、プロセッサ１１０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ１１０３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。

　記憶装置１１０５は、例えばハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶装置１１０５は、オペレーティングシステムや、登登録・修正指示入力部１２０、画像入力部１１０、特徴量抽出部１３１、特徴量選択部１３２、対応付け推定部１３３、情報削除部１３５、移動体追跡部１３６、及び表示制御部１４０を実現するための各種プログラムや、ＤＢ１３４に含まれる撮影映像１３４Ａ、対応付け操作情報１３４Ｂ、対応付け確率情報１３４Ｃ、及び特徴量情報１３４Ｄ等の各種データなどを記憶する。記憶装置１１０５に記憶されているプログラムやデータは、必要に応じてメモリ１１０３にロードされることにより、プロセッサ１１０１から参照される。

　入力Ｉ／Ｆ１１０７は、ユーザからの入力を受け付けるためのデバイスである。図１で説明した入力装置４００は、入力Ｉ／Ｆ１１０７により実現することも可能である。入力Ｉ／Ｆ１１０７の具体例としては、キーボードやマウス、タッチパネル、各種センサ等が挙げられる。入力Ｉ／Ｆ１１０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等のインタフェースを介して情報処理サーバ１００に接続されても良い。

　データＩ／Ｆ１１０９は、情報処理サーバ１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ１１０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ１１０９は、情報処理サーバ１００の外部に設けられることも考えられる。その場合、データＩ／Ｆ１１０９は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００へと接続される。

　通信Ｉ／Ｆ１１１１は、情報処理サーバ１００の外部の装置、例えばビデオカメラ２００などとの間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ１１１１は情報処理サーバ１００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ１１１１は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００に接続される。

　表示装置１１１３は、各種情報を表示するためのデバイスである。図１で説明した表示装置３００は、表示装置１１１３により実現することも可能である。表示装置１１１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示装置１１１３は、情報処理サーバ１００の外部に設けられても良い。その場合、表示装置１１１３は、例えばディスプレイケーブル等を介して情報処理サーバ１００に接続される。

　（１．６　本実施形態に係る効果）
　以上説明したように、本実施形態に係る監視システム１では、ユーザから同一人物である旨の情報等の入力を受けることにより、監視対象人物の対応付けを行うことができる。更に、ユーザが対応付けを誤ったことに気づいた場合には、ユーザは当該人物に係る対応付けを遡って修正することができるようにしているため、事後的に対応付けを修復することができる。

　（２　第２実施形態）
　以下、第２実施形態を、図１２を参照しながら説明する。図１２は、画像処理システムである監視装置１２００の機能構成を示すブロック図である。図１２に示すように監視装置１２００は、入力部１２１０と、第１の登録部１２２０と、表示制御部１２３０と、第２の登録部１２４０と、修正部１２５０とを含む。

　入力部１２１０は、複数の図示しないビデオカメラで撮像された映像の入力を受ける。第１の登録部１２２０は、入力部１２１０から入力された映像に映る移動体を１以上登録可能としている。当該登録は、例えばユーザ指示に基づいて行う。

　表示制御部１２３０は、入力部１２１０により入力された映像を図示しない表示装置に表示する。第２の登録部１２４０は、表示制御部１２３０が表示している映像に映る移動体と、第１の登録部１２２０により登録済みの移動体とが同一移動体であることを登録可能としている。当該登録は、例えばユーザ指示に基づいて行う。

　修正部１２５０は、第２の登録部１２４０により同一移動体として登録された対応関係の一方の移動体を、他方の移動体とは異なる他の移動体と対応づけることにより、移動体の対応関係を修正可能とする。

　このように実装することで、本実施形態に係る監視装置１２００によれば、カメラ間での人物の対応付けを誤った場合でも、それを事後的に修復することができるようになる。

　（３　付記事項）
　なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

　なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。

　（付記１）
　複数のビデオカメラで撮像された映像の入力を受ける入力手段と、前記入力手段から入力された映像に映る移動体を１以上登録可能な第１の登録手段と、前記入力手段により入力された映像を表示装置に表示する第１の表示制御手段と、当該表示している映像に映る移動体と前記第１の登録手段により登録済みの移動体とが同一移動体であることを登録可能とする第２の登録手段と、前記第２の登録手段により同一移動体として登録された対応関係の一方の移動体を、他方の移動体とは異なる他の移動体と対応づけることにより、移動体の対応関係を修正可能とする修正手段とを備える画像処理システム。

　（付記２）
　前記入力手段により入力された映像に映る移動体に係る特徴量を算出する演算手段を更に備え、前記第２の登録手段は、前記演算手段により算出された特徴量に応じて、当該表示している映像に映る移動体と前記第１の登録手段により登録済みの移動体とが同一移動体であることを登録可能とする、付記１記載の画像処理システム。

　（付記３）
　前記特徴量を記憶する記憶手段と、前記記憶手段に記憶された前記特徴量を、条件に応じて削除する削除手段とを更に備える、付記２記載の画像処理システム。

　（付記４）
　前記第２の登録手段により登録された移動体の対応関係、及び前記修正手段により修正された移動体の対応関係に応じて、前記第１の登録手段で登録された移動体の移動履歴を表示装置に表示する第２の表示制御手段を更に備える付記１乃至付記３記載の画像処理システム。

　（付記５）
　前記修正手段は、修正対象となる移動体を時系列に表示装置に表示することにより、移動体の対応関係を修正可能とする、付記１乃至付記４のいずれか１項記載の画像処理システム。

　（付記６）
　前記修正手段は、修正対象となる移動体の移動履歴を表示装置に表示することにより、移動体の対応関係を修正可能とする、付記１乃至付記４のいずれか１項記載の画像処理システム。

　（付記７）
　前記修正手段により対応関係を修正すると、当該修正後の対応関係に矛盾が生じる場合に、その旨を報知する報知手段を更に備える、付記１乃至付記６のいずれか１項記載の画像処理システム。

　（付記８）
　複数のビデオカメラで撮像された映像の入力を受けるステップと、前記入力された映像に映る移動体を１以上登録可能とするステップと、前記入力された映像を表示装置に表示するステップと、当該表示している映像に映る移動体と前記登録済みの移動体とが同一移動体であることを登録可能とするステップと、同一移動体として登録された対応関係の一方の移動体を、他方の移動体とは異なる他の移動体と対応づけることにより、移動体の対応関係を修正可能とするステップとを画像処理システムが行う、画像処理方法。

　（付記９）
　前記入力された映像に映る移動体に係る特徴量を算出するステップを更に備え、前記演算により算出された特徴量に応じて、表示している映像に映る移動体と前記登録済みの移動体とが同一移動体であることを登録可能とする、付記８記載の画像処理方法。

　（付記１０）
　前記特徴量を記憶するステップと、前記記憶された前記特徴量を、条件に応じて削除するステップとを更に備える、付記９記載の画像処理方法。

　（付記１１）
　前記登録された移動体の対応関係、及び前記修正された移動体の対応関係に応じて、前記登録された移動体の移動履歴を表示装置に表示するステップを更に備える付記９又は付記１０記載の画像処理方法。

　（付記１２）
　修正対象となる移動体を時系列に表示装置に表示することにより、移動体の対応関係を修正可能とする、付記８乃至付記１１のいずれか１項記載の画像処理方法。

　（付記１３）
　修正対象となる移動体の移動履歴を表示装置に表示することにより、移動体の対応関係を修正可能とする、付記８乃至付記１１のいずれか１項記載の画像処理方法。

　（付記１４）
　対応関係を修正すると、当該修正後の対応関係に矛盾が生じる場合に、その旨を報知するステップを更に備える、付記８乃至付記１３のいずれか１項記載の画像処理方法。

　（付記１５）
　複数のビデオカメラで撮像された映像の入力を受ける処理と、前記入力された映像に映る移動体を１以上登録可能とする処理と、前記入力された映像を表示装置に表示する処理と、当該表示している映像に映る移動体と前記登録済みの移動体とが同一移動体であることを登録可能とする処理と、同一移動体として登録された対応関係の一方の移動体を、他方の移動体とは異なる他の移動体と対応づけることにより、移動体の対応関係を修正可能とする処理とをコンピュータに実行させるプログラム。

　（付記１６）
　前記入力された映像に映る移動体に係る特徴量を算出する処理を更に備え、前記演算により算出された特徴量に応じて、表示している映像に映る移動体と前記登録済みの移動体とが同一移動体であることを登録可能とする、付記１５記載のプログラム。

　（付記１７）
　前記特徴量を記憶する処理と、前記記憶された前記特徴量を、条件に応じて削除する処理とを更に備える、付記１６記載のプログラム。

　（付記１８）
　前記登録された移動体の対応関係、及び前記修正された移動体の対応関係に応じて、前記登録された移動体の移動履歴を表示装置に表示する処理を更に備える付記１６又は付記１７記載のプログラム。

　（付記１９）
　修正対象となる移動体を時系列に表示装置に表示することにより、移動体の対応関係を修正可能とする、付記１５乃至付記１８のいずれか１項記載のプログラム。

　（付記２０）
　修正対象となる移動体の移動履歴を表示装置に表示することにより、移動体の対応関係を修正可能とする、付記１５乃至付記１８のいずれか１項記載のプログラム。

　（付記２１）
　対応関係を修正すると、当該修正後の対応関係に矛盾が生じる場合に、その旨を報知する処理を更に備える、付記１５乃至付記２０のいずれか１項記載のプログラム。

　この出願は、２０１２年９月１９日に出願された日本出願特願２０１２－２０５９０９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１・・・監視システム、２０・・・監視用画面、２１・・・映像領域、２３・・・監視対象者表示領域、２５・・・ポップアップウィンドウ、３１・・・人物画像、３３・・・空白画像、３５・・・登録ボタン、４１・・・画像、４３・・・修正登録ボタン、１００・・・情報処理サーバ、１１０・・・画像入力部、１２０・・・修正指示入力部、１３０・・・人物追跡処理部、１３１・・・特徴量抽出部、１３２・・・特徴量選択部、１３３・・・対応付け推定部、１３４・・・データベース、１３４Ａ・・・撮影映像、１３４Ｂ・・・対応付け操作情報、１３４Ｃ・・・対応付け確率情報、１３４Ｄ・・・特徴量情報、１３５・・・情報削除部、１３６・・・移動体追跡部、１４０・・・表示制御部、１４１・・・動画表示部、１４３・・・移動履歴生成部、２００・・・ビデオカメラ、３００・・・表示装置、４００・・・入力装置、１１０１・・・プロセッサ、１１０３・・・メモリ、１１０５・・・記憶装置、１１０７・・・入力インタフェース、１１０９・・・データインタフェース、１１１１・・・通信インタフェース、１１１３・・・表示装置、１２００・・・監視装置、１２１０・・・入力部、１２２０・・・第１の登録部、１２３０・・・表示制御部、１２４０・・・第２の登録部、１２５０・・・修正部

Claims (9)

1. 　複数のビデオカメラで撮像された映像の入力を受ける入力手段と、
   　前記入力手段から入力された映像に映る移動体を１以上登録可能な第１の登録手段と、
   　前記入力手段により入力された映像を表示装置に表示する第１の表示制御手段と、
   　当該表示している映像に映る移動体と前記第１の登録手段により登録済みの移動体とが同一移動体であることを登録可能とする第２の登録手段と、
   　前記第２の登録手段により同一移動体として登録された対応関係の一方の移動体を、他方の移動体とは異なる他の移動体と対応づけることにより、移動体の対応関係を修正可能とする修正手段と
   を備える画像処理システム。
2. 　前記入力手段により入力された映像に映る移動体に係る特徴量を算出する演算手段
   を更に備え、
   　前記第２の登録手段は、前記演算手段により算出された特徴量に応じて、表示している映像に映る移動体と前記第１の登録手段により登録済みの移動体とが同一移動体であることを登録可能とする、
   請求項１記載の画像処理システム。
3. 　前記特徴量を記憶する記憶手段と、
   　前記記憶手段に記憶された前記特徴量を、条件に応じて削除する削除手段と
   を更に備える、請求項２記載の画像処理システム。
4. 　前記第２の登録手段により登録された移動体の対応関係、及び前記修正手段により修正された移動体の対応関係に応じて、前記第１の登録手段で登録された移動体の移動履歴を表示装置に表示する第２の表示制御手段
   を更に備える請求項１乃至請求項３記載の画像処理システム。
5. 　前記修正手段は、修正対象となる移動体を時系列に表示装置に表示することにより、移動体の対応関係を修正可能とする、
   請求項１乃至請求項４のいずれか１項記載の画像処理システム。
6. 　前記修正手段は、修正対象となる移動体の移動履歴を表示装置に表示することにより、移動体の対応関係を修正可能とする、
   請求項１乃至請求項４のいずれか１項記載の画像処理システム。
7. 　前記修正手段により対応関係を修正すると、当該修正後の対応関係に矛盾が生じる場合に、その旨を報知する報知手段
   を更に備える、請求項１乃至請求項６のいずれか１項記載の画像処理システム。
8. 　複数のビデオカメラで撮像された映像の入力を受けるステップと、
   　前記入力された映像に映る移動体を１以上登録可能とするステップと、
   　前記入力された映像を表示装置に表示するステップと、
   　当該表示している映像に映る移動体と前記登録済みの移動体とが同一移動体であることを登録可能とするステップと、
   　同一移動体として登録された対応関係の一方の移動体を、他方の移動体とは異なる他の移動体と対応づけることにより、移動体の対応関係を修正可能とするステップと
   を画像処理システムが行う、画像処理方法。
9. 　複数のビデオカメラで撮像された映像の入力を受ける処理と、
   　前記入力された映像に映る移動体を１以上登録可能とする処理と、
   　前記入力された映像を表示装置に表示する処理と、
   　当該表示している映像に映る移動体と前記登録済みの移動体とが同一移動体であることを登録可能とする処理と、
   　同一移動体として登録された対応関係の一方の移動体を、他方の移動体とは異なる他の移動体と対応づけることにより、移動体の対応関係を修正可能とする処理と
   をコンピュータに実行させるプログラム。

Images