JP6332833B2 - 画像処理システム、画像処理方法、及びプログラム - Google Patents

Description

本発明に係るいくつかの態様は、画像処理システム、画像処理方法、及びプログラムに関する。

近年、複数のカメラからの映像を利用して広範囲にわたる監視を行うシステムが考えられている。例えば特許文献１は、カメラ間の連結関係情報を用いてカメラ間にまたがる人物の追尾（モニタリング）を適切に行うことのできる装置を開示している。この装置は、カメラ視野に出現した点（Ｉｎ点）と、カメラ視野から消失した点（Ｏｕｔ点）における人物特徴量の類似度に応じて、人物の対応関係を求める。

特開２００８−２１９５７０号公報

特許文献１記載の装置のように、類似度に応じて自動的に人物の対応関係を定める場合には、一定の確率で誤りが生じる。そこで、人間が関与する形で人物の対応付けを行うこともある。

しかしながら、監視に係る人間の関与度を高くすると、作業が煩雑になる可能性が高い。特に、監視対象の人物が複数名に及ぶ場合には、どの人物を対象に操作を行なっているのかをユーザが把握しづらくなったり、人物指定操作が複雑となったりしやすい。

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、人物追跡を行う際に、対象人物の特定に係る混乱を抑制することのできる画像処理システム、画像処理方法、及びプログラムを提供することを目的の１つとする。

本発明に係る１の画像処理システムは、複数のビデオカメラで撮像された動画像の入力を受ける入力手段と、前記入力手段から入力された動画像に映る人物を１以上登録可能な登録手段と、前記ビデオカメラから入力された動画像を、前記登録手段により登録された人物毎に、切換え可能に表示する表示制御手段とを備える。

本発明に係る画像処理方法は、複数のビデオカメラで撮像された動画像の入力を受けるステップと、前記入力された動画像に映る人物を１以上登録するステップと、前記ビデオカメラから入力された動画像を、前記登録された人物毎に、切換え可能に表示するステップとを画像処理システムが行う。

本発明に係るプログラムは、複数のビデオカメラで撮像された動画像の入力を受ける処理と、前記入力された動画像に映る人物を１以上登録する処理と、前記ビデオカメラから入力された動画像を、前記登録された人物毎に、切換え可能に表示する処理とをコンピュータに実行させる。

尚、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、人物追跡を行う際に、対象人物の特定に係る混乱を抑制することのできる画像処理システム、画像処理方法、及びプログラムを提供することができる。

第１実施形態に係る監視システムの概略構成を示す機能ブロック図である。 表示画面の具体例を示す図である。 表示画面の具体例を示す図である。 図１に示す情報処理サーバの処理の流れを示すフローチャートである。 図１に示す情報処理サーバを実装可能なハードウェア構成の機能構成を示すブロック図である。 第２実施形態に係る監視装置の概略構成を示す機能ブロック図である。 第３実施形態に係る表示画面の具体例を示す図である。 第４実施形態に係る表示画面の具体例を示す図である。 第４実施形態に係る表示画面の具体例を示す図である。 第５実施形態に係るモバイル端末の外観の具体例を示す図である。

以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。

（１．第１実施形態）
図１乃至図５は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って第１実施形態を説明する。まず「１．１」でシステム全体の機能構成を示すと共に、「１．２」で表示画面の具体例を示すことで、第１実施形態全体の概要を示す。その上で「１．３」で処理の流れを、「１，４」で実現可能なハードウェア構成の具体例を示す。最後に、「１．５」以降で、本実施形態に係る効果などを説明する。

（１．１ 機能構成）
図１を参照しながら、本実施形態に係る情報処理システムである監視システム１の機能構成を説明する。図１は、監視システム１の機能構成を示すブロック図である。

監視システム１は、大きく分けて、情報処理サーバ１００と、動画像を撮像する複数のビデオカメラ２００（ビデオカメラ２００Ａ乃至２００Ｎを総称してビデオカメラ２００と呼ぶ。）とから構成される。

ビデオカメラ２００は、動画像を撮像（撮影）する。またビデオカメラ２００は、当該撮像した動画像内に人物が映っているか否かを判別すると共に、当該人物に係る動画像内の位置や特徴量等の情報を、撮影動画像と共に情報処理サーバ１００へと送信する。また、ビデオカメラ２００は、撮像した動画像内の人物追跡も行うことができる。
尚、人物の検出や人物の特徴量の抽出、カメラ内の人物追跡などの処理は、例えば情報処理サーバ１００や、図示しない他の情報処理装置上で行なっても良い。

情報処理サーバ１００は、ビデオカメラ２００で撮像された動画像を解析することにより、人物の検出や、追跡する人物の登録、登録された人物の追跡などの各種処理を行う。

尚、以下ではビデオカメラ２００により撮像されるリアルタイムの動画像を元に人物監視を行う場合を例に説明を行うが、これに限られるものではなく、例えば、ビデオカメラ２００により撮像された、過去の動画像を対象に監視（分析）することも考えられる。

情報処理サーバ１００は、カメラ制御部１１０、類似度算出部１２０、追跡人物登録部１３０、次カメラ予測部１４０、表示画面生成部１５０、入力装置１６０、表示装置１７０、及びデータベース（ＤＢ）１８０を含む。

ここで、情報処理サーバ１００の機能は、例えばサーバとクライアント等の複数の装置により実現してもよく、例えばカメラの制御（カメラ制御部１１０）や追跡（監視）する人物の登録処理（追跡人物登録部１３０）、追跡対象人物が次に登場するビデオカメラ２００の予測（次カメラ予測部１４０）、表示画面の生成（表示画面生成部１５０）、等の処理はサーバ側で、ユーザ（監視者）による入力（入力装置１６０）や表示画面出力（表示装置１７０）等の処理はクライアント側で行うようにしもて良い。このサーバ／クライアントによる処理の分担方法は種々考えることができる。

カメラ制御部１１０は、ビデオカメラ２００を制御する。より具体的には、入力装置１６０から入力されたユーザ指示等に基づき、ズームインやズームアウト、撮影方向の上下左右への変更等を行うための命令を、ビデオカメラ２００へと送信する。また、ビデオカメラ２００から受信した動画像や人物検出情報を、撮影動画像１８１や検出人物情報１８３としてＤＢ１８０へ登録する。

類似度算出部１２０は、ビデオカメラ２００から入力された動画像に映る人物と、人物追跡情報１８５に登録された人物との類似度を算出することにより、被監視者の検出処理を行う。このとき、類似度算出部１２０は、登録された各人物に係る複数の人物画像（同一人物の複数のタイミングに係る人物画像）の中から、ビデオカメラ２００から入力された動画像内の人物の画像と姿勢が類似する人物画像を選択した上で類似度を算出する。これにより、類似度算出の精度を上げることが可能となる。

ここで、類似する姿勢とは、具体的には、例えば、正面／背面／右／左のいずれを向いているか、屈んでいるか否か、他の人と重なっているか否か等の状態がそれぞれ同一又は類似と判別できる（これらを判別するためのパラメータが近似している）ものをいう。

追跡人物登録部１３０は、ビデオカメラ２００から入力された撮影動画像に映っている人物を、入力装置１６０から入力されたユーザ指示等に基づき、追跡対象の被監視者（監視対象者／追跡対象者）としてＤＢ１８０の人物追跡情報１８５へ登録する。また追跡人物登録部１３０は、ビデオカメラ２００から入力された撮影動画像の中に映っている人物が、人物追跡情報１８５に既に登録された人物と同一人物であるとユーザに判定された場合には、その人物を人物追跡情報１８５に登録することもできる。

次カメラ予測部１４０は、あるビデオカメラ２００に映っている（映っていた）人物が、次にどのビデオカメラ２００に映るかを予測する。予測の方法は種々考えられるが、例えば、各ビデオカメラ２００間の設置距離や建物の構造、人物の歩く速度等に基づいて算出することや、或いは、追跡人物が過去、どの程度の時間を置いてどのビデオカメラ２００に登場したか、といった情報の統計的な処理により、確率的に予測すること等が考えられる。

表示画面生成部１５０は、表示装置１７０に表示させる、後述する図２や図３に例示するような表示画面を生成する。表示画面生成部１５０が生成する表示画面には、追跡対象の人物毎にウィンドウ２１を表示すると共に、当該ウィンドウ２１をタブ２５で切換えられるようになっている。各ウィンドウ２１には、追跡対象人物が映っている、若しくは近い将来映ると予測されるビデオカメラ２００の動画像が配置される。また、表示画面生成部１５０は、当該動画像に映った人物を、追跡対象の人物として新たに登録するか否か、若しくは、既に登録済みの人物と同一人物として対応づけるか否か、等を登録可能なＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示装置１７０に表示させる。

入力装置１６０は、ユーザ（監視者）が各種情報を入力するための装置である。例えば、マウスやタッチパッド、タッチパネル等のポインティングデバイスやキーボード等が入力装置１６０に該当する。上述の、追跡人物登録部１３０による対象人物の登録や、登録された人物との対応付け等の各種処理、タブ２５の切換えといった各種処理は、入力装置１６０に対する操作に基づいてなされる。

表示装置１７０は、例えば、液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等に画像を表示するディスプレイである。表示画面生成部１５０が作成した表示画面は、表示装置１７０が表示する。

ＤＢ１７０は、例えば図示しないＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の各種記憶装置上に構築される。ＤＢ１８０は、撮影動画像１８１、検出人物情報１８３、及び人物追跡情報１８５を管理する。

撮影動画像１８１は、ビデオカメラ２００から入力された動画像である。尚、当該撮影動画像１８１は、例えば撮影後一定時間経過したものや、人物が映っていないと判別できる部分は削除するようにしても良い。
検出人物情報１８３は、ビデオカメラ２００により検出された人物の特徴量や、撮影動画像１８１内での撮影時刻、人物画像等の情報である。

人物追跡情報１８５は、検出人物情報１８３として検出されている各人物のうち、追跡人物登録部１３０により追跡対象とされた人物の情報である。複数のビデオカメラ２００の映像に映った人物が追跡人物登録部１３０により同一人物として対応付けられた場合には、その情報も人物追跡情報１８５に登録される。

（１．２ 表示画面の具体例）
以下、図２及び図３を参照しながら、表示装置１７０が表示する表示画面の具体例を説明する。図２及び図３は、表示装置１７０が、人物監視のために表示する表示画面（以下、監視画面２０ともいう。）の具体例を示す図である。まず、図２について説明する。

図２の監視画面２０の例では、複数のビデオカメラ２００から入力された撮影動画像を表示する動画像表示領域２３Ａ乃至２３Ｄ（以下、総称して動画像表示領域２３ともいう。）を含むウィンドウ２１と、ウィンドウ２１を切換るためのタブ２５Ａ乃至２５Ｃ（以下、総称してタブ２５ともいう。）とを含む。

ウィンドウ２１上に配置される動画像表示領域２３は、前述の通り複数のビデオカメラ２００から入力されたマルチカメラ映像を表示する。ここで、それぞれの動画像表示領域２３に表示されるビデオカメラ２００の映像は随時切り換えても良い。例えば、監視対象の人物が表示領域から外れた後、当該人物の移動に併せて、次にその人物が現れると予測できる、若しくは現れたビデオカメラ２００の映像に切り変えることが考えられる。

タブ２５は、ウィンドウ２１を切換えるためのものである。タブ２５で切換え可能なウィンドウ２１は、監視対象の人物に応じてそれぞれ設けられる。図２の例であれば、追跡人物登録部１３０により登録された３人の被監視者に対して、それぞれウィンドウ２１（対応する動画像表示領域２３を含む）が設定されており、それらをタブ２５で切換えられるようになっている。

ここで、タブ２５には、被監視者に対応する人物画像（サムネイル）２５Ａ１乃至２５Ｃ１が配置される。これにより、監視者であるユーザは、それぞれのタブ２５で切換可能なウィンドウ２１が、どの被監視者に対応するものであるのかを認識することができる。図２の例であれば、人物画像２５Ａ１に対応する人物Ｐ１が、動画像表示領域２３Ｄ上に映っている。

もし、ウィンドウ２１としてユーザに提示している被監視者（図２の例では、人物画像２５Ａ１に対応する被監視者）以外の被監視者が、いずれかのビデオカメラ２００からの動画像（映像）に映ったと検出された場合、若しくは近い将来映ると次カメラ予測部１４０が予測した場合には、ウィンドウ２１の切換えを促す。図２の例では、タブ２５Ｂの色が変化したり点滅したりすることにより、タブ２５Ｂへの切換えをユーザに促している。

図３は、タブ２５Ｂによりウィンドウ２１を切り換えた場合の具体例である。図３に示すように、動画像表示領域２３Ｃに、被監視者（図３の例では、人物画像２５Ｂ１に対応する被監視者）である人物Ｐ２が映っている。

尚、図２の例では、タブ２５の色の変化や点滅により、表示画面生成部１５０は監視者であるユーザに、被監視者に係る状態変化（新たな被監視者の検知、または近い将来の被監視者検知の予測）を通知しているが、これに限られるものではない。例えば、ウィンドウメッセージの表示や音声等により報知したりするようにしても良い。
或いは、新たな被監視者の検知、または被監視者検知の予測にともなって、ユーザ操作を経ずに、強制的にウィンドウ２１を切り換えることも考えられる。

（１．３ 処理の流れ）
次に、情報処理サーバ１００の処理の流れを、図４を参照しながら説明する。図４は、本実施形態に係る情報処理サーバ１００の処理の流れを示すフローチャートである。

尚、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

類似度算出部１２０は、監視画面２０上で表示しているウィンドウ２１に係る異なる監視対象人物（被監視者）を検出したか否かを判別する（Ｓ４０１）。例えば、図２の例であれば、人物画像２５Ｂ１及び２５Ｃ１に係る被監視者を検出したか否かを、類似度算出部１２０は判別する。

その結果、もし、表示していないウィンドウ２１に係る被監視者が検出された場合には（Ｓ４０１のＹｅｓ）、表示画面生成部１５０は、タブ２５の色を変化又は点等させることにより、ウィンドウ２１の切換え（タブ２５の切換え）を促す。

また、被監視者が検出されたわけではなくとも（Ｓ４０１のＮｏ）、他のウィンドウ２１に係る被監視者が、近い将来に（例えば５秒以内に）映ると次カメラ予測部１４０予測する場合には（Ｓ４０３のＹｅｓ）、表示画面生成部１５０は、Ｓ４０５へ進んでウィンドウ２１の切換えを促す。

このように、メイン表示していない追跡対象人物（被監視者）がビデオカメラ２００の映像に出現している、若しくは近い将来に出現しそうだと予測できる場合には、表示画面生成部１５０はタブ２５の色を変化させたり点滅させたりすることにより強調表示する。これにより、追跡対象人物が複数いる場合であっても、タブ２５により人物毎に分けられた画面で人物を監視することができるため、混乱を防ぐことが可能となる。

（１．４ ハードウェア構成の具体例）
以下、図５を参照しながら、上述してきた情報処理サーバ１００のハードウェア構成の一例を説明する。尚、前述の通り、情報処理サーバ１００の機能は、複数の情報処理装置（例えば、サーバとクライアント）により実現することも可能である。

図５に示すように、情報処理サーバ１００は、プロセッサ５０１、メモリ５０３、記憶装置５０５、入力インタフェース（Ｉ／Ｆ）５０７、データＩ／Ｆ５０９、通信Ｉ／Ｆ５１１、及び表示装置５１３を含む。

プロセッサ５０１は、メモリ５０３に記憶されているプログラムを実行することにより情報処理サーバ１００における様々な処理を制御する。例えば、図１で説明したカメラ制御部１１０、類似度算出部１２０、追跡人物登録部１３０、次カメラ予測部１４０、及び表示画面生成部１５０に係る処理は、メモリ５０３に一時記憶された上で、主にプロセッサ５０１上で動作するプログラムとして実現可能である。

メモリ５０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ５０３は、プロセッサ５０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ５０３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。

記憶装置５０５は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置５０５は、オペレーティングシステムや、カメラ制御部１１０、類似度算出部１２０、追跡人物登録部１３０、次カメラ予測部１４０、及び表示画面生成部１５０を実現するための各種プログラムや、ＤＢ１８０として格納される撮影動画像１８１、検出人物情報１８３、及び人物追跡情報１８５を含む各種データなどを記憶する。記憶装置５０５に記憶されているプログラムやデータは、必要に応じてメモリ５０３にロードされることにより、プロセッサ５０１から参照される。

入力Ｉ／Ｆ５０７は、ユーザからの入力を受け付けるためのデバイスである。図１で説明した入力装置１６０は、入力Ｉ／Ｆ５０７により実現される。入力Ｉ／Ｆ５０７の具体例としては、キーボードやマウス、タッチパネル、各種センサ等がある。入力Ｉ／Ｆ５０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介して情報処理サーバ１００に接続されても良い。

データＩ／Ｆ５０９は、情報処理サーバ１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ５０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ５０９は、情報処理サーバ１００の外部に設けられることも考えられる。その場合、データＩ／Ｆ５０９は例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００へと接続される。

通信Ｉ／Ｆ５１１は、情報処理サーバ１００の外部の装置、例えばビデオカメラ２００等との間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ５１１は情報処理サーバ１００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ５１１は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００に接続される。

表示装置５１３は、例えば監視画面２０等の各種情報を表示するためのデバイスであり、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。表示装置５１３は、情報処理サーバ１００の外部に設けられても良い。その場合、表示装置５１３は、例えばディスプレイケーブル等を介して情報処理サーバ１００に接続される。

（１．５ 本実施形態に係る効果）
以上説明したように、本実施形態に係る情報処理サーバ１００は、複数のビデオカメラ２００から入力される動画像を、監視対象者毎に生成されるウィンドウ２１上に表示する。ウィンドウ２１は、タブ２５によりそれぞれ切換可能である。もし、メイン表示していない追跡対象人物（被監視者）がビデオカメラ２００の映像に出現している、若しくは近い将来に出現しそうだと予測できる場合には、表示画面生成部１５０はタブ２５の色を変化させたり点滅させたりすることにより強調表示する。これにより、追跡対象人物が複数いる場合であっても、タブ２５により人物毎に分けられた画面で人物を監視することができるため、混乱を防ぐことが可能となる。

（２ 第２実施形態）
以下、第２実施形態を図６を参照しながら説明する。図６は、画像処理システムである監視装置６００の機能構成を示すブロック図である。図６に示すように、監視装置６００は、入力部６１０と、登録部６２０と、表示制御部６３０とを含む。

入力部６１０は、複数のビデオカメラで撮像された動画像の入力を受ける。登録部６２０は、入力部６１０から入力された動画像に映る人物を１以上登録可能である。
表示制御部６３０は、ビデオカメラから入力された動画像を、登録部６２０により登録された人物毎に、切換え可能に表示する。

このように実装することで、本実施形態に係る監視装置６００によれば、人物追跡を行う際に、対象人物の特定に係る混乱を抑制することができる。

（３ 第３実施形態）
次に、第３実施形態に係る監視システム１について説明する。なお、以下の説明において、第１実施形態と同様の構成については同一の符号を付すとともに、説明を省略する。作用効果についても、第１実施形態と同様の点については、必要に応じて説明を省略している。この点、第４実施形態および第５実施形態においても同様である。
以下、第３実施形態に係る監視システム１と、第１実施携帯に係る監視システム１との差異を中心に説明する。

本実施形態に係る監視システム１の機能構成は、基本的には図１に示す第１実施形態に係るものと同様であるが、表示画面生成部１５０が生成し、表示装置１７０に表示させる表示画面が異なる。図７に、本実施形態に係る表示生成部１５０が生成する表示画面の具体例を示す。

図７に示す表示画面の例では、本実施形態に係る表示画面生成部１５０が生成する表示画面における各ウィンドウ３１内に、追跡対象人物が映っている、若しくは近い将来映ると予測されるビデオカメラ２００の動画像と、タイムチャート画像とが配置されている。

以下、図７及び図８を参照しながら、本実施形態において表示装置１７０が表示する表示画面の具体例を説明する。図７の表示画面の具体例では、人物監視のために表示する、タイムチャート画像が配置されている（以下、この表示画面を、監視画面３０ともいう。）。

図７に示すように、監視画面３０は、図２に示す監視画像２０と比較して、動画像表示領域２３が、動画像表示領域３３Ａ乃至３３Ｄ（以下、総称して動画像表示領域３３ともいう。）である点で異なる。この中でも特に、動画像表示領域３３Ｄに、動画像ではなく、タイムチャート画像が配置されている点が、図２に係る監視画像とは異なる。当該タイムチャート画像は、タブ２５Ｂに対応する人物Ｐ２が、各カメラのどの時間帯で検出されたかを示すものである。

図８は、動画像表示領域３３Ｄに表示されるタイムチャート画像を拡大した図である。Ｔ１は、現在、表示されているウィンドウのタブに対応している人物が、各カメラのどの時間帯で検出されたかを示すタイムチャートである。このタイムチャートにおいて、図中左の列の数字はカメラの番号を表しており、Ｔ２は、時間軸を示している。例えば、Ｔ２において目盛の間隔が５秒であり、現在最も左の目盛が１０時を表しているとする。その場合において、図８がタブ２５Ｂに対応する人物Ｐ２の検出状況を表示しているとすると、Ｔ１は、人物Ｐ２が、カメラ１に１０時０分５秒から１０時０分１０秒までの間映っていたことを表している。また、Ｔ１は、人物Ｐ２が、カメラ２に１０時から１０時０分１０秒までの間映っていたことを表している。

Ｔ３は、Ｔ１全体及びＴ２を、右方向又は左方向（未来又は過去）にスライドするためのつまみである。Ｔ４は、図７における動画像表示領域３３Ａ乃至３３Ｃに表示する監視画像を選択するためのボタンである。図７及び図８の例では、カメラ２、４及び６に対応する監視画像が、動画像表示領域３３Ａ、３３Ｂ及び３３Ｃに表示されている。Ｔ４におけるボタンの切換え処理は、入力装置１６０に対する操作に基づいてなされる。例えば入力装置１６０がマウスの場合、カーソルを該当するボタンの上に置いてクリックすることで、表示画像が切り替えられても良い。又は入力装置１６０がタッチパネルの場合、ユーザがボタンを直接タッチすることで、表示画像が切り替えられても良い。

なお、本実施形態に係る表示画面生成部１５０は、第１実施形態で説明したように、類似度算出部１２０、追跡人物登録部１３０、次カメラ予測部１４０、撮影動画像１８１、検出人物情報１８３及び人物追跡情報１８５等を利用して、タイムチャート画像を生成しても良い。

例えば、入力される撮影動画像１８１内において、追跡人物登録部１３０によって登録された人物又は予め登録された人物が類似度算出部１２０により検出されると、表示画面生成部１５０は、対応する人物のＴ１におけるその時間帯を塗りつぶすようにしても良い。

また、例えば、図８のＴ１において、表示画面生成部１５０は、右から２列目に現在の時間帯の検出状況を表示し、最も右の列は、次カメラ予測部１４０によって予測された状況を表示するようにしても良い。その場合、表示画面生成部１５０は、動画像表示領域３３Ｄに、リアルタイムで時々刻々と右から左へ流れるようにＴ１を表示しても良い。または、表示画面生成部１５０は、リアルタイムの撮影動画像ではなく、蓄積された過去の撮影動画像（オフラインの動画像データ）を対象としてＴ１を生成しても良い。

以上説明したように、本実施形態に係る表示画面生成部１５０は、表示画面にタイムチャート画像を配置する。これにより、監視対象人物がどの時間帯にどのカメラで検出されたかを、一目で確認することができる。
また、本実施形態に係る表示画面生成部１５０は、どのカメラで撮影した監視画像を、動画像表示領域３３に表示するかを切り替え可能なボタンを表示する。これにより、ユーザは、タイムチャートを確認しながら、表示したい画像を任意に切り替えることができる。

（４ 第４実施形態）
次に、第４実施形態に係る監視システム１について説明する。本実施形態に係る監視システム１の機能構成は、基本的には図１に示す第１実施形態に係るものと同様であるが、表示画面生成部１５０が生成し、表示装置１７０に表示させる表示画面が異なる。図９に、本実施形態に係る表示生成部１５０が生成する表示画面の具体例を示す。

図９に示すように、本実施形態に係る表示画面生成部１５０が生成する表示画面（以下、監視画面４０ともいう。）における各ウィンドウ４１内には、追跡対象人物が映っている、若しくは近い将来映ると予測されるビデオカメラ２００の動画像と共に、地図画像が配置されている。

監視画面４０を、図２に示す監視画像２０と比較すると、動画像表示領域２３が、動画像表示領域４３Ａ乃至４３Ｄ（以下、総称して動画像表示領域４３ともいう。）である点が異なる。この中でも特に、動画像表示領域４３Ｄに、動画像ではなく、地図画像が配置されている点が大きく異なる。当該地図画像は、タブ２５Ａ１に対応する人物と、タブ２５Ｂ１に対応する人物の軌跡を示す。

本実施形態に係る表示画面生成部１５０は、検出及び追跡の結果に応じて、リアルタイムに地図画像を変化させる。なお、表示画面生成部１５０は、監視対象人物毎に、タブの色と、地図画像に表示する軌跡の色とを同系色の色で表示しても良い。例えば、タブ２５Ａと、地図画像におけるタブ２５Ａに対応する人物の軌跡の色と、を赤系統の色とし、タブ２５Ｂと、地図画像におけるタブ２５Ｂに対応する人物の軌跡の色と、を青系統の色としても良い。また、図９の例ではタブ２５Ｃに対応する人物は地図画像上検出されていないが、例えばタブ２５Ｃと、地図画像におけるタブ２５Ｃに対応する人物の軌跡の色と、を黄系統の色としても良い。

更に、類似度算出部１２０が人物を検出すると、表示画面生成部１５０は、動画像上の人物を、対応する同系の色の矩形によって囲うことで、ユーザに人物の検出を報知しても良い。

以上説明したように、本実施形態に係る表示画面生成部１５０は、表示画面に地図画像を配置し、監視対象人物の移動の軌跡を表示する。これにより、ユーザは、監視対象人物の移動の軌跡を、一目で確認することができる。

また、本実施形態に係る表示画面生成部１５０は、監視対象人物毎に、タブの色と、地図画像に表示する軌跡の色とを同系の色で表示する。これにより、ユーザは、複数の監視対象人物の移動の軌跡を、一目でよりわかりやすく確認することができる。

（５ 第５実施形態）
図１０は、第５実施形態を説明するための図である。図１０に示すように、本実施形態に係る監視システム１は、監視画面（図１０の例では、第１実施形態に係る監視画面２０と同様の表示画面）をモバイル端末１０００上に表示する。ここで、モバイル端末１０００は、ノートパソコン、タブレット端末、ＰＤＡ、携帯電話、スマートフォン、携帯ゲーム機などを含む。本実施形態において、モバイル端末１０００のディスプレイはタッチパネルで構成される。

本実施形態に係る監視システム１は、図１に示した情報処理サーバ１００の機能のうち、少なくとも入力装置１６０及び表示装置１７０の機能を、モバイル端末１０００上で実現するものである。情報処理サーバ１００と当該モバイル端末１０００との間を、適宜無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の無線通信で接続することにより、情報処理サーバ１００と当該モバイル端末１０００とが連携することができるので、第１実施形態と同様の機能を実現することが可能となる。

図１０に示すようにモバイル端末を、入力装置１６０及び表示装置１７０として使用することで、例えば、ユーザが手でディスプレイを画面下部から画面上部（図中、矢印方向）へとなでることで、監視システム１はディスプレイ上の表示を、タブの順番に下の被監視者から上の被監視者へ、対応するウィンドウに切り替えるユーザインタフェースを実現することも考えられる。或いは、タブの切換えは、直接タブの画像領域にタッチすることで切り替えても良い。

本実施形態によれば、モバイル端末上に監視画面が表示されるので、例えば警備員が携帯することで、屋外で被監視者の追跡状況を確認することができる。

（６ 付記事項）
尚、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
尚、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
複数のビデオカメラで撮像された動画像の入力を受ける入力手段と、前記入力手段から入力された動画像に映る人物を１以上登録可能な登録手段と、前記ビデオカメラから入力された動画像を、前記登録手段により登録された人物毎に、切換え可能に表示する表示制御手段とを備える画像処理システム。

（付記２）
前記表示制御手段は、前記ビデオカメラから入力された動画像を、前記登録手段により登録された人物にそれぞれ対応付けられたウィンドウを切換え可能に表示する、付記１記載の画像処理システム。

（付記３）
前記表示制御手段は、前記ビデオカメラから入力された動画像に、前記登録手段により登録された人物が撮像されている場合に、前記ウィンドウの切換えを促す、付記２記載の画像処理システム。

（付記４）
前記表示制御手段は、前記ビデオカメラから入力された動画像に、前記登録手段により登録された人物が映ると予測できる場合に、前記ウィンドウの切換えを促す、付記２又は付記３記載の画像処理システム。

（付記５）
前記ウィンドウ上には、それぞれ、前記入力手段から入力された動画像が複数配置される、付記２又は付記３記載の画像処理システム。

（付記６）
ビデオカメラで撮像された動画像の入力を受ける入力手段と、前記ビデオカメラから入力された動画像を、登録された人物毎に、切換え可能に表示する表示制御手段とを備え、前記表示制御手段は、登録された人物毎に、当該人物を撮影したビデオカメラ及び撮影した時間に関する情報を表示する、画像処理システム。

（付記７）
ビデオカメラで撮像された動画像の入力を受ける入力手段と、前記ビデオカメラから入力された動画像を、登録された人物毎に、切換え可能に表示する表示制御手段とを備え、前記表示制御手段は、登録された人物毎の移動の軌跡を表した地図情報を表示する、画像処理システム。

（付記８）
前記表示制御手段は、タッチパネルをインタフェースとするモバイル端末に情報を表示する付記１乃至付記７のいずれか１項に記載の画像処理システム。

（付記９）
複数のビデオカメラで撮像された動画像の入力を受けるステップと、前記入力された動画像に映る人物を１以上登録するステップと、前記ビデオカメラから入力された動画像を、前記登録された人物毎に、切換え可能に表示するステップとを画像処理システムが行う画像処理方法。

（付記１０）
前記ビデオカメラから入力された動画像を、登録された人物にそれぞれ対応付けられたウィンドウを切換え可能に表示する、付記９記載の画像処理方法。

（付記１１）
前記ビデオカメラから入力された動画像に、前記登録手段により登録された人物が撮像されている場合に、前記ウィンドウの切換えを促す、付記１０記載の画像処理方法。

（付記１２）
前記ビデオカメラから入力された動画像に、前記登録手段により登録された人物が映ると予測できる場合に、前記ウィンドウの切換えを促す、付記１０又は付記１１記載の画像処理方法。

（付記１３）
前記ウィンドウ上には、それぞれ、前記入力手段から入力された動画像が複数配置される、付記１０又は付記１１記載の画像処理方法。

（付記１４）
ビデオカメラで撮像された動画像の入力を受けるステップと、前記ビデオカメラから入力された動画像を、登録された人物毎に、切換え可能に表示するステップとを画像処理システムが行い、画像処理システムは、登録された人物毎に、当該人物を撮影したビデオカメラ及び撮影した時間に関する情報を表示する、画像処理方法。

（付記１５）
ビデオカメラで撮像された動画像の入力を受けるステップと、前記ビデオカメラから入力された動画像を、登録された人物毎に、切換え可能に表示するステップとを画像処理システムが行い、画像処理システムは、登録された人物毎の移動の軌跡を表した地図情報を表示する、画像処理方法。

（付記１６）
タッチパネルをインタフェースとするモバイル端末に情報を表示する付記９乃至付記１５のいずれか１項に記載の画像処理方法。

（付記１７）
複数のビデオカメラで撮像された動画像の入力を受ける処理と、前記入力された動画像に映る人物を１以上登録する処理と、前記ビデオカメラから入力された動画像を、前記登録された人物毎に、切換え可能に表示する処理とをコンピュータに実行させるプログラム。

（付記１８）
前記ビデオカメラから入力された動画像を、登録された人物にそれぞれ対応付けられたウィンドウを切換え可能に表示する、付記１７記載のプログラム。

（付記１９）
前記ビデオカメラから入力された動画像に、前記登録手段により登録された人物が撮像されている場合に、前記ウィンドウの切換えを促す、付記１８記載のプログラム。

（付記２０）
前記ビデオカメラから入力された動画像に、前記登録手段により登録された人物が映ると予測できる場合に、前記ウィンドウの切換えを促す、付記１８又は付記１９記載のプログラム。

（付記２１）
前記ウィンドウ上には、それぞれ、前記入力手段から入力された動画像が複数配置される、付記１８又は付記１９記載の画像処理方法。

（付記２２）
ビデオカメラで撮像された動画像の入力を受ける処理と、前記ビデオカメラから入力された動画像を、登録された人物毎に、切換え可能に表示する処理とをコンピュータに実行させ、登録された人物毎に、当該人物を撮影したビデオカメラ及び撮影した時間に関する情報を表示する、プログラム。

（付記２３）
ビデオカメラで撮像された動画像の入力を受ける処理と、前記ビデオカメラから入力された動画像を、登録された人物毎に、切換え可能に表示する処理とをコンピュータに実行させ、登録された人物毎の移動の軌跡を表した地図情報を表示する、プログラム。

（付記２４）
タッチパネルをインタフェースとするモバイル端末に情報を表示する付記１７乃至付記２２のいずれか１項に記載のプログラム。

この出願は、２０１２年７月３１日に出願された日本出願特願２０１２−１７０４０６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１・・・監視システム、２０・・・監視画面、２１・・・ウィンドウ、２３Ａ、２３Ｂ、２３Ｃ、２３Ｄ・・・動画像表示領域、２５Ａ、２５Ｂ、２５Ｃ・・・タブ、２５Ａ１、２５Ｂ１、２５Ｃ１・・・人物画像、１００・・・情報処理サーバ、１１０・・・カメラ制御部、１２０・・・類似度算出部、１３０・・・追跡人物登録部、１４０・・・次カメラ予測部、１５０・・・表示画面生成部、１６０・・・入力装置、１７０・・・表示装置、１８０・・・データベース（ＤＢ）、１８１・・・撮影動画像、１８３・・・検出人物情報、１８５・・・人物追跡情報、２００・・・ビデオカメラ、Ｐ１、Ｐ２・・・人物

Claims (5)

1. 複数のビデオカメラで撮像された動画像の入力を受ける入力手段と、
   前記入力手段から入力された動画像に映る人物を１以上登録可能な登録手段と、
   前記ビデオカメラから入力された動画像を、前記登録手段により登録された人物にそれぞれ対応付けられたウィンドウを切換え可能に表示する表示制御手段と
   を備え、
   前記表示制御手段は、前記ビデオカメラから入力された動画像に、前記登録手段により登録された人物が映ると予測できる場合に、前記ウィンドウの切換えを促す、
   画像処理システム。
2. 前記表示制御手段は、前記ビデオカメラから入力された動画像に、前記登録手段により登録された人物が撮像されている場合に、前記ウィンドウの切換えを促す、
   請求項１記載の画像処理システム。
3. 前記ウィンドウ上には、それぞれ、前記入力手段から入力された動画像が複数配置される、
   請求項１又は請求項２記載の画像処理システム。
4. 複数のビデオカメラで撮像された動画像の入力を受けるステップと、
   前記入力された動画像に映る人物を１以上登録するステップと、
   前記ビデオカメラから入力された動画像を、前記登録された人物にそれぞれ対応付けられたウィンドウを切換え可能に表示するステップと、
   前記ビデオカメラから入力された動画像に、登録された人物が映ると予測できる場合に、前記ウィンドウの切換えを促すステップと
   を画像処理システムが行う画像処理方法。
5. 複数のビデオカメラで撮像された動画像の入力を受ける処理と、
   前記入力された動画像に映る人物を１以上登録する処理と、
   前記ビデオカメラから入力された動画像を、前記登録された人物にそれぞれ対応付けられたウィンドウを切換え可能に表示する処理と、
   前記ビデオカメラから入力された動画像に、登録された人物が映ると予測できる場合に、前記ウィンドウの切換えを促す処理と
   をコンピュータに実行させるプログラム。

Images