JP7282851B2 - 装置、方法及びプログラム - Google Patents

Description

本発明は、装置、方法及びプログラムに関する。

近年、映像解析技術の向上と共に、街中に設置したカメラからの映像に対して、人物照合処理や異常行動検知処理を実施することで、監視すべき人物を自動で検知するシステムが考案されている。
特許文献１では、複数のカメラで撮影した映像に対して、画像認識技術による人物同定を実施し、地図上にカメラ映像を重畳表示しつつ、対象人物が映るカメラ映像を強調する表示方法が提案されている。また、非特許文献１では、人物位置を地図上にプロットする方法が提案されている。これにより、監視員は、監視対象者の位置と行動を容易に確認することが可能である。

特許第５４３８８６１号公報

Ｓ．Ｙｕ，Ｙ．Ｙａｎｇ，Ａ．Ｈａｕｐｔｍａｎｎ，Ｈａｒｒｙ Ｐｏｔｔｅｒ'ｓ Ｍａｒａｕｄｅｒ'ｓ Ｍａｐ：Ｌｏｃａｌｉｚｉｎｇ ａｎｄ Ｔｒａｃｋｉｎｇ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｏｎｓ－ｏｆ－Ｉｎｔｅｒｅｓｔ ｂｙ Ｎｏｎｎｅｇａｔｉｖｅ Ｄｉｓｃｒｅｔｉｚａｔｉｏｎ，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２０１３．

しかしながら、カメラ映像をそのまま監視員に掲示した場合、注視すべき人物が映像中のどこにいるのかを、改めて確認する必要がある。また、地図上に人物の位置をプロットした場合、その人物がどのような容姿、行動をしているかまでは確認できず、実際のカメラ映像を改めて確認する必要がある。

本発明の装置は、撮影された画像から検出された物体の地図上の位置を取得する第１の取得手段と、前記物体の注目度を取得する第２の取得手段と、前記注目度に基づいて前記地図上の位置に表示する前記物体の表示形式を切り替える表示制御手段と、を有し、前記表示制御手段は、前記注目度が閾値以上の物体をターゲット候補とし、前記ターゲット候補の中からターゲットを決定し、当該決定されたターゲットとターゲット候補とで前記物体の表示形式を変更し、前記表示制御手段は、前記注目度が前記閾値以上の物体を、当該物体の切り出し画像の表示形式で前記地図上の位置に表示し、前記注目度が閾値以上でない物体を、当該物体を模式的に表した絵柄の表示形式で前記地図上の位置に表示することを特徴とする。

本発明によれば、映像の解析結果を確認する際の負荷を軽減させることができる。

映像処理システムのシステム構成の一例を示す図である。 データ解析サーバー装置のハードウェア構成の一例を示す図である。 実施形態１の映像処理システムを構成する各装置の機能構成の一例を示す図である。 画像から物体を検出した結果の一例を示す図である。 足元座標を地図座標に射影する処理の一例を示す図である。 物体情報管理テーブルの一例を示す図である。 地図データ上にカメラアイコン、人物アイコンを重畳して表示した一例を示す図である。 物体情報をサムネイルで表示した一例を示す図である。 ターゲットの移動経路とターゲットの過去のサムネイルとを表示した一例を示す図である。 実施形態１の情報処理の一例を示すフローチャート（その１）である。 実施形態１の情報処理の一例を示すフローチャート（その２）である。 実施形態２の映像処理システムを構成する各装置の機能構成の一例を示す図である。 実施形態２の情報処理の一例を示すフローチャート（その１）である。 実施形態２の情報処理の一例を示すフローチャート（その１）である。 表示画面のレイアウトの一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
本実施形態では、複数の映像から物体特徴量を解析し、解析結果と監視対象とを照合した結果を注目度に基づいてユーザーに掲示する処理について説明する。
図１は、映像処理システムのシステム構成の一例を示す図である。映像処理システムは、複数の撮像装置１０１、映像解析サーバー装置１０２、データ解析サーバー装置１０３、ネットワークストレージ装置１０４、情報処理装置１０５がネットワーク回線であるＬＡＮ１０７を介して接続されている。映像処理システムは、情報処理システムの一例である。
撮像装置１０１は、ネットワークカメラ等である。映像解析サーバー装置１０２は、複数の撮像装置１０１で撮影された映像データを収集し、映像解析処理を行う。映像解析サーバー装置１０２は、映像解析処理として、例えば、人物の顔領域から特徴量を抽出する。データ解析サーバー装置１０３は、映像解析サーバー装置１０２で抽出された特徴量を収集し、データ解析処理を行う。データ解析サーバー装置１０３は、データ解析処理として、例えば、映像解析サーバー装置１０２で抽出された人物の特徴量を照合し、人物同定を行う。ネットワークストレージ装置１０４は、撮像装置１０１で撮影された画像、更に映像解析サーバー装置１０２で抽出された特徴量、データ解析サーバー装置１０３で人物照合された照合結果がＬＡＮ１０７を介して記録される。情報処理装置１０５は、例えば、パーソナルコンピュータ等の装置である。情報処理装置１０５は、例えば、マウスやキーボード、タッチパネルの入力装置とディスプレイ等の表示装置とを有する。情報処理装置１０５は、入力装置を介して入力された情報を映像解析サーバー装置１０２等に送信したり、映像解析サーバー装置１０２で解析された解析結果を表示装置に表示したりする。情報処理装置１０５は、ネットワークストレージ装置１０４に記録された映像データに解析結果を重畳してディスプレイ等の表示装置に表示する。

撮像装置１０１は、複数のカメラで構成されていればよく、２台以上であれば何台でもよい。更に映像解析サーバー装置１０２、データ解析サーバー装置１０３、ネットワークストレージ装置１０４、情報処理装置１０５がＬＡＮ１０７に接続される数は、図１で示したような本実施形態のように限定されるものではない。アドレス等で識別できれば複数の映像解析サーバー装置１０２、データ解析サーバー装置１０３、ネットワークストレージ装置１０４、情報処理装置１０５がＬＡＮ１０７に接続されていてもよい。
情報処理装置１０５はＰＣ等を想定している。しかし、ＬＡＮ１０７への物理的な接続形態として有線だけでなく、例えばタブレット端末のように無線の場合もあり、プロトコル的にＬＡＮ１０７に接続されていれば、物理的な形態にこだわるものではない。

図２は、データ解析サーバー装置１０３のハードウェア構成の一例を示す図である。図２に示されるように、データ解析サーバー装置１０３は、ハードウェア構成として、ＣＰＵ１０と、記憶装置２０と、通信装置３０と、入力装置４０と、表示装置５０と、を含む。
ＣＰＵ１０は、記憶装置２０に格納されたプログラムに従って処理を実行する。記憶装置２０は、プログラムを記憶したり、ＣＰＵ１０が処理を実行する際に利用するデータ等を記憶したりする。通信装置３０は、データ解析サーバー装置１０３をＬＡＮ１０７に接続するための装置である。入力装置４０は、例えば、キーボードやマウス等であり、ユーザーからの入力をＣＰＵ１０に入力する。表示装置５０は、液晶ディスプレイ等であり、ユーザーに対してＣＰＵ１０の処理結果等を表示する。
ＣＰＵ１０が記憶装置２０に記憶されているプログラムに基づき処理を実行することによって、後述するデータ解析サーバー装置１０３の機能構成及びデータ解析サーバー装置１０３が処理を実行するフローチャートの処理が実現される。
映像解析サーバー装置１０２、ネットワークストレージ装置１０４、情報処理装置１０５も図２に示したデータ解析サーバー装置１０３のハードウェア構成と同様のハードウェア構成を有する。そして、各々の装置のＣＰＵが各々の装置の記憶装置に記憶されているプログラムに基づき処理を実行することによって各々の装置の機能構成及び各々の装置が処理を実行するフローチャートの処理等が実現される。
但し、データ解析サーバー装置１０３のハードウェア構成として、入力装置４０や表示装置５０は必須の構成要素ではない。

図３は、実施形態１の映像処理システムを構成する各装置の機能構成の一例を示す図である。映像処理システムは、画像取得部２０１、物体検出部２０２、画像切り出し部２０３、特徴抽出部２０４、ターゲット管理部２０５、地図座標算出部２０６、注目度算出部２０７、表示切替部２０８、物体情報管理部２０９を機能構成として有する。また、映像処理システムは、更に、入力部２１０、表示部２１１を機能構成として有する。
画像取得部２０１、物体検出部２０２、画像切り出し部２０３、特徴抽出部２０４は、映像解析サーバー装置１０２に実装されている。ターゲット管理部２０５、地図座標算出部２０６、注目度算出部２０７、表示切替部２０８は、データ解析サーバー装置１０３に実装されている。但し、例えば、地図座標算出部２０６、注目度算出部２０７は、映像解析サーバー装置１０２に実装されてもよく、機能の切り分けは図３の例に限るものではない。

画像取得部２０１は、ＬＡＮ１０７を介して、撮像装置１０１から所定の時間間隔で画像を順次取得し、画像と撮像装置１０１に関連付けられたカメラＩＤ、例えばＩＰアドレス、と撮影時刻とを物体検出部２０２及び画像切り出し部２０３に提供する。画像取得部２０１による画像の取得は、撮像装置１０１からの撮影画像の入力に限定されるものではない。例えば、ネットワークストレージ装置１０４からの映像データ（録画映像）の読み込みやネットワークを介したストリーミング入力等で画像が入力されてもよい。
物体検出部２０２は、画像取得部２０１の画像から対象を検出する検出処理を実施する。物体検出部２０２は、カメラＩＤと検出された対象を一意に特定する識別子（以下、物体ＩＤ）と対象の検出矩形（位置、サイズ）と検出時刻とをまとめて検出情報とし、画像切り出し部２０３に提供する。物体検出部２０２は、検出時刻として、画像取得部２０１の撮影時刻を用いる。物体検出部２０２は、画像からの対象の検出として、例えば「Ｎ．Ｄａｌａｌ，Ｂ．Ｔｒｉｇｇｓ，Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２００５．」に記載された人の全身を検出する技術を利用することができる。
図４は、画像から物体を検出した結果の一例を示す図である。カメラ画像３００に対して、物体検出部２０２が検出処理を実施することで、物体ＩＤ３０２と検出矩形３０３とが生成される。

画像切り出し部２０３は、画像取得部２０１の画像と物体検出部２０２の検出情報とから、対象の切り出し画像（以下、サムネイルという）の作成処理を実施する。画像切り出し部２０３は、作成したサムネイルを検出情報と対応付け、特徴抽出部２０４に提供する。サムネイルは、物体検出部２０２の検出情報の検出矩形を用いて、画像取得部２０１の画像から物体領域のみを切り出して作成する。
特徴抽出部２０４は、画像切り出し部２０３のサムネイルから、検出対象の特徴量を抽出する特徴量抽出処理を実施する。特徴抽出部２０４は、検出情報、サムネイル、特徴量をまとめて物体情報とし、物体情報管理部２０９に提供する。特徴抽出部２０４は、特徴抽出として、例えば「Ｓ．Ｐａｉｓｉｔｋｒｉａｎｇｋｒａｉ，Ｌｅａｒｎｉｎｇ ｔｏ
ｒａｎｋ ｉｎ ｐｅｒｓｏｎ ｒｅ－ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｗｉｔｈ ｍｅｔｒｉｃ ｅｎｓｅｍｂｌｅｓ．ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２０１５．」に記載された全身の特徴算出技術を利用することができる。
ターゲット管理部２０５は、ターゲット、ターゲット履歴、ターゲット候補の情報を管理し、注目度算出部２０７と表示切替部２０８とに提供する。ターゲットとは、入力部２１０で指定された物体を示す。また、ターゲットとは、ターゲットの物体情報を示す。ターゲット履歴とは、過去にターゲットとして確証の得られた物体情報リストを示す。ターゲット候補とは、ターゲットとして照合され、かつ、確証が得られていない物体情報のリストを示す。ターゲット管理部２０５は、保持しているターゲット情報を注目度算出部２０７に提供する。ターゲット管理部２０５は、注目度算出部２０７の物体情報を用いて、ターゲット候補を更新する。例えば、ターゲット管理部２０５は、照合スコア（後段に記述する）が閾値以上の物体情報をターゲット候補にすべて追加する。ターゲット管理部２０５は、更新条件を満たしたターゲット候補をターゲットとして確定し、ターゲット情報、ターゲット履歴を更新する。例えば、ターゲット管理部２０５は、ターゲットの検出時刻からの経過時間が閾値以上であるとき、最も照合スコアが高いターゲット候補をターゲットとして更新する。又は、ターゲット管理部２０５は、ターゲットの検出時刻からの経過時間にかかわらず、照合スコアが閾値以上のターゲット候補をターゲットとして更新する。ターゲット管理部２０５は、ターゲット情報を更新する際は、ターゲット履歴にターゲット情報を追加する。

地図座標算出部２０６は、物体情報管理部２０９の物体情報を用いて、物体の地図上の位置（以下、地図座標という）を算出し、地図座標を物体情報に追加し、物体情報管理部２０９に提供する。以下、地図座標の算出について説明する。まず、地図座標算出部２０６は、カメラ映像上の床面と地図上の床面間において、射影行列を求める。例えば、地図座標算出部２０６は、入力部２１０から入力された、カメラ映像上の４点と地図上の４点を関連付け、ホモグラフィー行列Ｈを求める。次に、地図座標算出部２０６は、物体情報の検出矩形から、画像上の物体の足元座標を推定する。例えば、地図座標算出部２０６は、足元座標ｆｐ＝（ｆｐｘ，ｆｐｙ）、検出矩形ｒ＝（ｒｘ，ｒｙ，ｒｗ，ｒｈ）について、ｆｐ＝（ｒｘ＋ｒｗ／２，ｒｙ＋ｒｈ）で求めることができる。ｆｐｘ，ｆｐｙはそれぞれ、ｘ座標、ｙ座標を表している。ｒｘ，ｒｙ，ｒｗ，ｒｈはそれぞれ、右上ｘ座標、右上ｙ座標、幅、高さを表している。地図座標算出部２０６は、地図座標ｍｐを算出する。例えば、地図座標算出部２０６は、ｍｐ＝Ｈｆｐの計算によって、画像上の足元座標を地図上の座標にホモグラフィー変換することで、地図座標を求める。図５は、足元座標を地図座標に射影する処理の一例を示す図である。地図座標算出部２０６は、カメラ上の床面座標４０１と地図上の床面座標４０３とを入力することで、ホモグラフィー行列を求め、足元座標４０２を地図座標４０４に射影する。点の指定は４点だけではなく３点以上の場合であれば地図上の足元座標を推定することが可能である。
注目度算出部２０７は、ターゲット管理部２０５のターゲット情報と、物体情報管理部２０９の物体情報とを用いて、ターゲットと物体との特徴量を比較し、類似度を物体の注目度として算出する。注目度算出部２０７は、物体情報に注目度と照合スコアとを追加し、ターゲット管理部２０５と物体情報管理部２０９とに提供する。まず、注目度算出部２０７は、特徴量を比較し、カメラ間で人物を照合する。このとき、注目度算出部２０７は、特徴量の類似度を照合スコアとする。照合スコアは、物体間の類似度が高いほど大きく、類似度が低いほど小さいものである。注目度算出部２０７は、照合スコアそのものを注目度とする。注目度算出部２０７は、特徴量の比較として、例えば、「Ｓ．Ｐａｉｓｉｔｋｒｉａｎｇｋｒａｉ，Ｌｅａｒｎｉｎｇ ｔｏ ｒａｎｋ ｉｎ ｐｅｒｓｏｎ ｒｅ－ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｗｉｔｈ ｍｅｔｒｉｃ ｅｎｓｅｍｂｌｅｓ．ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２０１５．」に記載の全身の特徴比較技術を利用することができる。

表示切替部２０８は、ターゲット管理部２０５のターゲット、ターゲット履歴、ターゲット候補の情報と、物体情報管理部２０９の物体情報とを用いて、表示形式、表示サイズを決定する。表示切替部２０８は、物体情報に表示形式、表示サイズを追加し、物体情報管理部２０９に提供する。まず、表示切替部２０８は、ターゲット、ターゲット履歴、ターゲット候補の物体情報について、表示形式をサムネイルに決定する。次に、表示切替部２０８は、注目度が予め設定された閾値以上の物体情報について、表示形式をサムネイルに決定する。表示切替部２０８は、注目度が予め設定された閾値以上でない物体情報の表示形式をアイコンに決定する。更に、表示切替部２０８は、すべての物体情報について、表示サイズを注目度が高いほど大きく、注目度が低いほど小さく設定する。表示切替部２０８の処理は、表示制御処理の一例である。アイコンは、物体を模式的に現した絵柄の一例である。
物体情報管理部２０９は、特徴抽出部２０４と地図座標算出部２０６と注目度算出部２０７と表示切替部２０８とからの物体情報を物体情報管理テーブルに保存する。図６は、物体情報管理テーブルの一例を示す図である。物体情報管理部２０９は、物体ＩＤ＝３００１の情報を検索した場合、地図座標＝（１５０，１２０）や表示形式＝アイコンを取得することができる。

入力部２１０は、人物を指定するための情報（以下、クエリという）を生成し、物体情報管理部２０９から指定された人物に関する物体情報を検索し、ターゲット管理部２０５に提供する。クエリの一例として、物体ＩＤが利用できる。クエリは、情報処理装置１０５の入力装置４０等を介したユーザー操作に基づいて入力部２１０によって生成される。
表示部２１１は、ターゲット管理部２０５のターゲット、ターゲット履歴、ターゲット候補の情報と、物体情報管理部２０９から物体情報とを用いて、例えば、情報処理装置１０５の表示装置に解析結果を表示することで、ユーザーに解析結果を掲示する。表示部２１１は、予め設定された地図データ上に、カメラアイコン、人物アイコン、サムネイル、人物移動経路情報を重畳して表示する。図７は、地図データ上にカメラアイコン、人物アイコンを重畳して表示した一例を示す図である。まず、表示部２１１は、カメラ座標とカメラ向きとを撮像装置１０１又はネットワークストレージ装置１０４等から取得し、カメラアイコン６０２をカメラ座標の位置に表示することで、地図データ６００上にカメラアイコン６０２を重畳して表示する。次に、表示部２１１は、物体情報管理部２０９から、検出時刻が描画対象時刻と一致する物体情報を取得する。そして、表示部２１１は、地図座標と表示形式とに基づいて、地図座標位置に人物アイコン６０１を重畳する。図８は、表示形式をサムネイルに指定された物体情報をサムネイルで表示した一例を示す図である。表示部２１１は、物体情報管理部２０９から物体情報を取得した際、表示形式がサムネイルになっている物体情報について、物体情報に含まれるサムネイル７０１を取得し、その画像をアイコンの代わりに地図座標の位置に重畳する。図９は、ターゲットの移動経路とターゲットの過去のサムネイルとを表示した一例を示す図である。まず、表示部２１１は、ターゲット管理部２０５のターゲット、ターゲット履歴、ターゲット候補に対応する物体情報を物体情報管理部２０９から取得する。次に、表示部２１１は、物体情報管理部２０９の物体情報に基づいて、地図データ上に物体情報を描画する。このとき、表示部２１１は、物体情報の表示サイズに基づいて、描画するアイコンやサムネイルのサイズを変更してもよい。次に、表示部２１１は、ターゲット８０２とターゲット履歴８０１とに対応する物体情報を描画する。ターゲット８０２とターゲット履歴８０１とに対応する物体情報は、検出時刻が描画対象時刻と一致していなくても、表示部２１１は、地図データ６００上に描画する。また、表示部２１１は、ターゲット履歴８０１とターゲット８０２とを検出時刻順に並べ、地図座標間を経路線８０３で描画する。表示部２１１は、ターゲット候補８０４に対応する物体情報を描画する。ターゲット候補８０４に対応する物体情報は、検出時刻が描画対象時刻と一致していなくても、表示部２１１は、地図データ６００上に描画する。また、表示部２１１は、ターゲット８０２からターゲット候補８０４までに対して補助経路線８０５を描画する。表示部２１１は、ターゲット履歴８０１、ターゲット８０２、ターゲット候補８０４のサムネイルを、対応する物体情報の表示サイズに基づいて、描画サイズを変更してもよい。また、表示部２１１は、ターゲットとして未確定のターゲット候補の枠の色を変える等して、未確定状態を表現してもよい。図９の例では、表示部２１１は、ターゲット候補８０４の枠を破線で表示している。また、表示部２１１は、補助経路線８０５も線の色を変える等して、未確定状態を表現してもよい。図９の例では、表示部２１１は、補助経路線８０５を破線で表示している。表示部２１１の処理も表示制御処理の一例である。

ここで、物体検出部２０２は、画像から勾配方向ヒストグラム特徴（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を抽出し、抽出した特徴量をサポートベクターマシンで学習したモデルを用いて人か否かを識別するようにしている。しかし、物体検出部２０２は、他の方法を用いて物体を検出してもよい。例えば、物体検出部２０２は、抽出する特徴量は勾配方向ヒストグラム特徴に限らず、Ｈａａｒ－ｌｉｋｅ特徴、ＬＢＰＨ特徴（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ Ｈｉｓｔｏｇｒａｍ）等を用いてもよいし、それらを組み合せてもよい。抽出した特徴量は人物の検出のために共用される。また、物体検出部２０２は、人を識別するモデルとしてサポートベクターマシンに限らず、アダブースト識別器、ランダム分類木（Ｒａｎｄｏｍｉｚｅｄ Ｔｒｅｅ）等を用いてもよい。物体検出部２０２は、人物の検出結果として、夫々画像中の人物を囲む矩形を表す４つの頂点の位置座標を出力する。また、物体検出部２０２は、位置座標と共に検出結果を表す尤度を出力する。尤度は抽出した特徴量と人物を識別するモデルとを照合した結果であり、モデルとの一致度を表す。また、物体検出部２０２は、対象の位置をより高精度に特定するために、人体を追尾する方法を併用してもよい。検出処理により検出した人物を、後のフレームで追尾することによって、１枚の画像で検出できない人物の位置を特定し、対象の位置を高精度に特定することが可能となる。また、追尾の方法についても、対象の位置を特定する処理であればよく、記載の方法に限定されるものではない。例えば、物体検出部２０２は、追尾処理として、Ｍｅａｎ－ｓｈｉｆｔ ｔｒａｃｋｉｎｇ、Ｋａｌｍａｎ Ｆｉｌｔｅｒ、ｏｎ－ｌｉｎｅ ｂｏｏｓｔｉｎｇ等を用いてもよい。
特徴抽出部２０４の特徴抽出は、対象の特徴を抽出する処理であり、特定の特徴量に限定されるものではなく、対象を表す情報を抽出する処理であればよい。例えば、特徴抽出部２０４は、特徴量の種類として、ＳＩＦＴ特徴や色ヒストグラム、等を用いてもよいし、それらを組み合わせてもよい。また、全身の特徴に限るものではなく、顔領域に限定した特徴量であってもよい。
地図座標算出部２０６は、画像上の座標を地図上の座標に変換する処理であり、特定の変換処理に限定されるものではなく、座標を返還する処理であればよい。
物体情報管理部２０９のサムネイルは、物体領域を切り出した画像又は映像であればよく、１枚の切り出し画像に限るものではない。例えば、物体情報管理部２０９は、物体情報を保存する際に同じ物体ＩＤの情報を検索し、同じ物体情報のサムネイルを検出時間順に結合して動画としてもよい。
注目度算出部２０７の特徴比較は、特徴抽出部２０４で求めた特徴を比較する処理であり、特定の比較手段に限定されるものではない。例えば、注目度算出部２０７は、比較方法として、Ｌ１距離やバタチャリヤ距離、交差法、等を用いてもよい。

図１０、図１１は本実施形態の情報処理の流れを示したものである。
まず、図１０を用いて、物体情報を作成する情報処理について説明する。Ｓ９０１において、画像取得部２０１は、画像を取得する。Ｓ９０２において、画像取得部２０１は、画像を取得できたか否かを判定する。画像取得部２０１は、画像を取得できた場合、画像が存在するとして（Ｓ９０２においてＹＥＳ）、Ｓ９０３に処理を進め、画像を取得できなかった場合、画像が存在しないとして（Ｓ９０２においてＮＯ）、図１０に示すフローチャートの処理を終了する。Ｓ９０３において、物体検出部２０２は、画像から複数の物体を検出する。Ｓ９０４において、物体検出部２０２は、物体を検出できたか否かを判定する。物体検出部２０２は、物体を検出できた場合、物体が存在するとして（Ｓ９０４においてＹＥＳ）、Ｓ９０５に処理を進め、物体を検出できなかった場合、物体が存在しないとして（Ｓ９０４においてＮＯ）、Ｓ９０１に処理を戻す。Ｓ９０５において、画像切り出し部２０３は、サムネイルを作成する。Ｓ９０６において、特徴抽出部２０４は、特徴量を抽出する。Ｓ９０７において、物体情報管理部２０９は、検出情報、サムネイル、特徴量を物体情報としてまとめて保存する。例えば、物体検出部２０２は、未処理の物体が存在すれば（Ｓ９０８においてＹＥＳ）、Ｓ９０５に処理を進め、未処理の物体が存在しなければ（Ｓ９０８においてＮＯ）、Ｓ９０１に処理を戻す。

次に、図１１を用いて、物体の注目度を算出し、地図上に表示する情報処理について説明する。Ｓ１００１において、入力部２１０は、例えば情報処理装置１０５の入力装置４０等を介したユーザー操作に基づいてクエリを入力する。クエリが入力されると、Ｓ１００２において、地図座標算出部２０６は、各物体の地図座標を算出する。Ｓ１００３において、注目度算出部２０７は、各物体の注目度を算出する。Ｓ１００４において、ターゲット管理部２０５は、ターゲット、ターゲット履歴、ターゲット候補を更新する。Ｓ１００５において、表示切替部２０８は、物体の注目度が閾値以上か否かを判定する。表示切替部２０８は、物体の注目度が閾値以上である場合（Ｓ１００５においてＹＥＳ）、Ｓ１００７に処理を進め、物体の注目度が閾値以上でない場合（Ｓ１００５においてＮＯ）、Ｓ１００６に処理を進める。Ｓ１００６において、表示切替部２０８は、表示をアイコンに設定する。Ｓ１００７において、表示切替部２０８は、表示をサムネイルに設定する。Ｓ１００８において、表示切替部２０８は、物体の表示サイズを設定する。Ｓ１００９において、表示部２１１は、例えば情報処理装置１０５の表示装置５０に物体情報を表示する。Ｓ１０１０において、表示部２１１は、例えば情報処理装置１０５の表示装置５０にターゲット、ターゲット履歴、ターゲット候補を表示する。Ｓ１０１１において、例えば、表示部２１１は、情報処理装置１０５の入力装置４０等を介したユーザー操作等に基づき処理を終了するか否かを判定する。表示部２１１は、処理を終了すると判定すると（Ｓ１０１１においてＹＥＳ）、図１１に示すフローチャートの処理を終了し、処理を終了しないと判定すると（Ｓ１０１１においてＮＯ）、Ｓ１００２に処理を戻す。

以上説明したように本実施形態によれば、複数の映像から物体特徴量を解析し、解析結果と監視対象とを照合した結果を注目度に基づいてユーザーに掲示するようにしたので、物体が存在する位置の確認と注目すべき物体の行動の把握とを同時に行うことができる。そのため、映像の解析結果を確認する際の負荷を軽減させることができる。

＜実施形態２＞
本実施形態では、映像から物体の注目度を解析し、注目度に基づいてアイコンとサムネイルとを切り替える処理について説明する。
図１２は、実施形態２の映像処理システムを構成する各装置の機能構成の一例を示す図である。映像処理システムは、画像取得部２０１、物体検出部２０２、画像切り出し部２０３、地図座標算出部２０６、注目度算出部２０７、表示切替部２０８、物体情報管理部２０９、入力部２１０、表示部２１１を機能構成として有する。
注目度算出部２０７は、物体情報管理部２０９の物体情報を用いて、物体ごとの注目度を算出する。注目度算出部２０７は、物体の注目度を、物体単位の異常値又は滞留値を用いて求める。
まず、物体の異常値を基に注目度を求める方法について説明する。注目度算出部２０７は、物体の行動を認識し、異常として定義された行動をした回数を物体の異常値とすることで物体の異常値を求める。又は、注目度算出部２０７は、行動の異常度合を異常値として定義してもよい。そして、注目度算出部２０７は、算出した異常値をそのまま注目度とする。注目度算出部２０７は、物体の行動の認識として、例えば、「Ｂ．Ｘ．Ｎｉｅ，Ｃ．Ｘｉｏｎｇ，Ｓ－Ｃ．Ｚｈｕ，Ｊｏｉｎｔ Ａｃｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ Ｆｒｏｍ Ｖｉｄｅｏ．ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２０１５．」に記載の物体の姿勢を求める技術を用いることができる。
次に、物体の滞留値を基に注目度を求める方法について説明する。注目度算出部２０７は、物体情報管理部２０９の物体情報について、同じ物体ＩＤの地図座標を検出時刻順に並べ、所定の期間での座標の差分値の和が一定以下であれば、その物体が滞留しているとみなす。注目度算出部２０７は、座標の差分値の和が小さいほど、大きくなるように滞留値を計算する。そして、注目度算出部２０７は、算出した滞留値をそのまま注目度とする。

図１３、図１４は本実施形態の情報処理の流れを示したものである。
まず、図１３を用いて、物体情報を作成する情報処理について説明する。Ｓ９０１において、画像取得部２０１は、画像を取得する。Ｓ９０２において、画像取得部２０１は、画像を取得できたか否かを判定する。画像取得部２０１は、画像を取得できた場合、画像が存在するとして（Ｓ９０２においてＹＥＳ）、Ｓ９０３に処理を進め、画像を取得できなかった場合、画像が存在しないとして（Ｓ９０２においてＮＯ）、図１０に示すフローチャートの処理を終了する。Ｓ９０３において、物体検出部２０２は、画像から複数の物体を検出する。Ｓ９０４において、物体検出部２０２は、物体を検出できたか否かを判定する。物体検出部２０２は、物体を検出できた場合、物体が存在するとして（Ｓ９０４においてＹＥＳ）、Ｓ９０５に処理を進め、物体を検出できなかった場合、物体が存在しないとして（Ｓ９０４においてＮＯ）、Ｓ９０１に処理を戻す。Ｓ９０５において、画像切り出し部２０３は、サムネイルを作成する。Ｓ９０７において、物体情報管理部２０９は、検出情報、サムネイル、特徴量を物体情報としてまとめて保存する。例えば、物体検出部２０２は、未処理の物体が存在すれば（Ｓ９０８においてＹＥＳ）、Ｓ９０５に処理を進め、未処理の物体が存在しなければ（Ｓ９０８においてＮＯ）、Ｓ９０１に処理を戻す。

次に、図１４を用いて、物体の注目度を算出し、地図上に表示する情報処理について説明する。Ｓ１００１において、入力部２１０は、例えば情報処理装置１０５の入力装置４０等を介したユーザー操作に基づいてクエリを入力する。クエリが入力されると、Ｓ１００２において、地図座標算出部２０６は、各物体の地図座標を算出する。Ｓ１００３において、注目度算出部２０７は、各物体の注目度を算出する。Ｓ１００５において、表示切替部２０８は、物体の注目度が閾値以上か否かを判定する。表示切替部２０８は、物体の注目度が閾値以上である場合（Ｓ１００５においてＹＥＳ）、Ｓ１００７に処理を進め、物体の注目度が閾値以上でない場合（Ｓ１００５においてＮＯ）、Ｓ１００６に処理を進める。Ｓ１００６において、表示切替部２０８は、表示をアイコンに設定する。Ｓ１００８において、表示切替部２０８は、物体の表示サイズを設定する。Ｓ１００９において、表示部２１１は、例えば情報処理装置１０５の表示装置５０に物体情報を表示する。Ｓ１０１１において、例えば、表示部２１１は、情報処理装置１０５の入力装置４０等を介したユーザー操作等に基づき処理を終了するか否かを判定する。表示部２１１は、処理を終了すると判定すると（Ｓ１０１１においてＹＥＳ）、図１４に示すフローチャートの処理を終了し、処理を終了しないと判定すると（Ｓ１０１１においてＮＯ）、Ｓ１００２に処理を戻す。

＜実施形態３＞
本実施形態では、表示部２１１が情報処理装置１０５の表示装置等に表示する表示画面のレイアウトを説明する。本実施形態の処理は、表示切替部２０８が行う。図１５（ａ）の画面では、追尾のターゲットである人物が「ｃａｍｅｒａ１」の画像から認識されている。図１５（ａ）に示されるように、「ｃａｍｅｒａ１」によって撮影された動画像は、他の撮像装置（他のカメラ）によって撮影された動画像より大きいサイズで表示される。この図１５（ａ）の表示画面の状態において、「未確定」状態のターゲット候補が他のカメラの画像で複数認識された場合、最も照合スコアの高い候補が存在するカメラ（例えば、「ｃａｍｅｒａ６」）を大きいサイズで表示する。同じく、他のカメラ（例えば、「ｃａｍｅｒａ６」）の画像から追尾のターゲットである人物が「確定」状態で認識された場合、図１５（ｂ）の表示画面の状態にレイアウトが変更される。即ち、注目度が最も高い人物が認識された「ｃａｍｅｒａ６」によって撮影された動画像が他のカメラの画像より大きなサイズで表示される。そして「ｃａｍｅｒａ１」によって撮影された動画像が「ｃａｍｅｒａ６」によって撮影された動画像と入れ替わるように配置位置が変更され、「ｃａｍｅｒａ１」によって撮影された動画像より小さいサイズで表示される。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した実施形態を任意に組み合わせて実施してもよい。
また、上述した各装置の機能構成の一部又は全てはハードウェア構成として各装置に実装してもよい。
また、各装置のハードウェア構成として、ＣＰＵ、記憶装置、通信装置等は１つである必要はない。複数のＣＰＵが複数の記憶装置のうちの一の記憶装置又は複数の記憶装置に記憶されたプログラムに基づき、複数の記憶装置に記憶されたデータ等を用いながら処理を実行することで各装置の機能等を実現するようにしてもよい。
また、映像解析サーバー装置１０２、データ解析サーバー装置１０３、ネットワークストレージ装置１０４、情報処理装置１０５の機能を一つの装置（コンピュータ）に実装するようにしてもよい。

以上、上述した各実施形態によれば、映像の解析結果を確認する際の負荷を軽減させることができる。

１０ ＣＰＵ
１０１ 撮像装置
１０２ 映像解析サーバー装置
１０３ データ解析サーバー装置
１０４ ネットワークストレージ装置
１０５ 情報処理装置

Claims (13)

1. 撮影された画像から検出された物体の地図上の位置を取得する第１の取得手段と、
   前記物体の注目度を取得する第２の取得手段と、
   前記注目度に基づいて前記地図上の位置に表示する前記物体の表示形式を切り替える表示制御手段と、
   を有し、
   前記表示制御手段は、前記注目度が閾値以上の物体をターゲット候補とし、前記ターゲット候補の中からターゲットを決定し、当該決定されたターゲットとターゲット候補とで前記物体の表示形式を変更し、
   前記表示制御手段は、前記注目度が前記閾値以上の物体を、当該物体の切り出し画像の表示形式で前記地図上の位置に表示し、前記注目度が閾値以上でない物体を、当該物体を模式的に表した絵柄の表示形式で前記地図上の位置に表示することを特徴とする装置。
2. 前記物体の切り出し画像はサムネイルであり、
   前記物体を模式的に表した絵柄はアイコンであることを特徴とする請求項１に記載の装置。
3. 前記表示制御手段は、前記ターゲット候補の物体の切り出し画像の枠と、前記ターゲットの物体の切り出し画像の枠とを異ならせることにより、前記ターゲット候補と前記ターゲットとで前記物体の表示形式を変更することを特徴とする請求項１又は２に記載の装置。
4. 前記表示制御手段は、複数の撮像装置のそれぞれで撮影された画像を表示画面に表示し、当該画像のうち、前記ターゲットが含まれる画像と、前記ターゲットが含まれない画像とで画像の表示サイズを変更することを特徴とする請求項１乃至３の何れか１項に記載の装置。
5. 前記表示制御手段は、複数の撮像装置で撮影された画像を表示画面に表示し、当該画像のうち、前記ターゲットが含まれる画像と、前記ターゲットが含まれない画像とで画像の配置位置を変更することを特徴とする請求項１乃至４の何れか１項に記載の装置。
6. 前記物体の特徴量を抽出する抽出手段を更に有し、
   前記第２の取得手段は、前記特徴量と、ターゲットの物体の特徴量とを比較した際の類似度を前記物体の注目度として取得することを特徴とする請求項１乃至５の何れか１項に記載の装置。
7. 前記第２の取得手段は、前記物体の行動の異常値を前記物体の注目度として取得することを特徴とする請求項１乃至５の何れか１項に記載の装置。
8. 前記第２の取得手段は、前記物体の滞留値を前記物体の注目度として取得することを特徴とする請求項１乃至５の何れか１項に記載の装置。
9. 前記表示制御手段は、前記注目度に基づいて前記地図上に描画する物体の表示サイズを変更することを特徴とする請求項１乃至８の何れか１項に記載の装置。
10. 前記表示制御手段は、順次取得される画像の中から検出された、前記注目度が閾値以上の物体をターゲット候補とし、過去に決定されたターゲットと、当該ターゲット候補とで前記物体の表示形式を変更し、前回ターゲットを決定してから所定期間が経過した後に、当該ターゲット候補の中から、最も高い前記注目度を有するターゲット候補をターゲットとして決定することを特徴とする請求項１乃至９の何れか１項に記載の装置。
11. 前記表示制御手段は、前記ターゲットとして決定された物体間の移動経路を示す第１の経路線と、前記ターゲットとして決定された物体から、前記ターゲットとして決定されていない前記ターゲット候補の物体への移動経路を示す第２の経路線とを識別可能に前記地図上に表示するように制御することを特徴とする請求項１乃至１０の何れか１項に記載の装置。
12. 装置が実行する方法であって、
    撮影された画像から検出された物体の地図上の位置を取得する第１の取得工程と、
    前記物体の注目度を取得する第２の取得工程と、
    前記注目度に基づいて前記地図上の位置に表示する前記物体の表示形式を切り替える表示制御工程と、
    を含み、
    前記表示制御工程では、前記注目度が閾値以上の物体をターゲット候補とし、前記ターゲット候補の中からターゲットを決定し、当該決定されたターゲットとターゲット候補とで前記物体の表示形式を変更し、
    前記表示制御工程では、前記注目度が前記閾値以上の物体を、当該物体の切り出し画像の表示形式で前記地図上の位置に表示し、前記注目度が閾値以上でない物体を、当該物体を模式的に表した絵柄の表示形式で前記地図上の位置に表示することを特徴とする方法。
13. コンピュータを請求項１乃至１１の何れか１項に記載の装置として機能させるためのプログラム。

Images