JP5397014B2 - 監視システム、撮像装置、解析装置及び監視方法 - Google Patents

Description

本発明は、監視システム、撮像装置、解析装置及び監視方法に関する。

監視システムには、有線や無線のＬＡＮ機能を有する監視カメラ（以下、ＩＰカメラともいう。）と、複数のＩＰカメラを制御し監視する監視装置（以下、センターサーバともいう。）からなるものがあり、ＩＰカメラとセンターサーバはネットワークを介して接続される。監視システムにおいて、ＩＰカメラは、撮影した映像データを、ネットワークを介してセンサーサーバに送信する。センターサーバは、受信した映像データを記録するとともに、映像データを解析することで異常の発生を検出し、アラームを出力する。これにより、監視員は、モニタに表示される映像や、センサーサーバが出力したアラームの内容を確認しながら監視をすることができる。

特許文献１には、監視装置において映像データを監視しアラームを出力する際の物体の認識に関する技術が開示されている。

特許第４１４８２８５号公報

ところで、監視システムにおいて、システム全体で処理を分散させるために、ＩＰカメラ内に解析処理（例えば動体検知等の処理）を搭載し、ＩＰカメラでメタデータやイベントを生成する場合がある。

また、監視員は、監視センター（センターサーバ）において、各ＩＰカメラの画像をオンライン、もしくはオフラインで監視をする。近年では、多数のカメラを簡単に監視するために、個々のＩＰカメラごとに解析機能を持たせ、ＩＰカメラから得られる、解析結果（メタデータやイベント）のみを監視員が監視するようになっている。

しかし、ＩＰカメラ内のリソース（ＣＰＵ性能、メモリ量等）だけで解析処理をすると十分な処理が行なえない。個々のＩＰカメラに解析処理をさせるためには、ＩＰカメラ内に高性能なＣＰＵ、メモリ等のハードウエアが求められる。

現状では、動体検知等のより簡単な処理は、ＩＰカメラ内蔵が行われているが、更に複雑な処理、例えば顔検知、車検知等の処理や、大量のメモリを必要とする照合処理等は、ＩＰカメラ内では行われていない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像装置を有する監視システムにおいて解析処理を効率的に実行させることが可能な、新規かつ改良された監視システム、撮像装置、解析装置及び監視方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、被写体を撮影する撮像部から入力された画像データに基づいて解析処理をして第１のメタデータを生成する基礎解析部と、第１のメタデータ及び第１のメタデータと異なる第２のメタデータを、ネットワークを介してネットワークに接続された監視装置に出力する第１メタデータ出力部とを有する撮像装置と、撮像装置から受けた画像データに基づいて基礎解析部と異なる解析処理をして第２のメタデータを生成する拡張解析部と、第２のメタデータを撮像装置に出力する第２メタデータ出力部とを有する解析装置とを備える監視システムが提供される。

複数の撮像装置を備え、解析装置は、１つの撮像装置からの画像データに基づいて生成された第２のメタデータと、別の撮像装置からの画像データに基づいて生成された第２のメタデータを合成するメタデータ合成部を更に有し、第２メタデータ出力部は合成メタデータを撮像装置に出力してもよい。

上記解析装置は、複数の拡張解析部を備え、それぞれの拡張解析部は異なる解析処理をしてそれぞれ異なる第２のメタデータを生成し、それぞれの拡張解析部で生成された第２のメタデータを合成し、合成メタデータを生成するメタデータ合成部を更に有し、第２メタデータ出力部は合成メタデータを撮像装置に出力してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、被写体を撮影する撮像部から入力された画像データに基づいて解析処理をして第１のメタデータを生成する基礎解析部と、第１のメタデータ、及び撮像装置から受けた画像データに基づいて基礎解析部と異なる解析処理をして解析装置の拡張解析部において生成された第２のメタデータを、ネットワークを介してネットワークに接続された監視装置に出力する第１メタデータ出力部と
を有する撮像装置が提供される。

上記第１のメタデータと第２のメタデータを合成し、合成メタデータを生成するメタデータ合成部を更に有し、第１メタデータ出力部は監視装置に合成メタデータを出力してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、被写体を撮影する撮像部から入力された画像データに基づいて解析処理をして第１のメタデータを生成する基礎解析部と、第１のメタデータ及び第１のメタデータと異なる第２のメタデータを、ネットワークを介してネットワークに接続された監視装置に出力する第１メタデータ出力部とを有する複数の撮像装置から受けた画像データに基づいて基礎解析部と異なる解析処理をして第２のメタデータを生成する拡張解析部と、第２のメタデータを撮像装置に出力する第２メタデータ出力部とを有する解析装置が提供される。

上記解析装置は、１つの撮像装置からの画像データに基づいて生成された第２のメタデータと、別の撮像装置からの画像データに基づいて生成された第２のメタデータを合成するメタデータ合成部を更に有し、第２メタデータ出力部は合成メタデータを撮像装置に出力してもよい。

上記解析装置は、複数の拡張解析部を備え、それぞれの拡張解析部は異なる解析処理をしてそれぞれ異なる第２のメタデータを生成し、それぞれの拡張解析部で生成された第２のメタデータを合成し、合成メタデータを生成するメタデータ合成部を更に有し、第２メタデータ出力部は合成メタデータを撮像装置に出力してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、撮像装置が被写体を撮影する撮像部から入力された画像データに基づいて解析処理をして第１のメタデータを生成するステップと、解析装置が撮像装置から受けた画像データに基づいて解析処理をして第１のメタデータと異なる第２のメタデータを生成するステップと、解析装置が第２のメタデータを撮像装置に出力するステップと、撮像装置が第１のメタデータ及び第２のメタデータを、ネットワークを介してネットワークに接続された監視装置に出力するステップとを有する監視方法が提供される。

本発明によれば、撮像装置を有する監視システムにおいて解析処理を効率的に実行させることができる。

本発明の一実施形態に係る監視システムの構成及び接続例を示す説明図である。 センターサーバ１０とＩＰカメラ１００と解析サーバ１３０の関係を示す接続ブロック図である。 ＩＰカメラ１００と解析サーバ１３０の間の能力交換の実施例を示すフローチャートである。 同実施形態に係る監視システムの検知処理を示すフローチャートである。 同実施形態に係るＩＰカメラ１００を示すブロック図である。 同実施形態に係る解析サーバ１３０を示すブロック図である。 同実施形態に係る監視システムの解析サーバ１３０を用いた検知処理の動作を示すフローチャートである。 ＩＰカメラ１００の設置例を示す説明図である。 各ＩＰカメラ１００が捉えた人Ｏｂｊ１又は車Ｏｂｊ２の撮影画像例を示す説明図である。 同実施形態に係る複数のＩＰカメラ１００と解析サーバ１３０を示すブロック図である。 同実施形態に係る複数のＩＰカメラ１００と解析サーバ１３０の連携に関する動作を示すフローチャートである。 モニタ１２や画面に表示されたビューアー１８０を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．一実施形態について
１−１ 監視システムの構成
１−２ ＩＰカメラ１００と解析サーバ１３０を使った解析処理方法
１−３ 解析サーバ１３０によるメタデータ生成方法
１−４ 監視システムの検知処理
１−５ 監視システムの解析サーバ１３０を用いた検知処理
１−６ ＩＰカメラ１００と解析サーバ１３０の連携方法
１−７ 複数のＩＰカメラ１００と解析サーバ１３０の関係
１−８ 複数のＩＰカメラ１００と解析サーバ１３０の連携に関する動作
１−９ ビューアーについて
１−１０ 本実施形態の効果

＜１．一実施形態について＞
［監視システムの構成］
まず、本発明の一実施形態に係る監視システムの構成について説明する。図１は、本実施形態に係る監視システムの構成及び接続例を示す説明図である。

本実施形態に係る監視システムは、例えば、複数台のＩＰカメラ１００と、解析サーバ１３０と、ＩＰカメラ１００をセンターで制御するセンターサーバ１０と、モニタ１２と、センターサーバ１０にアクセス可能なクライアント端末３０と、ＩＰカメラ１００のデータを中継するプロキシサーバ２０と、データの伝送に使用されるネットワークなどからなる。ＩＰカメラ１００は撮像装置の一例であり、解析サーバ１３０は解析装置の一例である。また、センターサーバは監視装置の一例である。

従来技術に対する対策として、監視システムの一部の解析処理を外部の解析サーバに任せる方法が考えられる。しかし、サーバを利用したとしても、各サーバの負荷や、接続できるカメラ台数の増加に対応するために、より効率的に、解析サーバの負担を減少させる必要がある。そこで、本実施形態では、ＩＰカメラ１００のリソースを補う解析サーバ１３０を監視システムに追加する。この解析サーバ１３０は、複数台のＩＰカメラ１００と直接接続され、センターサーバ１０からはＩＰカメラ１００のみと接続しているかのように機能する。

本実施形態は、この複数のＩＰカメラ１００の各設置関連情報を元に、各ＩＰカメラ１００内で生成された解析処理結果を、解析サーバ１３０内で統合し、各ＩＰカメラ１００に戻すことによって、センターサーバ１０では、あたかも１台のＩＰカメラ１００が全ての処理を行って生成したかのようなメタデータ、イベントを受け取ることができることを特徴とする。

［ＩＰカメラ１００と解析サーバ１３０を使った解析処理方法］
まず、ＩＰカメラ１００と解析サーバ１３０を使った解析処理方法について述べる。

ＩＰカメラ１００は、ＩＰ（インターネットプロトコル）に従い、ネットワークに接続されるカメラである。

本明細書では、監視員が直接監視するモニタ１２と接続され、モニタ１２に表示可能なビューアーが搭載されているサーバをセンターサーバ１０と呼ぶ。センターサーバ１０は、ビューアーを介して全てのＩＰカメラ１００をモニタリングでき、また、レコーダを備えて全てのカメラの記録データの管理ができる。

解析サーバ１３０は、複数台のＩＰカメラ１００ごとに用意され、ＩＰカメラ１００には搭載できなかった解析処理を担うサーバである。

プロキシサーバ２０は、いくつかのＩＰカメラ１００をまとめて管理し、センターサーバ１０とＩＰカメラ１００間のデータを中継するサーバである。

監視員は、センターサーバ１０からそれぞれのＩＰカメラ１００に検知要求を出し、ＩＰカメラ１００からのメタデータやイベントを、ビューアーを通して監視する。このとき、監視員（センターサーバ１０）は、解析サーバ１３０の存在を意識する必要はない。センターサーバ１０からは、直接接続しているのはＩＰカメラ１００であると認識される。なお、監視員は、クライアント端末３０を用いて監視などの作業をしてもよい。

図２に、各サーバの関係を示す。図２は、センターサーバ１０とＩＰカメラ１００と解析サーバ１３０の関係を示す接続ブロック図である。ここでは、簡単のため、プロキシサーバ２０の説明は省く。プロキシサーバ２０は、その基本性能として、センターサーバ１０とＩＰカメラ１００の間に入り、検知要求と、メタデータを転送する役割を持つ。

センターサーバ１０は、ＧＵＩ（Graphical User Interface）やコマンドを使用することで、ユーザーの指示によって、ＩＰカメラ１００へ対象の検知要求を出す。ＩＰカメラ１００は、指示に従い検知結果をメタデータとしてセンターサーバ１０へ転送する。また、通常の監視機能として、ＩＰカメラ１００で撮影された画像の画像データが、センターサーバ１０へ送られる。また、検知要求以外のカメラ制御コマンド等もセンターサーバ１０からＩＰカメラ１００へ送出される。

ＩＰカメラ１００から転送されるメタデータの形式はあらかじめ決められている。例えば、バイナリ形式やＸＭＬが使用される。送られる内容は、例えば、人を検知する場合、表１に示すような内容のメタデータを送出する。

同様に、車を検知する場合は、進行方向、色、車種、ナンバープレートなどのメタデータを送出する。また、例えば、メタデータを解析し、ある領域内に対象が入った、ある仮想ラインを対象が通過した等のイベントがルールエンジンにより判定された場合には、それを送出する。

現状のＩＰカメラでは、このようなメタデータを全て処理できる解析処理機能を１台のカメラ内に持つことは、ＣＰＵ，メモリ等の制約により難しい。例えば、現状、画面内で動く箇所を検出する動体検知機能が、ＩＰカメラ内に搭載されるようになってきているが、それ以上の機能をカメラにもたせることは、リソース不足により実現できていないのが現状である。

［解析サーバ１３０によるメタデータ生成方法］
次に、ＩＰカメラ１００の能力を補う解析サーバ１３０を用いたメタデータ生成方法について説明する。

図２に示すように、ＩＰカメラ１００は、センターサーバ１０からの要求に対し、メタデータを返す。この際、ＩＰカメラ１００は、解析サーバ１３０と能力交換を行う。そして、ＩＰカメラ１００では足りない解析処理を解析サーバ１３０が行い、その結果をＩＰカメラ１００が解析サーバ１３０から受け取り、ＩＰカメラ１００がセンターサーバ１０へメタデータとして返送する。

なお、事前にＩＰカメラ１００と解析サーバ１３０の間で、どのような能力があるかを交換しておくこともできる。例えば、図３のようなやり取りで、能力交換をすることができる。図３は、ＩＰカメラ１００と解析サーバ１３０の間の能力交換の実施例を示すフローチャートである。図３では、ソフトウェア同士がメッセージ（オブジェクト）を交換するためのプロトコルであるＳＯＡＰ（ソープ）を使用した例を示す。

まず、解析サーバ１３０がＩＰカメラ１００の呼び出し（ステップＳ１０１）、それに対してＩＰカメラ１００が応答する（ステップＳ１０２）。そして、解析サーバ１３０がステップＳ１０２で応答したＩＰカメラ１００に応答する（ステップＳ１０３）。

［監視システムの検知処理］
次に、本実施形態に係る監視システムの検知処理について説明する。図４は、本実施形態に係る監視システムの検知処理を示すフローチャートである。

まず、センターサーバ１０が、ＩＰカメラ１００に対して検知要求を出す（ステップＳ１１１）。そして、ＩＰカメラ１００が、要求の解析を行う（ステップＳ１１２）。要求の解析によって、ＩＰカメラ１００は、ＩＰカメラ１００単独で対応できるか判断する（ステップＳ１１３）。対応可能であれば、ＩＰカメラ１００のみで対応する（ステップＳ１２１）。

一方、対応可能でなければ、ＩＰカメラ１００は、解析サーバ１３０を探査する（ステップＳ１１４）。解析サーバ１３０を見つけられない場合（ステップＳ１１５）は、ＩＰカメラ１００は、自分の持っている能力だけでメタデータを作成し、返信する（ステップＳ１２１）。この際、足らない部分のメタデータは空、又は無視して、送信する。

解析サーバ１３０を発見できた場合（ステップＳ１１５）は、ＩＰカメラ１００と解析サーバ１３０の間で能力を交換する（ステップＳ１１６）。要求するものと解析サーバ１３０の処理できる分野（人用又は車用等）が異なるなど、解析サーバ１３０の能力がない場合（ステップＳ１１７）は、ＩＰカメラ１００は、自分の持っている能力だけでメタデータを作成し、返信する。この際、足らない部分のメタデータは空、又は無視して送信する。

一方、解析サーバ１３０の能力がある場合は、検知処理をする（ステップＳ１１８）。解析サーバ１３０を用いた検知処理については後述する。

［監視システムの解析サーバ１３０を用いた検知処理］
次に、本実施形態に係る監視システムの解析サーバ１３０を用いた検知処理について説明する。図５は、本実施形態に係るＩＰカメラ１００を示すブロック図である。図６は、本実施形態に係る解析サーバ１３０を示すブロック図である。簡単のため、ＩＰカメラ１００と解析サーバ１３０の関係を中心に示す。なお、図５及び図６中やこれらの図を参照して説明する際、「……Ａ」はＩＰカメラ１００側が処理したことを示し、「……Ｂ」は解析サーバ１３０側が処理したことを示す。また、「……Ｃ」はデータを合成したことを示す。更に、メタデータやイベントの末尾に付した数字は、各機能ブロック（「……部」）を通過するごとに、数を１ずつ増加させて示したが、基本的には同じデータである。

センターサーバ１０からの検知要求が、ＩＰカメラ１００の解析制御部１０２に送られる。解析制御部１０２は、要求に従い、基礎解析部１０４及びカメラ・サーバ間通信部Ａ１０６に制御信号を送る。

解析制御部１０２が、解析サーバ１３０を必要と判定した場合、カメラ・サーバ間通信部Ａは、解析サーバ１３０と能力交換し、解析サーバ１３０の解析サーバ能力データ部に保持されている解析サーバ能力を得る。能力交換は、検知要求が変わらない限り、再度繰り返す必要はない。得られた解析サーバ能力は、解析サーバ能力データ記録部１０８に記録される。ＩＰカメラ１００は解析サーバ能力に見合った解析サーバ１３０と通信する。

入力画像は、レンズなどの光学系や撮像素子（例えばＣＭＯＳ撮像素子やＣＣＤ撮像素子等）などからなる撮像部を介して基礎解析部１０４に送られる。基礎解析部１０４は、入力画像を使用して、例えば、動体検知処理を行い、メタデータＡ１を生成する。この際、動体検知処理により、例えば、上述した表１のメタデータのうち、外接矩形の情報を得る。

ＩＰカメラ１００の基礎解析部１０４で作られたメタデータＡ１は、カメラ・サーバ間通信部Ａ１０６に送られる。ＩＰカメラ１００側のカメラ・サーバ間通信部Ａ１０６は、解析サーバ１３０側のカメラ・サーバ間通信部Ｂ１３２とデータのやり取りをする。

ＩＰカメラ１００は、解析サーバ１３０に画像データ、カメラステータス、メタデータＡ２、制御コマンドＡ１等を送る。画像データは、入力画像である。入力画像は、ＪＰＥＧ等に変換されていてもよく、また、画像サイズの変更がされていてもよい。カメラステータスは、例えば、カメラのパンチルトズームの現在の値を示す。メタデータＡ２は、ＩＰカメラ１００の基礎解析部１０４で生成されたメタデータを示す。制御コマンドＡ１は、解析サーバ１３０で解析に使用するパラメータを示す。

解析サーバ１３０は、ＩＰカメラ１００にメタデータＢ２、イベントＢ２、制御コマンドＢ１を送る。メタデータＢ２は、解析サーバ１３０の拡張解析部１３６で生成されたメタデータである。拡張解析部１３６は、例えば、顔検知処理をし、上述した表１のメタデータのうち、頭部位置、頭部向き、顔パーツ位置、顔スコア等の情報を生成する。また、顔解析処理によって、男性・女性、年齢、等の顔属性が得られる。また、顔照合処理に用いられる、顔特徴量も得られる。

イベントＢ２は、メタデータＢ１を、一定のルールに従うか否かによって生成された情報である。ルールエンジン部Ｂ１３８は、例えば、画像内の一定のエリアに対象が入った、又は、ある仮想線を対象が通過した等のルールを適用し、ルールに従うか、又は従わないかに応じて、イベントＢ１を生成する。なお、イベントの生成や処理は、本実施形態では、必須の機能ではない。

制御コマンドＢ１は、例えば、トラッキング処理が行われる場合のＩＰカメラ１００のパンチルトズーム機能を変更させるコマンドである。トラッキング処理は、ＩＰカメラ１００がメカ制御機構を使用して対象の追跡をする処理である。

メタデータ合成部１１２は、解析サーバ１３０からＩＰカメラ１００に送られたメタデータＢ３と、ＩＰカメラ１００内の基礎解析部１０４から得られたメタデータＡ１を合成し、メタデータＣを生成する。メタデータＣは、メタデータ通信部１１４（第１メタデータ出力部）に送られ、メタデータストリームとして、センターサーバ１０に送られる。なお、メタデータＡ１，メタデータＢ３を、ＩＰカメラ１００内で合成せずに個別に送出し、センターサーバ１０側で合成することも可能である。

メタデータＣは、ルールエンジン部Ａ１１６によって、イベントＡ１に変換され、イベント通信部１１８によって、イベントストリームとしてセンターサーバ１０へ送出される。また、入力画像は、画像通信部１２２で変換され、画像ストリームとして、センターサーバ１０へ送出される。

センターサーバ１０は、受け取った各ストリームをＧＵＩで表示する等して、ユーザーにアラートとして提示したり、録画・記録を行ったりする。

なお、図５では、ＩＰカメラ１００は、センターサーバ１０と解析サーバ１３０が、別のネットワークを介して繋がっているような表現になっている。即ち、図５では、各機能の役割をサーバ向けごとに明確にするために別個の機能ブロックとして表現している。しかし、本実施形態はこの構成に限定されない。例えば、ＩＰカメラ１００は、センターサーバ１０か、解析サーバ１３０かで送出するアドレスを切り替えて、同一の機能ブロックを介してネットワーク接続されるように実装してもよい。つまり、カメラ・サーバ間通信部Ａ１０６に、画像通信部１２２、メタデータ通信部１１４の機能が含まれ、同一の機能ブロックにまとめることができる。

次に、本実施形態に係る監視システムの解析サーバ１３０を用いた検知処理の動作について説明する。図７は、本実施形態に係る監視システムの解析サーバ１３０を用いた検知処理の動作を示すフローチャートである。

図７は、図４のステップＳ１１８の検知処理の部分に関するフローチャートを示したものである。なお、図７では、メタデータの流れを中心に示す。そのため、ルールエンジン部Ａ１１６、ルールエンジン部Ｂ１３８に関連する記述は省く。

ＩＰカメラ１００は、ＩＰカメラ１００の基礎解析部１０４が解析処理をして検知処理をする（ステップＳ１３１）。また、基礎解析部１０４は、メタデータＡ１を生成する（ステップＳ１３２）。

その後、ＩＰカメラ１００のカメラ・サーバ間通信部Ａ１０６から解析サーバ１３０のカメラ・サーバ間通信部Ｂ１３２（第２メタデータ出力部）に検知元情報に関する必要な情報が転送される（ステップＳ１４１）。ここで、必要な情報とは、画像データ、カメラステータス、メタデータＡ２、制御コマンドＡ１を示す。

検知処理は、ＩＰカメラ１００側と解析サーバ１３０側で並行して行われる。
解析サーバ１３０は、拡張解析部１３６が解析処理をして検知処理をする（ステップＳ１４２）。また、拡張解析部１３６がメタデータＢ１を生成する（ステップＳ１４３）。解析サーバ１３０は、拡張解析部１３６で生成されたメタデータＢ１を、カメラ・サーバ間通信部Ｂ１３２に送り、カメラ・サーバ間通信部Ｂ１３２からメタデータＢ２をＩＰカメラ１００に転送する（ステップＳ１４４）。

その後、ＩＰカメラ１００において、メタデータ合成部１１２が、メタデータＡ１とメタデータＢ３を合成し、メタデータＣを生成する（ステップＳ１３３）。なお、メタデータＡ１とメタデータＢ３をＩＰカメラ１００内で合成せずに、センターサーバ１０で合成してもよい。

そして、ＩＰカメラ１００は、センターサーバ１０にメタデータＣを転送する（ステップＳ１３４）。以上の作業は、処理フレームごとに行う。処理フレームは、通常の画像フレームと同一のフレーム数でもよいし、画像フレームを適宜間引いたフレーム数でもよい。

［ＩＰカメラ１００と解析サーバ１３０の連携方法］
次に、複数台のＩＰカメラ１００と解析サーバ１３０を接続した場合の効率的な連携方法について述べる。図８は、ＩＰカメラ１００の設置例を示す説明図である。図８では、警戒するエリアの外周に沿った複数台（ここでは、ＩＰカメラ１００−１、ＩＰカメラ１００−２、ＩＰカメラ１００−３の３台）のＩＰカメラ１００が配置されている。

図９は、各ＩＰカメラ１００が捉えた人Ｏｂｊ１又は車Ｏｂｊ２の撮影画像例を示す説明図である。
各ＩＰカメラ１００が位置キャリブレーションを施されていると、各ＩＰカメラ１００間に映っている動領域が同一であるかが算出可能である。又は、対象の色情報・形状情報を参照し、同定することも可能である。このことを利用して、ＩＰカメラ１００−３からの画像データに基づいて拡張解析部１３６で生成されたメタデータを、ＩＰカメラ１００−１に基づくメタデータと合成する。その結果、例えば、ａ−１）のようにＩＰカメラ１００−１では、対象（人Ｏｂｊ１）が小さくて求められない対象（人Ｏｂｊ１）の顔属性をＩＰカメラ１００−１のメタデータとして出力することも可能である。

既に説明したように、センターサーバ１０は、ＩＰカメラ１００とのみ接続しているかのように振舞う。これは、解析サーバ１３０とＩＰカメラ１００−３によって生成された、ＩＰカメラ１００−１では生成できないメタデータも、ＩＰカメラ１００−１で生成されたかのように出力できることによる。

同様に、例えば、ｂ−１）のように、映像内では小さくてナンバープレートの認識に適していない対象（車Ｏｂｊ２）であっても、ナンバープレート情報を付加したメタデータを解析サーバ１３０とＩＰカメラ１００−３で生成し、ＩＰカメラ１００−１から出力することができる。

［複数のＩＰカメラ１００と解析サーバ１３０の関係］
次に、本実施形態に係る複数のＩＰカメラ１００と解析サーバ１３０の関係について説明する。図１０は、本実施形態に係る複数のＩＰカメラ１００と解析サーバ１３０を示すブロック図である。図１０に示す例では、ＩＰカメラ１００が第１カメラ１００−１、第２カメラ１００−２、第３カメラ１００−３の３台である場合について説明する。なお、ＩＰカメラ１００の設置台数は図１０に示す例に限定されない。

第１カメラ１００−１（同様に第２カメラ１００−２、第３カメラ１００−３）の基礎解析部１０４は、メタデータＡ１−１（メタデータＡ１−２、メタデータＡ１−３）を生成する。

カメラ・サーバ間通信部Ａ１０６は、生成されたメタデータＡ１−１（メタデータＡ１−２、メタデータＡ１−３）や画像データ等を受け取り、メタデータＡ２−１（メタデータＡ２−２、メタデータＡ２−３）や画像データ等を解析サーバ１３０に転送する。また、カメラ・サーバ間通信部Ａ１０６は、解析サーバ１３０から、解析サーバ１３０で生成されたメタデータＥ２を受信する。

解析サーバ１３０のカメラ・サーバ間通信部Ｂ１３２は、各ＩＰカメラ１００（第１カメラ１００−１、第２カメラ１００−２、第３カメラ１００−３）のメタデータＡ２（メタデータＡ２−１、メタデータＡ２−２、メタデータＡ２−３）及び画像データを受信する。また、カメラ・サーバ間通信部Ｂ１３２は、各ＩＰカメラ１００にメタデータＥ２を転送する。

解析サーバ１３０のカメラ連携情報部１４２は、予め、各ＩＰカメラ１００（第１カメラ１００−１、第２カメラ１００−２、第３カメラ１００−３）の位置キャリブレーションデータ等の連携情報を、各ＩＰカメラ１００から受け取り保持しておく。

同定部１４４は、各ＩＰカメラ１００からのメタデータを元に、各ＩＰカメラ１００で生成されたメタデータで表される対象物が、互いに同一であるかを判定する。

拡張解析部（Ｎ）１３６−Ｎは、人検知、顔検知、顔認証等の解析処理を行い、メタデータＢ１を生成する。拡張解析部（Ｎ）１３６−Ｎは、個々の機能ブロックごとに異なる機能を有することを示している。例えば、拡張解析部（１）１３６−１は人検知、拡張解析部（２）１３６−２は顔検知、拡張解析部（３）１３６−３は顔認証……などである。

メタデータ合成部Ｂ１４８は、各ＩＰカメラ１００からのデータに基づいて生成されたそれぞれのメタデータに、他のＩＰカメラ１００で得られたメタデータの情報を、同定部１４４で生成された同定信号に基づいて合成する。例えば、メタデータ合成部Ｂ１４８は、第１カメラ１００−１からのデータに基づいて生成されたメタデータに、第２カメラ１００−２や第３カメラ１００−３で得られたメタデータの情報を、同定部１４４で生成された同定信号に基づいて合成する。

メタデータバッファ部１４６は、他のＩＰカメラ１００のメタデータや、自身のＩＰカメラ１００の別の時刻のメタデータを保持しておき、合成時に使用する。

［複数のＩＰカメラ１００と解析サーバ１３０の連携に関する動作］
複数のＩＰカメラ１００と解析サーバ１３０の連携に関する動作を説明する。図１１は、本実施形態に係る複数のＩＰカメラ１００と解析サーバ１３０の連携に関する動作を示すフローチャートである。なお、図１１に示すフローチャートには、事前の解析サーバ１３０へのカメラ連携情報の転送は含まれない。また、各ＩＰカメラ１００は、同じ処理フローになるため、このフローチャートでは省略して説明する。図１１は、図４のステップＳ１１８の検知処理の部分に関するフローチャートを示したものである。

まず、各ＩＰカメラ１００は、ＩＰカメラ１００の基礎解析部１０４が解析処理をして検知処理をする（ステップＳ１３１）。また、基礎解析部１０４は、メタデータＡ１を生成する（ステップＳ１３２）。

その後、ＩＰカメラ１００のカメラ・サーバ間通信部Ａ１０６から解析サーバ１３０のカメラ・サーバ間通信部Ｂ１３２に検知元情報に関する必要な情報が転送される（ステップＳ１４１）。ここで、必要な情報とは、画像データ、カメラステータス、メタデータＡ２、制御コマンドＡ１を示す。

検知処理は、ＩＰカメラ１００側と解析サーバ１３０側で並行して行われる。また、解析サーバ１３０側では、２種類のフローが並行に行われる。

解析サーバ１３０は、拡張解析部１３６において解析処理をして検知処理をする（ステップＳ１４２）。また、拡張解析部がメタデータＢ１を生成する（ステップＳ１４３）。

生成されたメタデータＢ１は、メタデータバッファ部１４６に保存される（ステップＳ１５１）。保存されたメタデータＢ１は、ステップＳ１６２でメタデータＤとしてメタデータ合成部Ｂ１４８に呼び出される。

一方、ＩＰカメラ１００から解析サーバ１３０に送られカメラ・サーバ間通信部Ｂ１３２を介してきたメタデータＡ３と、カメラ連携情報部１４２に保持されているカメラ連携情報を使用して同定処理する（ステップＳ１６１）。同定処理では、メタデータバッファ部１４６の他のカメラや、別の時刻の自カメラのメタデータの中から同一の対象を探し出す。

そして、複数のＩＰカメラ１００間で同一とみなされた対象が、メタデータバッファ部１４６から呼び出される（ステップＳ１６２）。

その後、メタデータ合成部Ｂ１４８は、拡張解析部１３６−Ｎにおいて生成されたメタデータＢ１と、メタデータバッファ部１４６から呼び出されたメタデータＤとを合成処理する（ステップＳ１７１）。

解析サーバ１３０は、拡張解析部１３６で生成されたメタデータＢ１を、カメラ・サーバ間通信部Ｂ１３２に送り、カメラ・サーバ間通信部Ｂ１３２からメタデータＢ２をＩＰカメラ１００に転送する（ステップＳ１４４）。

その後、ＩＰカメラ１００側において、メタデータ合成部１１２が、ＩＰカメラ１００内で生成されたメタデータＡ１と、解析サーバ１３０から転送されたメタデータＢ３を合成し、メタデータＣを生成する（ステップＳ１３３）。なお、メタデータＡ１とメタデータＢ３をＩＰカメラ１００内で合成せずに、センターサーバ１０で合成してもよい。

そして、ＩＰカメラ１００は、センターサーバ１０に合成されたメタデータＣを転送する（ステップＳ１３４）。以上の作業は、処理フレームごとに行う。処理フレームは、通常の画像フレームと同一のフレーム数でもよいし、画像フレームを適宜間引いたフレーム数でもよい。

［ビューアーについて］
次に、本実施形態に係る監視システムのモニタ１２やクライアント３０の画面において表示されるビューアーについて説明する。図１２は、モニタ１２や画面に表示されたビューアー１８０を示す説明図である。

ビューアー１８０は、例えば、カメラ映像パネル１８２、コントロールパネル１８４、アラートリストパネル１８６などからなる。

カメラ映像パネル１８２は、複数のＩＰカメラ１００の映像を並べて表示する。図１２では２ｘ２のマトリクスであるが、本実施形態はこれに限定されない。例えば、１つのみでもよいし、１６ｘ１６のマトリクス、２ｘ３のマトリクスでもよい。ここでは、１台のモニタ１２内でカメラ画像を分割して表示しているが、各ＩＰカメラ１００の画像を複数のモニタ１２に個別に表示してもよい。例えば、１台のＩＰカメラ１００の映像を１台のモニタ１２に表示できる。

コントロールパネル１８４は、例えば、ＩＰカメラ１００のＰＴＺ設定やセンターサーバ１０のレコーディング設定等の制御をするＧＵＩからなる。

アラートリストパネル１８６は、ＩＰカメラ１００内、又はセンターサーバ１０内で生成されたアラートをリストで表示する。

図１２（Ａ）は、解析サーバ１３０の検知処理がオフにされたときの状態を示す説明図である。解析サーバ１３０がオフのときは、カメラ映像パネル１８２の各ＩＰカメラの対象物に検知枠１９２（破線部分）が表示される。また、同時にアラートリストパネル１８６に、アラート及びメタデータが表示される。

図１２（Ｂ）は、解析サーバ１３０の検知処理がオンにされたときの状態を示す説明図である。解析サーバ１３０がオンのときは、カメラ映像パネル１８２の各ＩＰカメラの対象物に検知枠１９２が表示され、更に付加情報１９４が表示できる。例えば、人の場合、他のＩＰカメラ１００に基づいて確認され、データーベースに登録されている名前が付加情報１９４として表示される。また、車の場合、他のＩＰカメラ１００で確認されたナンバープレート情報が付加情報１９４として表示される。また、同時にアラートリストパネル１９４に、アラート及びメタデータがより細かに登録された名前やナンバーを付加して表示される。

［本実施形態の効果］
以上説明した通り、本実施形態は、センターサーバ１０からの要求により、ＩＰカメラ１００で生成されるメタデータの生成方法に関する。本実施形態は、複数台のＩＰカメラ１００と解析サーバ１３０で、効率的に処理を分担させ、メタデータを生成する。

本実施形態によれば、センターサーバ１０は、解析サーバ１３０の存在を意識することなくオペレーションを行える。解析サーバ１３０とＩＰカメラ１００の接続が行われた際は、センターサーバ１０から見ると、要求したメタデータの情報量・コンテンツ量が増える。一方、解析サーバ１３０とＩＰカメラ１００の接続がないときには、センターサーバ１０から見ると、要求したメタデータが最低限の情報量・コンテンツ量になる。

複数のＩＰカメラ１００が解析サーバ１３０に接続されている場合は、該当ＩＰカメラでは通常得ることができない情報も、他のＩＰカメラ１００で同一の対象を捉えられていれば、解析サーバ１３０を通してメタデータにその情報を付加することができる。その結果、１台のＩＰカメラ１００自体が高度な解析能力を持たなくても、センターサーバ１０から見ると、あたかも高度な解析能力を持っているようなカメラとして振舞うことが可能になる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例即ち修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ センターサーバ
１２ モニタ
２０ プロキシサーバ
３０ クライアント端末
１００ ＩＰカメラ
１０２ 解析制御部
１０４ 基礎解析部
１０６ カメラ・サーバ間通信部Ａ
１０８ 解析サーバ能力データ記憶部
１１２ メタデータ合成部
１１４ メタデータ通信部
１１６ ルールエンジン部Ａ
１１８ イベント通信部
１３０ 解析サーバ
１３２ カメラ・サーバ間通信部Ｂ
１３４ 解析サーバ能力データ部
１３６ 拡張解析部
１３８ ルールエンジン部
１４２ カメラ連携情報部
１４４ 同定部
１４６ メタデータバッファ部
１４８ メタデータ合成部Ｂ

Claims (9)

1. 被写体を撮影する撮像部から入力された画像データに基づいて解析処理をして第１のメタデータを生成する基礎解析部と、前記第１のメタデータ及び前記第１のメタデータと異なる第２のメタデータを、ネットワークを介して前記ネットワークに接続された監視装置に出力する第１メタデータ出力部とを有する、複数の撮像装置と、
   前記撮像装置から受けた前記画像データに基づいて前記基礎解析部と異なる解析処理をして前記第２のメタデータを生成する拡張解析部と、前記第２のメタデータを前記撮像装置に出力する第２メタデータ出力部とを有する解析装置と
   を備え、
   前記解析装置は、１つの前記撮像装置からの前記画像データに基づいて生成された前記第２のメタデータと、別の前記撮像装置からの前記画像データに基づいて生成された前記第２のメタデータを合成するメタデータ合成部を更に有し、
   前記第２メタデータ出力部は前記合成された第２のメタデータを前記撮像装置に出力する、監視システム。
2. 前記解析装置は、複数の前記拡張解析部を備え、それぞれの前記拡張解析部は異なる解析処理をしてそれぞれ異なる前記第２のメタデータを生成し、
   前記メタデータ合成部は、それぞれの前記拡張解析部で生成された前記第２のメタデータを合成し、
   前記第２メタデータ出力部は前記合成された第２のメタデータを前記撮像装置に出力する、請求項１に記載の監視システム。
3. 前記撮像装置は、前記解析装置にて前記第２のメタデータを解析するか否かを決定する決定部を更に有する請求項１または２に記載の監視システム。
4. 被写体を撮影する撮像部から入力された画像データに基づいて解析処理をして第１のメタデータを生成する基礎解析部と、
   前記第１のメタデータ、及び、複数の撮像装置のうち、１つの撮像装置及び別の撮像装置のそれぞれから受けた前記画像データに基づいて前記基礎解析部と異なる解析処理をして解析装置の拡張解析部において生成された第２のメタデータを合成し、合成された第２のメタデータを、ネットワークを介して前記ネットワークに接続された監視装置に出力する第１メタデータ出力部と
   を有する、撮像装置。
5. 前記第１のメタデータと前記合成された第２のメタデータを合成し、合成メタデータを生成するメタデータ合成部を更に有し、
   前記第１メタデータ出力部は前記監視装置に前記合成メタデータを出力する、請求項４に記載の撮像装置。
6. 前記解析装置にて前記第２のメタデータを解析するか否かを決定する決定部を更に有する請求項４または５に記載の撮像装置。
7. 被写体を撮影する撮像部から入力された画像データに基づいて解析処理をして第１のメタデータを生成する基礎解析部と、前記第１のメタデータ及び前記第１のメタデータと異なる第２のメタデータを、ネットワークを介して前記ネットワークに接続された監視装置に出力する第１メタデータ出力部とを有する複数の撮像装置から受けた前記画像データに基づいて前記基礎解析部と異なる解析処理をして前記第２のメタデータを生成する拡張解析部と、
   前記第２のメタデータを前記撮像装置に出力する第２メタデータ出力部と、
   １つの前記撮像装置からの前記画像データに基づいて生成された前記第２のメタデータと、別の前記撮像装置からの前記画像データに基づいて生成された前記第２のメタデータを合成するメタデータ合成部と
   を有し、
   前記第２メタデータ出力部は前記合成された第２のメタデータを前記撮像装置に出力する、解析装置。
8. 前記解析装置は、複数の前記拡張解析部を備え、それぞれの前記拡張解析部は異なる解析処理をしてそれぞれ異なる前記第２のメタデータを生成し、
   それぞれの前記拡張解析部で生成された前記第２のメタデータを合成し、合成メタデータを生成するメタデータ合成部を更に有し、
   前記第２メタデータ出力部は前記合成メタデータを前記撮像装置に出力する、請求項７に記載の解析装置。
9. 複数の撮像装置が被写体を撮影する撮像部から入力された画像データに基づいて解析処理をして第１のメタデータを生成するステップと、
   解析装置が前記撮像装置から受けた前記画像データに基づいて解析処理をして前記第１のメタデータと異なる第２のメタデータを生成するステップと、
   前記解析装置が、１つの前記撮像装置からの前記画像データに基づいて生成された前記第２のメタデータと、別の前記撮像装置からの前記画像データに基づいて生成された前記第２のメタデータを合成するステップと、
   前記解析装置が前記合成された第２のメタデータを前記撮像装置に出力するステップと、
   前記撮像装置が前記第１のメタデータ及び前記合成された第２のメタデータを、ネットワークを介して前記ネットワークに接続された監視装置に出力するステップと
   を有する、監視方法。

Images