JP5454992B2 - 映像ネットワークシステム - Google Patents

Description

本発明は、複数のカメラを備える映像ネットワークシステムに関する。

ＷｅｂカメラなどのＩＰ接続可能な撮像装置が普及することにより、ＩＰネットワークを利用した広域・大規模監視システムを構築することが可能となった。しかし、多数のカメラと映像蓄積装置の間を単純にＩＰ接続して画像データの蓄積・表示を行うと、帯域不足及び／又は負荷集中によって効率的な監視システムを構成することができない。このため、情報の優先度に基づいた帯域制御、表示制御を行う必要がある。通信経路上の装置で伝送制御を行うものとしては、例えば、特許文献１に開示される技術が知られている。これは、メール転送時に悪意のあるメールに対しての返答に遅延を導入することにより、悪意のあるメールに対する応答速度を下げつつ、通常のメールは高い応答速度で転送可能とするものである。
特開２００３−１７３３１５号公報

前述した従来技術によると、多数のカメラから映像データ（フレーム画像）を映像蓄積装置に登録すると、データを転送するためのネットワークの負荷が増大し、映像蓄積装置の記憶装置の容量が増大する。さらには、表示処理に伴う処理負荷が増大する。

本発明は、広域・大規模な多地点の映像監視を目的とする映像ネットワークシステムにおいて、移動ノードと固定ノードとの通信から得られる移動ノードの位置情報に基づいて、多数のカメラによって撮影された画像の優先度を変更し，転送したり表示したりする画像の量（フレームレート（単位時間当たりのフレーム数）など）や質（解像度）を制御することを目的とする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。本発明の映像ネットワークシステムは、画像を所定の間隔で撮影する複数のカメラと、前記カメラによって撮影された画像データを格納する画像蓄積装置と、前記カメラによって撮影された画像データを前記画像蓄積装置に転送する伝送制御装置と、前記カメラによって撮影された画像から画像特徴量を生成する情報生成装置と、移動ノードと固定ノードとを含むセンサネットワークシステムに接続されるセンサ情報変換装置と、を備え、前記センサ情報変換装置は、前記移動ノードと前記固定ノードとの通信結果に基づいて優先度情報を生成し、前記情報生成装置は、画像特徴量に基づいて優先度情報を生成し、前記伝送制御装置は、前記センサ情報変換装置から取得する前記優先度情報および前記情報生成装置から取得する優先度情報に基づいて決定された優先度を用いて前記画像蓄積装置への前記画像データの転送を制御する。

本発明によれば、多数のカメラを備える映像ネットワークシステムにおいて、システムの負荷を減少することができ，多数のカメラの画像を１つの拠点で効率良く監視することができる。

本発明の実施の形態について、図面を参照して説明する。

図１２は、本発明を適用する映像ネットワークシステムの構成の一例を示すブロック図である。図１２において、映像ネットワークシステムは、複数のカメラ２２０を含むカメラ群２−０、２−１と、複数のカメラ２２０を制御し、所望のカメラ２２０の画像を表示する監視センタ１と、監視センタ１と各カメラ群２−０、２−１を接続するネットワーク１００と、監視センタ１のセンサ情報変換装置７に接続されてセンサノードからの情報（センサ情報）を転送するセンサネットワーク８を主体に構成される。

特に、本実施形態では、伝送制御装置又は画像表示装置の画像データの転送処理又は表示処理において、センサ情報変換装置が優先度決定の判断基準となる優先度情報を与える点に特徴を有する。ここで、優先度情報とは、センサネットワークが転送するセンサ情報に基づいてセンサ情報変換装置により生成されるものである。

図１は、本発明の実施の形態の映像ネットワークシステムの構成要素間の通信の概要を示すブロック図である。

＜映像ネットワークシステムの構成＞
本発明の実施の形態の映像ネットワークシステムは、複数のカメラ２２０、カメラに接続されたカメラＰＣ２１０、本システムで取り扱われる画像を検索する画像検索装置６、カメラ２２０によって撮影された画像を蓄積する画像蓄積装置４、カメラ２２０によって撮影された画像の転送を制御する伝送制御装置２０、画像蓄積装置４からの画像要求を中継するリクエスト変換装置３、及び、カメラ２２０によって撮影された画像を表示する画像表示装置５（及び、モニタ５０）を備える。

さらに、本発明の実施の形態の映像ネットワークシステムは、複数のノードを無線ネットワークによって接続したセンサネットワーク８を備える。センサネットワーク８は、移動ノード８１０（例えば、利用者によって携帯される名札形状の端末でもよい）、移動ノード８１０と赤外線通信をする固定ノード８２０、移動ノード８１０と無線通信をする無線基地局８００、ノード８１０、８２０から送信された情報を収集するセンサ情報変換装置７、及び、移動ノードの位置を表示する位置情報表示端末９を備える。

本発明の実施の形態の映像ネットワークシステムによると、建造物内などに複数のカメラ２２０が設置される。画像蓄積装置４は、各カメラ２２０によって取得された画像を格納する。画像表示装置５は、監視センタに設置され、管理者または監視員が画像監視装置５（モニタ５０）を用いて、複数のカメラ２２０の画像を監視する。

画像表示装置５は、プロセッサ、メモリ、ネットワークインターフェース、操作部、及び表示部を備え、本映像ネットワークシステムの管理者が操作する計算機であり、複数のカメラ１によって撮影された画像データから選択された又は全ての画像データをモニタ画面５０に表示する。具体的には、画像表示装置５は、複数のカメラ２２０によって撮影された画像のサムネイル画像（縮小画像）を表示し、選択されたカメラ２２０によって撮影された画像を高精細度によって表示する。

また、画像表示装置５は、予め設定されたノード８１０、８２０からのイベントを受信すると、イベントに関係する固定ノード８２０又は無線基地局８００の位置に対応するカメラ２２０の画像をモニタ画面５０に優先的に表示する。固定ノード８２０は、既知の位置に固定されており、カメラ２２０と対応付けられている。そして、ノード８１０、８２０から送信されたイベントに基づいて、画像表示装置５がイベント発生位置に対応するカメラ２２０の画像を表示させることによって、人や物の通過などを効率的に監視することができるとともに、画像表示装置の処理負荷を低減させることができる。また、画像表示装置５は、固定ノードに対応するカメラによって撮像された画像あるいは管理者が操作部の操作によって選択したカメラ２２０によって撮影された画像を画像蓄積装置４から取得して、選択されたカメラ２２０によって撮影された画像を高精細度で表示する。

このとき、選択されたカメラ２２０の識別子を選択カメラＩＤとして伝送制御装置２０へ送信し、伝送制御装置２０で対応するカメラの画像データの優先度が高くなるように、転送を制御してもよい。

前述の機能を実現するため、監視センタ１には、画像表示装置５、画像蓄積装置４、画像検索装置６、リクエスト変換装置３及びセンサ情報変換装置７が設置される。

＜カメラ群の構成＞
複数のカメラ２２０は、複数のカメラ群に区分されており、各カメラ群は建造物などの所定の領域（例えば、各フロア）毎、または、所定台数のカメラ２２０毎に設定されている。そして、１あるいは複数のカメラに１台のカメラＰＣ２１０及び１台の伝送制御装置２０が設置される。カメラＰＣ２１０の台数はシステム規模や各構成要素間の処理性能の関係に応じて決まる。

カメラ２２０は、レンズを含む光学系、画像を電気信号に変換する撮像部及び通信インターフェースを備える。例えば、カメラ２２０は、ＩＰネットワークに直接接続可能なＩＰカメラや、シリアルバスで接続可能なＵＳＢカメラを用いることができる。カメラ２２０は、撮影対象領域に設置され、撮影対象領域の画像を撮影し、撮影された画像データを、所定のフレームレート及び解像度で出力する。カメラ２２０は、ネットワーク又はシリアルバスを介してカメラＰＣ２１０に接続される。

カメラＰＣ２１０（情報生成装置）は、プロセッサ、メモリ及びネットワークインターフェースを備える計算機である。

カメラＰＣ２１０は、カメラ２２０によって撮影された動画を画像蓄積装置４からの要求に応じて所定の単位毎（例えば、１フレーム毎、１ＧＯＰ毎）に画像蓄積装置４へ送信する。従って、カメラＰＣ２１０は、画像蓄積装置４からの画像要求があったときにのみ、最新の画像（例えば、１フレームの画像）を画像蓄積装置４へ送信し、その他の画像（例えば、過去のフレームの画像）は、後述するサムネイル画像の生成及び特徴量の抽出が完了すると、破棄する。

カメラＰＣ２１０は、画像登録プログラムを実行することによって、カメラ２２０によって撮影された画像データから画像特徴量を抽出する。抽出される画像特徴量の抽出は動き検出、顔検出の技術が用いられ、予め定められた動きや、予め定められた顔を撮影された画像データから抽出してもよい。さらに、カメラＰＣ２１０は、画像登録プログラムを実行することによって、撮影された画像データから低精細度の画像データ（サムネイル画像）を生成する。

サムネイル画像は、カメラ２２０によって撮影された動画の解像度を小さくしたものである。例えば、カメラ２２０が６４０×４８０ドット（ＶＧＡ）の解像度の画像を出力する場合には、カメラＰＣ２１０はサムネイル画像として１２８×９６ドットの画像を生成する。

なお、以下の説明では、カメラ２２０によって撮影された原画像またはサムネイル画像よりも高解像度の画像を高精細度画像という。

そして、抽出された画像特徴量及び生成された低精細度画像データはネットワークを介して画像検索装置６に送られる。

図には、１台のカメラＰＣ２１０を図示したが、複数のカメラＰＣ２１０が備わってもよい。また、１台のカメラＰＣ２１０に接続されるカメラの数は、カメラＰＣ２１０に備わるリソースの容量によって任意に選択することができる。なお、カメラ２２０に備わるプロセッサが画像登録プログラムを実行することによって、カメラＰＣ２１０の機能を備えてもよい。

カメラＰＣ２１０から画像蓄積装置４宛に送信される情報と、画像蓄積装置４からカメラＰＣ２１０宛に送信される情報は、伝送制御装置２０を介して転送される。

各カメラＰＣ２１０には所定の識別子（例えば、ＩＰアドレス）が予め付与されている。画像蓄積装置４は、カメラＰＣ２１０に付与された識別子によって、あるいは、１台のカメラＰＣ２１０に複数のカメラ２２０が対応付けられている場合は各カメラ２２０に付与された識別子との組合せによって、カメラ２２０を特定する。

画像蓄積装置４は、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備える計算機である。画像蓄積装置４は、画像蓄積サーバプログラムを実行することによって、カメラＰＣ２１０に対して高精細度画像要求を送信し、カメラ２２０によって撮影された画像（動画）データを取得し、取得した画像データを記憶装置に格納する。具体的には、画像蓄積装置４は、画像を取得するカメラＰＣ２１０のＩＰアドレスを指定して画像要求をリクエスト変換装置３へ送信する。

また、画像蓄積装置４は、画像表示装置５からの画像要求に基づいて、格納されている画像データを画像表示装置５に送信する。図には、１台の画像蓄積装置４を図示したが、複数の画像蓄積装置４が備わってもよい。

リクエスト変換装置３は、プロセッサ、メモリ及びネットワークインターフェースを備える計算機である。なお、アドレス変換機能を有するネットワーク機器（例えば、スイッチ、ルータ）であってもよい。

リクエスト変換装置３は、画像蓄積装置４から画像要求を受信すると、受信した画像要求の宛先を、後述するように各カメラ群の伝送制御装置２０のアドレスとポート番号に変換してネットワークに送信する。

伝送制御装置２０は、リクエスト変換装置３を介して画像要求を受信すると、画像要求の宛先ポート番号からカメラＰＣ２１０を特定し、画像要求を特定したカメラＰＣ２１０へ転送する。このため、伝送制御装置２０は、ポート番号とカメラＰＣ２１０の対応関係を示す転送先テーブルを備える。転送テーブルは、画像要求を受信したポートと、画像要求の転送先の宛先（例えば、ＵＲＬ）の対応が設定される。

カメラＰＣ２１０は、伝送制御装置２０からの画像要求に対して最新の画像（高精細度画像）を優先度を示す情報（例えば、前記画像の特徴量）と共に所定の単位（例えば、１フレーム）だけ返信する。伝送制御装置２０は、画像の送信元のカメラＰＣ２１０を特定するポート番号を宛先ポート番号に設定して、カメラＰＣ２１０から受信した画像をリクエスト変換装置３へ送信する。リクエスト変換装置３は、受信した画像の宛先ポート番号から画像送信元のカメラＰＣ２１０を特定し、特定されたカメラＰＣ２１０のＩＰアドレスを送信元アドレスに設定して、リクエスト変換装置３から受信した画像を画像蓄積装置４へ送信する。画像蓄積装置４は、受信した画像の送信元のＩＰアドレスからカメラＰＣ２１０を特定して画像を格納する。

伝送制御装置２０はカメラＰＣ２１０から返信メッセージを受信し、この返信メッセージ内に含まれる優先度の情報と、センサ情報変換装置７および画像表示装置５からの情報に従って当該高精細度画像を含む返信メッセージの送信の優先度を決定する。伝送制御装置２０が管理するカメラＰＣ２１０毎の優先度は、図１３に示す優先度履歴テーブル２４０に格納される。図１３に示す優先度履歴テーブル２４０は、伝送制御装置２０に予め設定されたものであり、ひとつのエントリにカメラＰＣ２１０の識別子を格納するカメラＩＤ２４０１と、当該カメラＰＣ２１０の画像の最新の優先度を格納する最新優先度２４０２と、画像の優先度の平均値を格納する平均優先度２４０３と、センサ情報変換装置７や画像表示装置５から受信した情報を格納するセンサ情報２４０４とを含む。なお、ここでは、１台のカメラに対して１台のカメラＰＣが設置される実施形態を示しているが、１台のカメラＰＣに複数のカメラが対応づけられている場合は、各カメラに付された識別子との組合せによって、各カメラの優先度を管理する。 センサ情報２４０４には、センサ情報変換装置７からの優先度情報（優先カメラＩＤなど）と、画像表示装置５からのカメラＰＣ２１０の優先度の指示が格納される。例えば、図１３において、カメラＩＤ２４０１＝Ｃａｍｅｒａ３のエントリのセンサ情報２４０４には、画像表示装置５からの優先度を高める指示があったことを示す情報として”ｄｉｓｐ”という情報が格納されている。

また、図１３において、カメラＩＤ２４０１＝Ｃａｍｅｒａ２のエントリのセンサ情報２４０４には、センサ情報変換装置７からの移動ノード８１０の識別子として、”Ｎａｍｅｉｄ１”と”Ｎａｍｅｉｄ２”が格納されており、これらの識別子を有する移動ノード８１０が固定ノード８２０の近傍を通過したことを示す。このようにセンサ情報２４０４に何らかの値が入っている場合、伝送制御装置２０は該当カメラＩＤの情報を最高の優先度で送信する。

図１４は、伝送制御装置２０で行われる処理の一例を示し、リクエスト変換装置３から画像要求メッセージを受信したときに実行される処理のフローチャートである。

まず、伝送制御装置２０は、リクエスト変換装置３から画像要求メッセージを受信すると、上述のように受信ポートをキーとして転送先テーブル２３０を検索して転送先のカメラＰＣ２１０を決定し、画像要求を転送する（Ｓ１１）。

そして、伝送制御装置２０はカメラＰＣ２１０からの返信メッセージを受信し、返信メッセージのヘッダに含まれる画像の優先度、およびカメラ２２０またはカメラＰＣ２１０のＩＤを抽出する（Ｓ１２）。そして、画像の優先度は変数Ｐｎｏｗに代入しておく。

次に伝送制御装置２０は、カメラＰＣ２１０のＩＤをキーとして優先度履歴テーブル２４０を検索する（Ｓ１３）。検索されたエントリ内にセンサ情報が存在していた場合、このカメラＰＣ２１０の画像は最高の優先度として扱うため、遅延を挿入せずに転送処理を行う（Ｓ１４、Ｓ２４、Ｓ２０）。

ステップＳ２０の転送処理では、返信メッセージのヘッダに優先度の情報とセンサ情報を追加して、リクエスト変換装置３に送信する。このとき、返信メッセージ内だけでなくその下位レイヤであるＩＰレイヤのパケットの優先度の情報として画像の優先度を書き込むことで、伝送制御装置２０とリクエスト変換装置３の間のＩＰネットワークにおいて、ＩＰレベルの優先度制御に利用することも可能である。

一方、ステップＳ１４の判定で、検索されたエントリ内にセンサ情報が無かった場合、ステップＳ１５以降で通常の送信優先度決定処理を行う。ステップＳ１５では、返信メッセージに含まれている画像の優先度が０であるか否かを判定する。この判定の結果、返信メッセージに含まれている画像の優先度が０であった場合にはステップＳ２１へ進み、そうでない場合にはステップＳ１６へ進む。

ステップＳ２１では、画像の優先度が０であるため、当該画像の優先度は非常に低いと判定し、再度転送先のカメラＰＣ２１０に画像要求を行う。このとき、画像要求の繰り返しが長期間に及んで蓄積装置４への返信が中断されることを防止するため、繰り返しの回数が所定の上限値である１０回未満の時のみ繰り返し処理を行い（Ｓ２３、Ｓ１１）、繰り返し回数が１０回に達した時点で、優先度を最低にした上で前述の転送処理を行う（Ｓ２２、Ｓ２０）。なお、カメラＰＣ２１０に画像要求を繰り返す際には、ステップＳ２３で所定の遅延（例えば、２００msec）を挿入する。

一方、ステップＳ１５の判定で、画像の優先度が正の値であった場合は、ステップＳ１６に進んで、上記ステップＳ１２で抽出した現在の画像の優先度Ｐｎｏｗから、優先度履歴テーブル２４０に格納された平均優先度２４０３を差し引いた値を、最新の優先度２４０２として計算する。最新の優先度をＰ’ｎｏｗとし、平均優先度をＰａｖｅとすると、
Ｐ’ｎｏｗ＝Ｐｎｏｗ−Ｐａｖｅ
となる。この処理によって、一旦優先度を高く設定したカメラＰＣ２１０の画像は、センサ情報や画像表示装置５からの指示がない場合には、時間の経過とともに徐々に優先度が低下することになる。

次に、伝送制御装置２０はステップ１７で、優先度履歴テーブル２４０内の平均優先度および最新優先度の値の更新を行う。ここでは、前回までの優先度の平均と画像の最新の優先度の間で加重平均を取ることで、新しい平均優先度２４０３を求める。すなわち、新たな平均優先度をＰ’ａｖｅとすると、
Ｐ’ａｖｅ＝（９９×Ｐａｖｅ＋Ｐｎｏｗ）÷１００
となる。伝送制御装置２０は新たな平均優先度Ｐ’ａｖｅを現在着目しているカメラＩＤ２４０１のエントリの平均優先度２４０３に格納し、ステップＳ１６で求めた最新の優先度Ｐｎｏｗを最新優先度２４０２に格納する。

次に、ステップＳ１８では、上記ステップＳ１６で求めた最新優先度２４０２と、優先度履歴テーブル２４０内の他のカメラＩＤの最新優先度２４０２とを比較して、現在着目しているカメラＩＤの優先度の順位を求める。次に、ステップＳ１９では、当該カメラＰＣ２１０の送信の優先度が上位３位までに入った場合は、遅延を挿入せずに転送処理に進む。一方、上位４位以下であった場合、当該カメラＰＣ２１０の送信の優先度の順位が前回の値から下がる毎に所定の遅延（例えば、２０ｍｓの）を挿入してステップＳ２０の転送処理に進む（すなわち、遅延時間［ｍｓ］＝（順位−３）＊２０）。

以上の処理により、優先度履歴テーブル２４０のセンサ情報２４０４に移動ノード８１０のＩＤや画像表示装置５からの表示の指示が設定されている場合には、カメラＰＣ２１０から受信した画像（高精細度画像）をそのままリクエスト変換装置３に転送するが、優先度が低下するにつれて遅延が大きくなるため、カメラＰＣ２１０の画像のフレームレートは低下することになる。

すなわち、本実施形態の蓄積装置４は、ひとつのカメラＰＣ２１０に対して画像の要求を行う際に、１フレームずつ高精細画像を取得するので、高精細度画像が返信されてから、次の画像要求を行うことになり、遅延が大きくなれば一枚の画像を取得する時間がかかり、蓄積装置４に蓄積されるカメラＰＣ２１０への画像要求の頻度が低下する。この結果、蓄積装置４に蓄積されるカメラＰＣ２１０からの画像のフレームレートは低下することになる。

また、カメラ２２０の画像の過去の優先度の平均値と最新の優先度の差によって送信の優先度を評価することにより、恒常的に高い優先度を送信してくるカメラ２２０の画像の優先度を相対的に低下させることができる。

このように、本実施の形態では、伝送制御装置２０を経由して画像要求を転送するので、当該要求に対する返信である高精細度画像も伝送制御装置２０を経由する。このように、伝送制御装置２０を経由して高精細度画像を転送するために、画像蓄積装置４からの画像要求をリクエスト変換装置３を経由させ、リクエスト変換装置３にて宛先を変換して転送する。

伝送制御装置２０は、プロセッサ、メモリ及びネットワークインターフェースを備えるネットワーク機器（例えば、スイッチ、ルータ）であり、その配下に少なくとも１台のカメラＰＣ２１０が接続されている。

伝送制御装置２０は、リクエスト変換装置３から転送された画像要求をカメラＰＣ２１０に転送し、画像要求に対する返答である画像データの転送を優先度に基づいて制御する。この優先度は、画像表示装置５から送信される選択カメラ情報や、センサ情報変換装置７から送信される優先度情報に基づいて決定される。伝送制御装置２０によって転送される画像データが優先制御されることによって、優先度が低い画像データは転送されづらくなる。そして、本実施の形態では、画像データが転送されないと次の画像要求が送信されないので、優先度が低い画像データの単位時間当たりに転送されるフレーム数は低下する。よって、優先度が低い画像データのフレームレートを低下させることができる。

本実施の形態では、伝送制御装置２０はモニタリング対象の拠点側（すなわち、カメラ２２０側）、リクエスト変換装置３は集約モニタリングを行う監視センタ側に設置される。また、伝送制御装置２０とリクエスト変換装置３との間は、ネットワークによって接続されている。このように、伝送制御装置２０及びリクエスト変換装置３が協働することによって、ネットワーク１００によって転送されるトラフィックを削減することができる。

＜監視センタの構成＞
次に、監視センタの構成要素について説明する。

画像蓄積装置４は、前述したように、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備える計算機であり、カメラ２２０によって撮影された画像データを記憶装置に格納する。

センサ情報変換装置７は、プロセッサ、メモリ及び通信インターフェースを備えた計算機であり、センサネットワーク８から送られてくる情報を、伝送制御装置２０及び画像検索装置６が解釈可能な形式および送信手順に変換して、変換されたメッセージを伝送制御装置２０及び画像検索装置６に送信する。

センサ情報変換装置７は、固定ノード８２０の識別子とカメラＰＣ２１０の識別子との対応を示すセンサ・カメラ管理テーブルを備える。センサ情報変換装置７は、このセンサ−カメラ管理テーブルを参照して、固定ノード８２０の識別子から、当該ノードに対応するカメラＰＣ２１０の識別子を特定する。これによって、例えば、固定ノード８２０の近傍を通過する人や物体を撮影可能なカメラ２２０に接続されたカメラＰＣ２１０のＩＰアドレスを特定することができる。

センサ情報変換装置７は、移動ノード８１０の位置情報を保持し、無線基地局８００及び固定ノード８２０との接続（接近）／解除（離脱）を検出すると、位置情報を更新する。センサ情報変換装置７に保持される位置情報は、移動ノード８１０最新の位置情報の他、過去の位置情報の履歴を含めてもよい。

画像検索装置６は、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備える計算機であり、カメラ２２０によって撮影された画像データの画像特徴量及び低精細度画像データ（サムネイル画像）を記憶装置に格納する。さらに、センサ情報変換装置７から受信したセンサ情報を格納する。

画像検索装置６は、画像表示装置５からの検索要求に基づいて、画像蓄積装置４に蓄積された画像データの特徴量を検索し、検索結果（画像データの識別子及び低精細度画像データ）を画像表示装置５に返信する。なお、複数の画像検索装置６が、検索サーバ群を構成するとよい。

リクエスト変換装置３は、プロセッサ、メモリ及びネットワークインターフェースを備える計算機であり、画像蓄積装置４とカメラＰＣ２１０の間の論理的な通信経路上に配置される。リクエスト変換装置３は、画像蓄積装置４からカメラＰＣ２１０に送信される画像要求を中継する際に、伝送制御装置２０を経由するようメッセージの送信元と宛先を変更し、かつ、伝送制御装置２０から画像蓄積装置４に向かうメッセージの送信元と宛先を変更する。

具体的には、リクエスト変換装置３は、画像蓄積装置４から送信される画像要求に含まれる宛先（カメラＰＣ２１０のＩＰアドレス）を伝送制御装置２０のＩＰアドレスとポート番号（カメラＰＣ２１０のＩＰアドレスに対応するポート番号）に変換し、送信元をリクエスト変換装置３に置き換えた画像要求を伝送制御装置２０に送信する。また、リクエスト変換装置３は、伝送制御装置２０から返信された高精細度画像データの宛先を画像蓄積装置４に変換し、送信元を返信された高精細度画像データの送信元であるカメラＰＣ２１０のＩＰアドレスに変換した画像データを画像蓄積装置４に送信する。このため、リクエスト変換装置３は、カメラＰＣ２１０のＩＰアドレスとポート番号を変換するためのアドレス変換テーブル３０を備える。

画像表示装置５は、プロセッサ、メモリ、ネットワークインターフェース、操作部、及び表示部（モニタ５０）を備え、本映像ネットワークシステムの管理者が操作する計算機であり、複数のカメラ２２０のサムネイル画像と、所望のカメラ２２０の画像を高精細度の画像でモニタ５０に表示する。なお、操作部５０は、ディスプレイとキーボードやマウスなどで構成される。

画像表示装置５は、画像検索装置を経由して受信する検知情報を元に、優先度の高いと判断したカメラからの画像を優先的に高精細度で表示する。ここで、検知情報とは、特定の特徴（動きや顔）を含む画像の特徴量と、そのサムネイル画像と、その画像の撮影元であるカメラＩＤを含む情報、あるいは、ある特定の移動ノード８１０の識別子と、その移動ノード８１０の位置を特定する固定ノード８２０の識別子と、その固定ノード８２０に対応したカメラ２２０のカメラＩＤを含む情報であり、画像検索装置により生成される。また、画像検索装置は、特定の移動ノード識別子を検索条件として管理し、センサ情報変換装置から送信される移動ノードの識別子が検索条件として管理している移動ノードの識別子と一致した場合に検知情報を生成するようにしてもよい。

また、画像表示装置５は、管理者が操作部の操作によって選択したカメラ２２０によって撮影された画像を画像蓄積装置４から取得して、選択されたカメラ２２０によって撮影された画像を表示する優先度を上げるように制御してもよい。

このように、画像表示装置の画像表示処理における優先度の決定において、画像処理結果（動き検出や顔検出）を組み合わせることによって、例えば、移動ノード８１０を携帯している人と携帯していない人が混在する場合にも、「顔検出はできているが、移動ノード８１０を携帯していない」場合の優先度を上げて監視することもできる。このような優先度の条件は、最終的にはシステムが適用される場所に依存するものである。例えば、量販店の店員（移動ノードを携帯している）と来客（移動ノードを携帯していない）や、銀行での従業員（移動ノード携帯している）と来客（移動ノードを携帯していない）などで、来客の動線をモニタすることができ、接客サービスの向上に繋げることができる。また、移動ノードを携帯していない人物を不審者として監視することで施設内のセキュリティ強化をサポートすることができる。

位置情報表示端末９は、プロセッサ、メモリ、通信インターフェース、及び表示部を備える計算機である。位置情報表示端末９は、無線基地局８００及び固定ノード８２０の位置（地図上の座標）を保持しており、移動ノード８１０と無線基地局８００との接続／解除、及び、移動ノード８１０と固定ノード８２０との接続／解除の情報を受信し、無線基地局８００又は固定ノード８２０の位置に、移動ノードに対応するアイコンを表示する。これによって、移動ノード８１０の位置情報を可視化することができる。

＜センサネットワーク＞
次に、センサネットワーク８について説明する。

センサネットワーク８は、センサ情報変換装置７に接続された無線基地局８００、無線ネットワークを介して無線基地局８００に接続されたノード８１０、８２０を備える。

本実施形態のノードには、位置が既知の固定ノード８２０、及び、人や物体に装着される移動ノード８１０が含まれる。

固定ノード８２０は、予め設定された識別子を赤外線発信機から送信するノードである。固定ノード８２０は、予め設定された固定ノードの識別子を格納するＩＤ格納部、識別子を発信する赤外線通信部を備える。なお、固定ノード８２０は無線基地局８００と通信する通信部を備えても良く、無線基地局８００と固定ノード８２１との間の通信は、無線通信であっても有線通信であってもよい。

移動ノード８１０は、固定ノード８２０から赤外線通信によって送信された識別子を受信する赤外線通信部、予め設定された移動ノードの識別子を格納するＩＤ格納部、及び、赤外線通信部によって受信した固定ノード８２０の識別子を無線基地局８００へ送信する無線通信部を備える。なお、無線通信部は、受信した固定ノード８２０の識別子と共に、移動ノードの識別子を無線基地局８００へ送信する。

移動ノード８１０が固定ノード８２０の近傍を通過すると、赤外線通信部は固定ノード８２０から赤外線通信によって送信された識別子を受信し、受信した固定ノード８２０の識別子及び移動ノード８１０の識別子を無線基地局８００へ送信する。無線基地局８００は、移動ノード８１０が固定ノード８２０の近傍を通過したことを、センサ情報変換装置７に通知することができる。

なお、固定ノード８２０が赤外線送受信機能及び／又は無線通信機能を備えてもよい。固定ノード８２０が備える赤外線送受信機能によって、固定ノード８２０と移動ノード８１０とが赤外線通信によって相互に識別子を送受信することができる。

また、移動ノード８１０に、加速度検出部を設け、所定範囲外の加速度を検出した場合に、センサ情報変換装置７において、当該移動ノード８１０が通信中の固定ノード８２０に対応するカメラ２２０によって撮影された画像の転送を優先度を上げることができる。このようにすると、移動ノード８１０を携帯している者の不審な行動を検出することができる。

＜カメラ、ノードの配置＞
図１０及び図１１は、本発明の実施の形態のカメラ２２０、無線基地局８００及び固定ノード８２０の配置例を示し、図１０はその全体図、図１１は部屋１の拡大図である。なお、図１０では、カメラ２２０を省略した。

各部屋には、１台の無線基地局８００が設けられており、無線基地局８００は、無線通信可能範囲に存在する移動ノード８１０と無線通信をする。各部屋内には、複数の固定ノード８２０が設けられており、各固定ノード８２０は、赤外線通信可能範囲に存在する移動ノード８１０と赤外線通信をする。

例えば、図１０に示すように、移動ノード８１０が部屋１から部屋５に移動した場合、移動ノード８１０は、部屋１の無線基地局８００との通信を切断し（接続を解除し）、部屋５の無線基地局８００との通信を開始する（接続する）。

また、図１１に示すように、固定ノード８２０の通信範囲を撮影範囲に含むように複数のカメラ２２０が設けられる。各カメラ２２０と固定ノード８２０とは対応付けられている。また、室内には部屋俯瞰用カメラ２２１が設けられる。部屋俯瞰用カメラ２２１と無線基地局８００とは対応付けられている。あるいは、無線基地局と複数のカメラを対応づけてもよい。この対応付けは、センサ情報変換装置７に保持されている基地局ＩＤとカメラＩＤのカメラＩＤ変換テーブル（図７参照）に記録されている。

図１０及び図１１に示すように、無線通信は検出範囲が広いため、部屋単位等の広めで粗い位置単位で移動ノード８１０の位置を把握することができる。このため、無線通信によると、早期に移動ノード８１０の位置を把握することができる。一方、赤外線通信は検出範囲が狭いため、部屋内の狭く細かい位置単位で移動ノード８１０の位置を把握することができる。 図７は、本発明の実施の形態の基地局ＩＤ及び固定ノードＩＤとカメラＩＤの対応関係を示すカメラＩＤ変換テーブル７００である。このカメラＩＤ変換テーブル７００は、前述したように、センサ情報変換装置７に保持されている。

基地局ＩＤとカメラＩＤのカメラＩＤ変換テーブル７００は、無線基地局８００の識別子７１０及びカメラ２２０の識別子７２０を含み、無線基地局８００の識別子７１０及びカメラ２２０の識別子７２０が対応して記録されている。

なお、無線基地局８００の識別子は、本実施の形態の映像ネットワークシステムに備わる無線基地局８００に付与された一意の識別子である。なお、本実施の形態の映像ネットワークシステムに備わる固定ノード８２０にも一意の識別子が付与されており、カメラＩＤ変換テーブル７００には、固定ノード８２０の識別子とカメラ２２０の識別子７２０との対応も記録されている。

固定ノード８２０とカメラ２２０との対応、及び、無線基地局８００とカメラ２２０との対応は１対１の対応でなくてもよい。例えば、特定の位置を撮影している複数のカメラ２２０に一つの固定ノード８２０を対応させてもよい。

＜移動ノードの状態＞
図２は、本発明の実施の形態の移動ノード８１０の状態の遷移図である。

移動ノード８１０の位置は、センサ情報変換装置７によって管理される。移動ノード８１０の状態は、部屋及び位置の２変数において、各々「不明」又は「確定」の２状態があり、４種類の状態が発生する。

これらの状態間は、下記の四つのイベントによって遷移する。
ＧＷ−ＩＮ ：移動ノード８１０と無線基地局８００とが接続された。
ＧＷ−ＯＵＴ：移動ノード８１０と無線基地局８００との接続が解除された。
ＩＲ−ＩＮ ：移動ノード８１０と固定ノード８２０とが接続された（移動ノード８１０が固定ノード８２０へ接近した）。
ＩＲ−ＯＵＴ：移動ノード８１０と固定ノード８２０との接続が解除された（移動ノード８１０が固定ノード８２０から遠ざかった）。

また、移動ノード８１０の４種類の状態は以下のように定義される。

［状態１］
状態１は、ＧＷ−ＯＵＴ及びＩＲ−ＯＵＴの状態であり、移動ノード８１０が存在する部屋が不明で、かつ、移動ノード８１０の位置も不明な状態である。状態１では、移動ノード８１０に対応するアイコンを表示しない。状態１は、「移動ノードと無線基地局との接続が解除された」イベントを受信した場合に状態２から遷移し、「移動ノードと固定ノードとの接続が解除された」イベントを受信した場合に状態４から遷移する。

［状態２］
状態２は、ＧＷ−ＩＮ及びＩＲ−ＯＵＴの状態であり、移動ノード８１０が存在する部屋は確定しているが、移動ノード８１０の部屋内の位置は不明な状態である。状態２では、移動ノード８１０に対応するアイコンが、移動ノード８１０と接続された基地局８が設置されている部屋の中心の位置に表示される。

なお、状態２では、アイコンの背景色は表示されない。状態２は、「移動ノードと無線基地局とが接続された」イベントを受信した場合に状態１から遷移し、「移動ノードと固定ノードとの接続が解除された」イベントを受信した場合に状態３から遷移する。

［状態３］
状態３は、ＧＷ−ＩＮ及びＩＲ−ＩＮの状態であり、移動ノード８１０が存在する部屋は確定しており、かつ、移動ノード８１０の部屋内の位置も確定している状態である。状態３では、移動ノード８１０と接続された固定ノード８２０が設置されている位置に、移動ノード８１０に対応するアイコンが表示される。このとき、移動ノード８１０のアイコンをアニメーションによって（例えば、アイコンによって表された人が歩くように）、アイコンの表示位置を移動させるとよい。

なお、状態３では、移動ノード８１０のアイコンは、固定ノード８２０のアイコンの背景と同じ背景色で表示される。状態３は、「移動ノードと無線基地局とが接続された」イベントを受信した場合に状態２から遷移し、「移動ノードと固定ノードとが接続された」イベントを受信した場合に状態４から遷移する。

［状態４］
状態４は、ＧＷ−ＯＵＴ及びＩＲ−ＩＮの状態であり、移動ノード８１０が存在する部屋は不明であるが、移動ノード８１０の位置が確定している状態である。状態４では、移動ノード８１０と接続された固定ノード８２０が設置されている位置に、移動ノード８１０に対応するアイコンが表示される。

なお、状態４では、移動ノード８１０のアイコンは、固定ノード８２０のアイコンの背景と同じ背景色で表示される。すなわち、状態３から状態４に遷移した場合、アイコンの表示は変更されない。状態４は、「移動ノードと無線基地局とが接続された」イベントを受信した場合に状態１から遷移し、「移動ノードと固定ノードとの接続が解除された」イベントを受信した場合に状態３から遷移する。

＜無線通信の有無から位置を把握する動作＞
次に、無線通信によって移動ノード８１０の位置を把握する動作について説明する。

図１１に示すように、室内に配置された部屋俯瞰用カメラ２２１は無線基地局８００と対応付けられている。

センサ情報変換装置７は、移動ノード８１０が部屋毎に配置されている無線基地局８００と接続したことを検出し、移動ノード８１０の位置を把握する。さらに、センサ情報変換装置７は、検出された移動ノード８１０の位置（例えば、移動ノード８１０が接続した無線基地局８００が設けられた部屋の識別子）及び移動ノード８１０の位置に対応するカメラ２２０の識別子とを含む優先度情報を生成する。そして、センサ情報変換装置７は、生成された優先度情報を伝送制御装置２０及び画像検索装置６へ送信する。

移動ノード８１０は、いずれかの無線基地局８００と接続している間は、所定のタイミングで（例えば、周期的に）無線通信によって何らかのデータ，例えば図６（詳細は後述する）に示す赤外線観測データ，を送信する。この場合、赤外線通信によって固定ノードの識別子を受信していなかった場合、自移動ノードの識別子のみ含む赤外線観測データを送信する。 無線基地局８００は、移動ノード８１０から無線通信で送られてくる赤外線観測データを受信すると、受信した赤外線観測データ及び当該無線基地局８００に割り当てられた固有ＩＤをセンサ情報変換装置７へ送信する。

センサ情報変換装置７は、移動ノード８１０毎にどの無線基地局８００と接続しているか、又はいずれの基地局８にも接続していないかを表すフラグを管理している。具体的には、いずれかの無線基地局８００と接続している場合は、接続先の無線基地局８００の識別子がフラグに設定される。一方、いずれの無線基地局８００にも接続していない場合は、「ｎｕｌｌ」がフラグに設定される。

このように設定されたフラグ、無線基地局８００から受信した移動ノード８１０の識別子及び無線基地局８００の識別子を用いて、下記の位置情報生成処理を行なう。

１）無線基地局Ａに移動ノードＸが接続し、移動ノードＸの接続先フラグが「ｎｕｌｌ」の場合、移動ノードＸの接続先フラグに無線基地局Ａの識別子を設定し、「移動ノードＸが無線基地局Ａに接続した」情報を生成する。

２）移動ノードＸの接続先フラグが「Ａ」で、無線基地局Ａから移動ノードＸの観測値が所定時間（例えば、５秒間）受信できなかった場合、移動ノードＸの接続先フラグを「ｎｕｌｌ」に設定し、「移動ノードＸが無線基地局Ａの通信範囲から離脱した」情報を生成する。

３）移動ノードＸのフラグが「Ａ」であり、移動ノードＸが無線基地局Ｂに接続した場合、移動ノードＸの接続先フラグに無線基地局Ｂの識別子を設定し、「移動ノードＸが無線基地局Ａから離脱した」情報、及び「移動ノードＸが無線基地局Ｂに接続した」情報を、続けて生成する。

生成された接続情報は優先度情報として、伝送制御装置２０及び画像検索装置６に送信される。生成された接続情報には、少なくとも、接続又は離脱した時刻、移動ノード８１０の識別子、接続または離脱した無線基地局８００の識別子、無線基地局８００に対応する部屋俯瞰用のカメラ２２０の識別子を含む。あるいは，該当する部屋にある全てのカメラの識別子を含んでもよい。

＜赤外線観測データから位置を把握する動作＞
図１１に示すように、赤外線を発信する固定ノード８２０はカメラ２２０とペアで配置される。

移動ノード８１０は、固定ノード８２０から送信される固定ノードの識別子を受信すると、受信した固定ノードの識別子を含むデータを無線基地局８００に送信する。すなわち、移動ノード８１０は、新たな固定ノード８２０から識別子を受信すると、無線基地局に送信するデータに、新たな固定ノードの識別子を含める。

センサ情報変換装置７は、移動ノード８１０から送信されたデータに新たな受信ノードＩＤが含まれるように変化したことを検出すると、移動ノード８１０（当該移動ノード８１０を保持した人物）が、ある固定ノード８２０の前に来たことを検出し、移動ノード８１０の位置を把握する。さらに、センサ情報変換装置７は、移動ノード８１０の位置情報及び移動ノード８１０の位置に対応するカメラの識別子を含む優先度情報を生成し、生成された優先度情報を伝送制御装置２０及び画像検索装置６へ送信する。

より具体的には、固定ノード８２０は、所定のタイミングで（例えば、０．２５秒等の所定の時間間隔で）自ノードに付与された識別子を赤外線を用いて送信する。

移動ノード８１０は、所定時間（例えば、２秒間）赤外線を受信し、受信した固定ノードの識別子を含む赤外線観測データを無線基地局８００へ送信する。

図６は、本発明の実施の形態の移動ノード８１０が無線通信によって送信する赤外線観測データ６００の形式を示す説明図である。

赤外線観測データ６００は、前記所定時間内に受信したノードのＩＤ数６３０、受信したノードのＩＤ６４０、及び、所定時間内における各ＩＤの受信回数６５０を含む。さらに、赤外線観測データ６００は、前記移動ノードから赤外線観測データを無線送信した時刻６１０及び自ノードの識別子６２０を含む。さらに、赤外線観測データ６００は、移動ノード８１０の状態の情報（例えば、移動ノード８１０が計測した加速度）を含んでもよい。

なお、前記所定時間内に固定ノードの識別子を受信しなかった場合、赤外線観測データ６００は送信時刻６１０及び自ノードの識別子６２０のみを含む。

無線基地局８００は、移動ノード８１０から送信された赤外線観測データ６００を受信すると、受信した赤外線観測データ６００を自無線基地局の識別子と共に、センサ情報変換装置７へ送信する。

センサ情報変換装置７は、無線基地局８００から送信された赤外線観測データ６００を受信すると、受信した赤外線観測データ６００から、移動ノード８１０が通信している固定ノード８２０の識別子を抽出する。そして抽出された固定ノード識別子に基づいて、移動ノード８１０毎に設けられた固定ノード８２０との通信状態を表す通信先フラグを設定する。具体的には、いずれかの固定ノード８２０と接続している場合は、接続先の固定ノード８２０の識別子がフラグに設定される。一方、いずれの固定ノード８２０にも接続していない場合は、「ｎｕｌｌ」がフラグに設定される。

なお、センサ情報変換装置７の動作の詳細は、図４を用いて後述する。

センサ情報変換装置７は、前述したように固定ノードＩＤとカメラＩＤの対応表７００（図７参照）を保持している。なお、本実施の形態では、固定ノードＩＤとカメラＩＤの対応表は、基地局ＩＤとカメラＩＤのカメラＩＤ変換テーブル７００に含まれているが、基地局ＩＤとカメラＩＤのカメラＩＤ変換テーブル７００とは別個に、固定ノードＩＤとカメラＩＤの対応表を設けてもよい。

センサ情報変換装置７は、移動ノード８１０が固定ノード８２０と接続した又は接続を解除した場合に、接続／解除時刻、移動ノードの識別子及びカメラの識別子を含む接続／離脱メッセージ９００（図９参照）を、優先度情報として伝送制御装置２０及び画像検索装置６へ送信する。なお、赤外線通信による「固定ノードへ接続」と、無線通信による「無線基地局へ接続」が同時に到来した場合、「固定ノードへ接続」が優先される。これにより、部屋単位等の広めで粗い位置単位ではなく、狭く細かい単位で移動ノードの位置を把握できるとともに監視が可能となる。

図９は、本発明の実施の形態の接続／離脱メッセージ９００の形式を示す説明図である。

接続／離脱メッセージ９００は、メッセージ長９１０、メッセージ種別９２０、移動ノードの識別子９３０、固定ノードの識別子／無線基地局の識別子９４０、カメラの識別子９５０及びタイムスタンプ９６０を含む。メッセージ種別９２０は、「接続通知」又は「離脱通知」に対応するコードが設定される。

画像検索装置６は、接続／離脱メッセージ９００を受信すると、受信した接続／離脱メッセージ９００を記憶する。画像検索装置６が、移動ノードの識別子９３０とカメラの識別子９５０と対応させて記憶することによって、移動ノードが特定された画像を（例えば、Ａさんの写っている画像）を検索することが可能になる。

画像表示装置５は、受信したカメラの識別子に基づいて、表示の優先度を決定する。特定の位置を撮影している複数のカメラ２２０に一つの固定ノード８２０が対応している場合、当該固定ノード８２０に対応する複数のカメラ２２０の優先度を全て上げることができる。

また、前述したように、固定ノード８２０が赤外線送受信機能及び／又は無線通信機能を備える場合には、固定ノード８２０と移動ノード８１０とが赤外線通信によって相互に識別子を送受信することができる。そして、固定ノード８２０は、移動ノード８１０の識別子を受信した場合に、受信した移動ノードの識別子を含む赤外線観測データを、無線基地局８００を経由して（又は、直接に）、センサ情報変換装置７に送る。このようにすれば、無線通信が不安定な場合にも、センサ情報変換装置７は、固定ノード８２０又は移動ノード８１０のどちらか一方から赤外線観測データが届けば、移動ノードの位置を認識することができ、信頼性を向上することができる。

次に、センサ情報変換装置７の動作について説明する。

図４及び図５は、本発明の実施の形態のセンサ情報変換装置７の動作を示すフローチャートである。

図４は、センサ情報変換装置７が、移動ノード８１０からの赤外線観測データに基づいて、移動ノード８１０が通信している固定ノード８２０を判定する処理を示す。

まず、センサ情報変換装置７は、赤外線観測データを受信する（４０１）。

その後、受信した赤外線観測データから自ノードのＩＤ６２０を抽出する。そして、ノードＩＤデータベースを参照して、抽出されたＩＤが移動ノードのＩＤであるか否かを判定する（４０２）。判定の結果、抽出されたＩＤが移動ノードのＩＤでなければ、受信した赤外線観測データは固定ノード８２０から送信されたものなので、ステップ４２０（図５）に進む。一方、抽出されたＩＤが移動ノードのＩＤであれば、受信した赤外線観測データは移動ノード８１０から送信されたものなので、ステップ４０３に進む。

なお、ノードＩＤデータベースは、本映像ネットワークシステムに含まれるノードの識別子及びノード属性（移動ノード／固定ノード、ノードの設置場所、ノードの所持者等）を含む。

ステップ４０３では、受信した赤外線観測データから、受信したＩＤの数６３０を抽出する。そして、抽出された受信したＩＤの数６３０が「０」であるか否かを判定する（４０４）。判定の結果、抽出された受信したＩＤの数６３０が「０」でなければ、移動ノード８１０は他のノードと通信しているので、ステップ４０５に進む。一方、抽出された受信したＩＤの数６３０が「０」であれば、移動ノード８１０はいずれのノードとも通信していないので、ステップ４１０に進む。

ステップ４０５では、受信した赤外線観測データから受信したＩＤ６４０を抽出する（４０５）。そして、ノードＩＤデータベースを参照して、抽出されたＩＤが固定ノードのＩＤであるか否かを判定する（４０６）。判定の結果、抽出されたノードＩＤが固定ノードのＩＤを含んでいれば、移動ノード８１０は固定ノード８２０と通信しているので、ステップ４０７に進む。一方、抽出された受信したノードのＩＤが固定ノードの識別子を含んでいなければ、移動ノード８１０はいずれの固定ノード８２０とも通信していないので、ステップ４１０に進む。

ステップ４０７では、赤外線観測データ６００に含まれる各ＩＤの受信回数６５０を比較し、最も通信回数が多いノードを特定する（４０７）。その後、自ノードＩＤに対応する接続先フラグを取得する（４０８）。そして、取得した接続先フラグが、最も通信回数が多いノードのＩＤであるか否かを判定する（４０９）。

その判定の結果、取得した接続先フラグが最も通信回数が多いノードのＩＤであれば、接続先フラグを変更する必要がないので、この処理を終了する。一方、取得した接続先フラグが最も通信回数が多いノードのＩＤでなければ、当該移動ノードの状態が変化しているので、従来の接続先からの離脱を示す接続／離脱メッセージ９００（図９）を伝送制御装置２０及び画像検索装置６へ送信し（４１４）、最も通信回数が多いノードのＩＤを接続先フラグに設定し（４１５）、新たな接続先（新たな接続先固定ノードのＩＤ）を示す接続／離脱メッセージ９００を伝送制御装置２０及び画像検索装置６へ送信する（４１６）。

ステップ４０４で、抽出された受信したノードのＩＤ６５０が「０」でないと判定された場合、及び、ステップ４０６で、抽出された受信したノードのＩＤが固定ノードのＩＤでないと判定された場合、接続先フラグを取得し（４１０）、取得した接続先フラグが「ｎｕｌｌ」であるか否かを判定する（４１１）。その結果、取得した接続先フラグが「ｎｕｌｌ」でなければ、当該移動ノードの状態が変化しているので、従来の接続先からの離脱を示す接続／離脱メッセージ９００を伝送制御装置２０及び画像検索装置６へ送信し（４１２）、接続先フラグを「ｎｕｌｌ」に設定する（４１３）。その後、この処理を終了する。一方、取得した接続先フラグが「ｎｕｌｌ」であれば、当該移動ノードの状態が変化しておらず、接続先フラグを変更する（及び、状態の変化を通知する）必要がないので、この処理を終了する。

図５は、センサ情報変換装置７が、固定ノード８２０からの赤外線観測データに基づいて、移動ノード８１０が通信している固定ノード８２０を判定する処理を示す。

ステップ４０２で、抽出されたＩＤが移動ノードのＩＤでないと判定された場合に、ステップ４２０では、受信した赤外線観測データから、受信したＩＤの数６３０を抽出する。そして、抽出された受信したノードの数６３０が「０」であるか否かを判定する（４２１）。判定の結果、抽出された受信したノードのＩＤの数６３０が「０」でなければ、固定ノード８２０は他のノードと通信しているので、ステップ４２２に進む。一方、抽出された受信したノードのＩＤの数６３０が「０」であれば、固定ノード８２０はいずれのノードとも通信していないので、この処理を終了する。

ステップ４２２では、受信した赤外線観測データから受信したノードのＩＤ６４０を抽出する。そして、ノードＩＤデータベースを参照して、抽出されたＩＤが移動ノードのＩＤを含んでいるか判定する（４２３）。判定の結果、抽出されたノードのＩＤが移動ノードのＩＤを含んでいれば、固定ノード８２０は移動ノード８１０と通信しているので、ステップ４２４に進む。一方、抽出された受信したノードのＩＤが移動ノードのＩＤを含んでいなければ、固定ノード８２０はいずれの移動ノード８１０とも通信していないので、この処理を終了する。

ステップ４２４では、抽出されたＩＤに対応する移動ノードの接続先フラグを取得し、取得した接続先フラグが、この赤外線観測データを送信した固定ノード８２０のＩＤを示しているか否かを判定する（４２５）。判定の結果、取得した接続先フラグが赤外線観測データを送信した固定ノード８２０のＩＤを示していれば、当該移動ノードの状態が変化しておらず、接続先フラグを変更する（及び、状態の変化を通知する）必要がないので、この処理を終了する。

一方、取得した接続先フラグが赤外線観測データを送信した固定ノード８２０のＩＤを示していなければ、当該移動ノードの状態が変化しているので、従来の接続先からの離脱を示す接続／離脱メッセージ９００（図９）を伝送制御装置２０及び画像検索装置６へ送信し（４２６）、抽出された移動ノードのＩＤを接続先フラグに設定し（４２７）、新たな接続先（赤外線観測データを送信した固定ノードの識別子）を示す接続／離脱メッセージ９００を伝送制御装置２０及び画像検索装置６へ送信する（４２８）。

図３は、本発明の実施の形態のセンサ情報変換装置７をイベント駆動アーキテクチャで実現した場合の論理ブロック図である。

ＳＰ１アダプタ３１０は、無線基地局８００から、赤外線観測データ及び／又は基地局の識別子を受信すると（０）、受信した赤外線観測データ及び／又は基地局の識別子をイベントとして、イベントパブリッシャ３２０に送信する（１）。ＳＰ１アダプタ３１０は、無線基地局８００の数だけ備わるが、イベントパブリッシャ３２０は、一つだけ備わる。

イベントパブリッシャ３２０は、受信したイベントに応じて、配送先が予め指定されている。無線基地局８００が増減する場合は、ＳＰ１アダプタ３１０を追加または削除すればよい。

イベントパブリッシャ３２０は、赤外線観測データを受信すると、受信した赤外線観測データをＩＲ変換イベントハンドラ３３０に転送する（１）。ＩＲ変換イベントハンドラ３３０は、各移動ノードの位置情報を管理している。ＩＲ変換イベントハンドラ３３０は、転送された赤外線観測データに基づいて、状態遷移図（図２）及び通信相手判定処理（図４、図５）に従って、移動ノードの位置情報を更新し、更新された位置情報をイベントとしてイベントパブリッシャ３２０に送信する（（２）（３））。イベントパブリッシャ３２０は、ＩＲ変換イベントハンドラ３３０から受信した位置情報を、予め登録された伝送制御アダプタ３４０を介して伝送制御装置２０へ送信し、予め登録された検索制御アダプタ３５０を介して画像検索装置６へ送信する。

＜位置情報の取得および表示＞
図８は、本発明の実施の形態の位置情報表示端末９の画面における位置情報の表示例を示す説明図である。

図８に示す表示画面では、部屋のフロア図上に固定ノードのアイコン及び移動ノードのアイコンが表示される。

センサ情報変換装置７は、各固定ノード８２０の位置を、フロア図上の座標として保持している。センサ情報変換装置７は、状態遷移図（図２）で、各移動ノード８１０と通信中の無線基地局８００又は固定ノード８２０の座標を取得し、取得した無線基地局又は固定ノードの座標を移動ノードの（保持者の）座標に定める。そして定められた座標に移動ノードのアイコンを表示する。

なお、図８に示す表示形態の他に、以下の表示形態でもよい。

［１］固定ノードのアイコンの代わりに、固定ノード８２０に対応するカメラ２２０の画像を縮小して表示してもよい。このようにすると、カメラ画像とカメラの位置関係を容易に認識することができる。

［２］画像表示装置５に優先表示されているカメラ画像を色でラベル付けし、このラベル付けされた色と同じ色を、固定ノードのアイコンの背景色に用いてもよい。このようにすると、優先表示されているカメラ画像がどの位置にあるカメラ２２０かを容易に認識することができる。

［３］移動ノード８１０の位置の履歴（例えば、過去１００回分）を蓄積し、移動ノード８１０の位置の軌跡を表示してもよい。このようにすると、人物の動線を表示することができる。

以上説明したように、本発明の実施の形態では、移動ノード８１０の位置情報に基づいてカメラ２２０を特定し、当該特定されたカメラ２２０によって撮像される画像データの転送の優先度を制御することによって、多数のカメラを備える監視システムにおける通信帯域を確保し、システムの負荷を軽減することができる。

また、特定の人物に移動ノード８１０を携帯させ、移動ノード８１０の位置を把握することによって、どの人物がどこにいるかを把握することができる。さらに、ある人物があるカメラ２２０の位置にいる情報を伝送制御装置２０へと送信することによって、その特定のカメラ２２０からの画像のフレームレートを他のカメラ２２０からの画像のフレームレートよりも上げるように、画像の伝送を制御できる。さらに、ある人物があるカメラ２２０の位置にいる情報を画像表示装置５へ送信することによって、特定の人物が写っているカメラ画像を優先的にかつ高いフレームレートで表示でき、効率的な監視をすることができ、かつ、特定の人物の詳細な追跡画像を表示することができる。

また、移動ノード８１０を携帯している既知の特定の人物を指定して、蓄積された画像データから特定の人物が映っている画像を検索したり、動画を再生したりして監視作業における画像確認が容易になる。

また、無線通信と赤外線観測データを併用することによって、その検出範囲の違いにより、部屋程度の粗い粒度ではあるが迅速な位置把握と、部屋内の位置で細分化した詳細な粒度での位置把握とを併用することができる。このため、効率的なシステムの動作が可能になる。例えば、部屋単位の位置把握で、ある人物が部屋にいる情報を伝送制御装置２０へ送信することによって、その部屋内の全てのカメラの優先度を高くしフレームレートを上げるよう伝送制御することができる。このようにすると、表示領域の都合上リアルタイムには一部のカメラの画像しか監視側で表示しない場合でも、後の画像検索対象とするために詳細な画像を蓄積しておくことができる。

本発明の実施の形態の映像ネットワークシステムの構成を示すブロック図である。 本発明の実施の形態の移動ノードの状態の遷移図である。 本発明の実施の形態のセンサ情報変換装置をイベント駆動アーキテクチャで実現した場合の論理ブロック図である。 本発明の実施の形態の通信相手ノードを判定する処理のフローチャートである。 本発明の実施の形態の通信相手ノードを判定する処理のフローチャートである。 本発明の実施の形態の赤外線観測データの形式を示す説明図である。 本発明の実施の形態の基地局ＩＤとカメラＩＤのカメラＩＤ変換テーブルを示す説明図である。 本発明の実施の形態の位置情報表示端末の画面における位置情報の表示例を示す説明図である。 本発明の実施の形態の接続／離脱メッセージの形式を示す説明図である。 本発明の実施の形態のカメラ、無線基地局及び固定ノードの配置例を示す全体図である。 本発明の実施の形態のカメラ、無線基地局及び固定ノードの配置例を示す拡大図である。 本発明を適用するネットワーク映像モニタリングシステムの一例を示すブロック図である。 伝送制御装置の優先度履歴テーブルの一例を示す説明図である。 伝送制御装置で行なわれる処理の一例を示すフローチャートで、リクエスト変換装置３から画像要求メッセージを受信したときに実行される処理を示す。

符号の説明

１ 監視センタ
３ リクエスト変換装置
４ 画像蓄積装置
５ 画像表示装置
６ 画像検索装置
７ センサ情報変換装置
８ センサネットワーク
９ 位置情報表示端末
２０ 伝送制御装置
８０ 無線ネットワーク
１００ ネットワーク
２１０ カメラＰＣ
２２０ カメラ
８００ 無線基地局
８１０ 移動ノード
８２０ 固定ノード

Claims (12)

1. 画像を所定の間隔で撮影する複数のカメラと、
   前記カメラによって撮影された画像データを格納する画像蓄積装置と、
   前記カメラによって撮影された画像データを前記画像蓄積装置に転送する伝送制御装置と、
   前記カメラによって撮影された画像から画像特徴量を生成する情報生成装置と、
   移動ノードと固定ノードとを含むセンサネットワークシステムに接続されるセンサ情報変換装置と、を備え、
   前記センサ情報変換装置は、前記移動ノードと前記固定ノードとの通信結果に基づいて優先度情報を生成し、
   前記情報生成装置は、画像特徴量に基づいて優先度情報を生成し、
   前記伝送制御装置は、前記センサ情報変換装置から取得する前記優先度情報および前記情報生成装置から取得する優先度情報に基づいて決定された優先度を用いて前記画像蓄積装置への前記画像データの転送を制御することを特徴とする映像ネットワークシステム。
2. 前記映像ネットワークシステムは、前記カメラによって撮影された画像データを表示する画像表示装置を備え、
   前記画像表示装置は、前記優先度情報に基づいて決定された優先度を用いて前記画像データの表示を制御することを特徴とする請求項１に記載の映像ネットワークシステム。
3. 前記センサ情報変換装置は、前記通信結果に基づいて前記移動ノードの位置を特定し、前記特定された移動ノードの位置に対応する前記カメラを特定し、前記特定されたカメラの識別子を前記優先度情報として前記伝送制御装置及び前記画像表示装置に送信し、
   前記伝送制御装置は、前記センサ情報変換装置から送信される識別子によって特定されるカメラが取得した画像データの優先度を高くするように、前記画像データの転送を制御し、
   前記画像表示装置は、前記センサ情報変換装置から送信される識別子によって特定されるカメラが取得した画像データの優先度を高くするように、前記画像データの表示を制御することを特徴とする請求項２に記載の映像ネットワークシステム。
4. 前記映像ネットワークシステムは、さらに、
   前記カメラによって撮影された画像を検索する検索装置と、
   前記カメラによって撮影された画像から検索用情報を生成する情報生成装置と、を備え、
   前記情報生成装置は、前記生成された検索用情報を前記検索装置に送信し、
   前記センサ情報変換装置は、前記特定されたカメラの識別子を前記検索装置に送信し、
   前記検索装置は、前記情報生成装置によって生成された検索用情報及び前記センサ情報変換装置によって特定されたカメラの識別子を含む検知情報を生成し、
   前記画像表示装置は、前記検知情報に基づいて前記画像データの表示を制御することを特徴とする請求項３に記載の映像ネットワークシステム。
5. 前記情報生成装置は、前記カメラによって撮影された画像から顔領域を検出し、前記検出された顔領域の画像特徴量を抽出し、前記カメラによって撮影された画像から移動体領域を検出し、前記検出された移動体領域の画像特徴量を抽出し、前記抽出された画像特徴量を前記検索用情報とすることを特徴とする請求項４に記載の映像ネットワークシステム。
6. 前記固定ノードは、赤外線によってデータを送信する赤外線送信部を備え、予め設定された固定ノード識別子を前記移動ノードに送信し、
   前記移動ノードは、赤外線によって送信されるデータを受信する赤外線受信部を備え、前記固定ノードから送信された固定ノード識別子を受信し、前記受信した固定ノード識別子を前記センサ情報変換装置に送信し、
   前記センサ情報変換装置は、前記移動ノードから送信された固定ノード識別子に基づいて、前記移動ノードの位置が赤外線通信をしている固定ノードの位置に対応することを特定し、前記特定された移動ノードの位置に対応する前記カメラを特定することを特徴とする請求項１乃至５の何れかに記載の映像ネットワークシステム。
7. 前記固定ノードは、赤外線によって送信されるデータを受信する赤外線受信部を備え、
   前記移動ノードは、赤外線によってデータを送信する赤外線送信部を備え、予め設定された移動ノード識別子を前記固定ノードに送信し、
   前記固定ノードは、前記移動ノードから送信された移動ノード識別子を受信し、前記受信した移動ノード識別子を前記センサ情報変換装置に送信し、
   前記センサ情報変換装置は、前記移動ノードから送信された固定ノード識別子及び前記固定ノードから送信された移動ノード識別子の少なくとも一つに基づいて、前記移動ノードの位置が赤外線通信をしている固定ノードの位置に対応することを特定し、前記特定された移動ノードの位置に対応する前記カメラを特定することを特徴とする請求項６に記載の映像ネットワークシステム。
8. 前記固定ノードは、前記受信した移動ノード識別子と共に当該固定ノードの固定ノード識別子を前記センサ情報変換装置に送信することを特徴とする請求項７に記載の映像ネットワークシステム。
9. 前記センサネットワークシステムは、前記移動ノードと無線通信をする無線基地局を備え、
   前記無線基地局は、前記移動ノードから送信される移動ノード識別子とともに無線基地局識別子を前記センサ情報変換装置に送信し、
   前記センサ情報変換装置は、前記無線基地局識別子に基づいて前記移動ノードの位置を特定し、前記特定された移動ノードの位置に対応するカメラを特定することを特徴とする請求項１乃至８の何れかに記載の映像ネットワークシステム。
10. 前記カメラは、前記固定ノードの周辺を撮影する第１カメラと、複数の前記第１カメラの撮影範囲を撮影する第２カメラを含み、
    前記第１カメラと前記固定ノードの一つとが対応し、前記第２カメラと前記無線基地局とが対応することを特徴とする請求項９に記載の映像ネットワークシステム。
11. 前記映像ネットワークシステムは、前記カメラによって撮影された画像データを表示する画像表示装置を備え、
    前記センサ情報変換装置は、前記移動ノードが前記無線基地局及び前記固定ノードの双方と通信中であることを検出した場合、前記移動ノードと赤外線通信をしている固定ノードの位置に基づいて、前記移動ノードの位置を特定し、
    前記伝送制御装置は、前記特定された固定ノードに対応するカメラが取得した画像データの優先度を高くするように、前記画像データの転送を制御し、
    前記画像表示装置は、前記特定された固定ノードに対応するカメラが取得した画像データの優先度を高くするように、前記画像データの表示を制御することを特徴とする請求項９又は１０に記載の映像ネットワークシステム。
12. 前記検索装置は、少なくとも一つの移動ノードの識別子を検索条件として管理し、前記センサ情報変換装置から送信された移動ノードの識別子が前記管理されている移動ノードの識別子と一致した場合に検知情報を生成することを特徴とする請求項４又は５に記載の映像ネットワークシステム。