JP3558813B2 - 映像監視システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、外部から動作制御可能なカメラからの映像情報を防犯、防災、機器異常検知等を目的として再生表示するための映像監視システムに関するものである。
【０００２】
【従来の技術】
近年、防犯、防災、機器異常検知等を目的として、監視センタから遠く離れた場所に設置された監視用のカメラによって撮影された映像情報をネットワークを介して監視センタに伝送し、映像情報を表示装置に再生表示するための映像監視システムが普及してきている。
【０００３】
図１８は従来の映像監視システムの一例の構成を示すブロック図である。図において、１はカメラ、２はカメラ１で撮影された映像情報を表示するための表示装置、３はカメラ１で撮影され表示装置１に表示された映像データを蓄積するための記録装置、４は映像監視システムを制御するためのシステム制御部、５はシステム制御部４の制御のもとでカメラ１の位置や方向等を制御し、また、カメラ１をズームインないしズームアウトさせたりする等の制御を実行するカメラ制御部、６はカメラ１からの映像データを受信しこの映像データを処理するために映像データ処理部１７０へ送信する映像入力部、９は監視員により入力された指示を受信しこれをシステム制御部４に伝えるマンマシンＩ／Ｆである。
【０００４】
次に動作について説明する。
映像入力部６がカメラ１で撮像された映像を受信すると、映像監視システムは、この映像データを記録装置３に蓄積するとともに、映像データ処理部１７０を用いて所定の処理を施した後表示装置２に表示する。また、カメラ１は外部制御可能なように構成されており、監視員がマンマシンＩ／Ｆ９を介してカメラ１を制御するためのある特定の指示を映像監視システムに与えると、システム制御部４は入力された指示、即ち、カメラ制御情報をカメラ制御部５に送付する。カメラ制御部５はそのカメラ制御情報に応じて、例えば、カメラ１の位置や方向の変えたり、カメラ１のズーム位置を調節することができる。
【０００５】
図１９は大きいビルの防災や大規模プラントの監視などを目的とした、従来の映像監視システムの構成を示すブロック図である。図において、図１８に示すものと同一の構成要素には同一符号を付しており、以下ではその説明を省略する。１０１は実際のビル、プラント等の現場に設置されており、カメラ１からの映像データを現場とは離れた場所にある映像監視システムの主要部に送信するローカル装置、１０２はその映像監視システムの主要部に相当し、監視員の居る部屋などに設置され得るセンタ装置、１００はローカル装置１０１とセンタ装置１０２との間で映像データおよびカメラ制御情報を送受信するためのネットワーク、１０６はローカル装置１０１に設けられており、カメラ１からの映像情報をセンタ装置１０２に送信し、センタ装置１０２から送信されるカメラ制御情報を受信するための通信Ｉ／Ｆ、１０７はセンタ装置１０２に設けられており、ローカル装置１０１から送られるカメラ１からの映像データを受信し、システム制御部４からのカメラ制御情報をローカル装置１０１へ送信するための通信Ｉ／Ｆである。
【０００６】
次に動作について説明する。
図１８に示すように、ローカル装置１０１は、カメラ１で得た映像を映像入力部６を介して受信し、映像データを通信Ｉ／Ｆ１０６およびネットワーク１００を介して遠隔地にあるセンタ装置１０２に送信する。センタ装置１０２は、ローカル装置１０１で撮影された映像を通信Ｉ／Ｆ１０７を介して受信すると、映像データを蓄積するとともに、映像データ処理部１７０を用いて所定の処理を施した後表示装置２に表示する。また、カメラ１は外部制御可能なように構成されており、監視員がマンマシンＩ／Ｆ９を介してカメラ１を制御するためのある特定の指示をセンタ装置１０２に与えると、システム制御部４は入力された指示、即ち、カメラ制御情報を通信Ｉ／Ｆ１０７およびネットワーク１００を介してローカル装置１０１に送信する。ローカル装置１０１はこのカメラ制御情報を通信Ｉ／Ｆ１０６を介して受信すると、このカメラ制御情報をカメラ制御部５に送付する。カメラ制御部５はそのカメラ制御情報に応じて、例えば、カメラ１の位置や方向の変えたり、カメラ１のズーム位置を調節することができる。
【０００７】
ネットワーク１００を構成する、遠隔映像監視のための通信媒体としては、映像データはデータ量が多いので、従来は同軸ケーブルや光ファイバ等の専用ケーブルが主に用いられていた。しかしながら、近年は、大容量高速通信を可能にするＡＴＭやＦＤＤＩ等の高速通信媒体の実用化が進んできている。一方、映像データや音声データの伝送・蓄積を効率的（速く・安く）に行う為に、ＪＰＥＧ、ＭＰＥＧ等のデジタル圧縮技術が開発・実用化されてきている。
【０００８】
以上の様な技術の進歩により映像データおよび音声データのディジタル通信が実用化されてきたことから、既存のコンピュータネットワークを利用して、複数の監視映像の送信や表示を制御する映像監視システムが提案されている。
【０００９】
図２０は特開平８−２２８３４０号公開広報で開示されたそのような従来の映像監視システムの構成を示すブロック図、図２１はこの映像監視システムによって得られる監視映像表示の例を示した説明図である。図２０において、１ａ〜１ｇはカメラ、２００ａ〜２００ｄはネットワーク１００に接続されたＬＡＮ通信回線、３００ａ〜３００ｃはコンピュータ装置である。
【００１０】
この従来の映像監視システムでは、既存のコンピュータネットワークを利用し、遠隔の複数地点に備えられた監視用のカメラ１ａ〜１ｇが撮影した映像を、ＬＡＮ通信回線２００ａ〜２００ｄを介してネットワーク１００に接続されたコンピュータ装置３００ａ〜３００ｃ上で表示して見ることができる。また、この映像監視システムでは、映像データの属性情報として映像送信要求時の映像送信要求条件を付加して送信し、監視センタにおいて、映像送信要求条件に基づいて、図２１（ａ），（ｂ）に示すようにカメラ設置場所を地図表示したり、図２１（ｃ）に示すように監視する場所のスケジュール表を表示したり、図２１（ｄ）に示すように撮像時刻などの属性情報をワープロ文書作成ウィンドウ上に重畳表示するなどの、良好な監視映像表示を実現している。
【００１１】
【発明が解決しようとする課題】
従来の映像監視システムは以上のように構成されているので、位置、方向、撮像範囲等の撮像状態が外部から制御できるカメラ１をカメラ制御情報に応じて制御してはいるが、カメラ制御情報を記録、管理していないので、映像データと同期して例えばカメラ１が設置された地図ないし図面上にカメラ制御情報を表示する等の高度な映像監視を行うことができないという課題があった。
【００１２】
また、従来の映像監視システムは、入力して蓄積した映像データを検索する際に、カメラ１の位置や方向等のカメラ制御情報を検索キーとして用いて目的の映像データを検索できないという課題があった。
【００１３】
さらに、過去に発行したカメラ制御情報を履歴情報として記録し映像表示に併せて映像が入力された時刻のカメラ制御情報を表示することが考えられるが、例えばカメラ１およびカメラ制御部５が監視センタとネットワークを介して接続されているような場合にはネットワークの制約により通信遅延が生じたり、映像監視システムの他の処理負荷状態によっては、カメラ制御情報が発行された時刻と実際にその制御が実行される時刻との間に時間差が生じてしまう可能性が高い。このような場合、履歴情報に基づいて表示されるカメラ制御情報と実際に映像が入力された時のカメラ制御情報とが一致しないという課題がある。
【００１４】
この発明は上記のような課題を解決するためになされたもので、カメラ制御情報を随時表示装置に映像データとともに表示する等の高度な映像監視を実現し且つカメラ制御情報を検索キーとして用いて目的の映像データおよび音声データを含む映像情報を検索できる映像監視システムを得ることを目的とする。
【００１５】
さらに、ネットワークを介してカメラからの映像情報を入手する場合においても、映像情報とそれに対応するカメラ制御情報とを確実に同期して監視センタに伝送できる映像監視システムを得ることを目的とする。
【００１６】
【課題を解決するための手段】
請求項１記載の発明に係る映像監視システムは、映像入力手段から入力される映像情報に該映像情報が入力された時刻を示す時刻情報を付加してストリームデータとして記録装置に蓄積し、さらに、映像情報が入力される周期とは必ずしも一致しない周期でまたは非周期的に映像情報の入力に同期してカメラ制御手段から入力されるカメラ制御情報があるならばカメラ制御情報に時刻情報を付加してストリームデータとして記録装置に蓄積するストリームデータ蓄積手段と、所望の一連の映像情報とこれに対応する一連のカメラ制御情報とを読み出して所定の処理を施す際に、一連の映像情報およびこれに対応する一連のカメラ制御情報を記録装置から順次読み出して所定の処理のために同期して出力するストリームデータ読み出し手段とを備えたものである。
【００１７】
請求項２記載の発明に係る映像監視システムは、ストリームデータ蓄積手段は、映像情報ストリームとカメラ制御情報ストリームとを別個に記録装置に蓄積するように構成されており、ストリームデータ読み出し手段は、記録装置に蓄積された映像情報ストリームから所望の一連の映像情報とこれに対応する一連のカメラ制御情報を読み出し、これらの情報を同期させて処理のために出力するものである。
【００１８】
請求項３記載の発明に係る映像監視システムは、ストリームデータ蓄積手段は、映像情報、カメラ制御情報および時刻情報を合成し、この合成情報を合成情報ストリームとして記録装置に蓄積し、ストリームデータ読み出し手段は、記録装置に蓄積された合成情報ストリームから所望の一連の合成情報を読み出すものである。
【００１９】
請求項４記載の発明に係る映像監視システムは、ある時刻に入力された映像情報に対応するカメラ制御情報が入力されない場合、ストリームデータ蓄積手段が所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から映像情報に対応するカメラ制御情報を求めるものである。
【００２０】
請求項５記載の発明に係る映像監視システムは、対応するカメラ制御情報が記憶装置に蓄積されていない映像情報をストリームデータ読み出し手段が読み出し出力した場合、所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から映像情報に対応するカメラ制御情報を求めるものである。
【００２１】
請求項６記載の発明に係る映像監視システムは、ストリームデータ読み出し手段は、読み出した映像情報に対応するカメラ制御情報が記録装置内に存在しない場合または読み出した合成情報中にカメラ制御情報が存在しない場合に、所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から映像情報に対応するカメラ制御情報を求めるものである。
【００２２】
請求項７記載の発明に係る映像監視システムは、カメラ制御情報補間手段は、過去のカメラ制御情報に含まれる、カメラが載置される雲台の移動速度、カメラのパン速度、チルト速度、およびズーム速度のうちの少なくともいずれか１つを用いて、カメラの位置、方向、またはズーム位置に関するカメラ制御情報を補間するものである。
【００２３】
請求項８記載の発明に係る映像監視システムは、時系列に入力される映像情報と、映像情報が入力される周期とは必ずしも一致しない周期でまたは非周期的に映像情報の入力に同期してカメラ制御手段から入力されるカメラ制御情報があるならば、カメラ制御情報とを同期させてネットワークに送出するストリームデータ同期送信手段を具備するローカル装置と、ネットワークから映像情報およびカメラ制御情報を同期して受信して、映像情報およびカメラ制御情報を同期を取ってストリームデータとして記録装置に蓄積し且つ所望の一連の映像情報およびこれに対応する一連のカメラ制御情報を記録装置から読み出しこれらを同期させて後の処理のために内部に出力するセンタ装置とを備えたものである。
【００２４】
請求項９記載の発明に係る映像監視システムは、ローカル装置は、時系列に入力される映像情報とカメラ制御情報とにそれぞれ時刻情報を付加して同期させて別々にネットワークに送出し、センタ装置は、ネットワークを介して受信した映像情報およびカメラ制御情報に付加された２つの時刻情報を参照して同時刻の映像情報およびカメラ制御情報を受け取った際にこれらを同期させて後の処理のために内部に出力するものである。
【００２５】
請求項１０記載の発明に係る映像監視システムは、ローカル装置は、時系列に入力される映像情報とカメラ制御情報に映像情報が入力された時刻を示す時刻情報を付加して合成情報を生成し、この合成情報をネットワークに送出し、センタ装置は、ネットワークを介して受信した合成情報から映像情報とカメラ制御情報とを抽出しこれらを同期させて後の処理のために内部に出力するものである。
【００２６】
請求項１１記載の発明に係る映像監視システムは、入力される映像情報と、映像情報が入力される周期とは必ずしも一致しない周期でまたは非周期的に映像情報の入力と同期してカメラ制御手段から入力されるカメラ制御情報があるならばこのカメラ制御情報とに、これらの情報が入力された時刻を示す時刻情報を付加してストリームデータとしてそれぞれ記録装置に蓄積し、さらに、所望の一連の映像情報およびこれに対応する一連のカメラ制御情報を記録装置から順次所定の処理のために同期して読み出して、さらに同期を取ってネットワークに送出するローカル装置と、ネットワークから一連の映像情報およびこれに対応する一連のカメラ制御情報を同期して受信して所定の処理のために同期して後の処理のために内部に出力するセンタ装置とを備えたものである。
【００２７】
請求項１２記載の発明に係る映像監視システムは、センタ装置が映像情報に対応するカメラ制御情報を受信しない場合に、所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から映像情報に対応するカメラ制御情報を求めるものである。
【００２８】
請求項１３記載の発明に係る映像監視システムは、ある時刻に入力された映像情報に対応するカメラ制御情報が入力されない場合、ストリームデータ蓄積手段は、所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から映像情報に対応するカメラ制御情報を求めるものである。
【００２９】
請求項１４記載の発明に係る映像監視システムは、過去のカメラ制御情報に含まれる、カメラが載置される雲台の移動速度、カメラのパン速度、チルト速度、およびズーム速度のうちの少なくともいずれか一つを用いて、カメラの位置、方向、またはズーム位置に関するカメラ制御情報を補間するものである。
【００３０】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による映像監視システムの概略構成を示すブロック図である。図において、１はカメラ、２はカメラ１で撮影された映像情報を表示するための表示装置、３はカメラ１で撮影され表示装置１に表示された映像情報を蓄積するための記録装置、４は映像監視システムを制御するためのシステム制御部、５はシステム制御部４の制御のもとでカメラ１の位置や方向等を制御し、また、カメラ１をズームインないしズームアウトさせたりする等の制御を実行するカメラ制御部（カメラ制御手段）、６はカメラ１からの映像情報を入力しこの映像情報を時系列に記録装置に蓄積するために送出する映像入力部（映像入力手段）、７は映像入力部６から入力された映像情報に該映像情報が入力された時刻を示す時刻情報を付加して時系列に記録装置３に蓄積し、さらに、映像情報に同期してカメラ制御部５から入力されるカメラ制御情報があるならばカメラ制御情報に上記の時刻情報を付加して時系列に記録装置３に蓄積するとともに、所望の一連の映像情報とこれに対応する一連のカメラ制御情報とを読み出して所定の処理、例えば、表示装置２に表示を行うための処理を施す際に、一連の映像情報およびこれに対応する一連のカメラ制御情報を記録装置３から順次読み出してその所定の処理のために同期してストリームデータ処理部８へ出力するストリームデータ蓄積・読み出し部（ストリームデータ蓄積手段、ストリームデータ読み出し手段）、９は監視員により入力された指示を受信にこれをシステム制御部４に伝えるマンマシンＩ／Ｆである。
【００３１】
次に動作について説明する。
システム制御部４は監視員の操作等によりマンマシンＩ／Ｆ９を介して入力されたカメラ制御情報をカメラ制御部５に送出する。図２はそのようなカメラ制御情報の一例のテーブルを示す説明図、図３はカメラ１の位置、方向を規定するカメラ制御情報を示す説明図である。カメラ１によって撮像される映像の位置および撮像範囲は、カメラ１が載置される雲台の位置、雲台の基準方向、基準方向に対するカメラ１の向き、および撮像範囲によって特定することができる。図３に示すように、雲台の位置Ｃ０（ｐｏｓｉｔｉｏｎ＿ｘ，ｐｏｓｉｔｉｏｎ＿ｙ，ｐｏｓｉｔｉｏｎ＿ｚ）および雲台の基準方向をオブジェクト座標系（Ｘ，Ｙ，Ｚ） で表す。雲台の基準方向は視線方向ベクトル（ｅｙｅ＿ｘ，ｅｙｅ＿ｙ，ｅｙｅ＿ｚ）および上面方向ベクトル（ｕｐ＿ｘ，ｕｐ＿ｙ，ｕｐ＿ｚ） で定義される。カメラ座標系は、左手法則座標（Ｃｘ：左手親指、Ｃｙ：左手人差し指、Ｃｚ：左手中指）で表し、カメラ１の視線方向ベクトルをＣｚ軸とし、カメラ１の上面に垂直な上面方向ベクトルをＣｙ軸とする座標系で定義する。カメラ１の向きはカメラ座標系（Ｃｘ，Ｃｙ，Ｃｚ）において、パン角度とチルト角度で定義される。パン角度はＣｙを軸とする回転角度（゜）であり、Ｃｚ軸の正の方向を０として反時計回りを正とする。チルト角度はＣｘを軸とする回転角度（゜）であり、Ｃｚ軸の正の方向を０として反時計回りを正とする。カメラ１の撮像範囲はズーム位置によって定義され、ズーム位置は焦点距離（ｍｍ）で表される。また、カメラ１の位置、向き、ズームが連続的に変化する場合は、雲台位置速度（ｍｍ／ｓｅｃ）（ ｘ＿ｓｐｅｅｄ，ｙ＿ｓｐｅｅｄ，ｚ＿ｓｐｅｅｄ）、パン速度（゜／ｓｅｃ）、チルト速度（゜／ｓｅｃ）、ズーム速度（ｍｍ／ｓｅｃ ）が各々設定される。また、図２に示す変化フラグは各カメラ制御状態パラメータのうちのどのパラメータが変化し得るのかを示すフラグである。
【００３２】
カメラ制御部５はシステム制御部４から受信したカメラ制御情報に従ってカメラ制御状態パラメータを再設定し、再設定した各カメラ制御状態パラメータに従って雲台の位置および方向、カメラ１の制御を行う。そして、各カメラ制御状態パラメータの値をカメラ制御情報としてストリームデータ蓄積・読み出し部７に送出する。一方、映像入力部６は、カメラ１により撮像された映像データおよび音声データを含む映像情報を受け取ると、その映像情報をストリームデータ蓄積・読み出し部７に送出する。
【００３３】
ストリームデータ蓄積・読み出し部７は映像入力部６から入力された映像情報を受け取ると、後で述べるように、その入力時の時刻を示す時刻情報を映像情報に付加して映像情報ストリームのデータ形式へと変換して時系列に記録装置３に蓄積するとともに、映像情報に同期してカメラ制御部５から入力されるカメラ制御情報があるならばカメラ制御情報に時刻情報を付加してカメラ制御情報ストリームのデータ形式へと変換して時系列に記録装置３に蓄積する。即ち、カメラ制御情報は、映像情報が入力される周期とは必ずしも一致しない周期でまたは非周期的に映像情報の入力に同期してカメラ制御部５から入力される。このようにして、新たな映像情報およびカメラ制御情報が、それぞれ時刻情報とともに映像情報ストリームおよびカメラ制御情報ストリームの新たな一要素として（即ち、それぞれ映像情報ストリームおよびカメラ制御情報ストリームに追加して）記録装置３に記録される。また、ストリームデータ蓄積・読み出し部７は、システム制御部４の指示により所望の一連の映像情報、即ち、所望の期間内の映像情報ストリーム、およびその映像情報ストリームに対応するカメラ制御情報ストリームを読み出すことができる。ストリームデータ蓄積・読み出し部７が記録装置３からそのような映像情報ストリームおよびカメラ制御情報ストリームを読み出す際には、記録装置３内に蓄積されている映像情報ストリームおよびカメラ制御情報ストリーム内の映像情報およびカメラ制御情報に付加されている時刻情報を参照して、上記所望の期間内に該当する時刻情報を有する一連の映像データおよび対応する一連のカメラ制御情報を読み出す。
【００３４】
ストリームデータ蓄積・読み出し部７により読み出された映像情報ストリーム内の各映像情報はストリームデータ処理部８によって所定の処理が施された後表示装置２に順次表示される。図４はストリームデータ処理部８の概略構成を示すブロック図である。図に示すように、ストリームデータ処理部８は、システム制御部４の指示に基づき、ストリームデータ蓄積・読み出し部７により読み出された所望の期間内に該当する時刻情報を有する一連の映像情報を順次タイミングを取るとともに、以下に示すカメラ制御情報ストリーム処理部から送出されるカメラ制御情報に同期させて送出する映像情報ストリーム処理部３１と、映像情報ストリーム処理部３１からの映像情報中の映像データを復元して表示装置２に表示する映像表示部３３と、カメラ制御情報ストリームを処理するために、システム制御部４の指示に基づき、ストリームデータ蓄積・読み出し部７により読み出された所望の期間内に該当する時刻情報を有する一連の対応するカメラ制御情報を順次タイミングを取って送出するカメラ制御情報ストリーム処理部３２と、カメラ制御情報ストリーム処理部３２からのカメラ制御情報中に含まれるカメラ１の位置および撮像方向をカメラ１が載置されている場所の地図ないしその場所の位置関係を示す図面上に合成して表示装置２に表示する地図情報表示部３４とを備えている。このように、指定された時刻情報を有する一連の映像情報から成る映像情報ストリームは、図５に示すように、カメラ１の位置および撮像方向が示された地図等とともに表示装置２に順次表示される。図５に示す例では、表示装置２の画面の左側にカメラ１で撮影された監視映像が表示され、右側にはカメラ１の位置および撮像方向が示されたフロア図面が表示されている。尚、映像情報中に含まれる音声データについても同様にして、映像データと同期してスピーカ等を介して再生することが可能である。
【００３５】
次に、ストリームデータ蓄積・読み出し部７の詳細な構成および動作について説明する。図６はこの実施の形態１による映像監視システムのストリームデータ蓄積・読み出し部７の一例の構成を示すブロック図である。図において、５１は映像監視システムのシステムクロック等から現在時刻を入手する時刻発生部、５２は入力された映像データおよび音声データを含む映像情報に時刻発生部５１からの現在時刻を時刻情報として付加し映像情報ストリームデータの形式のデータを生成する（即ち、映像情報ストリームデータの形式へ変換する）映像情報ストリーム生成部（映像情報ストリーム生成・蓄積手段）、５３は生成した映像情報ストリームデータ形式のデータを映像情報ストリームの一要素として記録装置３に蓄積する映像情報ストリーム蓄積部（映像情報ストリーム生成・蓄積手段）、５５は映像情報が入力される周期とは必ずしも一致しない周期でまたは非周期的に映像情報の入力に同期してカメラ制御部５から入力されるカメラ制御情報に時刻発生部５１からの現在時刻を時刻情報として付加しカメラ制御情報ストリームの形式のデータを生成するカメラ制御情報ストリーム生成部（カメラ制御情報ストリーム生成・蓄積手段）、５６は生成したカメラ制御情報ストリーム形式のデータをカメラ制御情報ストリームの一要素として記録装置３に蓄積するカメラ制御情報ストリーム蓄積部（カメラ制御情報ストリーム生成・蓄積手段）、５４は記録装置３内に記録されている映像情報ストリーム内の各映像情報に付加された時刻情報をサーチして、該当する時刻情報を有する一連の映像情報、即ちある期間内の映像情報ストリームを読み出す映像情報ストリーム読み出し部（映像情報ストリーム読み出し手段）、５７は記録装置３内に記録されているカメラ制御情報ストリーム内の各カメラ制御情報に付加された時刻情報をサーチして、該当する時刻情報を有する一連のカメラ制御情報、即ちあるカメラ制御情報ストリームを読み出すカメラ制御情報ストリーム読み出し部（カメラ制御情報ストリーム読み出し手段）、５８は指定された時間区間の映像情報ストリームおよびカメラ制御情報ストリームを同期して読み出すように映像情報ストリーム読み出し部５４およびカメラ制御情報ストリーム読み出し部５７を制御して読み出した映像情報ストリームおよびカメラ制御情報ストリームをストリームデータ処理部８に送出するストリームデータ同期処理部（ストリームデータ同期処理手段）である。
【００３６】
ストリームデータ蓄積・読み出し部７の映像情報ストリーム生成部５２は、映像入力部６を介して入力された映像情報に、時刻発生部５１が入手した現在時刻を時刻情報として付加して映像情報ストリームデータ形式のデータに変換し、これを映像情報ストリーム蓄積部５３へ送出する。映像情報ストリーム蓄積部５３は受け取った映像情報ストリームデータ形式のデータを既に蓄積された映像情報ストリームの最後尾に付加するように記録装置３に記録する。この際、初めて記録装置３に記録する場合には、映像情報ストリームを格納する領域の先頭に映像情報ストリームデータ形式に変換されたデータが記録される。図７はこのようにして映像情報ストリーム生成部５２により生成された映像情報ストリームの例を示す説明図である。図７に示すように、映像情報ストリーム中の一組のデータは、映像データと共に入力された音声データ、その音声を入力したマイクの位置や音声データの符号化方法等を示す音声ヘッダ、映像データ、その映像のサイズや符号化方法等を示す映像ヘッダ、および音声データと映像データを入力した時刻を示す時刻情報から構成される。
【００３７】
同時に、カメラ制御情報ストリーム生成部５５は、カメラ制御部５を介して入力されたカメラ制御情報に、時刻発生部５１が入手した上記現在時刻を時刻情報を付加してカメラ制御情報ストリームデータ形式のデータに変換し、これをカメラ制御情報ストリーム蓄積部５６へ送出する。カメラ制御情報ストリーム蓄積部５６は受け取ったカメラ制御情報ストリームデータ形式のデータを既に蓄積されたカメラ制御情報ストリームの最後尾に付加するように記録装置３に記録する。この際、初めて記録装置３に記録する場合には、カメラ制御情報ストリームを格納する領域の先頭に映像情報ストリームデータ形式に変換されたデータが記録される。図８はこのようにしてカメラ制御情報ストリーム生成部５５により生成されたカメラ制御情報ストリームの例を示す説明図である。図８に示すように、カメラ制御情報ストリームの一組のデータは、カメラ制御情報と、カメラ制御情報を入力した時刻を示す時刻情報とから構成される。尚、上記したように、カメラ制御情報ストリーム生成部５５は、映像情報が入力される周期とは必ずしも一致しない周期でまたは非周期的に映像情報の入力に同期してカメラ制御部５から入力されるカメラ制御情報に時刻発生部５１からの現在時刻を時刻情報として付加しカメラ制御情報ストリームデータ形式のデータを生成する。即ち、入力される映像情報のサンプリングレートとカメラ制御情報のサンプリングレートとが異なる場合がある。例えば、映像のフレームレート（映像は単位時間毎にサンプリングされる「フレーム」と呼ばれる画像の集合であって、フレームをサンプリングする周期をフレームレートと称する。また、この発明では一つの映像情報が一つのフレームに対応している。）に比べてカメラ制御情報をサンプリングする周期が大きい場合や、カメラ制御情報のサンプリングが周期的に行われない場合がある。従って、映像情報ストリームの全映像情報に対応する全てのカメラ制御情報が存在するわけではなく、実施の形態５で説明するように、ある時刻の映像情報に対応するカメラ制御情報が存在しない場合、これを過去のカメラ制御情報から補間によって算出することが好ましい。
【００３８】
監視員等がある時間区間に入力された映像情報ストリームおよびカメラ制御情報ストリームを表示するようにマンマシンＩ／Ｆ９を介して指示すると、システム制御部４はその指示された時間区間に入力された一連の映像情報、即ちその時間区間内に付加または生成された映像情報ストリームおよびこれに対応するカメラ制御情報ストリームを同期して読み出すようにストリームデータ蓄積・読み出し部７を制御する。ストリームデータ蓄積・読み出し部７は、ストリームデータ同期処理部５８により上記指示に基づき映像情報ストリーム読み出し部５３およびカメラ制御情報ストリーム読み出し部５７を同期して操作し、記録装置３内に記録されている各ストリーム内の時刻情報をサーチして、該当する時刻情報を有する映像情報ストリームおよびカメラ制御情報ストリームを読み出す。システム制御部４で指示された時間区間のスタート時刻およびエンド時刻と同時刻の時刻情報が見つからない場合は、映像情報ストリーム読み出し部５３およびカメラ制御情報ストリーム読み出し部５６は、指示された時間区間内の時刻情報を有する一連の映像情報、即ちその時間区間内に付加または生成された映像情報ストリームとそれに対応するカメラ制御情報ストリームを読み出す。そして、ストリームデータ同期処理部５８は、指定された時間区間の映像情報ストリームおよびカメラ制御情報ストリームを互いに同期させてストリームデータ処理部８に送出する。
【００３９】
このように、この実施の形態１による映像監視システムのストリームデータ蓄積・読み出し部７は、映像情報ストリームとカメラ制御情報ストリームとを別々のストリームデータとして蓄積し、且つ読み出すように構成されており、さらに、読み出す際にストリームデータ同期処理部５８を用いて映像情報ストリームとカメラ制御情報ストリームの読みとりの同期を取る様に構成されているので、映像情報ストリームとカメラ制御情報ストリームがともに必要な場合はこれら２つのストリームを時間同期を取って読み出すことが可能である。さらに、一方のストリームのみ必要な場合は、必要な方のストリームのみ読み出すことも可能である。これにより、ストリーム読み出し処理を高速化することができる。
【００４０】
従って、この実施の形態１によれば、過去の映像情報についても、その映像入力時の対応するカメラ制御情報を読み出すことができ、映像データと同期してカメラ制御情報を表示できるので、映像の撮像位置や方向について正確な情報を監視員等に提示することが可能となる効果がある。
【００４１】
また、この実施の形態１による映像監視システムは、上記したように、時刻情報を付加して映像情報ストリームおよびカメラ制御情報ストリームを生成し記録装置３に蓄積しているので、ストリームデータ蓄積・読み出し部７を用いて、カメラ１の撮像位置や方向等のカメラ制御情報を検索キーとして用いて映像情報ストリームの所望の映像情報を検索することができる。ストリームデータ蓄積・読み出し部７は、記録装置３内に蓄積されたカメラ制御情報ストリームをサーチして所望のカメラ制御情報を割り出し、このカメラ制御情報に付加されている時刻情報を調べる。そして、この時刻情報を検索キーとして用いて映像情報ストリームを検索し、その時刻情報が付加された映像情報または時系列の一連の映像情報、即ちある時間期間内の映像情報ストリームを読み出すことができる。これにより、より高度な映像検索機能を実現することができ、監視員の負荷を軽減する効果がある。また、カメラ制御情報を検索キーとして検索を行う場合に、この実施の形態１では、カメラ制御情報ストリーム内のみをサーチすればよいので、検索を高速化することができる。
【００４２】
実施の形態２．
図９はこの発明の実施の形態２による映像監視システムのストリームデータ蓄積・読み出し部７０の概略構成を示すブロック図である。この実施の形態２による映像監視システムは、映像入力部６から入力される映像情報およびカメラ制御部５から入力されるカメラ制御情報を合成してこれに時刻情報を付加してストリームデータ形式の合成情報を生成して合成情報ストリームの一要素として記録するように構成されている。尚、映像監視システムの基本的な構成は、図１に示すものと同一であり、ここではその基本構成の説明は省略する。図９において、８１は映像情報およびカメラ制御情報を合成してこれに現在時刻に関する時刻情報を付加してストリームデータ形式の合成情報を生成する合成情報ストリーム生成部（合成情報ストリーム生成・蓄積手段）、８２はその合成情報を合成情報ストリームの一要素として（即ち、合成情報ストリームに付加して）記録装置３に蓄積する合成情報ストリーム蓄積部（合成情報ストリーム生成・蓄積手段）、８３はシステム制御部４により指示される時間区間に相当する一連の合成情報、即ちその時間区間内に付加または生成された合成情報ストリームを記録装置３から読み出す合成情報ストリーム読み出し部（合成情報ストリーム読み出し手段）である。
【００４３】
次に動作について説明する。
システム制御部４は監視員の操作等によりマンマシンＩ／Ｆ９を介して入力されたカメラ制御情報をカメラ制御部５に送出する。カメラ制御情報は、図２に示すように、カメラ１の位置、方向を規定するものである。このカメラ制御情報については、上記実施の形態１で説明したとおりであるのでここでは省略する。
【００４４】
その後、上記実施の形態１と同様に、カメラ制御部５はシステム制御部４から受信したカメラ制御情報に従ってカメラ制御状態パラメータを再設定し、再設定した各カメラ制御状態パラメータに従って雲台の位置および方向、カメラ１の制御を行う。そして、各カメラ制御状態パラメータの値をカメラ制御情報としてストリームデータ蓄積・読み出し部７０に送出する。一方、映像入力部６は、カメラ１により撮像された映像データおよび音声データを含む映像情報を受け取ると、その映像情報を映像情報ストリームとして蓄積するためにストリームデータ蓄積・読み出し部７０に送出する。ストリームデータ蓄積・読み出し部７０が映像入力部６からの映像情報とカメラ制御部５からのカメラ制御情報とを受け取ると、映像情報ストリーム生成部８１がこれら２つの情報を合成し、さらに、時刻発生部５１から入手した現在時刻を時刻情報として合成した情報に付加して合成情報を生成し、映像情報ストリーム蓄積部８２が生成された合成情報を記録装置３に蓄積する。この際、既に一連の合成情報が合成情報ストリームとして記録装置３に存在するならば、生成された合成情報はその合成情報ストリームの最後尾に付加される。また、初めて記録装置３に記録する場合には、合成情報ストリームを格納する領域の先頭にそのストリームデータ形式に変換された合成情報が記録される。
【００４５】
図１０はこの実施の形態２のストリームデータ蓄積・読み出し部７０が記録装置３に蓄積した合成情報ストリームの一例を示す説明図である。図に示すように、合成情報ストリーム中の１つの合成情報は、それに含まれる映像情報およびカメラ制御情報が得られた現在時刻を示す時刻情報、カメラ制御情報、映像データと共に入力された音声データ、その音声を入力したマイクの位置や音声データの符号化方法等を示す音声ヘッダ、映像データ、その映像のサイズや符号化方法等を示す映像ヘッダとから構成される。
【００４６】
ストリームデータ蓄積・読み出し部７０は、システム制御部４の指示により所望の時系列の一連の映像情報およびこれに対応する一連のカメラ制御情報を含む合成情報ストリームを読み出すことができる。ストリームデータ蓄積・読み出し部７０が記録装置３から指定された時間区間の合成情報ストリームを読み出す際には、合成情報ストリーム読み出し部８３を介して、記録装置３内に蓄積されている合成情報ストリームの各合成情報内に記載されている時刻情報を参照して、該当する時刻の一連の合成情報を読み出す。この場合、合成情報ストリーム読み出し部８３は、システム制御部４により指示される時間区間に相当する合成情報ストリームを記録装置３から読み出す。ストリームデータ蓄積・読み出し部７０により読み出された合成情報ストリーム内の映像データはストリームデータ処理部８によって所定の処理が施された後、表示装置２に表示される。この際、上記実施の形態１と同様に、指定された時刻の映像データは、カメラ１の位置および撮像方向が示された地図等とともに表示装置２に表示され得る。
【００４７】
以上のように、この実施の形態２によれば、映像情報と該映像情報の入力時のカメラ制御情報が、１つの合成情報としてまとめて記録装置３に記録されるので、合成情報ストリーム読み出し時に、上記実施の形態１で設けたような特別なストリームデータ同期処理部５８を必要としない。従って、映像監視システムの装置構成を簡単にすることができる効果がある。
【００４８】
実施の形態３．
図１１はこの発明の実施の形態３による映像監視システムのシステム構成を示すブロック図である。図において、図１に示す実施の形態１による映像監視システムと同一または相当する構成要素には同一の符号を付してその説明を省略する。また、図１１において、１０１は実際のビル、プラント等の現場に設置されており、カメラ１からの映像情報およびカメラ制御部５からのカメラ制御情報を現場とは離れた場所にある映像監視システムの主要部に送信するローカル装置、１０２はその映像監視システムの主要部に相当し、監視員の居る部屋などに設置され得るセンタ装置、１００はローカル装置１０１とセンタ装置１０２との間で映像情報およびカメラ制御情報を送受信するためのネットワーク、１０３は入力された映像情報にその入力時の時刻を時刻情報として付加しストリームデータ形式のデータに映像情報を変換する映像情報ストリーム生成部、１０４は入力されたカメラ制御情報にその入力時の時刻を時刻情報として付加しストリームデータ形式のデータにカメラ制御情報を変換するカメラ制御情報ストリーム生成部、１０５は生成されたストリームデータ形式の映像情報およびカメラ制御情報に記載されている時刻情報を参照し、これらを同期させてセンタ装置１０２に送出するストリームデータ同期通信部（ストリームデータ同期送信手段）、１０６はローカル装置１０１に設けられており、上記ストリームデータ形式の映像情報およびカメラ制御情報をネットワーク１００を介してセンタ装置１０２に送信し、さらに、センタ装置１０２から送信されるカメラ制御情報を受信するための通信Ｉ／Ｆ、１０７はセンタ装置１０２に設けられており、ローカル装置１０１から送られるストリームデータ形式の映像情報およびカメラ制御情報を受信する通信Ｉ／Ｆ、１０８は受信したその映像情報およびカメラ制御情報を同期させてストリムデータ蓄積・読み出し部７００に送出するストリームデータ同期通信部（ストリームデータ同期受信手段）である。
【００４９】
このように、この実施の形態３による映像監視システムは、カメラ１、映像入力部６、カメラ制御部５、映像情報ストリーム生成部１０３、カメラ制御情報ストリーム生成部１０４、ストリームデータ同期通信部１０５、および通信Ｉ／Ｆ１０６を備えたローカル装置１０１と、通信Ｉ／Ｆ１０７、ストリームデータ同期通信部１０８、ストリームデータ蓄積・読み出し部７００、記録装置３、マンマシンＩ／Ｆ９、システム制御部４、ストリームデータ処理部８、および表示装置２を備えており、ローカル装置１０１で生成したストリームデータ形式の映像情報およびカメラ制御情報をネットワーク１００を介して受信し、これらを蓄積し、表示処理を行うセンタ装置１０２とから構成される。
【００５０】
次に動作について説明する。
センタ装置１０２のシステム制御部４は監視員の操作等によりマンマシンＩ／Ｆ９を介して入力されたカメラ制御情報を通信Ｉ／Ｆ１０７を介してネットワーク１００へ送出する。ローカル装置１０１は通信Ｉ／Ｆ１０６を介してこのカメラ制御情報を受け取ると、このカメラ制御情報をカメラ制御部５に送出する。カメラ制御情報は、図２に示したように、カメラ１の位置、方向を規定するものである。このカメラ制御情報については、上記実施の形態１で説明したとおりであるのでここでは省略する。
【００５１】
映像情報ストリーム生成部１０３は、ローカル装置１０１の映像入力部６から映像データおよび音声データを含む映像情報を受け取ると、その映像情報を入手した時の時刻を時刻情報として映像情報に付加してストリームデータ形式の映像情報を生成しストリームデータ同期通信部１０５に送る。一方、カメラ制御情報ストリーム生成部１０４は、カメラ制御部５から得られるカメラ制御情報に該カメラ制御情報を入手した時の時刻を時刻情報として付加してストリームデータ形式のカメラ制御情報を生成し、同様にストリームデータ同期通信部１０５に送る。
【００５２】
ストリームデータ同期通信部１０５は、映像情報ストリーム生成部１０３からのストリームデータ形式の映像情報とカメラ制御情報ストリーム生成部１０４からのストリームデータ形式のカメラ制御情報とに記載されている２つの時刻情報を参照し、これらの２つのストリームデータ形式の情報を同期させて通信Ｉ／Ｆ１０６を介してネットワーク１００に送出する。同期の方法は上記実施の形態１による映像監視システムのストリームデータ蓄積・読み出し部７のストリームデータ転送の際の同期の方法と同様である。
【００５３】
図１２は、この実施の形態２による映像監視システムのローカル装置１０１およびセンタ装置１０２のストリームデータ同期通信部１０５，１０８の構成を示すブロック図である。図において、１０５１は映像情報ストリーム生成部１０３から送られたストリームデータ形式の映像情報を一端蓄える映像情報ストリームバッファ、１０５２はカメラ制御情報ストリーム生成部１０４から送られたストリームデータ形式のカメラ制御情報を一端蓄えるカメラ制御情報ストリームバッファ、１０５３はこれらストリームデータ形式の映像情報およびカメラ制御情報中に含まれる時刻情報を参照して、同一時刻の２つのストリームデータ形式の情報がそろった時に、映像情報ストリームバッファ１０５１およびカメラ制御情報ストリームバッファ１０５２にこれら２つのストリームデータ形式の情報をセンタ装置１０２に向けて送出させる時刻情報監視部、１０８１は通信Ｉ／Ｆ１０７を介して受信したストリームデータ形式の映像情報を一端蓄える映像情報ストリームバッファ、１０８２は受信部１０７を介して受信したストリームデータ形式のカメラ制御情報を一端蓄えるカメラ制御情報ストリームバッファ、１０８３はこれらストリームデータ形式の映像情報およびカメラ制御情報中に含まれる時刻情報を参照して、映像情報ストリームバッファ１０８１およびカメラ制御情報ストリームバッファ１０８２に２つのストリームデータ形式の情報がそろった時に、これら２つのストリームデータ形式の情報をストリームデータ蓄積・読み出し部７００に向けて同期させて送出させる時刻情報監視部である。このように、時刻情報監視部１０８３は、通信遅延およびジッタのあるネットワーク１００を介して伝送された際に生ずる映像情報とカメラ制御情報との同期のずれを解消する役割を果たす。
【００５４】
ローカル装置１０１のストリームデータ同期通信部１０５は、このように、２つのストリームデータ形式の映像情報とカメラ制御情報内の時刻情報を参照して、同時刻の２つのストリームデータ形式の映像情報およびカメラ制御情報を同時にネットワーク１００を介してセンタ装置１０２に送出する。この方法によれば、システム制御部４の指示により、ストリームデータ形式の映像情報とカメラ制御情報のうち必要な情報のみを選択して送信することもできる。センタ装置１０２のストリームデータ同期通信部１０８が、通信Ｉ／Ｆ１０７を介してローカル装置１０１から送られてきたストリームデータ形式の映像情報およびカメラ制御情報、またはストリームデータ形式の映像情報およびカメラ制御情報のいずれか一方を受信すると、図７および図８に示すように、これらの情報は映像情報ストリームおよびカメラ制御情報ストリームとして記録装置３に蓄積される。
【００５５】
以上述べたように、この実施の形態３によれば、ネットワーク１００を介して映像情報とカメラ制御情報を伝送する場合もこれらの情報を同期をとって送受信できる効果がある。また、センタ装置１０２にストリームデータを蓄積するようにしたので、過去のストリームデータを高速に読み出すことができる効果がある。
【００５６】
ストリームデータ形式の映像情報およびカメラ制御情報を別々に送信する代わりに、これらの映像情報およびカメラ制御情報を合成してそれに時刻情報を付加してストリームデータ形式の合成情報を生成してこれを送信するように構成してもよい。図１３は、映像情報およびカメラ制御情報を合成してネットワーク１００を介して送受信するように構成された、ローカル装置１０１およびセンタ装置１０２のストリームデータ同期通信部１０５，１０８の構成を示すブロック図である。図において、１０５４は映像情報ストリームバッファ１０５１に格納されたストリームデータ形式の映像情報とカメラ制御情報ストリームバッファ１０５２に格納されたストリームデータ形式のカメラ制御情報とを合成しストリームデータ形式の合成情報を生成しその合成情報を通信Ｉ／Ｆ１０６を介してネットワーク１００に送出するストリームデータ合成部、１０８４は通信Ｉ／Ｆ１０７を介して受信したストリームデータ形式の合成情報からストリームデータ形式の映像情報とカメラ制御情報とを分離してそれぞれ映像情報ストリームバッファ１０８１とカメラ制御情報ストリームバッファ１０８２に送出するストリームデータ分離部である。
【００５７】
センタ装置１０２のストリームデータ同期通信処理部１０８は、受信したストリームデータ形式の合成情報をストリームデータ分離部１０８４を用いて、ストリームデータ形式の映像情報とカメラ制御情報とに分離することができる。このようにして、図１０に示すような合成情報ストリームがセンタ装置１０２の記録装置３に記録される。
【００５８】
従って、以上の合成情報を生成して送信する方法によれば、映像情報を順次受信したストリームデータ形式の合成情報から単に分離することによって、ストリームデータ形式の映像情報と該映像情報に同期したストリームデータ形式のカメラ制御情報とを得ることができ、特別な同期処理を必要としない。従って、映像監視システムの装置構成を簡単にすることができる効果がある。
【００５９】
実施の形態４．
図１４はこの発明の実施の形態４による映像監視システムのシステム構成を示すブロック図である。図において、図１に示す実施の形態１による映像監視システムおよび図１１に示す実施の形態３による映像監視システムと同様な構成要素には同一の符号を付してその説明を省略する。
【００６０】
図１１に示したように、上記実施の形態３による映像監視システムは、ローカル装置１０１において生成したストリームデータ形式の映像情報およびカメラ制御情報、またはストリームデータ形式の合成情報をストリームデータ同期通信部１０５を用いてセンタ装置１０２に伝送し、受信したストリームデータ形式の情報をセンタ装置１０２に接続された記録装置３に蓄積するように構成されている。このように、上記実施の形態３による映像監視システムでは、映像情報ストリームとカメラ制御情報ストリーム、または合成情報ストリームがセンタ装置１０２に接続された記録装置３に蓄積されており、ストリームデータ処理部８は必要なストリームを直ちに記録装置３から読み出すことができる。
【００６１】
しかしながら、複数のローカル装置１０１がネットワーク１００を介してセンタ装置１０２と接続されている場合、全てのローカル装置１０１が生成した映像情報およびカメラ制御情報を常にセンタ装置１０２に伝送すると、ネットワーク１００の負荷が増大し、通信遅延が大きくなったり、ネットワーク１００を構成する通信路の種類によってはデータが欠落する場合が生じる。また、センタ装置１０２内での処理の負荷も増大してしまう。これを解決するために、センタ装置１０２で処理しようとするストリームデータを該当するローカル装置１０１から読み出して処理する方法が考えられるが、上記実施の形態３による映像監視システムは、ローカル装置１０１内にストリームデータを蓄積する機能を有していないので、センタ装置１０２が読み出さなかった過去のストリームデータをシステム内に保存することはできない。
【００６２】
この実施の形態４による映像監視システムは、上記の問題を解決するために、ローカル装置１０１内に記録装置３を備えるように構成したものである。
【００６３】
次に動作について説明する。
センタ装置１０２のシステム制御部４は監視員の操作等によりマンマシンＩ／Ｆ９を介して入力されたカメラ制御情報を通信Ｉ／Ｆ１０７を介してネットワーク１００へ送出する。ローカル装置１０１は通信Ｉ／Ｆ１０６を介してこのカメラ制御情報を受け取ると、このカメラ制御情報をカメラ制御部５に送出する。カメラ制御情報は、図２に示したように、カメラ１の位置、方向を規定するものである。このカメラ制御情報については、上記実施の形態１で説明したとおりであるのでここでは省略する。
【００６４】
その後、上記実施の形態３と同様に、カメラ制御部５はシステム制御部４から受信したカメラ制御情報に従ってカメラ制御状態パラメータを再設定し、再設定した各カメラ制御状態パラメータに従って雲台の位置および方向、カメラ１の制御を行う。そして、各カメラ制御状態パラメータの値をカメラ制御情報としてストリームデータ蓄積・読み出し部７０１に送出する。一方、映像入力部６は、カメラ１により撮像された映像データおよび音声データを含む映像情報を受け取ると、その映像情報をスリームデータ蓄積・読み出し部７０１に送出する。ストリームデータ蓄積・読み出し部７０１は映像入力部６からの映像情報とカメラ制御部５からのカメラ制御情報とを受け取ると、これらの情報にそれぞれ情報を入手した時刻を時刻情報として付加してストリームデータ形式の映像情報およびカメラ制御情報を生成して、図７および８に示したように、別個に映像情報ストリームおよびカメラ制御情報ストリームとして記録装置３に記録するか、図９に示すような合成情報ストリーム生成部８１を用いて２つの情報を合成しさらに時刻発生部５１から入手した現在時刻を時刻情報として付加してストリームデータ形式の合成情報を生成し、図１０に示すような合成情報ストリームとして記録装置３に蓄積する。即ち、この実施の形態４によるストリームデータ蓄積・読み出し部７０１は、図６に示した、上記実施の形態１による映像監視システムのストリームデータ蓄積・読み出し部７と同様な構成を有しているか、または、図９に示した、上記実施の形態２による映像監視システムのストリームデータ蓄積・読み出し部７０と同様な構成を有している。
【００６５】
このように、この実施の形態４による映像監視システムでは、ローカル装置１０１において、映像情報ストリームおよびカメラ制御情報ストリーム、または合成情報ストリームを記録装置３に蓄積することができる。そして、ローカル装置１０１は、センタ装置１０２からの要求に応じて、ストリームデータ蓄積・読み出し部７０１を用いて、必要としているストリームを記録装置３から読み出し、ストリームデータ同期通信部１０５によって映像情報ストリームとカメラ制御情報ストリームを同期を取りながらセンタ装置１０２に通信Ｉ／Ｆ１０６およびネットワーク１００を介して伝送する。
【００６６】
この実施の形態４による映像監視システムのローカル装置１０１およびセンタ装置１０２のストリームデータ同期通信部１０５，１０８は、上記実施の形態３で述べた図１２または図１３に図示した構成を有している。しかしながら、ストリームデータ蓄積・読み出し部７０１が図６に示す上記実施の形態１によるストリームデータ蓄積・読み出し部７と同様な構成を有しており、映像情報ストリームおよびカメラ制御情報ストリーム、または映像情報ストリームのみを記録装置３から読み出し、ストリームデータ同期処理部５８を用いてそれらの映像情報ストリームおよびカメラ制御情報ストリームを同期させて同時にセンタ装置１０２に伝送するか、映像情報ストリームのみを伝送する場合には、図１２に示すようなストリームデータ同期通信部１０５は必要ではない。さらに、ストリームデータ蓄積・読み出し部７０１が図９に示す上記実施の形態２によるストリームデータ蓄積・読み出し部７０と同様な構成を有しており、同時刻の映像情報およびカメラ制御情報をそれぞれ合成した一連の合成情報から成る合成情報ストリームを記録装置３から読み出しセンタ装置１０２に伝送する場合は、ストリームデータ蓄積・読み出し部７０により読み出した合成情報ストリームをそのままのデータフォーマットを維持して伝送すればよいので、ローカル装置１０１側の図１３に示すようなストリームデータ同期通信部１０５は必要ではない。また、ストリームデータ蓄積・読み出し部７０１が図９に示した上記実施の形態２によるストリームデータ蓄積・読み出し部７０と同様な構成を有しており、ストリームデータ蓄積・読み出し部７０の合成情報ストリーム読み出し部８３で読み出された合成情報ストリームから、映像情報ストリームまたはカメラ制御情報ストリームのどちらか一方のみを伝送するような場合は、ストリームデータ蓄積・読み出し部７０１と図１２に示すストリームデータ同期通信部１０５との間に、ストリームデータ分離部を設け、読み出した合成情報ストリームを映像情報ストリームとカメラ制御情報ストリームに分離し、必要なストリームのみを選んでストリームデータ同期通信部１０５を介してセンタ装置１０２に伝送するようにすればよい。
【００６７】
以上述べたように、この実施の形態４によれば、ローカル装置１０１にストリームデータを蓄積し、センタ装置１０２側で必要なストリームデータを選択して読み出すことができるので、ネットワーク１００の負荷およびセンタ装置１０２内での処理の負荷を軽減することができる効果がある。
【００６８】
実施の形態５．
図１５はこの発明の実施の形態５による映像監視システムのカメラ制御情報の補間方法を示す説明図である。この実施の形態５による映像監視システムは、上記した実施の形態１〜４のいずれか一つと同様な構成を有しており、その構成についての説明は省略する。
【００６９】
次に動作について説明する。
以下では、この実施の形態５によるカメラ制御情報の補間方法について説明する。カメラ制御情報は先に図２および図３を用いて説明したように、入力された映像の撮像位置、撮影範囲、方向等を示す情報である。一般に、映像監視システムに使用されるカメラ１は、数十分の１秒ごとに１フレーム分の映像を映像情報として出力する。これに対し、カメラ１の制御は、これよりも長い時間間隔で制御される場合が多い。カメラ制御部５は、カメラ制御情報を受信する毎に一つのカメラ制御情報を送信するように構成されている。この際、カメラ制御部５が一定時間以上カメラ制御情報を受信しない場合に、予め設定された時間毎に現行のカメラ制御状態パラメータをシステム制御部４から読み出し、そのカメラ制御状態パラメータをカメラ制御情報として送信するようにしてもよい。
【００７０】
カメラ制御情報が得られる時間間隔（以下、第１の時間間隔と呼ぶ）が、映像情報が得られる時間間隔（以下、第２時間間隔と呼ぶ）よりも長い場合、即ち、カメラ制御情報のサンプリングレートが映像情報のサンプリングレートより遅い場合、この実施の形態５によるカメラ制御情報の補間方法を用いることにより、第２の時間間隔の各時刻におけるカメラ制御情報を求めることができる。カメラ制御情報が変化していないならば、上記したように、所定の時間毎に現行のカメラ制御状態パラメータをシステム制御部４から読み出してそれをカメラ制御情報として送信するようにしてもよいが、カメラの位置および方向等が変化しつつある場合には、以下に示す補間方法を用いる方が好ましい。
【００７１】
今、図１５に示すように、映像情報（図中（ａ））が時間間隔１／１０秒（ｔ（０），ｔ（１），ｔ（２）．．． ）で入力され、カメラ制御情報（図中（ｂ））が時間間隔１秒（ｔ（０），ｔ（１０），ｔ（２０）．．． ）で入力されたとする。この場合、映像データが入力されるｔ（１），ｔ（２）．．．の各時刻に相当するカメラ制御情報（図中（ｃ））が得られていない。従って、もし補間を実施しないと、図１６（ａ）に示すようなカメラ制御情報ストリームが記録装置３に記録されることになる（尚、図示している例は映像情報ＡＶ（ｔ（ｉ））およびカメラ制御情報ＣＭ（ｔ（ｉ））が合成されている合成情報ストリームである）。
【００７２】
そこで、この実施の形態５による補間方法により、第１の時間間隔で得られたカメラ制御情報（ＣＭ（ｔ（０）），ＣＭ（ｔ（１０）），ＣＭ（ｔ（２０））．．．）からカメラ制御情報補間データ（ＣＭ（ｔ（１）），ＣＭ（ｔ（２）），．．． ）を求める。図１７はカメラ１がパンしている場合のパン角度の補間データを求める方法を示す説明図である。時刻ｔ（０）におけるカメラ制御情報から時刻ｔ（０）でのカメラのパン角度がｐａｎ（ｔ（０））゜、パン速度がｐ゜／ｓｅｃであることがわかる。そこで、時刻ｔ（０）からｔ（１０） までの間、カメラ１が指定されたスピードｐ゜／ｓｅｃでパンしていると仮定して、任意の時刻ｔ（ｎ）でのパン角度は、ｐａｎ（ｔ（ｎ））＝ｐａｎ（ｔ（ｎ−１））＋ｐ／１０で求めることができる。同様にして、他のカメラ制御情報補間データも算出できる。このようにして、図１６（ｂ）に示すような補間データが追加されたカメラ制御情報ストリームが記録装置３に記録されることになる。
【００７３】
この実施の形態５によるカメラ制御情報の補間方法は、上記のように、図６に示した上記実施の形態１によるカメラ情報ストリーム生成部５５に適用できる。カメラ制御情報が映像情報よりも長い時間間隔でしか得られない場合、カメラ制御情報ストリーム生成部５５は、映像情報ストリーム生成部５２が出力する映像情報ストリームに対応した時刻のカメラ制御情報がないときに上述の様なカメラ制御情報の補間処理を行うことにより求めたストリームデータ形式のカメラ制御情報をカメラ制御情報ストリーム蓄積部５６に出力する。このような構成により、ストリームデータ処理部８の映像表示部３３によって表示される映像に対応した時刻のカメラ制御情報を常に映像と同期して表示することができる。
【００７４】
また、この実施の形態５によるカメラ制御情報の補間方法を、図４に示した上記実施の形態１によるストリームデータ処理部８のカメラ制御情報ストリーム処理部３２に適用できる。カメラ制御情報が映像情報よりも長い時間間隔でしか得られない場合、カメラ制御情報ストリーム処理部３２は、上述の様なカメラ制御情報の補間処理を行うことにより、映像表示部３３によって表示される映像に対応した時刻のカメラ制御情報を補間により生成して映像と同期して表示することができる。
【００７５】
これに代わって、この実施の形態５によるカメラ制御情報の補間方法を、図６に示した上記実施の形態１によるストリームデータ同期処理部５８に適用してもよい。カメラ制御情報が映像情報よりも長い時間間隔でしか得られない場合、ストリームデータ同期処理部５８は、映像情報ストリーム読み出し部５４が出力する映像情報ストリームに対応した時刻のカメラ制御情報がないときに上述の様なカメラ制御情報の補間処理を行うことにより求めたカメラ制御情報を映像情報ストリームに同期してカメラ制御情報ストリームを出力する。このような構成によっても、ストリームデータ処理部８の映像表示部３３によって表示される映像に対応した時刻のカメラ制御情報を映像と同期して表示することができる。
【００７６】
また、この実施の形態５によるカメラ制御情報の補間方法を、図９に示した上記実施の形態２による映像情報ストリーム生成部８１、および図１３に示した上記実施の形態４によるストリームデータ合成部１０５４に適用してもよい。この場合、例えば、合成情報ストリーム生成部８１は上記補間処理を行い、図１６（ｂ）に示すような、カメラ制御情報の補間データも含み得る合成情報ストリームを映像情報を受信する度に生成する。これにより、記録装置３に蓄積されているかまたはセンタ装置１０２に送信されてくる合成情報ストリーム内には各映像情報に対応するカメラ制御情報が必ず含まれているので、図１に示したストリームデータ処理部８または図１４に示したストリームデータ同期通信部１０８において、特別な同期処理や補間処理を行う必要がない。
【００７７】
さらに、この実施の形態５によるカメラ制御情報の補間方法は、記録装置３に蓄積された映像情報ストリームおよびカメラ制御情報ストリームを検索して読み出す際に該当する時刻のカメラ制御情報が記録装置３に蓄積されていない場合にも適用できる。
【００７８】
システム制御部４が過去のある時間区間の映像情報ストリームおよびカメラ制御情報ストリームの読み出し指示を出した場合、例えば図１に示すストリームデータ蓄積・読み出し部７は記録装置３内の各ストリーム内をサーチして、配信要求された期間内に相当する時刻情報を抽出し、該時刻情報を先頭とする映像情報ストリームおよびカメラ制御情報ストリームを読み出しストリームデータ処理部８に送信する。配信要求のあった期間内のある時刻におけるカメラ制御情報が無い場合は、その時刻から最も近い過去と未来のカメラ制御情報を抽出して前述の補間処理を行い、配信要求されたその時刻におけるカメラ制御情報を補間により生成してストリームデータ処理部８に送出する。また、システム制御部４が過去のある期間の映像情報ストリームの読み出し指示を出した場合も、同様に、配信要求された期間内の時刻におけるカメラ制御情報が無いならば、前述の補間処理を行って対応するカメラ制御情報を生成してストリームデータ処理部８に送出することもできる。
【００７９】
以上述べたように、この実施の形態５によれば、雲台やカメラの動き等を示す補間情報を含むカメラ制御情報を用いることにより、カメラ制御情報がカメラ制御部５から入手できない時刻におけるカメラ制御情報を補間計算によって求めることができる効果がある。さらに、補間計算によって求められた補間データも含めて映像情報と同期して表示することにより、カメラ制御情報をよりなめらかに映像情報に追従して表示装置２に表示することができる。
【００８０】
上記の実施の形態１〜５においては、過去の映像情報を検索する際に時刻情報を検索キーとして用いているが、映像の撮像場所を検索キーとして用い記録装置３に蓄積された映像情報ストリームから所望の映像情報ないし所望の一連の映像情報を含む映像情報ストリームを検索するように構成してもよい。この場合、システム制御部４は、検索キーとして、カメラ１の雲台位置から所望の撮像位置への方向をオブジェクト座標系におけるベクトル値（以下、「Ｓベクトル」と記す）を指示する。例えば図１に示すストリームデータ蓄積・読み出し部７は、カメラ制御情報ストリームに時系列に蓄積されているカメラ制御情報からＳベクトルがカメラ撮像範囲内に含まれるかどうかを順次判定していく。判定の結果、Ｓベクトルがカメラ撮像範囲内に含まれているカメラ制御情報をカメラ制御情報ストリーム内に発見した場合、そのカメラ制御情報に付加されている時刻情報（第１の時刻情報）を読み出す。引き続いて、カメラ制御情報からＳベクトルがカメラ撮像範囲内に含まれるかどうかを順次判定し、Ｓベクトルが撮像範囲に含まれないカメラ制御情報を発見した時に、このカメラ制御情報に付加されている時刻情報（第２の時刻情報）を読み出す。そして、第１の時刻情報から第２の時刻情報の一つ手前までの時刻情報を有するカメラ制御情報ストリームに対応する映像情報ストリームを読み出し、ストリームデータ処理部８に送出する。この際に、同時に検索したカメラ制御情報ストリームを送出してもよい。
【００８１】
上記した検索方法は、Ｓベクトルが撮像範囲に含まれるカメラ制御情報を発見する毎に、該当する映像情報ストリームをストリームデータ処理部８に送出する様に構成されているが、映像の検索方法はこれに限らない。例えば、予め記録装置３内に蓄積されている全カメラ制御情報ストリームについて、Ｓベクトルを撮像範囲に含み且つ１つ前の時刻のカメラ制御情報がＳベクトルを含まないカメラ制御情報に付加されている時刻情報（以下「Ｓ時刻」と記す）と、Ｓベクトルを含まないカメラ制御情報で且つ１つ前の時刻のカメラ制御情報がＳベクトルを含むカメラ制御情報に付加されている時刻情報（以下「Ｅ時刻」と記す）を全て抽出し、全Ｓ時刻および全Ｅ時刻をシステム制御部４に送出する。システム制御部４は、全Ｓ時刻および全Ｅ時刻の中から所望のＳ時刻およびＥ時刻を選択し、この所望のＳ時刻およびＥ時刻をストリームデータ蓄積・読み出し部７に送出する。ストリームデータ蓄積・読み出し部７はシステム制御部４で選択されたそのＳ時刻とＥ時刻を受け取り、これらＳ時刻からＥ時刻の間のカメラ制御情報ストリームと映像情報ストリームを記録装置３から抽出してストリームデータ処理部８に送出する。
【００８２】
尚、映像の撮像場所を検索キーとして用い記録装置３に蓄積された映像情報ストリームから所望の映像情報ないし所望の一連の映像情報を含む映像情報ストリームを検索する場合に、システム制御部４が指定するＳベクトルとしては、例えば監視員等によってマンマシンＩ／Ｆ９を介して入力されたような、ベクトル値を用いてもよいし、図４に示した地図情報表示部３４により表示されている地図上で監視員等がポインティングデバイス等を用いて指定したベクトル値を使用してもよい。
【００８３】
また、上記の実施の形態１〜５の映像監視システムは、ストリームデータ処理部８を用いて映像情報およびカメラ制御情報のストリームデータを同期して表示装置２上に表示するように構成されていたが、映像情報およびカメラ制御情報の処理の内容は表示に限ったものではなく、入力したストリームデータを他の監視端末に転送したり、ストリームデータ蓄積・読み出し部によって記録したものとは別に、他のデータフォーマットで再記録を行ったり、映像データから復元される画像に画像処理を施すように構成されていてもよい。例えば、カメラ制御情報に映像撮像時の明るさや絞りの情報を含めておき、映像データから復元される画像に例えば２値化等の画像処理を施す際の処理パラメータを該映像入力時のカメラ制御情報に含まれる明るさや絞りの情報に基づいて設定する様にしても良い。
【００８４】
また、図１に示すように、上記実施の形態１〜５による映像監視システムはいずれも、カメラ制御情報を監視員がマンマシンＩ／Ｆ９を用いて入力するように構成されているが、これに限るものではない。例えば、予めカメラ１の動作パターンをカメラ制御部５に記録しておき、カメラ制御部５がその動作パターンに従って自動的にカメラ１を制御するようにしてもよい。また、例えば圧力センサや温度センサ、音センサ等の他のセンサの情報を用いてカメラ１の撮像位置、方向を制御するようにしてもよい。さらに、ナビゲーションシステムを搭載した自走式システムにカメラ１を設け、ナビゲーションシステムにより得られる位置情報をカメラ制御部５にフィードバックするようにしても良い。また、入力した映像データに対して画像処理を施し、その処理結果に基づいてカメラ１を制御するようにしてもよい。例えば、連続する２つのフレーム間で差分処理を行うことにより画像中の変化した領域を検出し、検出した領域の方向にカメラ１を向けるように制御したり、ズームパラメータを制御してその領域にカメラ１をズームインすることも可能である。
【００８５】
【発明の効果】
以上のように、請求項１記載の発明によれば映像監視システムを映像入力手段から入力される映像情報に該映像情報が入力された時刻を示す時刻情報を付加してストリームデータとして記録装置に蓄積し、さらに、映像情報が入力される周期とは必ずしも一致しない周期でまたは非周期的に映像情報の入力に同期してカメラ制御手段から入力されるカメラ制御情報があるならばカメラ制御情報に時刻情報を付加してストリームデータとして記録装置に蓄積するストリームデータ蓄積手段と、所望の一連の映像情報とこれに対応する一連のカメラ制御情報とを読み出して所定の処理を施す際に、一連の映像情報およびこれに対応する一連のカメラ制御情報を記録装置から順次読み出して所定の処理のために同期して出力するストリームデータ読み出し手段とを備えるように構成したので、過去の映像情報についてもその映像の入力時の対応するカメラ制御情報を読み出し、映像情報とカメラ制御情報とを同期して表示できるので、映像の撮像位置や方向について正確な情報を監視員に提示することが可能となる効果がある。また、過去の映像情報を検索する際に時刻情報だけでなくカメラの撮像位置や方向などのカメラ制御情報を検索キーとして用いて検索し読み出すといった、より高度な映像検索機能を実現することができ、監視員の負荷を軽減することができる効果がある。
【００８６】
請求項２記載の発明によれば映像監視システムを映像情報ストリームとカメラ制御情報ストリームとを別個に記録装置に蓄積し、ストリームデータ読み出し手段を記録装置に蓄積された映像情報ストリームから所望の一連の映像情報とこれに対応する一連のカメラ制御情報を読み出し、これらの情報を同期させて出力するように構成したので、カメラ制御情報を検索キーとして用いて検索を行う場合にカメラ制御情報ストリーム内のみをサーチすれば良いので、検索を高速化することができる効果がある。また、映像情報ストリームまたはカメラ制御情報ストリームのいずれか一方のみが必要な場合は必要なストリームのみを読み出すことができるので、ストリーム読み出し処理を高速化することができる効果がある。
【００８７】
請求項３記載の発明によれば映像監視システムを映像情報、カメラ制御情報および時刻情報を合成し、この合成情報を合成情報ストリームとして記録装置に蓄積し、ストリームデータ読み出し手段を記録装置に蓄積された合成情報ストリームから所望の一連の合成情報を読み出すように構成したので、ストリーム読み出し時に特別な同期処理を必要とせず、装置構成を簡単にすることができる効果がある。
【００８８】
請求項４記載の発明によれば映像監視システムを、ある時刻に入力された映像情報に対応するカメラ制御情報が入力されない場合、所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から映像情報に対応するカメラ制御情報を求めて記録装置に映像情報ストリームおよびカメラ制御情報ストリームとして記録するように構成したので、カメラ制御情報が入手できなかった時刻におけるカメラ制御情報を補間計算によって求めることができ、補間計算によって求められた補間データも含めて映像情報と同期して表示する事により、カメラ制御情報をよりなめらかに映像情報に追従して表示することができる効果がある。
【００８９】
請求項５記載の発明によれば映像監視システムを、対応するカメラ制御情報が記憶装置に蓄積されていない映像情報をストリームデータ読み出し手段が読み出し出力した場合、所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から映像情報に対応するカメラ制御情報を求めるように構成したので、カメラ制御情報が入手できなかった時刻におけるカメラ制御情報を補間計算によって求めることができ、補間計算によって求められた補間データも含めて映像情報と同期して表示する事により、カメラ制御情報をよりなめらかに映像情報に追従して表示することができる効果がある。
【００９０】
請求項６記載の発明によれば映像監視システムをストリームデータ読み出し手段が読み出す映像情報に対応するカメラ制御情報が記録装置に蓄積されていない場合または読み出した合成情報中に映像情報に対応するカメラ制御情報が存在しない場合に、所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から映像情報に対応するカメラ制御情報を求めるように構成したので、カメラ制御情報が入手できなかった時刻におけるカメラ制御情報を補間計算によって求めることができ、補間計算によって求められた補間データも含めて映像情報と同期して表示する事により、カメラ制御情報をよりなめらかに映像情報に追従して表示することができる効果がある。
【００９１】
請求項７記載の発明によれば映像監視システムをカメラ制御情報補間手段が過去のカメラ制御情報に含まれる、カメラが載置される雲台の移動速度、カメラのパン速度、チルト速度、およびズーム速度のうちの少なくともいずれか１つを用いて、カメラの位置、方向、またはズーム位置に関するカメラ制御情報を補間するように構成したので、カメラ制御情報が入手できなかった時刻におけるカメラ制御情報を補間計算によって求めることができる効果がある。
【００９２】
請求項８記載の発明によれば映像監視システムを、時系列に入力される映像情報と、映像情報が入力される周期とは必ずしも一致しない周期でまたは非周期的に映像情報の入力に同期してカメラ制御手段から入力されるカメラ制御情報があるならば、カメラ制御情報とを同期させてネットワークに送出するストリームデータ同期送信手段を具備するローカル装置と、ネットワークから映像情報およびカメラ制御情報を同期して受信して、映像情報およびカメラ制御情報を同期を取ってストリームデータとして記録装置に蓄積し且つ所望の一連の映像情報およびこれに対応する一連のカメラ制御情報を記録装置から読み出しこれらを同期させて後の処理のために内部に出力するセンタ装置とを備えるように構成したので、ネットワークを介して映像情報とカメラ制御情報を伝送する場合も同期をとって送受信できる効果がある。また、センタ装置にストリームデータを蓄積するようにしたので、過去のストリームデータを高速に読み出すことができる効果がある。さらに、ローカル装置の装置構成を簡単にすることができる効果がある。
【００９３】
請求項９記載の発明によれば映像監視システムをローカル装置が時系列に入力される映像情報とカメラ制御情報とにそれぞれ時刻情報を付加して同期させて別々にネットワークに送出し、センタ装置がネットワークを介して受信した映像情報およびカメラ制御情報に付加された２つの時刻情報を参照して同時刻の映像情報およびカメラ制御情報を受け取った際にこれらを同期させて後の処理のために内部に出力するように構成したので、ネットワークを介して映像情報とカメラ制御情報を伝送する場合も同期をとって送受信できる効果がある。また、センタ装置にストリームデータを蓄積するようにしたので、過去のストリームデータを高速に読み出すことができる効果がある。さらに、カメラ制御情報を検索キーとして用いて検索を行う場合にカメラ制御情報ストリーム内のみをサーチすれば良いので、検索を高速化することができる効果がある。また、映像情報ストリームまたはカメラ制御情報ストリームのいずれか一方のみが必要な場合は必要なストリームのみを読み出すことができるので、ストリーム読み出し処理を高速化することができる効果がある。
【００９４】
請求項１０記載の発明によれば映像監視システムをローカル装置が時系列に入力される映像情報とカメラ制御情報に映像情報が入力された時刻を示す時刻情報を付加して合成情報を生成し、この合成情報をネットワークに送出し、センタ装置がネットワークを介して受信した合成情報から映像情報とカメラ制御情報とを抽出しこれらを同期させて後の処理のために内部に出力するように構成したので、ストリーム読み出し時に特別な同期処理を必要とせず、装置構成を簡単にすることができる効果がある。
【００９５】
請求項１１記載の発明によれば映像監視システムを、入力される映像情報と、映像情報が入力される周期とは必ずしも一致しない周期でまたは非周期的に映像情報の入力と同期してカメラ制御手段から入力されるカメラ制御情報があるならばこのカメラ制御情報とに、これらの情報が入力された時刻を示す時刻情報を付加してストリームデータとしてそれぞれ記録装置に蓄積し、さらに、所望の一連の映像情報およびこれに対応する一連のカメラ制御情報を記録装置から順次所定の処理のために同期して読み出して、さらに同期を取ってネットワークに送出するローカル装置と、ネットワークから一連の映像情報およびこれに対応する一連のカメラ制御情報を同期して受信して所定の処理のために同期して後の処理のために内部に出力するセンタ装置とを備えるように構成したので、ローカル装置にストリームデータを蓄積し、センタ装置側で必要なストリームデータを選択して読み出すことができ、ネットワークの負荷およびセンタ装置内での処理の負荷を軽減することができる効果がある。
【００９６】
請求項１２記載の発明によれば映像監視システムをセンタ装置が映像情報に対応するカメラ制御情報を受信しない場合に、所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から映像情報に対応するカメラ制御情報を求めるように構成したので、カメラ制御情報が入手できなかった時刻におけるカメラ制御情報を補間計算によって求めることができ、補間計算によって求められた補間データも含めて映像情報と同期して表示する事により、カメラ制御情報をよりなめらかに映像情報に追従して表示することができる効果がある。
【００９７】
請求項１３記載の発明によれば映像監視システムを、ある時刻に入力された映像情報に対応するカメラ制御情報が入力されない場合、ストリームデータ蓄積手段が所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から映像情報に対応するカメラ制御情報を求めるように構成したので、カメラ制御情報が入手できなかった時刻におけるカメラ制御情報を補間計算によって求めることができ、補間計算によって求められた補間データも含めて映像情報と同期して表示する事により、カメラ制御情報をよりなめらかに映像情報に追従して表示することができる効果がある。
【００９８】
請求項１４記載の発明によれば映像監視システムを過去のカメラ制御情報に含まれる、カメラが載置される雲台の移動速度、カメラのパン速度、チルト速度、およびズーム速度のうちの少なくともいずれか一つを用いて、カメラの位置、方向、またはズーム位置に関するカメラ制御情報を補間するように構成したので、カメラ制御情報が入手できなかった時刻におけるカメラ制御情報を補間計算によって求めることができる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による映像監視システムの概略構成を示すブロック図である。
【図２】この発明によるカメラ制御情報を示す表図である。
【図３】図２に示すカメラ制御情報を規定するカメラ座標系を示す説明図である。
【図４】この発明の実施の形態１による映像監視システムのストリームデータ処理部の概略構成を示すブロック図である。
【図５】この発明の実施の形態１による映像監視システムの監視映像および地図情報の表示例を示す図である。
【図６】この発明の実施の形態１による映像監視システムのストリームデータ蓄積・読み出し部の構成を示すブロック図である。
【図７】この発明の実施の形態１による映像監視システムで生成される映像情報ストリームの一例を示す説明図である。
【図８】この発明の実施の形態１による映像監視システムで生成されるカメラ制御情報ストリームの一例を示す説明図である。
【図９】この発明の実施の形態２による映像監視システムのストリームデータ蓄積・読み出し部の構成を示すブロック図である。
【図１０】この発明の実施の形態２による映像監視システムで生成される合成情報ストリームの一例を示す説明図である。
【図１１】この発明の実施の形態３による映像監視システムの概略構成を示すブロック図である。
【図１２】この発明の実施の形態３による映像監視システムのストリームデータ同期通信部の一例の構成を示すブロック図である。
【図１３】この発明の実施の形態３による映像監視システムのストリームデータ同期通信部の他の例の構成を示すブロック図である。
【図１４】この発明の実施の形態４による映像監視システムの概略構成を示すブロック図である。
【図１５】この発明の実施の形態５による補間方法で生成されるカメラ制御情報と映像情報との関係を示す説明図である。
【図１６】補間方法によって得られるカメラ制御情報を含む合成情報ストリームの一例を示す説明図である。
【図１７】この発明の実施の形態５によるカメラ制御情報の補間方法の一例を具体的に示す説明図である。
【図１８】従来の映像監視システムの一例の構成を示すブロック図である。
【図１９】従来のネットワークを用いた映像監視システムの一例の構成を示すブロック図である。
【図２０】従来のネットワークを用いた映像監視システムの他の例の構成を示すブロック図である。
【図２１】図２０に示した映像監視システムの表示例を示す図である。
【符号の説明】
１ カメラ、３ 記録装置、５ カメラ制御部（カメラ制御手段）、６ 映像入力部（映像入力手段）、７ ストリームデータ蓄積・読み出し部（ストリームデータ蓄積手段、ストリームデータ読み出し手段）、５２ 映像情報ストリーム生成部（映像情報ストリーム生成・蓄積手段）、５３ 映像情報ストリーム蓄積部（映像情報ストリーム生成・蓄積手段）、５４ 映像情報ストリーム読み出し部（映像情報ストリーム読み出し手段）、５５ カメラ制御情報ストリーム生成部（カメラ制御情報ストリーム生成・蓄積手段）、５６ カメラ制御情報ストリーム蓄積部（カメラ制御情報ストリーム生成・蓄積手段）、５７ カメラ制御情報ストリーム読み出し部（カメラ制御情報ストリーム読み出し手段）、５８ ストリームデータ同期処理部（ストリームデータ同期処理手段）、８１ 合成情報ストリーム生成部（合成情報ストリーム生成手段）、８２ 合成情報ストリーム蓄積部（合成情報ストリーム蓄積手段）、８３ 合成情報ストリーム読み出し部（合成情報ストリーム読み出し手段）、１０１ ローカル装置、１０２ センタ装置、１０５ ストリームデータ同期通信部（ストリームデータ同期送信手段）、１０６ ストリームデータ同期通信部（ストリームデータ同期受信手段）。

Claims (14)

1. 外部制御可能なカメラと、カメラ制御情報に基づき前記カメラを制御するカメラ制御手段と、前記カメラからの映像を入力する映像入力手段と、前記映像入力手段から入力される映像情報に該映像情報が入力された時刻を示す時刻情報を付加してストリームデータとして記録装置に蓄積し、さらに、前記映像情報が入力される周期とは必ずしも一致しない周期でまたは非周期的に前記映像情報の入力と同期して前記カメラ制御手段から入力されるカメラ制御情報があるならば該カメラ制御情報に前記時刻情報を付加してストリームデータとして前記記録装置に蓄積するストリームデータ蓄積手段と、所望の一連の映像情報とこれに対応する一連のカメラ制御情報とを読み出して所定の処理を施す際に、前記一連の映像情報およびこれに対応する一連のカメラ制御情報を前記記録装置から順次読み出して前記所定の処理のために同期して出力するストリームデータ読み出し手段とを備えた映像監視システム。
2. ストリームデータ蓄積手段は、映像入力手段から入力した映像情報に該映像情報が入力された時刻を示す時刻情報を付加して、これを映像情報ストリームとして記録装置に蓄積する映像情報ストリーム生成・蓄積手段と、前記映像情報に同期して前記カメラ制御手段から入力されるカメラ制御情報があるならば該カメラ制御情報に前記時刻情報を付加して、これをカメラ制御情報ストリームとして記録装置に前記映像情報ストリームとは別に蓄積するカメラ制御情報ストリーム生成・蓄積手段とを備えており、ストリームデータ読み出し手段は、前記記録装置に蓄積された前記映像情報ストリームから所望の一連の映像情報を読み出す映像情報ストリーム読み出し手段と、前記記録装置に蓄積された前記カメラ制御情報ストリームから前記所望の一連の映像情報に対応する一連のカメラ制御情報を読み出すカメラ制御情報ストリーム読み出し手段と、読み出された前記一連の映像情報とこれに対応する前記一連のカメラ制御情報とをそれぞれ同期させて出力するストリームデータ同期処理手段とを備えたことを特徴とする請求項１記載の映像監視システム。
3. ストリームデータ蓄積手段は、映像入力手段から入力された映像情報に、該映像情報に同期してカメラ制御手段から入力されるカメラ制御情報があるならば該カメラ制御情報と前記映像情報が入力された時刻を示す時刻情報とを付加して、これらの映像情報、カメラ制御情報および時刻情報を合成し、この合成情報を合成情報ストリームとして記録装置に蓄積する合成情報ストリーム生成・蓄積手段を備えており、ストリームデータ読み出し手段は、前記記録装置に蓄積された前記合成情報ストリームから所望の一連の合成情報を読み出す合成情報ストリーム読み出し手段を備えたことを特徴とする請求項１記載の映像監視システム。
4. ある時刻に入力された映像情報に対応するカメラ制御情報が入力されない場合、ストリームデータ蓄積手段は、所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から前記映像情報に対応する前記カメラ制御情報を求めるカメラ制御情報補間手段を具備することを特徴とする請求項１から請求項３のうちのいずれか１項記載の映像監視システム。
5. 対応するカメラ制御情報が記憶装置に蓄積されていない映像情報をストリームデータ読み出し手段が読み出し出力した場合、所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から前記映像情報に対応する前記カメラ制御情報を求めるカメラ制御情報補間手段を設けたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の映像監視システム。
6. ストリームデータ読み出し手段は、読み出す映像情報に対応するカメラ制御情報が記録装置に蓄積されていない場合または読み出した合成情報中に映像情報に対応するカメラ制御情報が存在しない場合に、所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から前記映像情報に対応するカメラ制御情報を求めるカメラ制御情報補間手段を具備することを特徴とする請求項１から請求項３のうちのいずれか１項記載の映像監視システム。
7. カメラ制御情報補間手段は、過去のカメラ制御情報に含まれる、カメラが載置される雲台の移動速度、カメラのパン速度、チルト速度、およびズーム速度のうちの少なくともいずれか１つを用いて、カメラの位置、方向、またはズーム位置に関するカメラ制御情報を補間する手段であることを特徴とする請求項４から６のうちのいずれか１項記載の映像監視システム。
8. 外部制御可能なカメラと、カメラ制御情報に基づき前記カメラを制御するカメラ制御手段と、前記カメラからの映像を入力する映像入力手段と、前記映像入力手段より時系列に入力される映像情報と該映像情報が入力される周期とは必ずしも一致しない周期でまたは非周期的に前記映像情報の入力に同期して前記カメラ制御手段から入力されるカメラ制御情報があるならば該カメラ制御情報とを同期させてネットワークに送出するストリームデータ同期送信手段とを具備するローカル装置と、前記ネットワークから前記映像情報およびカメラ制御情報を同期して受信するストリームデータ同期受信手段と、前記映像情報およびカメラ制御情報を同期を取ってストリームデータとして記録装置に蓄積するストリームデータ蓄積手段と、所望の一連の映像情報とこれに対応する一連のカメラ制御情報とを読み出して所定の処理を施す際に、前記一連の映像情報およびこれに対応する一連のカメラ制御情報を前記記録装置から順次読み出して前記所定の処理のために同期して出力するストリームデータ読み出し手段とを具備するセンタ装置とを備えた映像監視システム。
9. ローカル装置は、映像入力手段より時系列に入力される映像情報に該映像が入力された時刻を示す時刻情報を付加して送出する手段と、前記映像情報に同期してカメラ制御手段から入力されるカメラ制御情報があるならば該カメラ制御情報に前記時刻情報を付加して送出する手段と、前記映像情報に付加された時刻情報と前記カメラ制御情報に付加された時刻情報とを参照して同時刻の映像情報およびカメラ制御情報を受け取った際にこれらを同期させてネットワークに送出するストリームデータ同期送信手段とを具備しており、センタ装置は、前記ネットワークを介して受信した前記映像情報および前記カメラ制御情報に付加された２つの時刻情報を参照して同時刻の映像情報およびカメラ制御情報を受け取った際にこれらを同期させて送出するストリームデータ同期受信手段を具備していることを特徴とする請求項８記載の映像監視システム。
10. ローカル装置は、時系列に入力される映像情報に、該映像情報の入力に同期してカメラ制御手段から入力されるカメラ制御情報があるならば該カメラ制御情報と前記映像情報が入力された時刻を示す時刻情報とを付加して合成情報を生成し、この合成情報をネットワークに送出するストリームデータ同期送信手段を具備しており、センタ装置は、前記ネットワークを介して受信した前記合成情報から映像情報とカメラ制御情報とを抽出しこれらを同期させて送出するストリームデータ同期受信手段を具備していることを特徴とする請求項８記載の映像監視システム。
11. 外部制御可能なカメラと、カメラ制御情報に基づき前記カメラを制御するカメラ制御手段と、前記カメラからの映像を入力する映像入力手段と、前記映像入力手段から入力される映像情報に該映像情報が入力された時刻を示す時刻情報を付加してストリームデータとして記録装置に蓄積し、さらに、前記映像情報が入力される周期とは必ずしも一致しない周期でまたは非周期的に前記映像情報の入力と同期して前記カメラ制御手段から入力されるカメラ制御情報があるならば該カメラ制御情報に前記時刻情報を付加してストリームデータとして前記記録装置に蓄積するストリームデータ蓄積手段と、所望の一連の映像情報とこれに対応するカメラ制御情報とを読み出して所定の処理を施す際に、前記一連の映像情報およびこれに対応する一連のカメラ制御情報を前記記録装置から順次読み出して前記所定の処理のために同期して出力するストリームデータ読み出し手段と、前記一連の映像情報およびこれに対応する前記一連のカメラ制御情報を同期させてネットワークに送出するストリームデータ同期送信手段とを具備するローカル装置と、前記ネットワークから前記一連の映像情報およびこれに対応する前記一連のカメラ制御情報を同期して受信して前記所定の処理のために同期して出力するストリームデータ同期受信手段を具備するセンタ装置とを備えた映像監視システム。
12. ストリームデータ同期受信手段は、受信した映像情報に対応するカメラ制御情報を受信しない場合に、所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から前記映像情報に対応するカメラ制御情報を求めるカメラ制御情報補間手段を具備することを特徴とする請求項８から請求項１１のうちのいずれか１項記載の映像監視システム。
13. ある時刻に入力された映像情報に対応するカメラ制御情報が入力されない場合、ストリームデータ蓄積手段は、所定の補間方法を用いて既に蓄積された過去のカメラ制御情報から前記映像情報に対応する前記カメラ制御情報を求めるカメラ制御情報補間手段を具備することを特徴とする請求項８から請求項１１のうちのいずれか１項記載の映像監視システム。
14. カメラ制御情報補間手段は、過去のカメラ制御情報に含まれる、カメラが載置される雲台の移動速度、カメラのパン速度、チルト速度、およびズーム速度のうちの少なくともいずれか一つを用いて、カメラの位置、方向、またはズーム位置に関するカメラ制御情報を補間する手段であることを特徴とする請求項１２または請求項１３記載の映像監視システム。

Images