JP3665212B2 - 遠隔監視装置および遠隔監視方法 - Google Patents
遠隔監視装置および遠隔監視方法 Download PDFInfo
- Publication number
- JP3665212B2 JP3665212B2 JP01020099A JP1020099A JP3665212B2 JP 3665212 B2 JP3665212 B2 JP 3665212B2 JP 01020099 A JP01020099 A JP 01020099A JP 1020099 A JP1020099 A JP 1020099A JP 3665212 B2 JP3665212 B2 JP 3665212B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- moving object
- unit
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像通信を利用して遠隔地の状況を監視する遠隔監視装置および遠隔監視方法ならびに遠隔監視システムに関するものである。
【０００２】
【従来の技術】
一般に、画像通信を利用して遠隔地の状況を監視する場合、各遠隔地に配置された遠隔情報送信装置がビデオカメラの画像を符号化し、これをISDN (integrated services digital network)などの通信路を経由して監視センターに伝送する。通信コストを低減したり、遠隔地での異常を早期に検出するためには、非通信時に侵入物検出を行い、侵入物が検出された時にビデオカメラの画像を、オペレータが在中する監視センタに自動発呼で伝送させるという方法が有効である。たとえば特開平9-307876号公報には、監視カメラからの画像データをフレーム内予測符号化およびフレーム間予測符号化するコーデックと、コーデックにて得られる動きベクトルに基づいて画像の変化量を検出する侵入物検出部と、侵入物が検出された場合に自動発呼指示を出力する自動発呼制御部と、自動発呼制御部からの自動発呼指示に従って監視センタに接続し、コーデックからの符号化画像を伝送するネットワークインタフェースとを監視地点に備える遠隔監視方式が記載されている。このような構成により従来例では、非通信時に動きベクトルに基づく動体検出を行い、その結果、動体が検出された場合に監視カメラの画像を監視センタに自動発呼で伝送する。
【０００３】
【発明が解決しようとする課題】
しかし、このような遠隔監視システムでは、監視センタにて待機しているオペレータが各遠隔地に設置された監視カメラで写された画像のみをモニタ上で観察するため、遠隔地に異常が発生した際の正確な状況を直観的に把握しにくいという問題があった。たとえば、監視地点で侵入物が検出されて、その画像が監視センタ内のモニタに表示されたとしても、なにがどのように異常なのかを迅速かつ明快に判断することは困難であった。
【０００４】
本発明は、監視対象空間内での異常発生の状況を直観的に把握できる優れたユーザインタフェースを有する遠隔監視装置および遠隔監視方法ならびに遠隔監視システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は上述の課題を解決するために、監視対象の情報を伝送路を介して接続される受信装置に送信する送信装置と、送信装置からの情報を受信して監視対象の情報を出力する受信装置とにより、監視対象の状況を監視する遠隔監視装置において、送信装置は、３次元実空間を撮像する撮像手段にて生成される画像データに基づいて、監視対象の３次元実空間における動体を検出し、動体に応じた動体情報を出力する動体検出手段と、画像データを符号化し、符号化された符号化データを出力する第１の符号化手段と、符号化データおよび動体情報を伝送データに変換して、伝送データを伝送路を介して受信装置に伝送する情報送信手段とを含み、受信装置は、情報送信手段から送信される伝送データを受信し、伝送データに応じて符号化データおよび動体情報を、対応する出力先に出力する情報受信手段と、符号化データを復号する復号手段と、３次元実空間をモデル化したモデルデータおよび更新されたモデルデータを再生し、モデルデータに応じたグラフィック画像と、画像データに応じた画像を表示手段に表示させる再生手段とを含むことを特徴とする。
【０００６】
また、本発明は上述の課題を解決するために、監視センタの設置場所より遠隔地に、監視対象を撮像するカメラを設置し、遠隔地側から監視対象の状況を伝送路を介して監視センタに送信し、監視センタにて監視する遠隔監視方法において、遠隔地側から、監視対象の３次元実空間を２次元画像に変換して符号化し監視センタに伝送するとともに、３次元実空間中の動体を検出して動体の動体情報を監視センタに伝送し、監視センタは、符号化された２次元画像を復号して再生し、動体情報に基づいて、３次元実空間のモデルデータを更新して再生することを特徴とする。
【０００７】
また、本発明は上述の課題を解決するために、送信装置と、受信装置とが伝送路を介して接続され、送信装置の撮像手段にて撮像した画像を受信装置にて監視する遠隔監視システムにおいて、送信装置は、画像データを入力して受信装置へ送信する第１の送信手段と、入力画像に監視対象領域が存在することを判定し受信装置へ送信する第２の送信手段とを備え、受信装置は、送信装置から送信される画像データに応じた画像を表示する表示手段と、画像データのフレームに対象領域が存在するとき、対象領域の状態を監視支援データとして受信装置の操作者に示す手段を備え、遠隔送信装置または遠隔受信装置に、対象領域の状態を求める手段を備えることを特徴とする。
【０００８】
また、本発明は上述の課題を解決するために、送信装置と受信装置とが伝送路を介して接続され、送信装置の撮像手段にて撮像した画像を受信装置にて監視する遠隔制御方法において、送信装置から受信装置に画像データを送信し、入力画像に監視対象領域が存在することを判定すると判定結果を遠隔受信装置に送信し、受信装置は、画像データを受信して画像データに応じた画像を表示し、画像データが遠隔監視対象の存在するフレームであるとき、検出された対象領域の状態を監視支援データとして受信装置の操作者に示し、送信装置または受信装置は、対象領域の状態を求めることを特徴とする。
【０００９】
【発明の実施の形態】
次に添付図面を参照して本発明による遠隔監視装置およびその方法の実施例を詳細に説明する。図１を参照すると同図には、遠隔監視装置の一実施例が示されている。この遠隔監視装置は、遠隔情報送信装置101 と、遠隔情報受信装置102 とを含み、これら装置はISDN等の通信網を介して接続される。
【００１０】
遠隔情報送信装置101 は、監視カメラ122 と、画像符号化部103 と、動体検出部104 と、シーン記憶部105 と、データ送信部106 とを含み、遠隔情報受信装置102 は、データ受信部107 と、画像復号部108 と、座標変換部109 と、シーン合成部110 と、モニタ111 とを含む。
【００１１】
監視カメラ122 は、実空間を撮像して動画像データを生成し、生成したデータを画像符号化部103 および動体検出部104 に出力する。本実施例における監視カメラ122 は、画角がほぼ 180°もしくは 180°以上の全周魚眼レンズ（図示せず）を装着し、このレンズによって３次元実空間の光学情報が２次元平面の撮像面に投影される。レンズの焦点面に配設される撮像素子は、撮像面に結像される光学像を光電変換し、露光量に応じた画像信号を生成する。その撮像面にはカラーフィルタが形成され、カメラ122 は、カラーフィルタに応じたカラー画像信号を生成するが、これに限らず、たとえばカラーフィルタを廃し、モノクロ画像信号を生成するようにしてもよい。カメラ122 は生成した画像信号をアナログ・ディジタル(A/D) 変換し、順次撮像される動画像データを画像符号化部103 および動体検出部104 に出力する。なお、レンズは全周魚眼レンズに限らず、たとえば対角線画角が 180°程度の魚眼レンズなど超広角レンズでもよい。
【００１２】
図２にカメラ122 の投影動作を示す。同図(a) は、３次元実空間中のカメラ配置状態の一例を示すものであり、カメラ122 が地面205 に配置されている。図示するように、地面205 上に２つの直交する座標軸x,y を設定し、ｘｙ空間に直交する方向に座標軸ｚを設定すると、カメラ122 は、位置(0,0,0) に、ｚ軸の正方向を向いて配置される。また、任意のオブジェクトＰ 202は、ｘ軸からの方位角θおよび仰角に応じたｚ軸からの角度φの方向に配置される。同図(b) は同図(a) の３次元実空間に対して投影されたカメラ122 の出力画像を示す。図示するように、ＸＹ画像空間上でのオブジェクトＰの位置204 は、曲座標表現で角度θおよび距離２Ｒφ／πの位置に近似できる。すなわち、３次元実空間中のオブジェクトの方位角は出力画像中のＸ軸からの角度に一致し、一方、オブジェクトの角度φは出力画像中の原点からの距離に比例する。以上から、３次元実空間でｚ値が正の領域は、出力画像において半径Ｒの領域203 内に投影される。なお、実際に用いる魚眼レンズの特性によっては上記の投影特性が厳密には当てはまらない場合もあるので、この場合には、あらかじめレンズの特性を計測し、これに基づいて、上記の投影特性が成り立つように動画像データを補正する。この補正処理は、カメラ122 内部で行ってもよく、また後述する座標変換部109 が行ってもよい。なおこの説明では、地面205 上にカメラ122 を配置させたが、これに限らず、たとえば、監視対象が建物内である場合は、その天井部分にカメラ122 を地面に向けて設置してもよく、またカメラ122 を壁等に設置してもよい。
【００１３】
画像符号化部103 は、カメラ122 から出力される動画像データと、動体検出部104 より供給される動きベクトルとに基づいて現フレームに対応する予測フレームを計算し、この予測フレームと現フレームの動画像データとの差分を算出する。画像符号化部103 は、算出された差分データ、動きベクトルおよび符号化モードを符号化し、生成された符号化ストリームをデータ送信部106 に出力する。符号化方式は、たとえば、いわゆるMPEG方式などのビデオ符号化方式が適用される。
【００１４】
動体検出部104 は、カメラ122 より動画像データを入力して、動きベクトルを画像符号化部103 に出力し、動体データをデータ送信部106 に出力する。動体検出部104 は、動画像データのフレームを所定サイズのブロックに分割し、各ブロック毎に動きベクトルを検出する。図３に示すフレーム301 は現在入力された現フレーム、フレーム302 は直前に入力された前フレームを表す。動体検出部104 は、動きベクトルを検出するにあたって、現フレーム301 中の任意のブロック303 に対し、前フレーム302 中から最も画素パターンが一致する領域を検出する。たとえば、ブロック303 の位置が(x,y) である場合、前フレーム302 中の位置(x,y) を中心とする所定の範囲内で、両フレームの画素データの比較を行い、ブロック303 に対して最もパターンが一致する領域305 を検出する。このとき、ブロック303 の位置に相当する前フレーム302 中のブロック304 と領域305 との位置のずれを計算し、これを動きベクトル306 とする。動体検出部104 は検出した動きベクトルを画像符号化部103 に出力する。
【００１５】
図１に戻ってシーン記憶部105 は、カメラ122 にて撮像される平常時における撮像画像に応じたシーン初期データを記憶するメモリ部である。このシーン初期データは、遠隔情報送信装置101 の設置された場所にてカメラ122 にて撮像される３次元実空間の平常時の状態をモデル化したデータであり、３次元空間中に存在するオブジェクトの位置、形状、テクスチャや、各オブジェクト毎の補足的情報（テキスト情報、オーディオ情報など）を含む。このシーン初期データは、あらかじめ撮像および処理されてシーン記憶部105 内に記憶されている。シーン記憶部105 は、遠隔情報送信装置101 の初期動作時に、記憶したシーン初期データを読み出してデータ送信部106 に出力する。
【００１６】
データ送信部106 は、画像符号化部103 より符号化ストリームを入力し、動体検出部104 より動体データを入力し、シーン記憶部105 よりシーン初期データを入力し、これらを伝送データとしてISDN等のネットワークを介して遠隔情報受信装置102 のデータ受信部107 に送信する。
【００１７】
データ受信部107 は、データ送信部106 から送信される伝送データを受信して、伝送データに応じて符号化ストリームおよびシーン初期データを再生する。データ受信部107 は、再生した符号化ストリームを画像復号部108 に出力し、シーン初期データをシーンデータとしてシーン合成部110 に出力する。画像復号部108 は、入力される符号化ストリームを復号してその復号データを座標変換部109 に出力する。
【００１８】
座標変換部109 は、画像復号部108 より復号データを入力し、シーン合成部110 より表示領域情報を入力して、カメラ122 の魚眼レンズにて歪曲されている画像の復号データを平行投影処理によるデータに変換し、これを座標変換データとしてシーン合成部110 に出力する。
【００１９】
この変換処理の概略を図４に示すと、画像復号部108 より入力された復号データ401 が、画角 180°の３次元実空間が円形の画像領域に投影されている。復号データ401 中に設定される領域402 はシーン合成部110 より入力された表示領域情報を示す領域であり、この表示領域情報は４つの座標データ（図中、Ａ，Ｂ，Ｃ，Ｄ各点の座標データ）からなる。画像復号部108 は、この４つの座標データで指定されるドーナツ形状の一部を切り出した形状の領域を長方形の領域403 に変換して、これを座標変換データとしてシーン合成部110 に出力する。これにより、上記座標変換データは、カメラ122 の魚眼レンズによる歪曲を解除した、平行投影による画像データとなる。
【００２０】
シーン合成部110 は、データ受信部107 よりシーンデータを入力し、座標変換部109 より座標変換データを入力して、座標変換部109 に表示領域情報を出力し、モニタ111 に表示データを出力する。シーン合成部110 の出力はモニタ111 に接続され、モニタ111 は、シーン合成部110 より表示データを入力し、これを表示する。
【００２１】
以上のような構成で、本実施例における遠隔監視装置の動作を説明する。遠隔情報送信装置101 が動作を開始すると、まず、シーン記憶部105 よりデータ送信部106 にシーン初期データが出力され、その後、カメラ122 が動作を開始すると、３次元実空間の光学情報を２次元平面に投影し、これを光電変換し、A/D 変換し、対応する動画像データを出力する。
【００２２】
次に、動体検出部104 は、カメラ122 より動画像データを入力すると、動画像データのフレームを所定サイズのブロックに分割し、各ブロック毎に動きベクトルを検出する。動体検出部104 は、ブロック毎の動きベクトルを検出すると、これを画像符号化部103 に出力する。また、動体検出部104 は、フレーム全体にわたって動きベクトルの総和を求める。動体検出部104 は、これが所定の閾値より大きい場合に、各ブロック毎の動きベクトルに基づいて動体の重心を求め、その位置情報を動体データとしてデータ送信部106 に出力する、なお、動体検出部104 は、各ブロックの動きベクトルに基づき、動体の大きさや領域を求め、これらの情報を含む動体データを生成してもよい。
【００２３】
次に、画像符号化部103 は、カメラ122 より動画像データを入力し、動体検出部104 よりブロック毎の動きベクトルを入力すると、前フレームの動画像データと動きベクトルとから現フレームに対応する予測フレームを計算し、現フレームの動画像データとの差分を求める。画像符号化部103 は、この差分データと動きベクトルなどを符号化することにより、動画像データの時間方向の冗長な情報を削除して、符号化による圧縮効率を高める。以上の動作により、画像符号化部103 は符号化ストリームを計算し、これをデータ送信部106 に出力する。
【００２４】
データ送信部106 は、遠隔情報送信装置101 の初期動作時にシーン記憶部105 からシーン初期データを入力し、これを伝送データとして遠隔情報受信装置102 のデータ受信部107 に送信する。また、データ送信部106 は、画像符号化部103 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部107 に送信する。また、データ送信部106 は、動体検出部104 より動体データを入力すると、これを伝送データとしてデータ受信部107 に送信する。
【００２５】
以上の動作により、この第１の実施例の遠隔情報送信装置101 は、動作開始時にはシーン初期データを遠隔情報受信装置102 に送信し、それ以降は、魚眼レンズ付きのカメラ122 の動画像データを符号化して遠隔情報受信装置102 に送信し、さらに、動体が検出された場合に動体データを遠隔情報受信装置102 に送信する。
【００２６】
遠隔情報受信装置102 では、受信した伝送データがシーン初期データである場合のステップ(A) 、伝送データが符号化ストリームである場合のステップ(B) および伝送データが動体データである場合のステップ(C) のいずれかを判定し、判定結果に応じた処理動作を行う。
【００２７】
伝送データがシーン初期データである場合(A) において、データ受信部107 は、シーン初期データをシーンデータとしてシーン合成部110 に出力し、シーン合成部110 は、受け取ったシーンデータに基づいて遠隔情報送信装置101 が設置された３次元実空間の平常時の状態をグラフィクス表現により再構成し、これを２次元平面に投影したグラフィクスの表示データに変換して、この表示データをモニタ111 に出力する。また、シーン合成部110 は、シーン初期データに応じた表示領域情報として所定の初期値を座標変換部109 に出力する。モニタ111 は、シーン合成部110 より表示データを入力して、これをCRT ディスプレイやLCD ディスプレイなどの表示デバイスに表示する。
【００２８】
次に伝送データが符号化ストリームである場合(B) におけるデータ受信部107 は、符号化ストリームを画像復号部108 に出力し、画像復号部108 は、上記符号化ストリームを復号して、その復号データを座標変換部109 に出力する。座標変換部109 は、画像復号部108 より復号データを入力し、シーン合成部110 より表示領域情報を入力し、カメラ122 の魚眼レンズにより歪曲された復号データを平行投影によるデータに変換し、これを座標変換データとしてシーン合成部110 に出力する。シーン合成部110 は、座標変換部109 より座標変換データを入力すると、これを動画像の表示データとしてモニタ111 に出力して、シーン合成部110 から出力される表示データに応じた画像を表示する。
【００２９】
次に伝送データが動体データである場合(C) におけるデータ受信部107 は、動体データをシーンデータとしてシーン合成部110 に出力する。シーン合成部110 は、上記シーンデータに基づいて、ステップ(A) の場合に作成したグラフィクスの表示データを修正する。上記シーンデータには、画像復号部108 より出力される復号画像における動体の重心位置の情報が含まれている。シーン合成部110 は表示データを修正するに当たって、動体の重心位置に基づき、カメラ122 の位置から動体をみた場合の方位角および仰角に応じた角度を計算する。これは、図２(b) における点Ｐ(X,Y) と方位角θおよび角度φの位置関係から計算される。次に、シーン合成部110 は、動体の方位角と仰角に応じた角度に基づいて、グラフィクスの表示データ中に、動体の存在範囲を示すオブジェクトを追加する。また、すでに表示データ中に動体の存在範囲を示すオブジェクトが存在する場合には、このオブジェクトの向きを修正する。シーンデータ中に動体の大きさや領域を表す情報が含まれる場合には、動体の存在範囲を示すオブジェクトの大きさや形状を変化させるようにしてもよい。
【００３０】
また、シーン合成部110 は、動体の重心位置に基づいて、復号データ上の該重心位置を中心として設定し、さらに図４に示したような表示領域402 を設定する。シーン合成部110 は、この領域を表す４つの座標データを求め、表示領域情報として座標変換部109 に出力する。さらに、シーン合成部110 は、シーンデータに基づいて、ステップ(B) の場合に作成された動画像の表示データ中の動体位置に、動体を指し示すマーカ画像を合成する。シーンデータ中に動体の大きさや領域を含む場合には、マーカ画像の大きさや形状を変化させるようにしてもよい。シーン合成部110 は、修正された表示データをモニタ111 に出力する。モニタ111 は、シーン合成部110 より表示データを入力してこれを表示する。
【００３１】
ここで図５を参照すると、同図にはシーン合成部110 によって作成される表示データによるモニタ表示例が示されている。この図において、表示画面501 内の左方にはグラフィクス表示502 が配置され、右方には動画像表示505 が配置されている。グラフィクス表示502 には、シーン記憶部105 に記憶されたモデル中のオブジェクト群503 と、動体の存在範囲を示すオブジェクト504 とを含む。動画像表示505 には、カメラ122 により撮影された動画像中に検出された動体506 と、動体の位置を示すマーカ画像507 とを含む。
【００３２】
なお、シーン合成部110 を、ポインティングデバイスなどのオペレータによる操作指示を入力する入力手段を含むように構成する場合、シーン合成部110 は、オペレータの指示に応じて画像変換処理し、動画像の表示をパン、チルト、ズームしたり、表示領域を設定し直してグラフィクス表示の視点を変更することができる。
【００３３】
以上の動作により、第１の実施例における遠隔監視装置101 は、遠隔情報送信装置101 から遠隔情報受信装置102 にシーン初期データが受信され、これを再構成してグラフィクスオブジェクト503 を表示し、遠隔情報送信装置101 より符号化ストリームが受信されて動画像505,506 が表示され、遠隔情報送信装置101 より動体データが受信されて、グラフィクス表示504 と、動画像表示の中に挿入した動体を指し示すオブジェクト507 とが表示される。
【００３４】
このように、本実施例では、遠隔情報送信装置101 があらかじめ遠隔地のシーンデータを遠隔情報受信装置102 に送信したのち、動画像データを符号化して順次送信する。このとき、遠隔情報送信装置101 が動体を検出して、動画像中の動体の位置を遠隔情報受信装置102 に送信すると、これを受信した遠隔情報受信装置102 が、シーンデータ中の動体の存在範囲を計算し、これをグラフィクス表示する。したがって、遠隔地の監視対象空間全体の状況をグラフィクス表示し、これを動体の動画像表示と組み合わせることによって、遠隔地での異常発生の状況を直観的に把握でき、非常時の対応がとりやすくなる。さらに、魚眼レンズ付きのカメラで広い画角の映像を入力し、これに基づき動体検出および状況表示を行うので、監視対象空間中の異常状態を即座に知ることができる。
【００３５】
次に図６を参照して遠隔監視装置の第２の実施例を説明する。本実施例における遠隔監視装置は、図１に示した第１の実施例と同様に遠隔情報送信装置601 と遠隔情報受信装置602 とがISDN等の通信網を介して接続されるシステムである。遠隔情報送信装置601 は、監視カメラ622 と、画像符号化部603 と、動体検出部604 と、シーン記憶部605 と、シーン更新部612 と、データ送信部606 とを含む。また、遠隔情報受信装置602 は、データ受信部607 と、画像復号部608 と、シーン合成部610 と、モニタ611 とを含む。
【００３６】
監視カメラ622 は、動体検出部604 よりカメラ制御データを入力し、実空間を撮像して動画像データを画像符号化部603 および動体検出部604 に出力する。本実施例における監視カメラ622 は、上下左右等の向きを変更可能な雲台の上にカメラ622 の撮像部が設置されている。この雲台の向きは、平常時は自動で変更され、動体検出部604 からカメラ制御信号が入力されると、その制御信号に応じた向きに調節される。また撮像部に装着されるレンズは、監視対象に応じて通常の広角レンズやズームレンズなどを使用してよい。カメラ622 の他の点については図１に示した監視カメラ122 と同じ構成でよい。
【００３７】
画像符号化部603 は、監視カメラ622 より動画像データを入力し、動体検出部604 より動きベクトルを入力し、これらを符号化した符号化ストリームをデータ送信部606 に出力する。
【００３８】
動体検出部604 は、カメラ622 より動画像データを入力して、動きベクトルを画像符号化部603 に出力し、動体データをシーン更新部612 に出力し、カメラ制御データをカメラ622 に出力する。動体検出部204 は、カメラ622 より動画像データを入力すると、図１に示した動体検出部104 と同様に、動画像データのフレームを所定サイズのブロックに分割し、各ブロック毎に動きベクトルを検出し、これを画像符号化部603 に出力する。さらに動体検出部604 は、フレーム全体わたり動きベクトルの総和を求め、これが所定の閾値より大きい場合に、各ブロック毎の動きベクトルに基づいて動体の重心を求め、その位置情報とカメラ622 の向きの情報とを動体データとしてシーン更新部612 に出力する。なお、動体検出部604 は、各ブロックの動きベクトルに基づき、動体の大きさや領域を求め、これらを動体データに含めるようにしてもよい。さらに、動体検出部604 は、動体の中心がフレーム中央に写るようにするための雲台の向きを計算し、その計算結果をカメラ制御データとしてカメラ622 に出力する。
【００３９】
カメラ622 の出力に接続された画像符号化部603 は、図１に示した画像符号化部103 と同様に、カメラ622 より動画像データを入力し、動体検出部604 よりブロック毎の動きベクトルを入力すると、これらに基づいて符号化ストリームを計算し、これをデータ送信部606 に出力する。
【００４０】
シーン記憶部605 は、図１に示したシーン記憶部105 と同様に、カメラ622 にて撮像される平常時における撮像画像に応じたシーン初期データを記憶し、シーン初期データをデータ送信部606 に出力し、シーン記憶データをシーン更新部612 に入出力する。
【００４１】
シーン更新部612 は、動体検出部604 より動体データを入力し、シーン記憶データをシーン記憶部605 に入出力し、シーン更新データをデータ送信部606 に出力する。シーン更新部612 は、動体検出部604 より動体データを入力すると、そのうち動体の位置情報とカメラ622 の向き情報に基づき、動体が存在する方向を計算する。シーン更新部612 は、シーン記憶部605 よりシーン記憶データを入力する。このシーン記憶データは遠隔情報送信装置601 が動作を開始した際にはシーン初期データと一致している。
【００４２】
シーン更新部612 は、シーン記憶データ中に動体に該当するオブジェクトが含まれているかどうかを判定する。シーン記憶部605 のシーン記憶データ中に動体に該当するオブジェクトが存在しない場合、シーン更新部612 は、計算された動体の向きに基づいて動体に該当するオブジェクトを生成し、これをシーン更新データとしてデータ送信部606 に出力するとともに、シーン記憶データにこのオブジェクトを追加して、これをシーン記憶部605 に出力する。シーン記憶部605 は、この更新されたデータを新しいシーン記憶データとして記憶する。
【００４３】
一方、シーン記憶データ中に動体に該当するオブジェクトを検出した場合、シーン更新部612 は、オブジェクトの向きの更新情報をシーン更新データとしてデータ送信部606 に出力するとともに、シーン記憶データ中のこのオブジェクトの向きを変更して、これをシーン記憶部605 に出力する。シーン記憶部605 は、この更新されたデータを新しいシーン記憶データとして記憶する。
【００４４】
なお、シーン更新部612 は、動体検出部604 より入力される動体データのうち動体の大きさや領域を考慮して、シーン記憶データやシーン更新データに含める動体オブジェクトの大きさおよび形状を変えてもよい。また、シーン更新部612 は、動体検出部604 より入力される動体データそのものをシーン更新データに含めるように構成してもよい。
【００４５】
図７を参照して動体が存在する位置への向きをシーン更新部612 にて算出する処理を説明する。この例はカメラ622 が配置された３次元実空間をｘｙｚ座標系で表し、原点Ｏ 701にカメラ622 を設置した場合である。現在カメラ622 は方位角α、仰角に応じた角度βの方向702 に向けられている。この方向702 にＹ軸をとると、カメラ622 が撮像した画像はＹ軸に直交したＸＺ平面上のスクリーン703 に配置することができる。このとき、ｘｙｚ座標系の原点Ｏと、ＸＹＺ座標系の原点Ｏ’との距離は、カメラレンズの焦点距離ｆに相当する。このとき、カメラ622 が撮像する画像は、Ｙ値が正の領域に存在する３次元空間を原点Ｏに向かって投影したときのスクリーン703 上の投影像と考える。したがって、スクリーン703 上の任意の点Ｐ 704 に対しては、点Ｐの位置(X,Y) とカメラの向き（α，β）とを用いて、ｘｙｚ座標系の原点Ｏからみた点Ｐの向き、すなわち方位角θと角度φとを計算することができる。シーン更新部612 は、この原理に基づいて動体が存在する位置への方向を計算する。さらにシーン更新部612 は、シーン記憶部605 よりシーン記憶データを入力する機能を有し、遠隔情報送信装置601 が動作を開始した際にはシーン初期データを入力する。
【００４６】
図６に戻ってデータ送信部606 は、遠隔情報送信装置601 の動作開始時にはシーン記憶部605 からシーン初期データを入力し、これを伝送データとして遠隔情報受信装置602 のデータ受信部607 に送信する。また、データ送信部606 は、画像符号化部603 より符号化ストリームを入力するとこれを伝送データとしてデータ受信部607 に送信する。また、データ送信部606 は、シーン更新部212 よりシーン更新データを入力するとこれを伝送データとしてデータ受信部607 に送信する。
【００４７】
遠隔情報受信装置602 のデータ受信部607 は、データ送信部606 より伝送データを受信し、画像復号部608 に符号化ストリームを出力し、シーン合成部610 にシーンデータを出力する。画像復号部608 は、データ受信部607 より符号化ストリームを入力し、シーン合成部610 に復号データを出力する。シーン合成部610 は、データ受信部607 よりシーンデータを入力し、画像復号部608 より復号データを入力し、モニタ611 に表示データを出力する。モニタ611 は、シーン合成部610 より表示データを入力しこれを表示する。
【００４８】
以上のような構成で、本実施例における遠隔監視装置の動作を説明する。遠隔情報送信装置601 が動作を開始すると、まず、データ送信部606 は、シーン記憶部605 より読み出されるシーン初期データを遠隔情報受信装置602 に送信する。
【００４９】
その後、カメラ622 が動作を開始し、３次元実空間の光学情報が２次元平面の撮像素子に投影され、これが光電変換およびA/D 変換されて、結像した光学像に対応する動画像データが出力される。カメラ622 の向きは、平常時には自動的に変更されるが、動体検出部604 からカメラ制御データがカメラ622 に入力されるとカメラ制御データに従ってその向きが変更される。
【００５０】
次に、動体検出部604 は、カメラ622 より動画像データを入力すると、図１に示した実施例の動体検出部104 と同様に、動画像データのフレームを所定サイズのブロックに分割し、各ブロック毎の動きベクトルを検出する。動体検出部604 は、検出した動きベクトルを画像符号化部603 に供給する。さらに動体検出部604 では、フレーム全体わたる動きベクトルの総和が求められる。この総和が所定の閾値より大きい場合が発生すると、各ブロック毎の動きベクトルに基づいて、動体の重心が算出され、その重心の位置情報とカメラ622 の向きの情報とが動体データとして動体検出部604 からシーン更新部612 に出力される。なお、動体検出部604 は、各ブロックの動きベクトルに基づいて、動体の大きさや領域を求め、これらを動体データに含めるようにしてもよい。
【００５１】
動体検出部204 は、さらに、動体の中心がフレームの中央に写るためのカメラ604 の雲台の向きを計算し、この計算結果がカメラ制御データとしてカメラ622 に出力され、検出された動体がフレームの中央部分にくるようにカメラ622 の向きが制御される。次に、画像符号化部203 は、図１に示した実施例の画像符号化部103 と同様に、カメラ622 より動画像データが入力され、動体検出部604 よりブロック毎の動きベクトルが入力されると、これらに基づいて符号化ストリームを計算し、この計算結果をデータ送信部606 に出力する。
【００５２】
一方、シーン更新部612 では、動体検出部604 より動体データが入力されると、そのうち動体の位置情報とカメラ622 の向き情報に基づいて、動体が存在する方向が計算される。また、シーン更新部612 、シーン記憶部605 から読み出されるシーン記憶データを入力し、このシーン記憶データは遠隔情報送信装置601 が動作を開始した際にはシーン初期データと一致している。
【００５３】
シーン更新部612 は、シーン記憶データ中に動体に該当するオブジェクトが含まれているかどうかを判定する。シーン記憶データ中に動体に該当するオブジェクトが存在しない場合、シーン更新部612 は、計算された動体の向きに基づいて動体に該当するオブジェクトを生成し、これをシーン更新データとしてデータ送信部606 に出力するとともに、シーン記憶データにこのオブジェクトを追加して、これをシーン記憶部605 に出力する。シーン記憶部605 は、この更新されたデータを新しいシーン記憶データとして記憶する。
【００５４】
一方、シーン記憶データ中に動体に該当するオブジェクトを検出した場合、シーン更新部612 は、オブジェクトの向きの更新情報をシーン更新データとしてデータ送信部606 に出力するとともに、シーン記憶データ中のこのオブジェクトの向きを変更して、これをシーン記憶部605 に出力する。シーン記憶部605 は、この更新されたデータを新しいシーン記憶データとして記憶する。
【００５５】
データ送信部606 は、遠隔情報送信装置601 の初期動作時にシーン記憶部605 からシーン初期データが入力されると、これを伝送データとしてデータ受信部607 に送信する。また、データ送信部606 は、画像符号化部603 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部607 に送信する。また、データ送信部606 は、シーン更新部612 よりシーン更新データを入力すると、これを伝送データとしてデータ受信部607 に送信する。
【００５６】
以上の動作により、遠隔情報送信装置601 は、動作開始時にはシーン初期データを遠隔情報受信装置602 に送信し、それ以降は、カメラ622 の動画像データを符号化して遠隔情報受信装置602 に送信し、さらに、動体が検出された場合にシーンの更新データを遠隔情報受信装置602 に送信する。
【００５７】
遠隔情報受信装置602 では、データ受信部607 にて受信される伝送データに応じた処理動作が行われる。まず、伝送データがシーン初期データである場合(A) では、データ受信部607 は、シーン初期データをシーンデータとしてシーン合成部210 に出力し、シーンデータを受信したシーン合成部610 は、そのシーンデータに基づいて遠隔情報送信装置601 が設置された３次元実空間の平常時の状態をグラフィクス表現により再構成し、これを２次元平面に投影したグラフィクスの表示データを生成する。この表示データはモニタ611 に出力されて、表示データに応じたグラフィクス画像が表示される。
【００５８】
次に、データ受信部607 にて受信される伝送データが符号化ストリームであった場合(B) には、データ受信部607 は、符号化ストリームを画像復号部608 に出力し、画像復号部608 では、その符号化ストリームが復号されて、その復号結果が復号データとしてシーン合成部610 に出力される。シーン合成部610 は、画像復号部608 より復号データを入力すると、これを動画像の表示データとしてモニタ611 に出力し、モニタ611 は、入力される表示データに応じた動画像を表示する。
【００５９】
次に、伝送データがシーン更新データであった場合(C) には、データ受信部607 は、シーン更新データをシーンデータとしてシーン合成部610 に出力する。シーン合成部210 では、供給されるシーンデータに基づいて、上記(A) の場合に作成したグラフィクスの表示データを更新し、更新された表示データをモニタ611 に出力する。これによりグラフィクス画像が更新される。
【００６０】
以上により、本実施例の遠隔情報受信装置602 は、図５に示したような画面表示を行うことができる。このように遠隔情報受信装置602 は、遠隔情報送信装置601 よりシーン初期データを受信し、これを再構成してグラフィクスオブジェクトを表示し、遠隔情報送信装置601 より符号化ストリームを受信して動画像を表示し、遠隔情報送信装置601 よりシーン更新データを受信して、グラフィクス表示の中に、動体を指し示すオブジェクトを挿入する。
【００６１】
以上説明したように、この第２の実施例では、遠隔情報送信装置601 があらかじめ遠隔地のシーンデータを遠隔情報受信装置602 に送信したのち、動画像データを符号化して順次送信する。このとき、遠隔情報送信装置601 は動体を検出すると、動体の３次元配置を推定してこれを遠隔情報受信装置602 に送信し、遠隔情報受信装置602 がこれをグラフィクス表示する。したがって、遠隔地の監視対象空間全体の状況をグラフィクス表示し、これを動体の動画像表示と組み合わせることによって、遠隔地での異常発生の状況を直観的に把握でき、非常時の対応が取りやすくなる。また本第２の実施例では、遠隔情報受信装置202 が動体の３次元配置を直接受信する点で図１に示した実施例とは異なり、このような構成により、遠隔情報受信装置が設置される監視センタが各遠隔監視点の正確なカメラ位置を把握できない場合や、遠隔監視点のカメラが自動的にパンやチルトなどの撮像制御を行う場合であっても、監視対象空関中の異常発生箇所を即座に知ることができる。
【００６２】
次に図８を参照して他の実施例を説明する。同図には遠隔監視装置の第３の実施例が示されている。本実施例における遠隔監視装置は、図１に示した第１の実施例と同様に遠隔情報送信装置801 と遠隔情報受信装置802 とがISDN等の通信網を介して接続されるシステムである。遠隔情報送信装置801 は、監視カメラ822 と、画像符号化部803 と、動体検出部804 と、シーン記憶部805 と、高品質画像符号化部812 と、データ記憶部813 と、データ送信部806 とを含む。遠隔情報受信装置802 は、データ受信部807 と、画像復号部808 と、座標変換部809 と、シーン合成部810 と、モニタ811 とを含む。
【００６３】
監視カメラ822 は、図１に示した監視カメラ122 と同じ構成でよく、魚眼レンズを備えており、実空間を撮像して生成した動画像データを、画像符号化部803 、動体検出部804 および高品質画像符号化部812 に出力する。
【００６４】
画像符号化部803 は、カメラ822 より動画像データを入力して、符号化ストリームをデータ送信部806 に出力する。本実施例における画像符号化部803 は、動体検出部804 にて生成される動きベクトルを用いずに、フレーム内の画素データに基づいてそのフレームの符号化ストリームを計算する。画像符号化部803 は、１フレームの符号化ストリームをデータ送信部806 に出力すると、その後所定フレーム数分だけ処理を休止したのち符号化処理を再開する。この結果、画像符号化部803 は、一定の時間間隔で、動画像データのフレームを間引いた静止画像の符号化ストリームをデータ送信部806 に出力する。
【００６５】
動体検出部804 は、図１に示した動体検出部104 と同様の構成でよく、カメラ822 より動画像データを入力して、動きベクトルを高品質画像符号化部812 に出力し、動体データをデータ送信部806 およびデータ記憶部813 に出力する。
【００６６】
また、シーン記憶部805 についても図１に示したシーン記憶部105 と同様の構成でよく、シーン初期データをデータ送信部806 に出力する。
【００６７】
高品質画像符号化部812 は、図１に示した画像符号化部103 と同様の構成でよく、カメラ822 から出力される動画像データと、動体検出部804 から出力される動きベクトルとをそれぞれ入力して符号化し、符号化された高品質符号化ストリームをデータ記憶部813 に出力する。
【００６８】
データ記憶部813 は、動体検出部804 より動体データを入力し、高品質画像符号化部812 より高品質符号化ストリームを入力し、また、遠隔情報受信装置802 のシーン合成部810 より蓄積データ伝送命令を受信し、データ送信部806 に蓄積データを出力する。詳しくはデータ記憶部813 は、動体データおよび高品質符号化ストリームが入力されるとこれら情報を記憶する。データ記憶部813 には一定時間Ｔ分の記憶容量の記憶手段が備られ、現在より過去にさかのぼる期間Ｔの動体データと高品質符号化ストリームとが記憶されるように記憶制御される。また、データ記憶部813 は、遠隔情報受信装置812 のシーン合成部810 より蓄積データ伝送命令を受信すると、記憶している動体データと高品質符号化ストリームとを蓄積データとしてデータ送信部806 に出力する。
【００６９】
データ送信部806 は、遠隔情報送信装置801 の初期動作時にシーン記憶部805 からシーン初期データを入力すると、これを伝送データとして遠隔情報受信装置802 のデータ受信部807 に送信する。また、データ送信部806 は、画像符号化部803 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部807 に送信する。また、データ送信部806 は、動体検出部804 より出力される動体データを入力すると、これを伝送データとしてデータ受信部807 に送信する。また、データ送信部806 は、データ記憶部813 から読み出された蓄積データを入力し、これを伝送データとしてデータ受信部807 に送信する。
【００７０】
一方、遠隔情報受信装置802 のデータ受信部807 は、遠隔情報送信装置801 から送信された伝送データを受信すると、その伝送データに応じて符号化ストリームを画像復号部808 に出力し、シーンデータをシーン合成部810 に出力する。
【００７１】
画像復号部808 は、図１に示した座標変換部109 と同様に、入力される符号化ストリームを復号して、座標変換部809 に復号データを出力する。座標変換部809 は、入力される復号データと、シーン合成部810 から供給される表示領域情報とに基づいて座標変換データを生成し、生成された座標変換データをシーン合成部810 に出力する。
【００７２】
シーン合成部810 は、図１に示したシーン合成部101 と同様に、データ受信部807 よりシーンデータを入力し、座標変換部809 より座標変換データを入力すると表示領域情報を生成し、座標変換部809 に表示領域情報を出力するとともに、データ記憶部813 に蓄積データ伝送命令を送信し、モニタ811 に表示データを出力する。モニタ811 は、シーン合成部310 から受信される表示データに応じた画像を表示する。
【００７３】
以上のような構成で第３の実施例における遠隔情報送信装置801 の動作を説明する。遠隔情報送信装置801 が動作を開始すると、まず、遠隔情報送信装置が設置された３次元実空間の平常時の状態をモデル化したデータシーン初期データがシーン記憶部805 からデータ送信部806 に出力される。その後、カメラ822 が動作を開始すると、３次元実空間の光学情報を２次元平面に投影した光学像が光電変換およびA/D 変換され、カメラ822 から撮像画像に応じた動画像データが出力される。
【００７４】
次に、動体検出部804 は、入力される動画像データのフレームを分割した各ブロック毎に動きベクトルを検出し、検出した動きベクトルが高品質画像符号化部812 に出力される。また、動体検出部804 は、図１に示した動体検出部104 と同様に動体データを計算し、算出結果がデータ送信部806 とデータ記憶部813 とに出力される。高品質画像符号化部812 では、動画像データがカメラ822 から入力され、動体検出部304 よりブロック毎の動きベクトルが入力されると、これらに基づいて符号化ストリームを計算し、これを高品質符号化ストリームとしてデータ記憶部813 に出力する。
【００７５】
データ記憶部813 は、入力される動体データと、高品質符号化ストリームとを記憶する。また、データ記憶部813 は、遠隔情報受信装置812 のシーン合成部810 から送信された蓄積データ伝送命令を受信すると、記憶している動体データと高品質符号化ストリームとを蓄積データとしてデータ送信部806 に出力する。
【００７６】
一方、画像符号化部803 は、カメラ822 より動画像データを入力すると、これに基づいて符号化ストリームを計算し、これをデータ送信部806 に出力する。但し、画像符号化部803 は、動きベクトルを用いることなく、フレーム内の画素データに基づいてこのフレームの符号化ストリームを計算する。データ送信部806 は、遠隔情報送信装置801 の初期動作時にシーン記憶部805 からシーン初期データを入力すると、これを伝送データとしてデータ受信部807 に送信する。また、データ送信部806 は、画像符号化部803 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部807 に送信する。また、データ送信部806 は、動体検出部804 より動体データを入力すると、これを伝送データとしてデータ受信部807 に送信する。また、データ送信部806 は、データ記憶部813 より蓄積データを入力すると、これを伝送データとしてデータ受信部807 に送信する。
【００７７】
以上の動作により、第３の実施例における遠隔情報送信装置801 は、動作開始時にはシーン初期データを遠隔情報受信装置802 に送信し、それ以降は、魚眼レンズ付きのカメラ822 の、一定期間ごとの静止画像データを符号化して遠隔情報受信装置802 に送信し、動体が検出された場合に動体データを遠隔情報受信装置802 に送信し、遠隔情報受信装置812 の命令を受信した場合に過去のカメラ822 の動画像データを符号化した符号化ストリームと動体データとからなる蓄積データを遠隔受信装置802 に送信する。
【００７８】
遠隔情報受信装置802 では、伝送データがシーン初期データである場合(A) において、データ受信部807 は、受信したシーン初期データをシーンデータとしてシーン合成部810 に出力する。シーン合成部810 は、そのシーンデータに基づいて遠隔情報送信装置801 が設置された３次元実空間の平常時の状態をグラフィクス表現により再構成し、これを２次元平面に投影したグラフィクスの表示データをモニタ811 に出力する。また、シーン合成部810 は、表示領域情報として所定の初期値を座標変換部809 に出力する。モニタ811 は、シーン合成部810 から出力される表示データに応じた画像を表示する。
【００７９】
また、伝送データが符号化ストリームである場合(B) において、データ受信部807 は符号化ストリームを画像復号部808 に出力し、画像復号部808 は、その符号化ストリームを復号して、その結果を復号データとして座標変換部809 に出力する。座標変換部809 は、入力される復号データと表示領域情報とにより、カメラ822 の魚眼レンズにより歪曲された復号データを平行投影によるデータに変換し、これを座標変換データとしてシーン合成部810 に出力する。シーン合成部810 は、座標変換部809 より座標変換データを入力すると、これを実画像の表示データとしてモニタ811 に出力し、その画像を表示させる。
【００８０】
また、伝送データが動体データである場合(C) において、データ受信部807 は、動体データをシーンデータとしてシーン合成部810 に出力する。シーン合成部810 は、そのシーンデータに基づいて、上記(A) の場合に作成したグラフィクスの表示データを修正し、上記(C) の場合に作成された実画像の表示データを修正してこの表示データをモニタ811 に出力するとともに、表示領域情報を計算して座標変換部809 に出力する。さらにシーン合成部810 は、オペレータの指示などの必要に応じて遠隔情報送信装置801 のデータ記憶部813 に蓄積データ伝送命令を送信する。
【００８１】
また、伝送データが蓄積データである場合(D) データ受信部807 は、蓄積データに含まれる高品質符号化ストリームに対しては、これを符号化ストリームとして画像復号部808 に出力する。この場合、遠隔情報受信装置802 の画像復号部808 、座標変換部809 、シーン合成部810 およびモニタ811 の動作は前記(B) の場合と同じである。また、データ受信部807 は、蓄積データに含まれる動体データに対しては、これをシーンデータとしてシーン合成部810 に出力する。この場合、遠隔情報受信装置802 のシーン合成部810 およびモニタ811 の動作は前記(C) の場合と同じである。
【００８２】
以上の(A) 〜(D) の場合における動作により、モニタ811 の表示画面には、図１に示した第１の実施例と同様の、図５のような表示が得られることになる。なお、シーン合成部810 は、前記(D) の場合の表示を別の表示ウインドウを用意して表示するようにしてもよい。また、シーン合成部810 を、ポインティングデバイスなどのオペレータの入力手段を含むように構成してもよい。この場合、シーン合成部810 は、オペレータの指示に応じて動画像の表示をパン、チルト、ズームしたり、グラフィクス表示の視点を変更したり、任意の時刻に遠隔情報送信装置801 の蓄積データの伝送を要求することができる。
【００８３】
以上の動作により、第３の実施例における遠隔情報受信装置802 は、遠隔情報送信装置801 よりシーン初期データを受信し、これを再構成してグラフィクスオブジェクトを表示し、遠隔情報送信装置801 より符号化ストリームを受信して一定周期の静止画像を表示し、遠隔情報送信装置801 より動体データを受信して、グラフィクス表示と静止画像表示の中に、動体を指し示すオブジェクトを挿入するとともに、必要に応じて遠隔情報送信装置801 に蓄積データの伝送を要求して、そのデータを受信し、これに基づいて動体の動画像表示とグラフィクス表示を行う。
【００８４】
以上のように、第３の実施例では、遠隔情報送信装置801 があらかじめ遠隔地のシーンデータを遠隔情報受信装置802 に送信したのち、動画像データを一定の時間間隔毎に符号化して送信する。このとき、遠隔情報送信装置801 が動体を検出して、動画像中の動体の位置を含む動体データを遠隔情報受信装置802 に送信すると、これを受信した遠隔情報受信装置802 が、シーンデータ中の動体の存在範囲を計算し、これをグラフィクス表示する。したがって、遠隔地の監視対象空間全体の状況をグラフィクス表示し、これを動体の実画像表示と組み合わせることによって、遠隔地での異常発生の状況を直観的に把握でき、非常時の対応が取りやすくなる。また、平常時に遠隔情報装置801 から遠隔情報受信装置802 に伝送されるデータは、動体データと一定時間間隔毎の静止画像であるので、動画像を伝送する場合に比べ伝送量を大幅に削減でき、通信コストを抑えられるという効果がある。
【００８５】
さらに、遠隔情報受信装置802 が動体データを受信すると、必要に応じて遠隔情報送信装置801 に蓄積データの伝送を要求し、遠隔情報送信装置801 が蓄積された高品質な動画像の情報や動体検出の情報を遠隔情報受信装置802 に伝送するので、通信網の帯域が充分ではない場合に、遠隔地での異常発生の状況を詳細に把握できる。また、第１の実施例と同様に、魚眼レンズ付きのカメラで広い画角の映像を入力し、これに基づき動体検出および状況表示を行うので、監視対象空間中の異常を即座に知ることができる。
【００８６】
次に図９を参照して他の実施例を説明する。同図には遠隔監視装置の第４の実施例が示されている。本実施例における遠隔監視装置は、複数の遠隔情報送信装置901,913,914,915 と、遠隔情報受信装置902 とを含み、各送信装置と受信装置902 とは、ISDN等の通信網を介して接続される。遠隔情報送信装置913,914,915 はそれぞれ遠隔情報送信装置901 と同じ構成でよいので遠隔情報送信装置901 について説明する。
【００８７】
遠隔情報送信装置901 は、監視カメラ922 と、画像符号化部903 と、動体検出部904 と、シーン記憶部905 と、データ送信部906 とを含み、また、遠隔情報受信装置902 は、データ受信部907 と、画像復号部908 と、座標変換部909 と、シーン合成部910 と、モニタ911 と、画像選択部912 とを含む。本実施例における遠隔情報送信装置901 は、受信装置902 から送信される画像選択データに応じた動作を行う点で図１に示した遠隔情報送信装置101 と異なるが、遠隔情報送信装置901 のその他の部分については送信装置101 と同様の構成でよいのでその説明を省略する。
【００８８】
詳しくは、監視カメラ922 の出力に接続される画像符号化部903 は、カメラ922 より動画像データを入力し、動体検出部904 より動きベクトルを入力し、画像選択部912 より画像選択データを受信し、符号化ストリームをデータ送信部906 に出力する。本実施例における画像符号化部903 は、遠隔情報受信装置902 の画像選択部912 より送信される画像選択データを受信すると、その画像選択データに応じた符号化制御を行う。この画像選択データは、複数の遠隔情報送信装置のうちいずれの遠隔情報送信装置が選択されているかを示す遠隔地選択データと、動体の重心位置データと、動体の領域データとを含み、画像符号化部903 は、その遠隔地選択データが自己の遠隔情報送信装置401 を選択することを示さない場合には、符号化動作を休止し、符号化ストリームを出力しないように構成されている。一方、遠隔地選択データが遠隔情報送信装置401 の選択を示す場合に、画像符号化部903 は、そのとき符号化の動作が休止状態であれば符号化の動作を再開し、入力される動画像データに対応する符号化ストリームをデータ送信部906 に出力する。このとき、画像符号化部903 は、動体の重心位置データまたは動体の領域データに基づいて、動体の画像領域のブロックを他の領域に比べて高画質になるよう符号化制御を行う。これにより、動体部分の画質を高くし、かつ画像全体の符号量を低く抑える。
【００８９】
データ送信部906 は、遠隔情報送信装置901 の初期動作時にシーン記憶部905 からシーン初期データを入力すると、これを伝送データとして遠隔情報受信装置902 のデータ受信部907 に送信する。また、データ送信部906 は、画像符号化部903 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部907 に送信する。また、データ送信部906 は、動体検出部904 より動体データを入力すると、これを伝送データとしてデータ受信部907 に送信する。本実施例におけるデータ送信部906 は、伝送データを送信する際、自己の遠隔情報送信装置901 の識別番号を伝送データ内に付加して送信を行う。この識別番号は、画像選択部912 より供給される画像選択データ中の遠隔地選択データに対応するものであり、各遠隔情報送信装置901,913,914,915 ごとに異なる値が設定される。
【００９０】
遠隔情報受信装置902 のデータ受信部907 は、複数の遠隔情報送信装置のデータ送信部より送信される伝送データを受信して、その伝送データに応じて、画像復号部908 に符号化ストリームを出力し、シーン合成部910 にシーンデータを出力する。
【００９１】
画像復号部908 は、データ受信部907 より出力される符号化ストリームを復号して、座標変換部909 に復号データを出力する。座標変換部909 は、画像復号部908 より復号データを入力し、シーン合成部910 より表示領域情報を入力し、シーン合成部910 に座標変換データを出力する。
【００９２】
シーン合成部910 は、データ受信部907 よりシーンデータを入力し、座標変換部909 より座標変換データを入力し、座標変換部909 に表示領域情報を出力し、画像選択部912 に動体選択データを出力し、モニタ911 に表示データを出力する。
【００９３】
画像選択部912 は、シーン合成部910 より動体選択データを入力し、遠隔情報送信装置901 の画像符号化部903 に画像選択データを送信する。モニタ911 は、シーン合成部910 より表示データを入力し、これを表示する。
【００９４】
以上の構成で、第４の実施例における遠隔情報送信装置901 の動作を説明する。遠隔情報送信装置901 が動作を開始すると、まず、シーン記憶部905 よりデータ送信部906 にシーン初期データを出力する。その後、カメラ922 が動作を開始すると、３次元実空間の光学情報を２次元平面に投影した光学像が光電変換およびA/D 変換され、その光学像に対応する動画像データが画像符号化部903 および動体検出部904 に入力される。
【００９５】
動体検出部904 は、動画像データが入力されると、動画像データのフレームを所定サイズのブロックに分割し、各ブロック毎に動きベクトルを検出して、これを画像符号化部903 に出力する。また、動体検出部904 は動体データを求めてデータ送信部906 に出力する。画像符号化部903 は、カメラ922 より動画像データを入力し、動体検出部904 よりブロック毎の動きベクトルを入力して、符号化ストリームを計算し、その演算結果をデータ送信部906 に出力する。画像符号化部903 は、遠隔情報受信装置902 の画像選択部912 より画像選択データを受信すると、その画像選択データに応じた符号化制御を行う。自己の遠隔情報送信装置901 を選択することを示さない遠隔地選択データが入力されると、画像符号化部903 は、符号化の動作を休止し、符号化ストリームを出力しない。逆に、遠隔地選択データが自己の遠隔情報送信装置901 を選択することを示す場合には、符号化の動作が休止の状態であれば符号化の動作を再開し、動画像データを符号化した符号化ストリームをデータ送信部906 に出力する。このとき、画像符号化部903 は、動体の重心位置データまたは動体の領域データに基づいて動体の画像領域を他の画像領域に比べ高画質になるように符号化を制御する。
【００９６】
データ送信部906 は、遠隔情報送信装置901 の初期動作時にシーン記憶部905 からシーン初期データを入力し、これに自己の識別番号を付加した伝送データを遠隔情報受信装置902 のデータ受信部907 に送信する。また、データ送信部906 は、画像符号化部903 より符号化ストリームを入力すると、これ自己の識別番号を付加した伝送データをデータ受信部907 に送信する。また、データ送信部906 は、動体検出部904 より動体データを入力すると、これに自己の識別番号を付加した伝送データをデータ受信部907 に送信する。このように、本実施例における遠隔情報送信装置901 は、動作開始時にはシーン初期データを遠隔情報受信装置902 に送信し、それ以降は、魚眼レンズ付きのカメラ922 の動画像データを符号化して遠隔情報受信装置902 に送信し、さらに、動体が検出された場合に動体データを遠隔情報受信装置902 に送信する。さらに、遠隔情報送信装置901 は、遠隔情報受信装置902 より画像選択データを受信した場合には、画像選択データに応じた符号化処理の動作制御を行う。
【００９７】
次に遠隔情報受信装置902 の動作を説明すると、まず受信した伝送データがシーン初期データである場合(A) 、データ受信部907 は、シーン初期データをシーンデータとしてシーン合成部910 に出力する。シーン合成部910 は、そのシーンデータに基づいて、遠隔情報送信装置が設置された３次元空間の平常時の状態をグラフィクス表現により再構成し、これを２次元平面に投影したグラフィクスの表示データをモニタ911 に出力する。この際、シーン合成部910 は、各遠隔情報送信装置(901,913,914,915) の各々からのシーン初期データを合成して表示データを作成する。各遠隔情報送信装置(901,913,914,915) からのシーン初期データは、それぞれ監視する空間全体のうちの一部分の領域を表すものである場合には、これらを合成することによって、監視空間全体のシーンを構成することになる。また、シーン合成部910 は、表示領域情報として所定の初期値を座標変換部909 に出力する。モニタ911 は、シーン合成部910 より表示データを入力して、表示データに応じた画像を表示する。
【００９８】
次に伝送データが符号化ストリームである場合(B) 、データ受信部907 は、符号化ストリームを画像復号部908 に出力し、画像復号部908 は、符号化ストリームを復号して、その結果を復号データとして座標変換部909 に出力する。
【００９９】
座標変換部909 は、画像復号部908 より復号データを入力し、シーン合成部910 より表示領域情報を入力して、カメラ922 により歪曲された復号データを平行投影によるデータに変換し、これを座標変換データとしてシーン合成部910 に出力する。
【０１００】
シーン合成部410 は、座標変換部409 より座標変換データを入力すると、これを動画像の表示データとしてモニタ411 に出力する。モニタ411 は、シーン合成部410 より表示データを入力して、これをＣＲＴディスプレイなどの表示デバイスに表示する。
【０１０１】
次に伝送データが動体データである場合(C) 、データ受信部907 は、動体データをシーンデータとしてシーン合成部910 に出力する。シーン合成部910 は、図１に示したシーン合成部110 と同様に、入力されるシーンデータに基づいて、前記(A) の場合に作成したグラフィクスの表示データを修正し、前記(B) の場合に作成された動画像の表示データを修正し、この表示データをモニタ911 に出力するとともに、表示領域情報を計算してその計算結果を座標変換部909 に出力する。さらに、シーン合成部910 は、動体データに含まれる動体の位置や領域の情報を動体選択データとして画像選択部912 に出力し、また、伝送データ中に含まれる遠隔情報送信装置(901,913,914,915) のいずれかの識別番号も併せて画像選択部912 に出力する。
【０１０２】
画像選択部912 は、動体選択データに対応する画像選択データを用意し、これを全遠隔情報送信装置(901,913,914,915) に同報送信する。モニタ911 に、シーン合成部910 より表示データが入力されると、その画像を表示する。その結果、モニタ911 の表示画面には、第１の実施例と同様に、図５に示したような表示が出力される。なお、本実施例においてもシーン合成部910 を、ポインティングデバイスなどのオペレータの入力手段を含むように構成してもよい。この場合、シーン合成部910 は、オペレータの指示に応じて動画像の表示をパン、チルト、ズームしたり、グラフィクス表示の視点を変更する。
【０１０３】
以上、第４の実施例における遠隔情報受信装置902 は、遠隔情報送信装置901 よりシーン初期データを受信し、これを再構成してグラフィクスオブジェクトを表示し、遠隔情報送信装置901 より符号化ストリームを受信して動画像を表示し、遠隔情報送信装置901 より動体データを受信して、グラフィクス表示と動画像表示の中に、動体を指し示すオブジェクトを挿入するとともに、すべての遠隔情報送信装置に符号化制御のための画像選択データを送信する。
【０１０４】
こののように第４の実施例では、各遠隔情報送信装置はあらかじめ遠隔地のシーンデータを遠隔情報受信装置902 に送信したのち、動体を検出すると動体の位置および領域を遠隔情報受信装置902 に通知し、これを受信した遠隔情報受信装置902 が、シーンデータ中の動体の存在範囲を計算し、これをグラフィクス表示する。さらに、遠隔情報受信装置902 は、動体検出の通知を受けると、動画像データの伝送を行う遠隔情報送信装置の選択および品質制御の情報をすべての遠隔情報送信装置に同報送信することにより、対応する遠隔情報送信装置が指定された品質で動画像データを伝送する。したがって、遠隔地の監視対象空間全体の状況をグラフィクス表示し、これを動体の動画像表示と組み合わせることによって、遠隔地での異常発生の状況を直観的に把握でき、非常時の対応が取りやすくなる。さらに、各遠隔情報送信装置の符号化制御を遠隔情報受信装置402 が自動で行なうので、伝送量を抑えて通信コストを低減でき、また、動体部分を高品質に伝送することにより遠隔情報受信装置902 が異常発生の状況を詳細に知ることができる。また、第１の実施例と同様に、魚眼レンズ付きのカメラで広い画角の映像を入力し、これに基づき動体検出および状況表示を行うので、監視対象空間中の異常を即座に知ることができる。
【０１０５】
これまで第１の実施例〜第４の実施例について説明してきたが、図８に示した第３の実施例では、画像符号化部803 を、カメラ822 からの動画像データを一定時間間隔毎に取り出した静止画像データとして符号化するよう構成したが、利用する通信網の帯域に比較して符号量が充分抑えられるならば他の符号化方法を用いてもよい。たとえば、画像符号化部803 を、カメラ822 からの動画像データを動画像のまま符号化し、該符号化に当たっては、フレーム内の空間解像度を低下させることによって符号量を抑えてもよい。この場合にも、第３の実施例と同様の効果が期待できる。
【０１０６】
また、第３の実施例では、遠隔情報受信装置802 が遠隔情報送信装置801 に蓄積データ伝送命令を通知することによって、遠隔情報送信装置801 が蓄積された高品質画像符号化ストリームと動体データとを遠隔情報受信装置802 に伝送する場合について説明したが、他の構成として、遠隔情報送信装置801 が動体検出と同時に、画像符号化部802 からの符号化ストリームに代えて、高品質画像符号化部812 からの高品質符号化ストリームやデータ蓄積部813 からの蓄積データを遠隔情報受信装置802 に伝送するよう構成してもよい。この場合、遠隔地で動体が検出されると、伝送される情報が自動的に高品質な情報に切り替えられるので、第３の実施例と同様、通信コストの低減と情報の品質向上が期待できる。
【０１０７】
また、第１〜第４の実施例では、遠隔情報送信装置(101,601,801,901) の監視カメラ(122,622,822,922) を、魚眼レンズ付きのカメラやパンチルト制御機能付きのカメラで構成する場合について説明したが、これに限らず、動体検出部(104,604,804,904) における動体検出精度を向上させるために、他の構成を用いてもよい。たとえば、一定間隔に２つのレンズを配した両眼カメラを用いると、これによって得られる２つの画像データから、画像中のオブジェクトの、奥行き方向の状態を推定できる。したがって、両眼カメラに合わせて動体検出部を構成すれば、オブジェクトの奥行き情報から、動体検出の確からしさやその正確な領域を知ることができ、本発明による遠隔監視装置の性能を高めることができる。
【０１０８】
また、第１〜第４の実施例では、動体検出部(104,604,804,904) を、動画像データをブロックに分割した際の動きベクトルに基づいて動体を検出するように構成したが、動体検出を従来公知の方法を用いて実現してもよい。
【０１０９】
また、第４の実施例では、遠隔情報受信装置902 の画像選択部912 が遠隔情報送信装置の識別番号を設定して対象とするすべての遠隔情報送信装置に同報送信し、これを対応する遠隔情報送信装置(101,601,801,901) のいずれかが動画像データを伝送する場合について説明したが、遠隔情報受信装置902 の装置構成によっては、遠隔情報送信装置の識別番号は同時に複数個あってもよい。この場合、遠隔情報受信装置902 の画像復号部908 および座標変換部909 およびシーン合成部910 を、複数の遠隔情報送信装置からの符号化ストリームに対応して処理可能に構成し、複数個の識別番号に対応する。これにより、遠隔地の複数箇所で同時に異常が発生した場合であっても、遠隔情報受信装置902 はこれらの異常発生箇所の動画像をそれぞれ表示できる。
【０１１０】
次に図10を参照して、遠隔監視装置の第５の実施例を説明する。図10には本実施例における遠隔監視装置が示され、遠隔監視装置は複数の遠隔情報送信装置1001,1013,1014,1015 と遠隔情報受信装置1002とが、ISDN等の通信網に接続されるシステムである。遠隔情報送信装置1013,1014,1015は遠隔情報送信装置1001とほぼ同じ構成でよいので遠隔情報送信装置1001について説明する。
【０１１１】
遠隔情報送信装置1001は、監視カメラ922 と、画像符号化部1103と、動体検出部904 と、シーン記憶部905 と、データ送信部906 とを含み、また、遠隔情報受信装置1002は、データ受信部907 と、画像復号部908 と、座標変換部909 と、シーン合成部910 と、モニタ911 と、符号化データ選択部1008とを含み、図９に示した実施例の構成と同じ構成には同一の参照符号を付してその詳細説明を省略する。
【０１１２】
画像符号化部1003は、図１に示した画像符号化部103 と同様に、カメラ922 から出力される動画像データを、動体検出部904 より供給されるブロックごとの動きベクトルにしたがって符号化ストリームを計算し、その符号化ストリームをデータ送信部906 に出力する。
【０１１３】
動体検出部904 は、カメラ922 から出力される動画像データにしたがって、ブロックごとの動きベクトルを算出して画像符号化部903 に出力し、動体の位置情報を示す動体データをデータ送信部906 に出力する。シーン記憶部905 は、シーン初期データをデータ送信部906 に出力する。データ送信部906 は、画像符号化部1003より符号化ストリームを入力し、動体検出部904 より動体データを入力し、シーン記憶部905 よりシーン初期データを入力し、データ受信部907 に伝送データを送信する。データ送信部906 は、自己の遠隔情報送信装置1001に固有に割り当てられた識別番号を伝送データ内に付加して送信する。この識別番号は、各送信装置1001,1013,1014,1015 ごとに異なる値に設定される。
【０１１４】
遠隔情報受信装置1002のデータ受信部907 は、データ送信部906 より伝送データを受信し、画像復号部908 に符号化ストリームを出力し、シーン合成部910 にシーンデータを出力する。
【０１１５】
符号化データ選択部1008は、入力される符号化ストリームの中から復号対象となる復号対象符号化ストリームを選択し、選択された符号化ストリームを画像復号部908 に出力する。符号化データ選択部1008は、画像復号部908 の単位時間当たりの計算量が所定の計算量以下になるよう符号化ストリームを選択する。符号化データ選択部1008は、連続して入力される符号化ストリームの中から復号対象符号化ストリームを、画像復号部908 の計算集中度合いに適応した形で適宜選択する。動体フレームの符号化ストリームはシステムの中で重要性が高いので、入力される動体データはすべてのフレームに対して復号する。一方、動体データでないフレームの符号化ストリームは、システムの中で重要性が低いので、すべてのフレームに対して復号する必要はなく、フレーム間引きをした状態で復号しても問題はない。むしろ、画像復号部908 の計算量を軽減する効果をもたらす。ある１つの遠隔情報送信装置から動体データが出力されているときに、他の遠隔情報送信装置から動体フレームでないフレームの符号化ストリームが出力されているときは、たとえば連続する５フレーム毎に１フレーム分の符号化ストリームを選択して復号対象符号化ストリームとして画像復号部908 に出力する。動体データの符号化ストリームは重要性が高いので、この場合符号化データ選択部1008は、すべてそのままの形で画像復号部908 に出力する。
【０１１６】
画像復号部908 は、符号化データ選択部1008から出力された復号対象符号化ストリームを復号し、座標変換部909 に復号データを出力する。座標変換部909 は、画像復号部908 より復号データを入力し、シーン合成部910 より表示領域情報を入力し、図１に示した実施例と同様にシーン合成部910 に座標変換データを出力する。
【０１１７】
シーン合成部910 は、図１に示した実施例と同様に、データ受信部907 よりシーンデータを入力し、座標変換部909 より座標変換データを入力し、座標変換部909 に表示領域情報を出力し、モニタ911 に表示データを出力する。モニタ911 は、シーン合成部910 より表示データを入力し、これを表示する。
【０１１８】
以上のような構成で本実施例における遠隔情報監視装置の動作を説明する。まず、遠隔情報送信装置1001が動作を開始すると、まず、シーン記憶部905 よりデータ送信部906 にシーン初期データが出力される。その後、監視カメラ922 が動作を開始し、３次元実空間の光学情報を２次元平面に投影した光学像に対応する動画像データがカメラ922 から出力される。このカメラ922 のレンズは、第１の実施例と同様に魚眼レンズであり、出力される動画像データは、魚眼レンズの特性に応じて歪曲して投影されたデータとなる。
【０１１９】
次に、動体検出部904 は、カメラ922 より動画像データを入力すると、動画像データのフレームを所定サイズのブロックに分割し、各ブロック毎に動きベクトルを検出して、これを画像符号化部903 に出力する。さらに動体検出部904 は、動体データを求めてデータ送信部906 に出力する。次に、画像符号化部1003は、カメラ922 より動画像データを入力し、動体検出部904 よりブロック毎の動きベクトルを入力して、符号化ストリームを計算し、これをデータ送信部906 に出力する。
【０１２０】
データ送信部906 は、遠隔情報送信装置901 の初期動作時にシーン記憶部905 からシーン初期データを入力すると、これに自己の装置の識別番号を付加した伝送データを生成して遠隔情報受信装置1002のデータ受信部907 に送信する。また、データ送信部906 は、画像符号化部1003より符号化ストリームを入力すると、これに自己の装置の識別番号を付加して伝送データを生成しデータ受信部907 に送信する。また、データ送信部906 は、動体検出部904 より動体データを入力すると、これに自己の装置の識別番号を付加して伝送データを生成しデータ受信部907 に送信する。
【０１２１】
以上の動作により、第５の実施例における遠隔情報送信装置1001は、動作開始時にはシーン初期データを遠隔情報受信装置1002に送信し、それ以降は、魚眼レンズ付きのカメラ922 の動画像データを符号化して遠隔情報受信装置1002に送信し、さらに、動体が検出された場合に動体データを遠隔情報受信装置1002に送信する。他の遠隔情報送信装置1013,1014,1015についても同様である。
【０１２２】
次に、遠隔情報受信装置1002の動作を説明すると、まず、データ受信部907 にて受信される伝送データがシーン初期データである場合(A) データ受信部907 は、シーン初期データをシーンデータとしてシーン合成部910 に出力する。シーン合成部910 は、シーンデータに基づいて遠隔情報送信装置の置かれた３次元実空間の平常時の状態をグラフィクス表現により再構成し、これを２次元平面に投影したグラフィクスの表示データをモニタ911 に出力する。この際、シーン合成部910 は、各遠隔情報送信装置(1001,1013,1014,1015) の各々からのシーン初期データを合成して表示データを作成する。各遠隔情報送信装置からのシーン初期データは、それぞれ監視する空間全体のうちの一部分の領域を表すものであるから、これらを合成することによって、監視空間全体のシーンを構成する。また、シーン合成部910 は、表示領域情報として所定の初期値を座標変換部909 に出力する。これによりモニタ911 には、シーン合成部910 から出力された表示データに応じた画像が表示される。
【０１２３】
次に、伝送データが符号化ストリームである場合(B) データ受信部907 は、符号化ストリームを符号化データ選択部1008に出力する。符号化データ選択部1008は、画像復号部908 の単位時間当たりの計算量を所定の計算量以下になるよう、連続して入力される符号化ストリームから選択した復号対象符号化ストリームを画像復号部908 に出力する。たとえば、ある１つの遠隔情報送信装置から動体データが出力され、さらに他の遠隔情報送信装置から動体フレームでないフレームの符号化ストリームが出力されているときは、符号化データ選択部1008は、たとえば連続する複数フレーム毎に１フレーム分の符号化ストリームを選択し、これを復号対象符号化ストリームとして画像復号部908 に供給する。
【０１２４】
この結果、画像復号部908 では、動体フレームの符号化ストリームについてはすべてのフレームに対して復号し、動体データでないフレームの符号化ストリームは、フレーム間引きをした状態で復号する。このように画像復号部908 にて復号対象符号化ストリームが復号されると、その復号データは座標変換部909 に出力される。
【０１２５】
座標変換部909 は、画像復号部908 から出力される復号データと、シーン合成部910 から出力される表示領域情報とを入力して、カメラ922 の魚眼レンズによって歪曲されている画像の復号データを平行投影によるデータに変換し、これを座標変換データとしてシーン合成部910 に出力する。シーン合成部910 では、この座標変換データを動画像の表示データとしてモニタ911 に出力し、その画像を表示させる。
【０１２６】
次に、伝送データが動体データである場合(C) データ受信部907 は、動体データをシーンデータとしてシーン合成部910 に出力する。シーン合成部910 は、シーンデータに基づいて、前記(A) の場合に作成したグラフィクスの表示データを修正し、前記(B) の場合に作成された動画像の表示データを修正し、この表示データをモニタ911 に出力するとともに、表示領域情報を計算して座標変換部909 に出力する。表示データがモニタ911 に入力されると、モニタ911 には、第１の実施例と同様に、図５に示すような画像が表示される。なお、シーン合成部910 を、ポインティングデバイスなどのオペレータの入力手段を含むように構成してもよい。この場合、シーン合成部910 は、オペレータの指示に応じて動画像の表示をパン、チルト、ズームしたり、グラフィクス表示の視点を変更するとよい。
【０１２７】
以上の動作により、本実施例における遠隔情報受信装置1002は、遠隔情報送信装置1001よりシーン初期データを受信し、これを再構成してグラフィクスオブジェクトを表示し、遠隔情報送信装置1001より符号化ストリームを受信して動画像を表示し、遠隔情報送信装置1001より動体データを受信して、グラフィクス表示と動画像表示の中に、動体を指し示すオブジェクトを挿入する。また、符号化データ選択部1008により、画像復号化部908 の計算量を必要最低限に制御することができる。
【０１２８】
以上のように、第５の実施例では、画像復号部908 にて復号するデータが、重要性が高い場合には毎フレーム復号し、重要性が低い場合はフレーム間引きした符号化ストリームを入力して復号することにより、画像復号部908 の単位時間当たりの計算量を必要最小限にする構成としたので、低コストで高性能な遠隔情報受信装置が実現できる。また、遠隔情報送信装置は単純な構成で実現できる。したがって遠隔監視装置の低コスト化および高性能化が期待できる。
【０１２９】
次に図11を参照して、遠隔情報監視装置の第６の実施例を説明する。同図には、遠隔情報送信装置1101と、遠隔情報受信装置1102とを含む遠隔情報監視装置が示され、これらは、たとえばISDN等の通信網にて接続される。
【０１３０】
遠隔情報送信装置1101は、監視カメラ122 と、画像符号化部103 と、動体検出部1104と、シーン記憶部105 と、オーディオデータ記憶部1121と、データ送信部1122とを含み、また、遠隔情報受信装置1102は、データ受信部1123と、画像復号部108 と、座標変換部109 と、シーン合成部110 と、モニタ111 と、オーディオ復号部1124と、スピーカ1125とを含む。これらの構成において図１に示した実施例における構成と同じ構成は、同一の参照符号を付してその詳細説明を省略する。
【０１３１】
本実施例における動体検出部1104は、図１に示した実施例と同様にして監視カメラ122 より出力される動画像データに基づいて動きベクトルおよび動体データを生成する。動体検出部1104は、生成した動きベクトルを画像符号化部103 に出力し、生成した動体データをオーディオデータ記憶部1121とデータ送信部1122に出力する。
【０１３２】
オーディオデータ記憶部1121には、遠隔情報受信装置1102にて監視業務を行っているオペレータに対して聞かせるオーディオデータが圧縮符号化された状態で格納されている。たとえば、動体検出時に「侵入物検出」などの音声を発生および示すための音声データや効果音データをデータ記憶部1121に予め格納しておく。オーディオデータ記憶部1121に格納されたオーディオ符号化ストリームは、動体検出部1104から供給される動体検出を示す情報（動体データ）に応動してデータ送信部1122に出力される。
【０１３３】
データ送信部1122は、画像符号化部103 より符号化ストリームを入力し、動体検出部1104より動体データを入力し、シーン記憶部105 よりシーン初期データを入力し、データ受信部1123に伝送データを送信する。データ送信部1122は、遠隔情報送信装置1101の初期動作時にシーン記憶部105 からシーン初期データを入力すると、これを伝送データとして遠隔情報受信装置1102のデータ受信部107 に送信する。また、データ送信部1122は、画像符号化部103 より画像符号化ストリームを入力すると、これを伝送データとしてデータ受信部1123に送信する。データ送信部1122は、オーディオデータ記憶部1121よりオーディオ符号化ストリームを入力すると、これを伝送データとしてデータ受信部1123に送信する。また、データ送信部1122は、動体検出部1104より動体データを入力すると、これを伝送データとしてデータ受信部1123に送信する。
【０１３４】
遠隔情報受信装置1102のデータ受信部1123は、データ送信部1122より伝送データを受信し、伝送データが画像符号化ストリームである場合には画像復号部108 に画像符号化ストリームを出力し、シーンデータである場合にはシーン合成部110 にシーンデータを出力する。また、データ受信部1123は、受信した伝送データがオーディオ符号化ストリームである場合には、そのストリームをオーディオ復号部1124に出力する。オーディオ復号部1124は、データ受信部1123よりオーディオ符号化ストリームを入力するとこれを復号し、スピーカ1125にオーディオ復号データを出力する。画像復号部108 は、データ受信部1123より符号化ストリームを入力するとこれを復号し、座標変換部109 に復号データを出力する。座標変換部109 は、画像復号部108 より復号データを入力し、シーン合成部110 より表示領域情報を入力し、シーン合成部110 に座標変換データを出力する。シーン合成部110 は、データ受信部1123よりシーンデータを入力し、座標変換部109 より座標変換データを入力し、座標変換部109 に表示領域情報を出力し、モニタ111 に表示データを出力する。モニタ111 は、シーン合成部110 より表示データを入力し、これを表示する。
【０１３５】
以上のような構成で本実施例における遠隔情報監視装置の動作を説明する。まず、遠隔情報送信装置1101が動作を開始すると、まず、シーン記憶部105 よりシーン初期データが読み出されてデータ送信部1122に入力され、その伝送データが遠隔情報受信装置1102に送信される。カメラ122 から出力される動画像データは画像符号化部103 および動体検出部1104に順次入力されて、ブロック毎の動きベクトルが画像符号化部103 に入力される。また、動体検出部104 にて算出された動体データは、データ送信部106 およびオーディオデータ記憶部1121に入力される。
【０１３６】
画像符号化部103 は、動画像データおよび動きベクトルから符号化ストリームを計算し、これをデータ送信部1122に出力する。オーディオデータ記憶部1221は、動体検出部1104から供給される動体データに応動して、格納しているオーディオを符号化ストリームを読み出してデータ送信部1122に出力する。
【０１３７】
データ送信部1122は、遠隔情報送信装置1101の初期動作時にシーン記憶部105 からシーン初期データを入力すると、これを伝送データとして遠隔情報受信装置1102のデータ受信部1123に送信する。また、データ送信部1122は、画像符号化部103 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部1123に送信する。データ送信部1122は、オーディオデータ記憶部1121よりオーディオ符号化ストリームを入力すると、これを伝送データとしてデータ受信部1123に送信する。また、データ送信部1122は、動体検出部1104より動体データを入力すると、これを伝送データとしてデータ受信部1123に送信する。
【０１３８】
以上の動作により、第６の実施例における遠隔情報送信装置1101は、動作開始時にはシーン初期データを遠隔情報受信装置1102に送信し、それ以降は、魚眼レンズ付きのカメラ122 の動画像データを符号化して遠隔情報受信装置1102に送信し、さらに、動体が検出された場合に動体データおよびオーディオ符号化ストリームを遠隔情報受信装置1102に送信する。
【０１３９】
一方、遠隔情報受信装置1102では、伝送データがシーン初期データである場合(A) 図１に示した実施例における遠隔情報受信装置102 と同様の動作が行われる。次に、伝送データが符号化ストリームである場合(B) 画像データを符号化した符号化ストリームであるときは、遠隔情報受信装置1102は、上記遠隔情報受信装置102 と同様の動作を行う。また、伝送データが動体検出タイミングに同期して入力されるオーディオデータを符号化した符号化ストリームであるときには、オーディオ復号部1124は、このオーディオ符号化ストリームを復号してD/A 変換し、アナログのオーディオデータとして再生しスピーカ1125に出力する。オーディオデータの符号化方法については、たとえば、直前サンプルとのレベル差分値を符号化する方法が適用される。次に、伝送データが動体データである場合(C) は、遠隔情報受信装置1102は、第１の実施例における遠隔情報受信装置102 と同様の動作をする。
【０１４０】
このように本実施例では、動体検出時に画像表示だけでなく、制御音声や効果音などのオーディオを出力する構成としたので、受信装置側にて監視業務を行うオペレータは、監視が必要なタイミングでオーディオ信号による監視支援情報を受けることができ、常にモニタを目視する負担が軽減される。目視監視業務に占有されることなく、必要な監視業務を遂行できる。よって、監視支援オーディオ情報によりユーザの負担を軽減できる高性能な遠隔監視装置の実現が期待できる。
【０１４１】
本実施例では、オーディオデータを圧縮符号化した形で伝送したが、オーディオデータは動画データと比較すると極めて少ないデータ量であるので、符号化しない原データの状態で伝送するように構成し、受信側のオーディオ復号部1124を必要としない構成として、低コスト化を図る方法も可能である。
【０１４２】
次に図12を参照して遠隔情報監視装置の第７の実施例を説明する。同図には、遠隔情報送信装置1201と、遠隔情報受信装置1202とを含む遠隔情報監視装置が示され、これらは、たとえばISDN等の通信網にて接続される。
【０１４３】
遠隔情報送信装置1201は、監視カメラ122 と、画像符号化部103 と、動体検出部104 と、シーン記憶部105 と、データ送信部106 とを含み、これらは図１に示した遠隔情報送信装置101 と同じ構成でよい。一方、遠隔情報受信装置1202は、データ受信部107 と、画像復号部108 と、座標変換部109 と、シーン合成部110 と、モニタ111 とを含み、これらは図１に示した遠隔情報受信装置102 における各構成と同様の構成でよい。
【０１４４】
本実施例における遠隔情報受信装置1202は、さらに、オーディオデータ記憶部1224と、その出力に接続されたスピーカ1125とを含む。なお、データ受信部107 は、受信される伝送データが動体データである場合には、シーンデータとしてシーン合成部110 に出力するとともに、オーディオデータ記憶部1224に動体データを出力してオーディオデータ記憶部1224を起動する。オーディオデータ記憶部1224には、制御語や効果音などのような監視支援に使用されるオーディオデータが記憶媒体に格納されており、入力される動体データの入力時刻に同期してして記憶情報を読み出す。オーディオデータ記憶部1224は読み出されたオーディオデータをD/A 変換し、変換された音声情報をスピーカ1125に出力する。オーディオデータ記憶部1224を起動する情報は、動体データに限らず、動体が検出されたことを示す情報であればよく、オーディオデータ記憶部1224はその情報をトリガとしてオーディオデータを記憶媒体から読み出す。
【０１４５】
以上のような構成で本実施例における遠隔情報監視装置の動作を説明する。まず、遠隔情報送信装置1201の動作については図１に示した実施例と同様の動作が行われる。したがってこの第７の実施例における遠隔情報送信装置1201は、動作開始時にはシーン初期データを遠隔情報受信装置1202に送信し、それ以降は、魚眼レンズ付きの監視カメラ122 の動画像データを符号化して遠隔情報受信装置1202に送信し、さらに、動体が検出された場合に動体データを遠隔情報受信装置1202に送信する。
【０１４６】
一方、遠隔情報受信装置1202の動作を説明すると、伝送データがシーン初期データである場合(A) 遠隔情報受信装置1202は、図１に示した第１の実施例と同様に動作する。また、伝送データが符号化ストリームである場合(B) には、遠隔情報受信装置1202は、画像復号部108 、座標変換部109 およびシーン合成部110 については、前記第１の実施例と同じ動作をする。しかし、データ受信部107 より動体を検出したことを示す動体データがオーディオデータ記憶部1224に入力されると、それと同時に、オーディオデータ記憶部1324に格納されているオーディオデータが読み出され、D/A 変換してオーディオ信号としてスピーカ1125に出力される。伝送データが動体データである場合(C) は遠隔情報受信装置1202は第１の実施例同様に動作する。
【０１４７】
本実施例では、動体検出時に画像表示だけでなく、オーディオデータを受信装置側だけで出力する構成とした。受信装置のオペレータは、監視が必要なタイミングでオーディオ信号による監視支援を受けることができ、常にモニタを目視する負担が軽減される。目視監視業務に占有されることなく、必要な監視業務を遂行できる。また、受信側のみにオーディオ処理機能を持たせることによって、監視支援オーディオ情報によりユーザの負担を軽減できる高性能な遠隔監視装置の実現が期待できる。なお、本実施例では、オーディオデータを圧縮符号化しない原データの形で記憶したが、圧縮符号化した状態で記憶し、読み出したデータを復号する回路を追加する構成も可能である。
【０１４８】
次に図13を参照して遠隔情報監視装置の第８の実施例を説明する。同図には、遠隔情報送信装置1301と、遠隔情報受信装置1302とを含む遠隔情報監視装置が示され、これらは、たとえばISDN等の通信網にて接続される。
【０１４９】
本実施例における遠隔情報送信装置1301は、監視カメラ122 と、動体検出部104 と、シーン記憶部105 の各出力が接続される動体同定部1321とを備え、データ送信部1322が、動体同定部1321から出力される同定結果を伝送データとして送信する点で図１に示した第１の実施例とは異なり、その他の点は図１に示した遠隔情報送信装置101 と同様の構成でよい。
【０１５０】
動体同定部1321は、監視カメラ122 から出力される動画像データと、動体検出部104 から出力される動体データとに基づいて、検出された動体の種類を推定し、その推定結果を動体同定結果としてデータ送信部1322へ出力する。動体同定部1321は、動体と判定された一連のフレームの動領域の形状、濃度および色等の情報を参照して、動体の種類を推定する。
【０１５１】
動体同定部1321の詳細な機能構成を図14を参照して説明すると、動体同定部1321は、監視の対象によって決定される監視対象物の標準的形状、濃度および色情報を、予め動体同定部1321に参照データ1401として格納しておく記憶部を有し、監視対象物の大きさを所定の大きさに正規化して格納する。
【０１５２】
動体同定部1321は、入力される動画像データと、動体データに含まれる動領域の位置情報とから任意形状の動領域1402を決定する。本実施例では動領域に存在するすべての画素を含む矩形領域1402のデータを類似度計算に用いる。動体同定部1321は、決定された矩形領域1402の大きさを、動体同定部1321に予め格納されている参照用データ1401の大きさに正規化する。
【０１５３】
動体同定部1321は、前記類似度計算用に決定された矩形領域1402を所定のブロック数で分割する。動体同定部1321は、前記ブロック分割されたブロック毎に、入力画像データと、参照画像として格納されている参照データと間の部分類似度を計算し、該部分類似度計算をすべての分割されたブロックに対して行い、計算された部分類似度の総和を算出する。動体同定部1321は、算出された総和を入力画像データと参照データ間の類似度とする。
【０１５４】
動体同定部1321は、すべての参照データ1401との類似度計算を行い、該類似度が最大となる参照データに与えられるカテゴリを同定カテゴリとする。該同定カテゴリとの類似度計算結果を同定類似度とする。動体同定部1321は、同定カテゴリおよび同定類似度を動体同定結果としてデータ送信部1322に出力する。
【０１５５】
部分類似度は、形状類似度および濃度類似度の総和とする。形状類似度は分割されたブロックにおける各画素について、前記動領域に含まれる画素であるか否かを動体同定部1321にて判定し、参照データの同位置画素と一致するかを求める。動体同定部1321は、各ブロック内のすべての画素に対しそれぞれ前記判定を行い、参照データと一致した画素数を所定の値で正規化した値を形状類似度とする。濃度類似度は、ブロック内の各画素の濃度と参照データの同位置画素間の差分絶対値を動体同定部1321にて求め、該ブロック内のすべての画素に対する差分絶対値の総和を算出する。動体同定部1321は、該算出された総和を所定の値で正規化し、その値を濃度類似度とする。
【０１５６】
一方、遠隔情報受信装置1302は、画像復号部108 と、座標変換部109 と、シーン合成部110 と、モニタ111 とを含み、これらは図１に示した遠隔情報受信装置102 における各構成と同じ構成でよい。また、遠隔情報受信装置1302のデータ受信部1323は、データ送信部1322より送信された伝送データを受信し、その伝送データに応じて、画像復号部108 に符号化ストリームを出力し、オーディオデータ記憶部1324に動体データと動体同定結果とを出力し、シーン合成部110 にシーンデータを出力する。
【０１５７】
データ受信部1323の出力に接続されたオーディオデータ記憶部1324は、入力される動体データと動体同定結果とに基づいて、これら情報の入力時刻に同期して予め格納された複数種類のオーディオデータの中から前記動体同定結果に対応する１種類のオーディオデータを選択して読み出す。オーディオデータ記憶部1324こうして読み出したオーディオデータをD/A 変換してスピーカ1225に出力し、そのオーディオ信号を出力させる。
【０１５８】
以上のような構成で本実施例における遠隔情報送信装置1301の動作を説明する。遠隔情報送信装置1301が動作を開始すると、シーン記憶部105 からシーン初期データがデータ送信部に出力されてその伝送データが遠隔情報受信装置1302に送信され、カメラ122 から出力される動画像データが画像符号化部103 、動体検出部104 および動体同定部1321に入力される。
【０１５９】
動体検出部104 では、動画像データに基づいてブロック毎の動きベクトルが検出され、これが画像符号化部103 および動体同定部1421に出力される。さらに動体検出部104 にて動体データが算出されて、算出された動体データが動体同定部1321およびデータ送信部1322に入力される。
【０１６０】
画像符号化部103 は、入力される動画像データと動きベクトルとに基づいて符号化ストリームを計算し、これをデータ送信部1322に出力する。データ送信部1422は、画像符号化部103 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部1323に送信し、また、動体検出部104 より動体データを入力すると、これを伝送データとしてデータ受信部1323に送信する。また、データ送信部1322は、動体同定部1321より動体同定結果を入力すると、これを伝送データとしてデータ受信部1323に送信する。
【０１６１】
動体同定部1321では、動体検出部104 から出力される動体データと、カメラ122 から出力される動画像データとに基づいて、検出された動体の種類を推定し、その結果を動体同定結果としてデータ送信部1322に出力する。
【０１６２】
以上の動作により、第８の実施例の遠隔情報送信装置1301は、動作開始時にはシーン初期データを遠隔情報受信装置1302に送信し、それ以降は、魚眼レンズ付きのカメラ122 の動画像データを符号化して遠隔情報受信装置1302に送信し、さらに、動体が検出された場合に、動体データおよび動体同定結果を遠隔情報受信装置1302に送信する。
【０１６３】
次に遠隔情報受信装置1302の動作を説明すると、まず、受信した伝送データがシーン初期データである場合(A) には図１に示した実施例と同様の動作が行われる。
【０１６４】
また、受信した伝送データが符号化ストリームである場合(B) 動体を含まない画像データについては、図１に示した第１の実施例と同じ動作をする。また、画像データに動体が含まれている動体フレームであるとき、動体同定結果がオーディオデータ記憶部1324に入力され、動体同定結果に応じたオーディオデータがスピーカ1125に出力される。伝送されたフレームが動体フレームであるか否かは、たとえば符号化ストリームを復号した際、それに含まれる動きベクトルに基づいて判定する。具体的には、各フレームにおける動きベクトルの分散値を演算してその演算結果の値に応じて値が大きい場合にそのフレームを動体フレームであると判断する。この場合、フレームに動体が含まれていない場合には演算結果は０に近い値となって、動体を含まないフレームを判断することができる。
【０１６５】
オーディオデータ記憶部1324には、動体同定部1321に格納されているのと同じ監視対象物の内容を示す音声データが予め格納されている。動体同定結果に含まれる同定類似度が所定の閾値を上回るとき、オーディオデータ記憶部1324から同定カテゴリを示すオーディオデータが読み出され、D/A 変換処理を受けてスピーカ1125に出力される。該類似度が所定の閾値を下回る場合には、同定不可能であることを示すオーディオデータをオーディオデータ記憶部1324に予め格納しておくことにより読み出し、これをD/A 変換してスピーカ1125に出力する。伝送データが動体データである場合(C) は前記第１の実施例と同様の動作が行われる。
【０１６６】
以上説明したように本実施例では、動領域の内容を推定し、推定結果、信頼度に基づく結果を受信装置側でオーディオデータとして支援情報として出力する構成とした。受信装置側のオペレータは、監視が必要なタイミングでオーディオ信号により入力画像の内容を示す情報として監視支援を受けることができ、常にモニタを目視する負担が軽減される。したがって目視監視業務に占有されることなく、必要な監視業務を遂行できる。よって、動領域同定機能によりユーザの負担を軽減できる高性能な遠隔監視装置が提供される。
【０１６７】
次に図15を参照して遠隔情報監視装置の第９の実施例を説明する。同図には、遠隔情報送信装置1501と、遠隔情報受信装置1502とを含む遠隔情報監視装置が示され、これらは、たとえばISDN等の通信網にて接続される。
【０１６８】
本実施例における遠隔情報送信装置1501は、監視カメラ122 と、画像符号化部103 と、動体検出部104 と、シーン記憶部105 と、データ送信部106 とを含み、これらは図１に示した実施例における遠隔情報送信装置101 と同様の構成でよいのでその詳細説明を省略する。また、遠隔情報受信装置1502は、データ受信部1521と、画像復号部108 と、座標変換部109 と、シーン合成部110 と、モニタ111 と、動体同定部1421と、オーディオデータ記憶部1324と、スピーカ1125とを含む。
【０１６９】
遠隔情報受信装置1502のデータ受信部1521は、遠隔情報送信装置1501から送信される伝送データを受信して、その受信データに応じて、符号化ストリームを画像復号部108 および動体同定部1421に出力し、シーンデータをシーン合成部110 に出力する。
【０１７０】
画像復号部108 は、データ受信部1323より出力される符号化ストリームを復号し、その復号結果の復号データを座標変換部109 および動体同定部1421に出力する。画像復号部108 は、復号した符号化ストリームのフレームが動体フレームであるか否かを判断する機能を有し、その判断結果を動体同定部1421に通知する。
【０１７１】
動体同定部1421は、画像データが動体フレームであると判断されると、データ受信部1521から動体データを入力した後復号した動画像データを併せて入力し、図13に示した第８の実施例における動体同定部1321と同様にして動体同定結果を得る。動体同定部1421は、動体同定結果をオーディオデータ記憶部1324に出力する。
【０１７２】
オーディオデータ記憶部1324には、動体同定部1421に格納されているのと同じ監視対象物の内容を示す音声データがあらかじめ格納されている。動体同定部1421から供給される動体同定結果に含まれる同定類似度が所定の閾値を上回るとき、オーディオデータ記憶部1324は、同定カテゴリを示すオーディオデータを読み出し、これをD/A 変換してオーディオ信号をスピーカ1125に出力する。該類似度が所定の閾値を下回る場合には、オーディオデータ記憶部1324は、同定不可能であることを示すオーディオデータを読み出してD/A 変換後スピーカ1125に出力する。このようにオーディオデータ記憶部1324は、動体同定部1421より動体同定結果を入力し、該入力時刻に同期して、予め格納された複数種類のオーディオデータの中から動体同定結果を参照し、１種類のオーディオデータを選択して読み出し、そのオーディオ信号を出力する。座標変換部109 およびシーン合成部110 は、図１に示した同一の参照符号の各構成と同じ構成でよい。
【０１７３】
以上のような構成で、第９の実施例における遠隔情報受信装置1502の動作を説明１する。なお、遠隔情報送信装置1501の動作については前述の第１の実施例における遠隔情報送信装置101 の動作と同じ動作でよいのでその説明を省略する。遠隔情報受信装置1402のデータ受信部1423にて受信される伝送データがシーン初期データである場合(A) と、伝送データが動体データである場合(C) は、前述の第１の実施例における遠隔情報受信装置と同様の動作が行われる。
【０１７４】
次に、伝送データが符号化ストリームである場合(B) について説明すると、画像復号部108 、座標変換部109 およびシーン合成部110 は、第１の実施例と同じ動作でよい。とくに、受信した符号化ストリームを復号した動画像データが動体フレームであるとき、動体同定部1421に動体データが入力された後、図13に示した第８の実施例におけるで説明した方法と同様に、画像復号部108 から出力される画像データを併せて動体同定部1421に入力して、動体同定結果をオーディオデータ記憶部1324に送る。この結果、オーディオデータ記憶部1324では、動体同定結果に含まれる同定類似度が所定の閾値を上回るときには同定カテゴリを示すオーディオデータを読み出し、また、該類似度が所定の閾値を下回るときには同定不可能であることを示すオーディオデータを読み出す。読み出されたデータはアナログのオーディオ信号に変換されてスピーカ1125に出力される。
【０１７５】
このように本実施例では、動領域の内容を推定し、推定結果、信頼度に基づく結果を受信装置側で求めて、オーディオデータによる支援情報を出力する構成とした。受信装置側のオペレータは、監視が必要なタイミングで出力されるオーディオ信号によって入力画像の内容を示す情報が得られ、監視支援を受けることができ、このため常にモニタを目視する負担が軽減する。この結果、目視監視業務のみに占有されることなく他に必要な監視業務を遂行できる。本実施例のシステムでは、動体同定部を受信側に備えることにより、送信側と受信側との処理量がバランスよくとられる。すなわち、送信側の画像符号化処理量は受信側の画像復号処理量の数倍であるが、動体同定部を受信側に置くことにより送信側の処理量増加を防止した監視システムが構築される。よって、動領域の同定機能により監視者の負担を軽減できる高性能な遠隔監視装置が提供される。
【０１７６】
【発明の効果】
このように本発明によれば、監視対象空間全体の状況をグラフィクス表示し、オーディオ信号による監視支援情報を再生し、さらに動体の動画表示を行う組み合わせにより、遠隔地の等の監視地点での異常発生状況および異常発生箇所を、受信装置側の監視者が直感的に把握することができる。このため、監視対象の広い範囲内における異常が即座に認識され、非常時における対応がとりやすい。また、モニタ表示を集中して、長時間見つめている必要がなく、遠隔監視業務を行う監視者の負担が軽減される
【０１７７】
このように、本発明は、監視対象空間内での異常発生の状況が直観的に把握できるという優れたユーザインタフェースが提供される。
【図面の簡単な説明】
【図１】本発明が適用された第１の実施例における遠隔監視装置のブロック図である。
【図２】監視カメラの投影動作を説明する概念図である。
【図３】座標変換部の動作を説明する概念図である。
【図４】動きベクトルの検出方法を説明する図である。
【図５】シーン合成部による表示例を示す図である。
【図６】遠隔監視装置の第２の実施例を示すブロック図である。
【図７】シーン更新部の動作を説明する図である。
【図８】遠隔監視装置の第３の実施例を示すブロック図である。
【図９】遠隔監視装置の第４の実施例を示すブロック図である。
【図１０】遠隔監視装置の第５の実施例を示すブロック図である。
【図１１】遠隔監視装置の第６の実施例を示すブロック図である。
【図１２】遠隔監視装置の第７の実施例を示すブロック図である。
【図１３】遠隔監視装置の第８の実施例を示すブロック図である。
【図１４】動体同定部の動作を説明する図である。
【図１５】遠隔監視装置の第９の実施例を示すブロック図である。
【符号の説明】
101 遠隔情報送信装置
102 遠隔情報受信装置
103 画像符号化部
104 動体検出部
105 シーン記憶部
106 データ送信部
107 データ受信部
108 画像復号部
109 座標変換部
110 シーン合成部
111 モニタ
【発明の属する技術分野】
本発明は、画像通信を利用して遠隔地の状況を監視する遠隔監視装置および遠隔監視方法ならびに遠隔監視システムに関するものである。
【０００２】
【従来の技術】
一般に、画像通信を利用して遠隔地の状況を監視する場合、各遠隔地に配置された遠隔情報送信装置がビデオカメラの画像を符号化し、これをISDN (integrated services digital network)などの通信路を経由して監視センターに伝送する。通信コストを低減したり、遠隔地での異常を早期に検出するためには、非通信時に侵入物検出を行い、侵入物が検出された時にビデオカメラの画像を、オペレータが在中する監視センタに自動発呼で伝送させるという方法が有効である。たとえば特開平9-307876号公報には、監視カメラからの画像データをフレーム内予測符号化およびフレーム間予測符号化するコーデックと、コーデックにて得られる動きベクトルに基づいて画像の変化量を検出する侵入物検出部と、侵入物が検出された場合に自動発呼指示を出力する自動発呼制御部と、自動発呼制御部からの自動発呼指示に従って監視センタに接続し、コーデックからの符号化画像を伝送するネットワークインタフェースとを監視地点に備える遠隔監視方式が記載されている。このような構成により従来例では、非通信時に動きベクトルに基づく動体検出を行い、その結果、動体が検出された場合に監視カメラの画像を監視センタに自動発呼で伝送する。
【０００３】
【発明が解決しようとする課題】
しかし、このような遠隔監視システムでは、監視センタにて待機しているオペレータが各遠隔地に設置された監視カメラで写された画像のみをモニタ上で観察するため、遠隔地に異常が発生した際の正確な状況を直観的に把握しにくいという問題があった。たとえば、監視地点で侵入物が検出されて、その画像が監視センタ内のモニタに表示されたとしても、なにがどのように異常なのかを迅速かつ明快に判断することは困難であった。
【０００４】
本発明は、監視対象空間内での異常発生の状況を直観的に把握できる優れたユーザインタフェースを有する遠隔監視装置および遠隔監視方法ならびに遠隔監視システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は上述の課題を解決するために、監視対象の情報を伝送路を介して接続される受信装置に送信する送信装置と、送信装置からの情報を受信して監視対象の情報を出力する受信装置とにより、監視対象の状況を監視する遠隔監視装置において、送信装置は、３次元実空間を撮像する撮像手段にて生成される画像データに基づいて、監視対象の３次元実空間における動体を検出し、動体に応じた動体情報を出力する動体検出手段と、画像データを符号化し、符号化された符号化データを出力する第１の符号化手段と、符号化データおよび動体情報を伝送データに変換して、伝送データを伝送路を介して受信装置に伝送する情報送信手段とを含み、受信装置は、情報送信手段から送信される伝送データを受信し、伝送データに応じて符号化データおよび動体情報を、対応する出力先に出力する情報受信手段と、符号化データを復号する復号手段と、３次元実空間をモデル化したモデルデータおよび更新されたモデルデータを再生し、モデルデータに応じたグラフィック画像と、画像データに応じた画像を表示手段に表示させる再生手段とを含むことを特徴とする。
【０００６】
また、本発明は上述の課題を解決するために、監視センタの設置場所より遠隔地に、監視対象を撮像するカメラを設置し、遠隔地側から監視対象の状況を伝送路を介して監視センタに送信し、監視センタにて監視する遠隔監視方法において、遠隔地側から、監視対象の３次元実空間を２次元画像に変換して符号化し監視センタに伝送するとともに、３次元実空間中の動体を検出して動体の動体情報を監視センタに伝送し、監視センタは、符号化された２次元画像を復号して再生し、動体情報に基づいて、３次元実空間のモデルデータを更新して再生することを特徴とする。
【０００７】
また、本発明は上述の課題を解決するために、送信装置と、受信装置とが伝送路を介して接続され、送信装置の撮像手段にて撮像した画像を受信装置にて監視する遠隔監視システムにおいて、送信装置は、画像データを入力して受信装置へ送信する第１の送信手段と、入力画像に監視対象領域が存在することを判定し受信装置へ送信する第２の送信手段とを備え、受信装置は、送信装置から送信される画像データに応じた画像を表示する表示手段と、画像データのフレームに対象領域が存在するとき、対象領域の状態を監視支援データとして受信装置の操作者に示す手段を備え、遠隔送信装置または遠隔受信装置に、対象領域の状態を求める手段を備えることを特徴とする。
【０００８】
また、本発明は上述の課題を解決するために、送信装置と受信装置とが伝送路を介して接続され、送信装置の撮像手段にて撮像した画像を受信装置にて監視する遠隔制御方法において、送信装置から受信装置に画像データを送信し、入力画像に監視対象領域が存在することを判定すると判定結果を遠隔受信装置に送信し、受信装置は、画像データを受信して画像データに応じた画像を表示し、画像データが遠隔監視対象の存在するフレームであるとき、検出された対象領域の状態を監視支援データとして受信装置の操作者に示し、送信装置または受信装置は、対象領域の状態を求めることを特徴とする。
【０００９】
【発明の実施の形態】
次に添付図面を参照して本発明による遠隔監視装置およびその方法の実施例を詳細に説明する。図１を参照すると同図には、遠隔監視装置の一実施例が示されている。この遠隔監視装置は、遠隔情報送信装置101 と、遠隔情報受信装置102 とを含み、これら装置はISDN等の通信網を介して接続される。
【００１０】
遠隔情報送信装置101 は、監視カメラ122 と、画像符号化部103 と、動体検出部104 と、シーン記憶部105 と、データ送信部106 とを含み、遠隔情報受信装置102 は、データ受信部107 と、画像復号部108 と、座標変換部109 と、シーン合成部110 と、モニタ111 とを含む。
【００１１】
監視カメラ122 は、実空間を撮像して動画像データを生成し、生成したデータを画像符号化部103 および動体検出部104 に出力する。本実施例における監視カメラ122 は、画角がほぼ 180°もしくは 180°以上の全周魚眼レンズ（図示せず）を装着し、このレンズによって３次元実空間の光学情報が２次元平面の撮像面に投影される。レンズの焦点面に配設される撮像素子は、撮像面に結像される光学像を光電変換し、露光量に応じた画像信号を生成する。その撮像面にはカラーフィルタが形成され、カメラ122 は、カラーフィルタに応じたカラー画像信号を生成するが、これに限らず、たとえばカラーフィルタを廃し、モノクロ画像信号を生成するようにしてもよい。カメラ122 は生成した画像信号をアナログ・ディジタル(A/D) 変換し、順次撮像される動画像データを画像符号化部103 および動体検出部104 に出力する。なお、レンズは全周魚眼レンズに限らず、たとえば対角線画角が 180°程度の魚眼レンズなど超広角レンズでもよい。
【００１２】
図２にカメラ122 の投影動作を示す。同図(a) は、３次元実空間中のカメラ配置状態の一例を示すものであり、カメラ122 が地面205 に配置されている。図示するように、地面205 上に２つの直交する座標軸x,y を設定し、ｘｙ空間に直交する方向に座標軸ｚを設定すると、カメラ122 は、位置(0,0,0) に、ｚ軸の正方向を向いて配置される。また、任意のオブジェクトＰ 202は、ｘ軸からの方位角θおよび仰角に応じたｚ軸からの角度φの方向に配置される。同図(b) は同図(a) の３次元実空間に対して投影されたカメラ122 の出力画像を示す。図示するように、ＸＹ画像空間上でのオブジェクトＰの位置204 は、曲座標表現で角度θおよび距離２Ｒφ／πの位置に近似できる。すなわち、３次元実空間中のオブジェクトの方位角は出力画像中のＸ軸からの角度に一致し、一方、オブジェクトの角度φは出力画像中の原点からの距離に比例する。以上から、３次元実空間でｚ値が正の領域は、出力画像において半径Ｒの領域203 内に投影される。なお、実際に用いる魚眼レンズの特性によっては上記の投影特性が厳密には当てはまらない場合もあるので、この場合には、あらかじめレンズの特性を計測し、これに基づいて、上記の投影特性が成り立つように動画像データを補正する。この補正処理は、カメラ122 内部で行ってもよく、また後述する座標変換部109 が行ってもよい。なおこの説明では、地面205 上にカメラ122 を配置させたが、これに限らず、たとえば、監視対象が建物内である場合は、その天井部分にカメラ122 を地面に向けて設置してもよく、またカメラ122 を壁等に設置してもよい。
【００１３】
画像符号化部103 は、カメラ122 から出力される動画像データと、動体検出部104 より供給される動きベクトルとに基づいて現フレームに対応する予測フレームを計算し、この予測フレームと現フレームの動画像データとの差分を算出する。画像符号化部103 は、算出された差分データ、動きベクトルおよび符号化モードを符号化し、生成された符号化ストリームをデータ送信部106 に出力する。符号化方式は、たとえば、いわゆるMPEG方式などのビデオ符号化方式が適用される。
【００１４】
動体検出部104 は、カメラ122 より動画像データを入力して、動きベクトルを画像符号化部103 に出力し、動体データをデータ送信部106 に出力する。動体検出部104 は、動画像データのフレームを所定サイズのブロックに分割し、各ブロック毎に動きベクトルを検出する。図３に示すフレーム301 は現在入力された現フレーム、フレーム302 は直前に入力された前フレームを表す。動体検出部104 は、動きベクトルを検出するにあたって、現フレーム301 中の任意のブロック303 に対し、前フレーム302 中から最も画素パターンが一致する領域を検出する。たとえば、ブロック303 の位置が(x,y) である場合、前フレーム302 中の位置(x,y) を中心とする所定の範囲内で、両フレームの画素データの比較を行い、ブロック303 に対して最もパターンが一致する領域305 を検出する。このとき、ブロック303 の位置に相当する前フレーム302 中のブロック304 と領域305 との位置のずれを計算し、これを動きベクトル306 とする。動体検出部104 は検出した動きベクトルを画像符号化部103 に出力する。
【００１５】
図１に戻ってシーン記憶部105 は、カメラ122 にて撮像される平常時における撮像画像に応じたシーン初期データを記憶するメモリ部である。このシーン初期データは、遠隔情報送信装置101 の設置された場所にてカメラ122 にて撮像される３次元実空間の平常時の状態をモデル化したデータであり、３次元空間中に存在するオブジェクトの位置、形状、テクスチャや、各オブジェクト毎の補足的情報（テキスト情報、オーディオ情報など）を含む。このシーン初期データは、あらかじめ撮像および処理されてシーン記憶部105 内に記憶されている。シーン記憶部105 は、遠隔情報送信装置101 の初期動作時に、記憶したシーン初期データを読み出してデータ送信部106 に出力する。
【００１６】
データ送信部106 は、画像符号化部103 より符号化ストリームを入力し、動体検出部104 より動体データを入力し、シーン記憶部105 よりシーン初期データを入力し、これらを伝送データとしてISDN等のネットワークを介して遠隔情報受信装置102 のデータ受信部107 に送信する。
【００１７】
データ受信部107 は、データ送信部106 から送信される伝送データを受信して、伝送データに応じて符号化ストリームおよびシーン初期データを再生する。データ受信部107 は、再生した符号化ストリームを画像復号部108 に出力し、シーン初期データをシーンデータとしてシーン合成部110 に出力する。画像復号部108 は、入力される符号化ストリームを復号してその復号データを座標変換部109 に出力する。
【００１８】
座標変換部109 は、画像復号部108 より復号データを入力し、シーン合成部110 より表示領域情報を入力して、カメラ122 の魚眼レンズにて歪曲されている画像の復号データを平行投影処理によるデータに変換し、これを座標変換データとしてシーン合成部110 に出力する。
【００１９】
この変換処理の概略を図４に示すと、画像復号部108 より入力された復号データ401 が、画角 180°の３次元実空間が円形の画像領域に投影されている。復号データ401 中に設定される領域402 はシーン合成部110 より入力された表示領域情報を示す領域であり、この表示領域情報は４つの座標データ（図中、Ａ，Ｂ，Ｃ，Ｄ各点の座標データ）からなる。画像復号部108 は、この４つの座標データで指定されるドーナツ形状の一部を切り出した形状の領域を長方形の領域403 に変換して、これを座標変換データとしてシーン合成部110 に出力する。これにより、上記座標変換データは、カメラ122 の魚眼レンズによる歪曲を解除した、平行投影による画像データとなる。
【００２０】
シーン合成部110 は、データ受信部107 よりシーンデータを入力し、座標変換部109 より座標変換データを入力して、座標変換部109 に表示領域情報を出力し、モニタ111 に表示データを出力する。シーン合成部110 の出力はモニタ111 に接続され、モニタ111 は、シーン合成部110 より表示データを入力し、これを表示する。
【００２１】
以上のような構成で、本実施例における遠隔監視装置の動作を説明する。遠隔情報送信装置101 が動作を開始すると、まず、シーン記憶部105 よりデータ送信部106 にシーン初期データが出力され、その後、カメラ122 が動作を開始すると、３次元実空間の光学情報を２次元平面に投影し、これを光電変換し、A/D 変換し、対応する動画像データを出力する。
【００２２】
次に、動体検出部104 は、カメラ122 より動画像データを入力すると、動画像データのフレームを所定サイズのブロックに分割し、各ブロック毎に動きベクトルを検出する。動体検出部104 は、ブロック毎の動きベクトルを検出すると、これを画像符号化部103 に出力する。また、動体検出部104 は、フレーム全体にわたって動きベクトルの総和を求める。動体検出部104 は、これが所定の閾値より大きい場合に、各ブロック毎の動きベクトルに基づいて動体の重心を求め、その位置情報を動体データとしてデータ送信部106 に出力する、なお、動体検出部104 は、各ブロックの動きベクトルに基づき、動体の大きさや領域を求め、これらの情報を含む動体データを生成してもよい。
【００２３】
次に、画像符号化部103 は、カメラ122 より動画像データを入力し、動体検出部104 よりブロック毎の動きベクトルを入力すると、前フレームの動画像データと動きベクトルとから現フレームに対応する予測フレームを計算し、現フレームの動画像データとの差分を求める。画像符号化部103 は、この差分データと動きベクトルなどを符号化することにより、動画像データの時間方向の冗長な情報を削除して、符号化による圧縮効率を高める。以上の動作により、画像符号化部103 は符号化ストリームを計算し、これをデータ送信部106 に出力する。
【００２４】
データ送信部106 は、遠隔情報送信装置101 の初期動作時にシーン記憶部105 からシーン初期データを入力し、これを伝送データとして遠隔情報受信装置102 のデータ受信部107 に送信する。また、データ送信部106 は、画像符号化部103 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部107 に送信する。また、データ送信部106 は、動体検出部104 より動体データを入力すると、これを伝送データとしてデータ受信部107 に送信する。
【００２５】
以上の動作により、この第１の実施例の遠隔情報送信装置101 は、動作開始時にはシーン初期データを遠隔情報受信装置102 に送信し、それ以降は、魚眼レンズ付きのカメラ122 の動画像データを符号化して遠隔情報受信装置102 に送信し、さらに、動体が検出された場合に動体データを遠隔情報受信装置102 に送信する。
【００２６】
遠隔情報受信装置102 では、受信した伝送データがシーン初期データである場合のステップ(A) 、伝送データが符号化ストリームである場合のステップ(B) および伝送データが動体データである場合のステップ(C) のいずれかを判定し、判定結果に応じた処理動作を行う。
【００２７】
伝送データがシーン初期データである場合(A) において、データ受信部107 は、シーン初期データをシーンデータとしてシーン合成部110 に出力し、シーン合成部110 は、受け取ったシーンデータに基づいて遠隔情報送信装置101 が設置された３次元実空間の平常時の状態をグラフィクス表現により再構成し、これを２次元平面に投影したグラフィクスの表示データに変換して、この表示データをモニタ111 に出力する。また、シーン合成部110 は、シーン初期データに応じた表示領域情報として所定の初期値を座標変換部109 に出力する。モニタ111 は、シーン合成部110 より表示データを入力して、これをCRT ディスプレイやLCD ディスプレイなどの表示デバイスに表示する。
【００２８】
次に伝送データが符号化ストリームである場合(B) におけるデータ受信部107 は、符号化ストリームを画像復号部108 に出力し、画像復号部108 は、上記符号化ストリームを復号して、その復号データを座標変換部109 に出力する。座標変換部109 は、画像復号部108 より復号データを入力し、シーン合成部110 より表示領域情報を入力し、カメラ122 の魚眼レンズにより歪曲された復号データを平行投影によるデータに変換し、これを座標変換データとしてシーン合成部110 に出力する。シーン合成部110 は、座標変換部109 より座標変換データを入力すると、これを動画像の表示データとしてモニタ111 に出力して、シーン合成部110 から出力される表示データに応じた画像を表示する。
【００２９】
次に伝送データが動体データである場合(C) におけるデータ受信部107 は、動体データをシーンデータとしてシーン合成部110 に出力する。シーン合成部110 は、上記シーンデータに基づいて、ステップ(A) の場合に作成したグラフィクスの表示データを修正する。上記シーンデータには、画像復号部108 より出力される復号画像における動体の重心位置の情報が含まれている。シーン合成部110 は表示データを修正するに当たって、動体の重心位置に基づき、カメラ122 の位置から動体をみた場合の方位角および仰角に応じた角度を計算する。これは、図２(b) における点Ｐ(X,Y) と方位角θおよび角度φの位置関係から計算される。次に、シーン合成部110 は、動体の方位角と仰角に応じた角度に基づいて、グラフィクスの表示データ中に、動体の存在範囲を示すオブジェクトを追加する。また、すでに表示データ中に動体の存在範囲を示すオブジェクトが存在する場合には、このオブジェクトの向きを修正する。シーンデータ中に動体の大きさや領域を表す情報が含まれる場合には、動体の存在範囲を示すオブジェクトの大きさや形状を変化させるようにしてもよい。
【００３０】
また、シーン合成部110 は、動体の重心位置に基づいて、復号データ上の該重心位置を中心として設定し、さらに図４に示したような表示領域402 を設定する。シーン合成部110 は、この領域を表す４つの座標データを求め、表示領域情報として座標変換部109 に出力する。さらに、シーン合成部110 は、シーンデータに基づいて、ステップ(B) の場合に作成された動画像の表示データ中の動体位置に、動体を指し示すマーカ画像を合成する。シーンデータ中に動体の大きさや領域を含む場合には、マーカ画像の大きさや形状を変化させるようにしてもよい。シーン合成部110 は、修正された表示データをモニタ111 に出力する。モニタ111 は、シーン合成部110 より表示データを入力してこれを表示する。
【００３１】
ここで図５を参照すると、同図にはシーン合成部110 によって作成される表示データによるモニタ表示例が示されている。この図において、表示画面501 内の左方にはグラフィクス表示502 が配置され、右方には動画像表示505 が配置されている。グラフィクス表示502 には、シーン記憶部105 に記憶されたモデル中のオブジェクト群503 と、動体の存在範囲を示すオブジェクト504 とを含む。動画像表示505 には、カメラ122 により撮影された動画像中に検出された動体506 と、動体の位置を示すマーカ画像507 とを含む。
【００３２】
なお、シーン合成部110 を、ポインティングデバイスなどのオペレータによる操作指示を入力する入力手段を含むように構成する場合、シーン合成部110 は、オペレータの指示に応じて画像変換処理し、動画像の表示をパン、チルト、ズームしたり、表示領域を設定し直してグラフィクス表示の視点を変更することができる。
【００３３】
以上の動作により、第１の実施例における遠隔監視装置101 は、遠隔情報送信装置101 から遠隔情報受信装置102 にシーン初期データが受信され、これを再構成してグラフィクスオブジェクト503 を表示し、遠隔情報送信装置101 より符号化ストリームが受信されて動画像505,506 が表示され、遠隔情報送信装置101 より動体データが受信されて、グラフィクス表示504 と、動画像表示の中に挿入した動体を指し示すオブジェクト507 とが表示される。
【００３４】
このように、本実施例では、遠隔情報送信装置101 があらかじめ遠隔地のシーンデータを遠隔情報受信装置102 に送信したのち、動画像データを符号化して順次送信する。このとき、遠隔情報送信装置101 が動体を検出して、動画像中の動体の位置を遠隔情報受信装置102 に送信すると、これを受信した遠隔情報受信装置102 が、シーンデータ中の動体の存在範囲を計算し、これをグラフィクス表示する。したがって、遠隔地の監視対象空間全体の状況をグラフィクス表示し、これを動体の動画像表示と組み合わせることによって、遠隔地での異常発生の状況を直観的に把握でき、非常時の対応がとりやすくなる。さらに、魚眼レンズ付きのカメラで広い画角の映像を入力し、これに基づき動体検出および状況表示を行うので、監視対象空間中の異常状態を即座に知ることができる。
【００３５】
次に図６を参照して遠隔監視装置の第２の実施例を説明する。本実施例における遠隔監視装置は、図１に示した第１の実施例と同様に遠隔情報送信装置601 と遠隔情報受信装置602 とがISDN等の通信網を介して接続されるシステムである。遠隔情報送信装置601 は、監視カメラ622 と、画像符号化部603 と、動体検出部604 と、シーン記憶部605 と、シーン更新部612 と、データ送信部606 とを含む。また、遠隔情報受信装置602 は、データ受信部607 と、画像復号部608 と、シーン合成部610 と、モニタ611 とを含む。
【００３６】
監視カメラ622 は、動体検出部604 よりカメラ制御データを入力し、実空間を撮像して動画像データを画像符号化部603 および動体検出部604 に出力する。本実施例における監視カメラ622 は、上下左右等の向きを変更可能な雲台の上にカメラ622 の撮像部が設置されている。この雲台の向きは、平常時は自動で変更され、動体検出部604 からカメラ制御信号が入力されると、その制御信号に応じた向きに調節される。また撮像部に装着されるレンズは、監視対象に応じて通常の広角レンズやズームレンズなどを使用してよい。カメラ622 の他の点については図１に示した監視カメラ122 と同じ構成でよい。
【００３７】
画像符号化部603 は、監視カメラ622 より動画像データを入力し、動体検出部604 より動きベクトルを入力し、これらを符号化した符号化ストリームをデータ送信部606 に出力する。
【００３８】
動体検出部604 は、カメラ622 より動画像データを入力して、動きベクトルを画像符号化部603 に出力し、動体データをシーン更新部612 に出力し、カメラ制御データをカメラ622 に出力する。動体検出部204 は、カメラ622 より動画像データを入力すると、図１に示した動体検出部104 と同様に、動画像データのフレームを所定サイズのブロックに分割し、各ブロック毎に動きベクトルを検出し、これを画像符号化部603 に出力する。さらに動体検出部604 は、フレーム全体わたり動きベクトルの総和を求め、これが所定の閾値より大きい場合に、各ブロック毎の動きベクトルに基づいて動体の重心を求め、その位置情報とカメラ622 の向きの情報とを動体データとしてシーン更新部612 に出力する。なお、動体検出部604 は、各ブロックの動きベクトルに基づき、動体の大きさや領域を求め、これらを動体データに含めるようにしてもよい。さらに、動体検出部604 は、動体の中心がフレーム中央に写るようにするための雲台の向きを計算し、その計算結果をカメラ制御データとしてカメラ622 に出力する。
【００３９】
カメラ622 の出力に接続された画像符号化部603 は、図１に示した画像符号化部103 と同様に、カメラ622 より動画像データを入力し、動体検出部604 よりブロック毎の動きベクトルを入力すると、これらに基づいて符号化ストリームを計算し、これをデータ送信部606 に出力する。
【００４０】
シーン記憶部605 は、図１に示したシーン記憶部105 と同様に、カメラ622 にて撮像される平常時における撮像画像に応じたシーン初期データを記憶し、シーン初期データをデータ送信部606 に出力し、シーン記憶データをシーン更新部612 に入出力する。
【００４１】
シーン更新部612 は、動体検出部604 より動体データを入力し、シーン記憶データをシーン記憶部605 に入出力し、シーン更新データをデータ送信部606 に出力する。シーン更新部612 は、動体検出部604 より動体データを入力すると、そのうち動体の位置情報とカメラ622 の向き情報に基づき、動体が存在する方向を計算する。シーン更新部612 は、シーン記憶部605 よりシーン記憶データを入力する。このシーン記憶データは遠隔情報送信装置601 が動作を開始した際にはシーン初期データと一致している。
【００４２】
シーン更新部612 は、シーン記憶データ中に動体に該当するオブジェクトが含まれているかどうかを判定する。シーン記憶部605 のシーン記憶データ中に動体に該当するオブジェクトが存在しない場合、シーン更新部612 は、計算された動体の向きに基づいて動体に該当するオブジェクトを生成し、これをシーン更新データとしてデータ送信部606 に出力するとともに、シーン記憶データにこのオブジェクトを追加して、これをシーン記憶部605 に出力する。シーン記憶部605 は、この更新されたデータを新しいシーン記憶データとして記憶する。
【００４３】
一方、シーン記憶データ中に動体に該当するオブジェクトを検出した場合、シーン更新部612 は、オブジェクトの向きの更新情報をシーン更新データとしてデータ送信部606 に出力するとともに、シーン記憶データ中のこのオブジェクトの向きを変更して、これをシーン記憶部605 に出力する。シーン記憶部605 は、この更新されたデータを新しいシーン記憶データとして記憶する。
【００４４】
なお、シーン更新部612 は、動体検出部604 より入力される動体データのうち動体の大きさや領域を考慮して、シーン記憶データやシーン更新データに含める動体オブジェクトの大きさおよび形状を変えてもよい。また、シーン更新部612 は、動体検出部604 より入力される動体データそのものをシーン更新データに含めるように構成してもよい。
【００４５】
図７を参照して動体が存在する位置への向きをシーン更新部612 にて算出する処理を説明する。この例はカメラ622 が配置された３次元実空間をｘｙｚ座標系で表し、原点Ｏ 701にカメラ622 を設置した場合である。現在カメラ622 は方位角α、仰角に応じた角度βの方向702 に向けられている。この方向702 にＹ軸をとると、カメラ622 が撮像した画像はＹ軸に直交したＸＺ平面上のスクリーン703 に配置することができる。このとき、ｘｙｚ座標系の原点Ｏと、ＸＹＺ座標系の原点Ｏ’との距離は、カメラレンズの焦点距離ｆに相当する。このとき、カメラ622 が撮像する画像は、Ｙ値が正の領域に存在する３次元空間を原点Ｏに向かって投影したときのスクリーン703 上の投影像と考える。したがって、スクリーン703 上の任意の点Ｐ 704 に対しては、点Ｐの位置(X,Y) とカメラの向き（α，β）とを用いて、ｘｙｚ座標系の原点Ｏからみた点Ｐの向き、すなわち方位角θと角度φとを計算することができる。シーン更新部612 は、この原理に基づいて動体が存在する位置への方向を計算する。さらにシーン更新部612 は、シーン記憶部605 よりシーン記憶データを入力する機能を有し、遠隔情報送信装置601 が動作を開始した際にはシーン初期データを入力する。
【００４６】
図６に戻ってデータ送信部606 は、遠隔情報送信装置601 の動作開始時にはシーン記憶部605 からシーン初期データを入力し、これを伝送データとして遠隔情報受信装置602 のデータ受信部607 に送信する。また、データ送信部606 は、画像符号化部603 より符号化ストリームを入力するとこれを伝送データとしてデータ受信部607 に送信する。また、データ送信部606 は、シーン更新部212 よりシーン更新データを入力するとこれを伝送データとしてデータ受信部607 に送信する。
【００４７】
遠隔情報受信装置602 のデータ受信部607 は、データ送信部606 より伝送データを受信し、画像復号部608 に符号化ストリームを出力し、シーン合成部610 にシーンデータを出力する。画像復号部608 は、データ受信部607 より符号化ストリームを入力し、シーン合成部610 に復号データを出力する。シーン合成部610 は、データ受信部607 よりシーンデータを入力し、画像復号部608 より復号データを入力し、モニタ611 に表示データを出力する。モニタ611 は、シーン合成部610 より表示データを入力しこれを表示する。
【００４８】
以上のような構成で、本実施例における遠隔監視装置の動作を説明する。遠隔情報送信装置601 が動作を開始すると、まず、データ送信部606 は、シーン記憶部605 より読み出されるシーン初期データを遠隔情報受信装置602 に送信する。
【００４９】
その後、カメラ622 が動作を開始し、３次元実空間の光学情報が２次元平面の撮像素子に投影され、これが光電変換およびA/D 変換されて、結像した光学像に対応する動画像データが出力される。カメラ622 の向きは、平常時には自動的に変更されるが、動体検出部604 からカメラ制御データがカメラ622 に入力されるとカメラ制御データに従ってその向きが変更される。
【００５０】
次に、動体検出部604 は、カメラ622 より動画像データを入力すると、図１に示した実施例の動体検出部104 と同様に、動画像データのフレームを所定サイズのブロックに分割し、各ブロック毎の動きベクトルを検出する。動体検出部604 は、検出した動きベクトルを画像符号化部603 に供給する。さらに動体検出部604 では、フレーム全体わたる動きベクトルの総和が求められる。この総和が所定の閾値より大きい場合が発生すると、各ブロック毎の動きベクトルに基づいて、動体の重心が算出され、その重心の位置情報とカメラ622 の向きの情報とが動体データとして動体検出部604 からシーン更新部612 に出力される。なお、動体検出部604 は、各ブロックの動きベクトルに基づいて、動体の大きさや領域を求め、これらを動体データに含めるようにしてもよい。
【００５１】
動体検出部204 は、さらに、動体の中心がフレームの中央に写るためのカメラ604 の雲台の向きを計算し、この計算結果がカメラ制御データとしてカメラ622 に出力され、検出された動体がフレームの中央部分にくるようにカメラ622 の向きが制御される。次に、画像符号化部203 は、図１に示した実施例の画像符号化部103 と同様に、カメラ622 より動画像データが入力され、動体検出部604 よりブロック毎の動きベクトルが入力されると、これらに基づいて符号化ストリームを計算し、この計算結果をデータ送信部606 に出力する。
【００５２】
一方、シーン更新部612 では、動体検出部604 より動体データが入力されると、そのうち動体の位置情報とカメラ622 の向き情報に基づいて、動体が存在する方向が計算される。また、シーン更新部612 、シーン記憶部605 から読み出されるシーン記憶データを入力し、このシーン記憶データは遠隔情報送信装置601 が動作を開始した際にはシーン初期データと一致している。
【００５３】
シーン更新部612 は、シーン記憶データ中に動体に該当するオブジェクトが含まれているかどうかを判定する。シーン記憶データ中に動体に該当するオブジェクトが存在しない場合、シーン更新部612 は、計算された動体の向きに基づいて動体に該当するオブジェクトを生成し、これをシーン更新データとしてデータ送信部606 に出力するとともに、シーン記憶データにこのオブジェクトを追加して、これをシーン記憶部605 に出力する。シーン記憶部605 は、この更新されたデータを新しいシーン記憶データとして記憶する。
【００５４】
一方、シーン記憶データ中に動体に該当するオブジェクトを検出した場合、シーン更新部612 は、オブジェクトの向きの更新情報をシーン更新データとしてデータ送信部606 に出力するとともに、シーン記憶データ中のこのオブジェクトの向きを変更して、これをシーン記憶部605 に出力する。シーン記憶部605 は、この更新されたデータを新しいシーン記憶データとして記憶する。
【００５５】
データ送信部606 は、遠隔情報送信装置601 の初期動作時にシーン記憶部605 からシーン初期データが入力されると、これを伝送データとしてデータ受信部607 に送信する。また、データ送信部606 は、画像符号化部603 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部607 に送信する。また、データ送信部606 は、シーン更新部612 よりシーン更新データを入力すると、これを伝送データとしてデータ受信部607 に送信する。
【００５６】
以上の動作により、遠隔情報送信装置601 は、動作開始時にはシーン初期データを遠隔情報受信装置602 に送信し、それ以降は、カメラ622 の動画像データを符号化して遠隔情報受信装置602 に送信し、さらに、動体が検出された場合にシーンの更新データを遠隔情報受信装置602 に送信する。
【００５７】
遠隔情報受信装置602 では、データ受信部607 にて受信される伝送データに応じた処理動作が行われる。まず、伝送データがシーン初期データである場合(A) では、データ受信部607 は、シーン初期データをシーンデータとしてシーン合成部210 に出力し、シーンデータを受信したシーン合成部610 は、そのシーンデータに基づいて遠隔情報送信装置601 が設置された３次元実空間の平常時の状態をグラフィクス表現により再構成し、これを２次元平面に投影したグラフィクスの表示データを生成する。この表示データはモニタ611 に出力されて、表示データに応じたグラフィクス画像が表示される。
【００５８】
次に、データ受信部607 にて受信される伝送データが符号化ストリームであった場合(B) には、データ受信部607 は、符号化ストリームを画像復号部608 に出力し、画像復号部608 では、その符号化ストリームが復号されて、その復号結果が復号データとしてシーン合成部610 に出力される。シーン合成部610 は、画像復号部608 より復号データを入力すると、これを動画像の表示データとしてモニタ611 に出力し、モニタ611 は、入力される表示データに応じた動画像を表示する。
【００５９】
次に、伝送データがシーン更新データであった場合(C) には、データ受信部607 は、シーン更新データをシーンデータとしてシーン合成部610 に出力する。シーン合成部210 では、供給されるシーンデータに基づいて、上記(A) の場合に作成したグラフィクスの表示データを更新し、更新された表示データをモニタ611 に出力する。これによりグラフィクス画像が更新される。
【００６０】
以上により、本実施例の遠隔情報受信装置602 は、図５に示したような画面表示を行うことができる。このように遠隔情報受信装置602 は、遠隔情報送信装置601 よりシーン初期データを受信し、これを再構成してグラフィクスオブジェクトを表示し、遠隔情報送信装置601 より符号化ストリームを受信して動画像を表示し、遠隔情報送信装置601 よりシーン更新データを受信して、グラフィクス表示の中に、動体を指し示すオブジェクトを挿入する。
【００６１】
以上説明したように、この第２の実施例では、遠隔情報送信装置601 があらかじめ遠隔地のシーンデータを遠隔情報受信装置602 に送信したのち、動画像データを符号化して順次送信する。このとき、遠隔情報送信装置601 は動体を検出すると、動体の３次元配置を推定してこれを遠隔情報受信装置602 に送信し、遠隔情報受信装置602 がこれをグラフィクス表示する。したがって、遠隔地の監視対象空間全体の状況をグラフィクス表示し、これを動体の動画像表示と組み合わせることによって、遠隔地での異常発生の状況を直観的に把握でき、非常時の対応が取りやすくなる。また本第２の実施例では、遠隔情報受信装置202 が動体の３次元配置を直接受信する点で図１に示した実施例とは異なり、このような構成により、遠隔情報受信装置が設置される監視センタが各遠隔監視点の正確なカメラ位置を把握できない場合や、遠隔監視点のカメラが自動的にパンやチルトなどの撮像制御を行う場合であっても、監視対象空関中の異常発生箇所を即座に知ることができる。
【００６２】
次に図８を参照して他の実施例を説明する。同図には遠隔監視装置の第３の実施例が示されている。本実施例における遠隔監視装置は、図１に示した第１の実施例と同様に遠隔情報送信装置801 と遠隔情報受信装置802 とがISDN等の通信網を介して接続されるシステムである。遠隔情報送信装置801 は、監視カメラ822 と、画像符号化部803 と、動体検出部804 と、シーン記憶部805 と、高品質画像符号化部812 と、データ記憶部813 と、データ送信部806 とを含む。遠隔情報受信装置802 は、データ受信部807 と、画像復号部808 と、座標変換部809 と、シーン合成部810 と、モニタ811 とを含む。
【００６３】
監視カメラ822 は、図１に示した監視カメラ122 と同じ構成でよく、魚眼レンズを備えており、実空間を撮像して生成した動画像データを、画像符号化部803 、動体検出部804 および高品質画像符号化部812 に出力する。
【００６４】
画像符号化部803 は、カメラ822 より動画像データを入力して、符号化ストリームをデータ送信部806 に出力する。本実施例における画像符号化部803 は、動体検出部804 にて生成される動きベクトルを用いずに、フレーム内の画素データに基づいてそのフレームの符号化ストリームを計算する。画像符号化部803 は、１フレームの符号化ストリームをデータ送信部806 に出力すると、その後所定フレーム数分だけ処理を休止したのち符号化処理を再開する。この結果、画像符号化部803 は、一定の時間間隔で、動画像データのフレームを間引いた静止画像の符号化ストリームをデータ送信部806 に出力する。
【００６５】
動体検出部804 は、図１に示した動体検出部104 と同様の構成でよく、カメラ822 より動画像データを入力して、動きベクトルを高品質画像符号化部812 に出力し、動体データをデータ送信部806 およびデータ記憶部813 に出力する。
【００６６】
また、シーン記憶部805 についても図１に示したシーン記憶部105 と同様の構成でよく、シーン初期データをデータ送信部806 に出力する。
【００６７】
高品質画像符号化部812 は、図１に示した画像符号化部103 と同様の構成でよく、カメラ822 から出力される動画像データと、動体検出部804 から出力される動きベクトルとをそれぞれ入力して符号化し、符号化された高品質符号化ストリームをデータ記憶部813 に出力する。
【００６８】
データ記憶部813 は、動体検出部804 より動体データを入力し、高品質画像符号化部812 より高品質符号化ストリームを入力し、また、遠隔情報受信装置802 のシーン合成部810 より蓄積データ伝送命令を受信し、データ送信部806 に蓄積データを出力する。詳しくはデータ記憶部813 は、動体データおよび高品質符号化ストリームが入力されるとこれら情報を記憶する。データ記憶部813 には一定時間Ｔ分の記憶容量の記憶手段が備られ、現在より過去にさかのぼる期間Ｔの動体データと高品質符号化ストリームとが記憶されるように記憶制御される。また、データ記憶部813 は、遠隔情報受信装置812 のシーン合成部810 より蓄積データ伝送命令を受信すると、記憶している動体データと高品質符号化ストリームとを蓄積データとしてデータ送信部806 に出力する。
【００６９】
データ送信部806 は、遠隔情報送信装置801 の初期動作時にシーン記憶部805 からシーン初期データを入力すると、これを伝送データとして遠隔情報受信装置802 のデータ受信部807 に送信する。また、データ送信部806 は、画像符号化部803 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部807 に送信する。また、データ送信部806 は、動体検出部804 より出力される動体データを入力すると、これを伝送データとしてデータ受信部807 に送信する。また、データ送信部806 は、データ記憶部813 から読み出された蓄積データを入力し、これを伝送データとしてデータ受信部807 に送信する。
【００７０】
一方、遠隔情報受信装置802 のデータ受信部807 は、遠隔情報送信装置801 から送信された伝送データを受信すると、その伝送データに応じて符号化ストリームを画像復号部808 に出力し、シーンデータをシーン合成部810 に出力する。
【００７１】
画像復号部808 は、図１に示した座標変換部109 と同様に、入力される符号化ストリームを復号して、座標変換部809 に復号データを出力する。座標変換部809 は、入力される復号データと、シーン合成部810 から供給される表示領域情報とに基づいて座標変換データを生成し、生成された座標変換データをシーン合成部810 に出力する。
【００７２】
シーン合成部810 は、図１に示したシーン合成部101 と同様に、データ受信部807 よりシーンデータを入力し、座標変換部809 より座標変換データを入力すると表示領域情報を生成し、座標変換部809 に表示領域情報を出力するとともに、データ記憶部813 に蓄積データ伝送命令を送信し、モニタ811 に表示データを出力する。モニタ811 は、シーン合成部310 から受信される表示データに応じた画像を表示する。
【００７３】
以上のような構成で第３の実施例における遠隔情報送信装置801 の動作を説明する。遠隔情報送信装置801 が動作を開始すると、まず、遠隔情報送信装置が設置された３次元実空間の平常時の状態をモデル化したデータシーン初期データがシーン記憶部805 からデータ送信部806 に出力される。その後、カメラ822 が動作を開始すると、３次元実空間の光学情報を２次元平面に投影した光学像が光電変換およびA/D 変換され、カメラ822 から撮像画像に応じた動画像データが出力される。
【００７４】
次に、動体検出部804 は、入力される動画像データのフレームを分割した各ブロック毎に動きベクトルを検出し、検出した動きベクトルが高品質画像符号化部812 に出力される。また、動体検出部804 は、図１に示した動体検出部104 と同様に動体データを計算し、算出結果がデータ送信部806 とデータ記憶部813 とに出力される。高品質画像符号化部812 では、動画像データがカメラ822 から入力され、動体検出部304 よりブロック毎の動きベクトルが入力されると、これらに基づいて符号化ストリームを計算し、これを高品質符号化ストリームとしてデータ記憶部813 に出力する。
【００７５】
データ記憶部813 は、入力される動体データと、高品質符号化ストリームとを記憶する。また、データ記憶部813 は、遠隔情報受信装置812 のシーン合成部810 から送信された蓄積データ伝送命令を受信すると、記憶している動体データと高品質符号化ストリームとを蓄積データとしてデータ送信部806 に出力する。
【００７６】
一方、画像符号化部803 は、カメラ822 より動画像データを入力すると、これに基づいて符号化ストリームを計算し、これをデータ送信部806 に出力する。但し、画像符号化部803 は、動きベクトルを用いることなく、フレーム内の画素データに基づいてこのフレームの符号化ストリームを計算する。データ送信部806 は、遠隔情報送信装置801 の初期動作時にシーン記憶部805 からシーン初期データを入力すると、これを伝送データとしてデータ受信部807 に送信する。また、データ送信部806 は、画像符号化部803 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部807 に送信する。また、データ送信部806 は、動体検出部804 より動体データを入力すると、これを伝送データとしてデータ受信部807 に送信する。また、データ送信部806 は、データ記憶部813 より蓄積データを入力すると、これを伝送データとしてデータ受信部807 に送信する。
【００７７】
以上の動作により、第３の実施例における遠隔情報送信装置801 は、動作開始時にはシーン初期データを遠隔情報受信装置802 に送信し、それ以降は、魚眼レンズ付きのカメラ822 の、一定期間ごとの静止画像データを符号化して遠隔情報受信装置802 に送信し、動体が検出された場合に動体データを遠隔情報受信装置802 に送信し、遠隔情報受信装置812 の命令を受信した場合に過去のカメラ822 の動画像データを符号化した符号化ストリームと動体データとからなる蓄積データを遠隔受信装置802 に送信する。
【００７８】
遠隔情報受信装置802 では、伝送データがシーン初期データである場合(A) において、データ受信部807 は、受信したシーン初期データをシーンデータとしてシーン合成部810 に出力する。シーン合成部810 は、そのシーンデータに基づいて遠隔情報送信装置801 が設置された３次元実空間の平常時の状態をグラフィクス表現により再構成し、これを２次元平面に投影したグラフィクスの表示データをモニタ811 に出力する。また、シーン合成部810 は、表示領域情報として所定の初期値を座標変換部809 に出力する。モニタ811 は、シーン合成部810 から出力される表示データに応じた画像を表示する。
【００７９】
また、伝送データが符号化ストリームである場合(B) において、データ受信部807 は符号化ストリームを画像復号部808 に出力し、画像復号部808 は、その符号化ストリームを復号して、その結果を復号データとして座標変換部809 に出力する。座標変換部809 は、入力される復号データと表示領域情報とにより、カメラ822 の魚眼レンズにより歪曲された復号データを平行投影によるデータに変換し、これを座標変換データとしてシーン合成部810 に出力する。シーン合成部810 は、座標変換部809 より座標変換データを入力すると、これを実画像の表示データとしてモニタ811 に出力し、その画像を表示させる。
【００８０】
また、伝送データが動体データである場合(C) において、データ受信部807 は、動体データをシーンデータとしてシーン合成部810 に出力する。シーン合成部810 は、そのシーンデータに基づいて、上記(A) の場合に作成したグラフィクスの表示データを修正し、上記(C) の場合に作成された実画像の表示データを修正してこの表示データをモニタ811 に出力するとともに、表示領域情報を計算して座標変換部809 に出力する。さらにシーン合成部810 は、オペレータの指示などの必要に応じて遠隔情報送信装置801 のデータ記憶部813 に蓄積データ伝送命令を送信する。
【００８１】
また、伝送データが蓄積データである場合(D) データ受信部807 は、蓄積データに含まれる高品質符号化ストリームに対しては、これを符号化ストリームとして画像復号部808 に出力する。この場合、遠隔情報受信装置802 の画像復号部808 、座標変換部809 、シーン合成部810 およびモニタ811 の動作は前記(B) の場合と同じである。また、データ受信部807 は、蓄積データに含まれる動体データに対しては、これをシーンデータとしてシーン合成部810 に出力する。この場合、遠隔情報受信装置802 のシーン合成部810 およびモニタ811 の動作は前記(C) の場合と同じである。
【００８２】
以上の(A) 〜(D) の場合における動作により、モニタ811 の表示画面には、図１に示した第１の実施例と同様の、図５のような表示が得られることになる。なお、シーン合成部810 は、前記(D) の場合の表示を別の表示ウインドウを用意して表示するようにしてもよい。また、シーン合成部810 を、ポインティングデバイスなどのオペレータの入力手段を含むように構成してもよい。この場合、シーン合成部810 は、オペレータの指示に応じて動画像の表示をパン、チルト、ズームしたり、グラフィクス表示の視点を変更したり、任意の時刻に遠隔情報送信装置801 の蓄積データの伝送を要求することができる。
【００８３】
以上の動作により、第３の実施例における遠隔情報受信装置802 は、遠隔情報送信装置801 よりシーン初期データを受信し、これを再構成してグラフィクスオブジェクトを表示し、遠隔情報送信装置801 より符号化ストリームを受信して一定周期の静止画像を表示し、遠隔情報送信装置801 より動体データを受信して、グラフィクス表示と静止画像表示の中に、動体を指し示すオブジェクトを挿入するとともに、必要に応じて遠隔情報送信装置801 に蓄積データの伝送を要求して、そのデータを受信し、これに基づいて動体の動画像表示とグラフィクス表示を行う。
【００８４】
以上のように、第３の実施例では、遠隔情報送信装置801 があらかじめ遠隔地のシーンデータを遠隔情報受信装置802 に送信したのち、動画像データを一定の時間間隔毎に符号化して送信する。このとき、遠隔情報送信装置801 が動体を検出して、動画像中の動体の位置を含む動体データを遠隔情報受信装置802 に送信すると、これを受信した遠隔情報受信装置802 が、シーンデータ中の動体の存在範囲を計算し、これをグラフィクス表示する。したがって、遠隔地の監視対象空間全体の状況をグラフィクス表示し、これを動体の実画像表示と組み合わせることによって、遠隔地での異常発生の状況を直観的に把握でき、非常時の対応が取りやすくなる。また、平常時に遠隔情報装置801 から遠隔情報受信装置802 に伝送されるデータは、動体データと一定時間間隔毎の静止画像であるので、動画像を伝送する場合に比べ伝送量を大幅に削減でき、通信コストを抑えられるという効果がある。
【００８５】
さらに、遠隔情報受信装置802 が動体データを受信すると、必要に応じて遠隔情報送信装置801 に蓄積データの伝送を要求し、遠隔情報送信装置801 が蓄積された高品質な動画像の情報や動体検出の情報を遠隔情報受信装置802 に伝送するので、通信網の帯域が充分ではない場合に、遠隔地での異常発生の状況を詳細に把握できる。また、第１の実施例と同様に、魚眼レンズ付きのカメラで広い画角の映像を入力し、これに基づき動体検出および状況表示を行うので、監視対象空間中の異常を即座に知ることができる。
【００８６】
次に図９を参照して他の実施例を説明する。同図には遠隔監視装置の第４の実施例が示されている。本実施例における遠隔監視装置は、複数の遠隔情報送信装置901,913,914,915 と、遠隔情報受信装置902 とを含み、各送信装置と受信装置902 とは、ISDN等の通信網を介して接続される。遠隔情報送信装置913,914,915 はそれぞれ遠隔情報送信装置901 と同じ構成でよいので遠隔情報送信装置901 について説明する。
【００８７】
遠隔情報送信装置901 は、監視カメラ922 と、画像符号化部903 と、動体検出部904 と、シーン記憶部905 と、データ送信部906 とを含み、また、遠隔情報受信装置902 は、データ受信部907 と、画像復号部908 と、座標変換部909 と、シーン合成部910 と、モニタ911 と、画像選択部912 とを含む。本実施例における遠隔情報送信装置901 は、受信装置902 から送信される画像選択データに応じた動作を行う点で図１に示した遠隔情報送信装置101 と異なるが、遠隔情報送信装置901 のその他の部分については送信装置101 と同様の構成でよいのでその説明を省略する。
【００８８】
詳しくは、監視カメラ922 の出力に接続される画像符号化部903 は、カメラ922 より動画像データを入力し、動体検出部904 より動きベクトルを入力し、画像選択部912 より画像選択データを受信し、符号化ストリームをデータ送信部906 に出力する。本実施例における画像符号化部903 は、遠隔情報受信装置902 の画像選択部912 より送信される画像選択データを受信すると、その画像選択データに応じた符号化制御を行う。この画像選択データは、複数の遠隔情報送信装置のうちいずれの遠隔情報送信装置が選択されているかを示す遠隔地選択データと、動体の重心位置データと、動体の領域データとを含み、画像符号化部903 は、その遠隔地選択データが自己の遠隔情報送信装置401 を選択することを示さない場合には、符号化動作を休止し、符号化ストリームを出力しないように構成されている。一方、遠隔地選択データが遠隔情報送信装置401 の選択を示す場合に、画像符号化部903 は、そのとき符号化の動作が休止状態であれば符号化の動作を再開し、入力される動画像データに対応する符号化ストリームをデータ送信部906 に出力する。このとき、画像符号化部903 は、動体の重心位置データまたは動体の領域データに基づいて、動体の画像領域のブロックを他の領域に比べて高画質になるよう符号化制御を行う。これにより、動体部分の画質を高くし、かつ画像全体の符号量を低く抑える。
【００８９】
データ送信部906 は、遠隔情報送信装置901 の初期動作時にシーン記憶部905 からシーン初期データを入力すると、これを伝送データとして遠隔情報受信装置902 のデータ受信部907 に送信する。また、データ送信部906 は、画像符号化部903 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部907 に送信する。また、データ送信部906 は、動体検出部904 より動体データを入力すると、これを伝送データとしてデータ受信部907 に送信する。本実施例におけるデータ送信部906 は、伝送データを送信する際、自己の遠隔情報送信装置901 の識別番号を伝送データ内に付加して送信を行う。この識別番号は、画像選択部912 より供給される画像選択データ中の遠隔地選択データに対応するものであり、各遠隔情報送信装置901,913,914,915 ごとに異なる値が設定される。
【００９０】
遠隔情報受信装置902 のデータ受信部907 は、複数の遠隔情報送信装置のデータ送信部より送信される伝送データを受信して、その伝送データに応じて、画像復号部908 に符号化ストリームを出力し、シーン合成部910 にシーンデータを出力する。
【００９１】
画像復号部908 は、データ受信部907 より出力される符号化ストリームを復号して、座標変換部909 に復号データを出力する。座標変換部909 は、画像復号部908 より復号データを入力し、シーン合成部910 より表示領域情報を入力し、シーン合成部910 に座標変換データを出力する。
【００９２】
シーン合成部910 は、データ受信部907 よりシーンデータを入力し、座標変換部909 より座標変換データを入力し、座標変換部909 に表示領域情報を出力し、画像選択部912 に動体選択データを出力し、モニタ911 に表示データを出力する。
【００９３】
画像選択部912 は、シーン合成部910 より動体選択データを入力し、遠隔情報送信装置901 の画像符号化部903 に画像選択データを送信する。モニタ911 は、シーン合成部910 より表示データを入力し、これを表示する。
【００９４】
以上の構成で、第４の実施例における遠隔情報送信装置901 の動作を説明する。遠隔情報送信装置901 が動作を開始すると、まず、シーン記憶部905 よりデータ送信部906 にシーン初期データを出力する。その後、カメラ922 が動作を開始すると、３次元実空間の光学情報を２次元平面に投影した光学像が光電変換およびA/D 変換され、その光学像に対応する動画像データが画像符号化部903 および動体検出部904 に入力される。
【００９５】
動体検出部904 は、動画像データが入力されると、動画像データのフレームを所定サイズのブロックに分割し、各ブロック毎に動きベクトルを検出して、これを画像符号化部903 に出力する。また、動体検出部904 は動体データを求めてデータ送信部906 に出力する。画像符号化部903 は、カメラ922 より動画像データを入力し、動体検出部904 よりブロック毎の動きベクトルを入力して、符号化ストリームを計算し、その演算結果をデータ送信部906 に出力する。画像符号化部903 は、遠隔情報受信装置902 の画像選択部912 より画像選択データを受信すると、その画像選択データに応じた符号化制御を行う。自己の遠隔情報送信装置901 を選択することを示さない遠隔地選択データが入力されると、画像符号化部903 は、符号化の動作を休止し、符号化ストリームを出力しない。逆に、遠隔地選択データが自己の遠隔情報送信装置901 を選択することを示す場合には、符号化の動作が休止の状態であれば符号化の動作を再開し、動画像データを符号化した符号化ストリームをデータ送信部906 に出力する。このとき、画像符号化部903 は、動体の重心位置データまたは動体の領域データに基づいて動体の画像領域を他の画像領域に比べ高画質になるように符号化を制御する。
【００９６】
データ送信部906 は、遠隔情報送信装置901 の初期動作時にシーン記憶部905 からシーン初期データを入力し、これに自己の識別番号を付加した伝送データを遠隔情報受信装置902 のデータ受信部907 に送信する。また、データ送信部906 は、画像符号化部903 より符号化ストリームを入力すると、これ自己の識別番号を付加した伝送データをデータ受信部907 に送信する。また、データ送信部906 は、動体検出部904 より動体データを入力すると、これに自己の識別番号を付加した伝送データをデータ受信部907 に送信する。このように、本実施例における遠隔情報送信装置901 は、動作開始時にはシーン初期データを遠隔情報受信装置902 に送信し、それ以降は、魚眼レンズ付きのカメラ922 の動画像データを符号化して遠隔情報受信装置902 に送信し、さらに、動体が検出された場合に動体データを遠隔情報受信装置902 に送信する。さらに、遠隔情報送信装置901 は、遠隔情報受信装置902 より画像選択データを受信した場合には、画像選択データに応じた符号化処理の動作制御を行う。
【００９７】
次に遠隔情報受信装置902 の動作を説明すると、まず受信した伝送データがシーン初期データである場合(A) 、データ受信部907 は、シーン初期データをシーンデータとしてシーン合成部910 に出力する。シーン合成部910 は、そのシーンデータに基づいて、遠隔情報送信装置が設置された３次元空間の平常時の状態をグラフィクス表現により再構成し、これを２次元平面に投影したグラフィクスの表示データをモニタ911 に出力する。この際、シーン合成部910 は、各遠隔情報送信装置(901,913,914,915) の各々からのシーン初期データを合成して表示データを作成する。各遠隔情報送信装置(901,913,914,915) からのシーン初期データは、それぞれ監視する空間全体のうちの一部分の領域を表すものである場合には、これらを合成することによって、監視空間全体のシーンを構成することになる。また、シーン合成部910 は、表示領域情報として所定の初期値を座標変換部909 に出力する。モニタ911 は、シーン合成部910 より表示データを入力して、表示データに応じた画像を表示する。
【００９８】
次に伝送データが符号化ストリームである場合(B) 、データ受信部907 は、符号化ストリームを画像復号部908 に出力し、画像復号部908 は、符号化ストリームを復号して、その結果を復号データとして座標変換部909 に出力する。
【００９９】
座標変換部909 は、画像復号部908 より復号データを入力し、シーン合成部910 より表示領域情報を入力して、カメラ922 により歪曲された復号データを平行投影によるデータに変換し、これを座標変換データとしてシーン合成部910 に出力する。
【０１００】
シーン合成部410 は、座標変換部409 より座標変換データを入力すると、これを動画像の表示データとしてモニタ411 に出力する。モニタ411 は、シーン合成部410 より表示データを入力して、これをＣＲＴディスプレイなどの表示デバイスに表示する。
【０１０１】
次に伝送データが動体データである場合(C) 、データ受信部907 は、動体データをシーンデータとしてシーン合成部910 に出力する。シーン合成部910 は、図１に示したシーン合成部110 と同様に、入力されるシーンデータに基づいて、前記(A) の場合に作成したグラフィクスの表示データを修正し、前記(B) の場合に作成された動画像の表示データを修正し、この表示データをモニタ911 に出力するとともに、表示領域情報を計算してその計算結果を座標変換部909 に出力する。さらに、シーン合成部910 は、動体データに含まれる動体の位置や領域の情報を動体選択データとして画像選択部912 に出力し、また、伝送データ中に含まれる遠隔情報送信装置(901,913,914,915) のいずれかの識別番号も併せて画像選択部912 に出力する。
【０１０２】
画像選択部912 は、動体選択データに対応する画像選択データを用意し、これを全遠隔情報送信装置(901,913,914,915) に同報送信する。モニタ911 に、シーン合成部910 より表示データが入力されると、その画像を表示する。その結果、モニタ911 の表示画面には、第１の実施例と同様に、図５に示したような表示が出力される。なお、本実施例においてもシーン合成部910 を、ポインティングデバイスなどのオペレータの入力手段を含むように構成してもよい。この場合、シーン合成部910 は、オペレータの指示に応じて動画像の表示をパン、チルト、ズームしたり、グラフィクス表示の視点を変更する。
【０１０３】
以上、第４の実施例における遠隔情報受信装置902 は、遠隔情報送信装置901 よりシーン初期データを受信し、これを再構成してグラフィクスオブジェクトを表示し、遠隔情報送信装置901 より符号化ストリームを受信して動画像を表示し、遠隔情報送信装置901 より動体データを受信して、グラフィクス表示と動画像表示の中に、動体を指し示すオブジェクトを挿入するとともに、すべての遠隔情報送信装置に符号化制御のための画像選択データを送信する。
【０１０４】
こののように第４の実施例では、各遠隔情報送信装置はあらかじめ遠隔地のシーンデータを遠隔情報受信装置902 に送信したのち、動体を検出すると動体の位置および領域を遠隔情報受信装置902 に通知し、これを受信した遠隔情報受信装置902 が、シーンデータ中の動体の存在範囲を計算し、これをグラフィクス表示する。さらに、遠隔情報受信装置902 は、動体検出の通知を受けると、動画像データの伝送を行う遠隔情報送信装置の選択および品質制御の情報をすべての遠隔情報送信装置に同報送信することにより、対応する遠隔情報送信装置が指定された品質で動画像データを伝送する。したがって、遠隔地の監視対象空間全体の状況をグラフィクス表示し、これを動体の動画像表示と組み合わせることによって、遠隔地での異常発生の状況を直観的に把握でき、非常時の対応が取りやすくなる。さらに、各遠隔情報送信装置の符号化制御を遠隔情報受信装置402 が自動で行なうので、伝送量を抑えて通信コストを低減でき、また、動体部分を高品質に伝送することにより遠隔情報受信装置902 が異常発生の状況を詳細に知ることができる。また、第１の実施例と同様に、魚眼レンズ付きのカメラで広い画角の映像を入力し、これに基づき動体検出および状況表示を行うので、監視対象空間中の異常を即座に知ることができる。
【０１０５】
これまで第１の実施例〜第４の実施例について説明してきたが、図８に示した第３の実施例では、画像符号化部803 を、カメラ822 からの動画像データを一定時間間隔毎に取り出した静止画像データとして符号化するよう構成したが、利用する通信網の帯域に比較して符号量が充分抑えられるならば他の符号化方法を用いてもよい。たとえば、画像符号化部803 を、カメラ822 からの動画像データを動画像のまま符号化し、該符号化に当たっては、フレーム内の空間解像度を低下させることによって符号量を抑えてもよい。この場合にも、第３の実施例と同様の効果が期待できる。
【０１０６】
また、第３の実施例では、遠隔情報受信装置802 が遠隔情報送信装置801 に蓄積データ伝送命令を通知することによって、遠隔情報送信装置801 が蓄積された高品質画像符号化ストリームと動体データとを遠隔情報受信装置802 に伝送する場合について説明したが、他の構成として、遠隔情報送信装置801 が動体検出と同時に、画像符号化部802 からの符号化ストリームに代えて、高品質画像符号化部812 からの高品質符号化ストリームやデータ蓄積部813 からの蓄積データを遠隔情報受信装置802 に伝送するよう構成してもよい。この場合、遠隔地で動体が検出されると、伝送される情報が自動的に高品質な情報に切り替えられるので、第３の実施例と同様、通信コストの低減と情報の品質向上が期待できる。
【０１０７】
また、第１〜第４の実施例では、遠隔情報送信装置(101,601,801,901) の監視カメラ(122,622,822,922) を、魚眼レンズ付きのカメラやパンチルト制御機能付きのカメラで構成する場合について説明したが、これに限らず、動体検出部(104,604,804,904) における動体検出精度を向上させるために、他の構成を用いてもよい。たとえば、一定間隔に２つのレンズを配した両眼カメラを用いると、これによって得られる２つの画像データから、画像中のオブジェクトの、奥行き方向の状態を推定できる。したがって、両眼カメラに合わせて動体検出部を構成すれば、オブジェクトの奥行き情報から、動体検出の確からしさやその正確な領域を知ることができ、本発明による遠隔監視装置の性能を高めることができる。
【０１０８】
また、第１〜第４の実施例では、動体検出部(104,604,804,904) を、動画像データをブロックに分割した際の動きベクトルに基づいて動体を検出するように構成したが、動体検出を従来公知の方法を用いて実現してもよい。
【０１０９】
また、第４の実施例では、遠隔情報受信装置902 の画像選択部912 が遠隔情報送信装置の識別番号を設定して対象とするすべての遠隔情報送信装置に同報送信し、これを対応する遠隔情報送信装置(101,601,801,901) のいずれかが動画像データを伝送する場合について説明したが、遠隔情報受信装置902 の装置構成によっては、遠隔情報送信装置の識別番号は同時に複数個あってもよい。この場合、遠隔情報受信装置902 の画像復号部908 および座標変換部909 およびシーン合成部910 を、複数の遠隔情報送信装置からの符号化ストリームに対応して処理可能に構成し、複数個の識別番号に対応する。これにより、遠隔地の複数箇所で同時に異常が発生した場合であっても、遠隔情報受信装置902 はこれらの異常発生箇所の動画像をそれぞれ表示できる。
【０１１０】
次に図10を参照して、遠隔監視装置の第５の実施例を説明する。図10には本実施例における遠隔監視装置が示され、遠隔監視装置は複数の遠隔情報送信装置1001,1013,1014,1015 と遠隔情報受信装置1002とが、ISDN等の通信網に接続されるシステムである。遠隔情報送信装置1013,1014,1015は遠隔情報送信装置1001とほぼ同じ構成でよいので遠隔情報送信装置1001について説明する。
【０１１１】
遠隔情報送信装置1001は、監視カメラ922 と、画像符号化部1103と、動体検出部904 と、シーン記憶部905 と、データ送信部906 とを含み、また、遠隔情報受信装置1002は、データ受信部907 と、画像復号部908 と、座標変換部909 と、シーン合成部910 と、モニタ911 と、符号化データ選択部1008とを含み、図９に示した実施例の構成と同じ構成には同一の参照符号を付してその詳細説明を省略する。
【０１１２】
画像符号化部1003は、図１に示した画像符号化部103 と同様に、カメラ922 から出力される動画像データを、動体検出部904 より供給されるブロックごとの動きベクトルにしたがって符号化ストリームを計算し、その符号化ストリームをデータ送信部906 に出力する。
【０１１３】
動体検出部904 は、カメラ922 から出力される動画像データにしたがって、ブロックごとの動きベクトルを算出して画像符号化部903 に出力し、動体の位置情報を示す動体データをデータ送信部906 に出力する。シーン記憶部905 は、シーン初期データをデータ送信部906 に出力する。データ送信部906 は、画像符号化部1003より符号化ストリームを入力し、動体検出部904 より動体データを入力し、シーン記憶部905 よりシーン初期データを入力し、データ受信部907 に伝送データを送信する。データ送信部906 は、自己の遠隔情報送信装置1001に固有に割り当てられた識別番号を伝送データ内に付加して送信する。この識別番号は、各送信装置1001,1013,1014,1015 ごとに異なる値に設定される。
【０１１４】
遠隔情報受信装置1002のデータ受信部907 は、データ送信部906 より伝送データを受信し、画像復号部908 に符号化ストリームを出力し、シーン合成部910 にシーンデータを出力する。
【０１１５】
符号化データ選択部1008は、入力される符号化ストリームの中から復号対象となる復号対象符号化ストリームを選択し、選択された符号化ストリームを画像復号部908 に出力する。符号化データ選択部1008は、画像復号部908 の単位時間当たりの計算量が所定の計算量以下になるよう符号化ストリームを選択する。符号化データ選択部1008は、連続して入力される符号化ストリームの中から復号対象符号化ストリームを、画像復号部908 の計算集中度合いに適応した形で適宜選択する。動体フレームの符号化ストリームはシステムの中で重要性が高いので、入力される動体データはすべてのフレームに対して復号する。一方、動体データでないフレームの符号化ストリームは、システムの中で重要性が低いので、すべてのフレームに対して復号する必要はなく、フレーム間引きをした状態で復号しても問題はない。むしろ、画像復号部908 の計算量を軽減する効果をもたらす。ある１つの遠隔情報送信装置から動体データが出力されているときに、他の遠隔情報送信装置から動体フレームでないフレームの符号化ストリームが出力されているときは、たとえば連続する５フレーム毎に１フレーム分の符号化ストリームを選択して復号対象符号化ストリームとして画像復号部908 に出力する。動体データの符号化ストリームは重要性が高いので、この場合符号化データ選択部1008は、すべてそのままの形で画像復号部908 に出力する。
【０１１６】
画像復号部908 は、符号化データ選択部1008から出力された復号対象符号化ストリームを復号し、座標変換部909 に復号データを出力する。座標変換部909 は、画像復号部908 より復号データを入力し、シーン合成部910 より表示領域情報を入力し、図１に示した実施例と同様にシーン合成部910 に座標変換データを出力する。
【０１１７】
シーン合成部910 は、図１に示した実施例と同様に、データ受信部907 よりシーンデータを入力し、座標変換部909 より座標変換データを入力し、座標変換部909 に表示領域情報を出力し、モニタ911 に表示データを出力する。モニタ911 は、シーン合成部910 より表示データを入力し、これを表示する。
【０１１８】
以上のような構成で本実施例における遠隔情報監視装置の動作を説明する。まず、遠隔情報送信装置1001が動作を開始すると、まず、シーン記憶部905 よりデータ送信部906 にシーン初期データが出力される。その後、監視カメラ922 が動作を開始し、３次元実空間の光学情報を２次元平面に投影した光学像に対応する動画像データがカメラ922 から出力される。このカメラ922 のレンズは、第１の実施例と同様に魚眼レンズであり、出力される動画像データは、魚眼レンズの特性に応じて歪曲して投影されたデータとなる。
【０１１９】
次に、動体検出部904 は、カメラ922 より動画像データを入力すると、動画像データのフレームを所定サイズのブロックに分割し、各ブロック毎に動きベクトルを検出して、これを画像符号化部903 に出力する。さらに動体検出部904 は、動体データを求めてデータ送信部906 に出力する。次に、画像符号化部1003は、カメラ922 より動画像データを入力し、動体検出部904 よりブロック毎の動きベクトルを入力して、符号化ストリームを計算し、これをデータ送信部906 に出力する。
【０１２０】
データ送信部906 は、遠隔情報送信装置901 の初期動作時にシーン記憶部905 からシーン初期データを入力すると、これに自己の装置の識別番号を付加した伝送データを生成して遠隔情報受信装置1002のデータ受信部907 に送信する。また、データ送信部906 は、画像符号化部1003より符号化ストリームを入力すると、これに自己の装置の識別番号を付加して伝送データを生成しデータ受信部907 に送信する。また、データ送信部906 は、動体検出部904 より動体データを入力すると、これに自己の装置の識別番号を付加して伝送データを生成しデータ受信部907 に送信する。
【０１２１】
以上の動作により、第５の実施例における遠隔情報送信装置1001は、動作開始時にはシーン初期データを遠隔情報受信装置1002に送信し、それ以降は、魚眼レンズ付きのカメラ922 の動画像データを符号化して遠隔情報受信装置1002に送信し、さらに、動体が検出された場合に動体データを遠隔情報受信装置1002に送信する。他の遠隔情報送信装置1013,1014,1015についても同様である。
【０１２２】
次に、遠隔情報受信装置1002の動作を説明すると、まず、データ受信部907 にて受信される伝送データがシーン初期データである場合(A) データ受信部907 は、シーン初期データをシーンデータとしてシーン合成部910 に出力する。シーン合成部910 は、シーンデータに基づいて遠隔情報送信装置の置かれた３次元実空間の平常時の状態をグラフィクス表現により再構成し、これを２次元平面に投影したグラフィクスの表示データをモニタ911 に出力する。この際、シーン合成部910 は、各遠隔情報送信装置(1001,1013,1014,1015) の各々からのシーン初期データを合成して表示データを作成する。各遠隔情報送信装置からのシーン初期データは、それぞれ監視する空間全体のうちの一部分の領域を表すものであるから、これらを合成することによって、監視空間全体のシーンを構成する。また、シーン合成部910 は、表示領域情報として所定の初期値を座標変換部909 に出力する。これによりモニタ911 には、シーン合成部910 から出力された表示データに応じた画像が表示される。
【０１２３】
次に、伝送データが符号化ストリームである場合(B) データ受信部907 は、符号化ストリームを符号化データ選択部1008に出力する。符号化データ選択部1008は、画像復号部908 の単位時間当たりの計算量を所定の計算量以下になるよう、連続して入力される符号化ストリームから選択した復号対象符号化ストリームを画像復号部908 に出力する。たとえば、ある１つの遠隔情報送信装置から動体データが出力され、さらに他の遠隔情報送信装置から動体フレームでないフレームの符号化ストリームが出力されているときは、符号化データ選択部1008は、たとえば連続する複数フレーム毎に１フレーム分の符号化ストリームを選択し、これを復号対象符号化ストリームとして画像復号部908 に供給する。
【０１２４】
この結果、画像復号部908 では、動体フレームの符号化ストリームについてはすべてのフレームに対して復号し、動体データでないフレームの符号化ストリームは、フレーム間引きをした状態で復号する。このように画像復号部908 にて復号対象符号化ストリームが復号されると、その復号データは座標変換部909 に出力される。
【０１２５】
座標変換部909 は、画像復号部908 から出力される復号データと、シーン合成部910 から出力される表示領域情報とを入力して、カメラ922 の魚眼レンズによって歪曲されている画像の復号データを平行投影によるデータに変換し、これを座標変換データとしてシーン合成部910 に出力する。シーン合成部910 では、この座標変換データを動画像の表示データとしてモニタ911 に出力し、その画像を表示させる。
【０１２６】
次に、伝送データが動体データである場合(C) データ受信部907 は、動体データをシーンデータとしてシーン合成部910 に出力する。シーン合成部910 は、シーンデータに基づいて、前記(A) の場合に作成したグラフィクスの表示データを修正し、前記(B) の場合に作成された動画像の表示データを修正し、この表示データをモニタ911 に出力するとともに、表示領域情報を計算して座標変換部909 に出力する。表示データがモニタ911 に入力されると、モニタ911 には、第１の実施例と同様に、図５に示すような画像が表示される。なお、シーン合成部910 を、ポインティングデバイスなどのオペレータの入力手段を含むように構成してもよい。この場合、シーン合成部910 は、オペレータの指示に応じて動画像の表示をパン、チルト、ズームしたり、グラフィクス表示の視点を変更するとよい。
【０１２７】
以上の動作により、本実施例における遠隔情報受信装置1002は、遠隔情報送信装置1001よりシーン初期データを受信し、これを再構成してグラフィクスオブジェクトを表示し、遠隔情報送信装置1001より符号化ストリームを受信して動画像を表示し、遠隔情報送信装置1001より動体データを受信して、グラフィクス表示と動画像表示の中に、動体を指し示すオブジェクトを挿入する。また、符号化データ選択部1008により、画像復号化部908 の計算量を必要最低限に制御することができる。
【０１２８】
以上のように、第５の実施例では、画像復号部908 にて復号するデータが、重要性が高い場合には毎フレーム復号し、重要性が低い場合はフレーム間引きした符号化ストリームを入力して復号することにより、画像復号部908 の単位時間当たりの計算量を必要最小限にする構成としたので、低コストで高性能な遠隔情報受信装置が実現できる。また、遠隔情報送信装置は単純な構成で実現できる。したがって遠隔監視装置の低コスト化および高性能化が期待できる。
【０１２９】
次に図11を参照して、遠隔情報監視装置の第６の実施例を説明する。同図には、遠隔情報送信装置1101と、遠隔情報受信装置1102とを含む遠隔情報監視装置が示され、これらは、たとえばISDN等の通信網にて接続される。
【０１３０】
遠隔情報送信装置1101は、監視カメラ122 と、画像符号化部103 と、動体検出部1104と、シーン記憶部105 と、オーディオデータ記憶部1121と、データ送信部1122とを含み、また、遠隔情報受信装置1102は、データ受信部1123と、画像復号部108 と、座標変換部109 と、シーン合成部110 と、モニタ111 と、オーディオ復号部1124と、スピーカ1125とを含む。これらの構成において図１に示した実施例における構成と同じ構成は、同一の参照符号を付してその詳細説明を省略する。
【０１３１】
本実施例における動体検出部1104は、図１に示した実施例と同様にして監視カメラ122 より出力される動画像データに基づいて動きベクトルおよび動体データを生成する。動体検出部1104は、生成した動きベクトルを画像符号化部103 に出力し、生成した動体データをオーディオデータ記憶部1121とデータ送信部1122に出力する。
【０１３２】
オーディオデータ記憶部1121には、遠隔情報受信装置1102にて監視業務を行っているオペレータに対して聞かせるオーディオデータが圧縮符号化された状態で格納されている。たとえば、動体検出時に「侵入物検出」などの音声を発生および示すための音声データや効果音データをデータ記憶部1121に予め格納しておく。オーディオデータ記憶部1121に格納されたオーディオ符号化ストリームは、動体検出部1104から供給される動体検出を示す情報（動体データ）に応動してデータ送信部1122に出力される。
【０１３３】
データ送信部1122は、画像符号化部103 より符号化ストリームを入力し、動体検出部1104より動体データを入力し、シーン記憶部105 よりシーン初期データを入力し、データ受信部1123に伝送データを送信する。データ送信部1122は、遠隔情報送信装置1101の初期動作時にシーン記憶部105 からシーン初期データを入力すると、これを伝送データとして遠隔情報受信装置1102のデータ受信部107 に送信する。また、データ送信部1122は、画像符号化部103 より画像符号化ストリームを入力すると、これを伝送データとしてデータ受信部1123に送信する。データ送信部1122は、オーディオデータ記憶部1121よりオーディオ符号化ストリームを入力すると、これを伝送データとしてデータ受信部1123に送信する。また、データ送信部1122は、動体検出部1104より動体データを入力すると、これを伝送データとしてデータ受信部1123に送信する。
【０１３４】
遠隔情報受信装置1102のデータ受信部1123は、データ送信部1122より伝送データを受信し、伝送データが画像符号化ストリームである場合には画像復号部108 に画像符号化ストリームを出力し、シーンデータである場合にはシーン合成部110 にシーンデータを出力する。また、データ受信部1123は、受信した伝送データがオーディオ符号化ストリームである場合には、そのストリームをオーディオ復号部1124に出力する。オーディオ復号部1124は、データ受信部1123よりオーディオ符号化ストリームを入力するとこれを復号し、スピーカ1125にオーディオ復号データを出力する。画像復号部108 は、データ受信部1123より符号化ストリームを入力するとこれを復号し、座標変換部109 に復号データを出力する。座標変換部109 は、画像復号部108 より復号データを入力し、シーン合成部110 より表示領域情報を入力し、シーン合成部110 に座標変換データを出力する。シーン合成部110 は、データ受信部1123よりシーンデータを入力し、座標変換部109 より座標変換データを入力し、座標変換部109 に表示領域情報を出力し、モニタ111 に表示データを出力する。モニタ111 は、シーン合成部110 より表示データを入力し、これを表示する。
【０１３５】
以上のような構成で本実施例における遠隔情報監視装置の動作を説明する。まず、遠隔情報送信装置1101が動作を開始すると、まず、シーン記憶部105 よりシーン初期データが読み出されてデータ送信部1122に入力され、その伝送データが遠隔情報受信装置1102に送信される。カメラ122 から出力される動画像データは画像符号化部103 および動体検出部1104に順次入力されて、ブロック毎の動きベクトルが画像符号化部103 に入力される。また、動体検出部104 にて算出された動体データは、データ送信部106 およびオーディオデータ記憶部1121に入力される。
【０１３６】
画像符号化部103 は、動画像データおよび動きベクトルから符号化ストリームを計算し、これをデータ送信部1122に出力する。オーディオデータ記憶部1221は、動体検出部1104から供給される動体データに応動して、格納しているオーディオを符号化ストリームを読み出してデータ送信部1122に出力する。
【０１３７】
データ送信部1122は、遠隔情報送信装置1101の初期動作時にシーン記憶部105 からシーン初期データを入力すると、これを伝送データとして遠隔情報受信装置1102のデータ受信部1123に送信する。また、データ送信部1122は、画像符号化部103 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部1123に送信する。データ送信部1122は、オーディオデータ記憶部1121よりオーディオ符号化ストリームを入力すると、これを伝送データとしてデータ受信部1123に送信する。また、データ送信部1122は、動体検出部1104より動体データを入力すると、これを伝送データとしてデータ受信部1123に送信する。
【０１３８】
以上の動作により、第６の実施例における遠隔情報送信装置1101は、動作開始時にはシーン初期データを遠隔情報受信装置1102に送信し、それ以降は、魚眼レンズ付きのカメラ122 の動画像データを符号化して遠隔情報受信装置1102に送信し、さらに、動体が検出された場合に動体データおよびオーディオ符号化ストリームを遠隔情報受信装置1102に送信する。
【０１３９】
一方、遠隔情報受信装置1102では、伝送データがシーン初期データである場合(A) 図１に示した実施例における遠隔情報受信装置102 と同様の動作が行われる。次に、伝送データが符号化ストリームである場合(B) 画像データを符号化した符号化ストリームであるときは、遠隔情報受信装置1102は、上記遠隔情報受信装置102 と同様の動作を行う。また、伝送データが動体検出タイミングに同期して入力されるオーディオデータを符号化した符号化ストリームであるときには、オーディオ復号部1124は、このオーディオ符号化ストリームを復号してD/A 変換し、アナログのオーディオデータとして再生しスピーカ1125に出力する。オーディオデータの符号化方法については、たとえば、直前サンプルとのレベル差分値を符号化する方法が適用される。次に、伝送データが動体データである場合(C) は、遠隔情報受信装置1102は、第１の実施例における遠隔情報受信装置102 と同様の動作をする。
【０１４０】
このように本実施例では、動体検出時に画像表示だけでなく、制御音声や効果音などのオーディオを出力する構成としたので、受信装置側にて監視業務を行うオペレータは、監視が必要なタイミングでオーディオ信号による監視支援情報を受けることができ、常にモニタを目視する負担が軽減される。目視監視業務に占有されることなく、必要な監視業務を遂行できる。よって、監視支援オーディオ情報によりユーザの負担を軽減できる高性能な遠隔監視装置の実現が期待できる。
【０１４１】
本実施例では、オーディオデータを圧縮符号化した形で伝送したが、オーディオデータは動画データと比較すると極めて少ないデータ量であるので、符号化しない原データの状態で伝送するように構成し、受信側のオーディオ復号部1124を必要としない構成として、低コスト化を図る方法も可能である。
【０１４２】
次に図12を参照して遠隔情報監視装置の第７の実施例を説明する。同図には、遠隔情報送信装置1201と、遠隔情報受信装置1202とを含む遠隔情報監視装置が示され、これらは、たとえばISDN等の通信網にて接続される。
【０１４３】
遠隔情報送信装置1201は、監視カメラ122 と、画像符号化部103 と、動体検出部104 と、シーン記憶部105 と、データ送信部106 とを含み、これらは図１に示した遠隔情報送信装置101 と同じ構成でよい。一方、遠隔情報受信装置1202は、データ受信部107 と、画像復号部108 と、座標変換部109 と、シーン合成部110 と、モニタ111 とを含み、これらは図１に示した遠隔情報受信装置102 における各構成と同様の構成でよい。
【０１４４】
本実施例における遠隔情報受信装置1202は、さらに、オーディオデータ記憶部1224と、その出力に接続されたスピーカ1125とを含む。なお、データ受信部107 は、受信される伝送データが動体データである場合には、シーンデータとしてシーン合成部110 に出力するとともに、オーディオデータ記憶部1224に動体データを出力してオーディオデータ記憶部1224を起動する。オーディオデータ記憶部1224には、制御語や効果音などのような監視支援に使用されるオーディオデータが記憶媒体に格納されており、入力される動体データの入力時刻に同期してして記憶情報を読み出す。オーディオデータ記憶部1224は読み出されたオーディオデータをD/A 変換し、変換された音声情報をスピーカ1125に出力する。オーディオデータ記憶部1224を起動する情報は、動体データに限らず、動体が検出されたことを示す情報であればよく、オーディオデータ記憶部1224はその情報をトリガとしてオーディオデータを記憶媒体から読み出す。
【０１４５】
以上のような構成で本実施例における遠隔情報監視装置の動作を説明する。まず、遠隔情報送信装置1201の動作については図１に示した実施例と同様の動作が行われる。したがってこの第７の実施例における遠隔情報送信装置1201は、動作開始時にはシーン初期データを遠隔情報受信装置1202に送信し、それ以降は、魚眼レンズ付きの監視カメラ122 の動画像データを符号化して遠隔情報受信装置1202に送信し、さらに、動体が検出された場合に動体データを遠隔情報受信装置1202に送信する。
【０１４６】
一方、遠隔情報受信装置1202の動作を説明すると、伝送データがシーン初期データである場合(A) 遠隔情報受信装置1202は、図１に示した第１の実施例と同様に動作する。また、伝送データが符号化ストリームである場合(B) には、遠隔情報受信装置1202は、画像復号部108 、座標変換部109 およびシーン合成部110 については、前記第１の実施例と同じ動作をする。しかし、データ受信部107 より動体を検出したことを示す動体データがオーディオデータ記憶部1224に入力されると、それと同時に、オーディオデータ記憶部1324に格納されているオーディオデータが読み出され、D/A 変換してオーディオ信号としてスピーカ1125に出力される。伝送データが動体データである場合(C) は遠隔情報受信装置1202は第１の実施例同様に動作する。
【０１４７】
本実施例では、動体検出時に画像表示だけでなく、オーディオデータを受信装置側だけで出力する構成とした。受信装置のオペレータは、監視が必要なタイミングでオーディオ信号による監視支援を受けることができ、常にモニタを目視する負担が軽減される。目視監視業務に占有されることなく、必要な監視業務を遂行できる。また、受信側のみにオーディオ処理機能を持たせることによって、監視支援オーディオ情報によりユーザの負担を軽減できる高性能な遠隔監視装置の実現が期待できる。なお、本実施例では、オーディオデータを圧縮符号化しない原データの形で記憶したが、圧縮符号化した状態で記憶し、読み出したデータを復号する回路を追加する構成も可能である。
【０１４８】
次に図13を参照して遠隔情報監視装置の第８の実施例を説明する。同図には、遠隔情報送信装置1301と、遠隔情報受信装置1302とを含む遠隔情報監視装置が示され、これらは、たとえばISDN等の通信網にて接続される。
【０１４９】
本実施例における遠隔情報送信装置1301は、監視カメラ122 と、動体検出部104 と、シーン記憶部105 の各出力が接続される動体同定部1321とを備え、データ送信部1322が、動体同定部1321から出力される同定結果を伝送データとして送信する点で図１に示した第１の実施例とは異なり、その他の点は図１に示した遠隔情報送信装置101 と同様の構成でよい。
【０１５０】
動体同定部1321は、監視カメラ122 から出力される動画像データと、動体検出部104 から出力される動体データとに基づいて、検出された動体の種類を推定し、その推定結果を動体同定結果としてデータ送信部1322へ出力する。動体同定部1321は、動体と判定された一連のフレームの動領域の形状、濃度および色等の情報を参照して、動体の種類を推定する。
【０１５１】
動体同定部1321の詳細な機能構成を図14を参照して説明すると、動体同定部1321は、監視の対象によって決定される監視対象物の標準的形状、濃度および色情報を、予め動体同定部1321に参照データ1401として格納しておく記憶部を有し、監視対象物の大きさを所定の大きさに正規化して格納する。
【０１５２】
動体同定部1321は、入力される動画像データと、動体データに含まれる動領域の位置情報とから任意形状の動領域1402を決定する。本実施例では動領域に存在するすべての画素を含む矩形領域1402のデータを類似度計算に用いる。動体同定部1321は、決定された矩形領域1402の大きさを、動体同定部1321に予め格納されている参照用データ1401の大きさに正規化する。
【０１５３】
動体同定部1321は、前記類似度計算用に決定された矩形領域1402を所定のブロック数で分割する。動体同定部1321は、前記ブロック分割されたブロック毎に、入力画像データと、参照画像として格納されている参照データと間の部分類似度を計算し、該部分類似度計算をすべての分割されたブロックに対して行い、計算された部分類似度の総和を算出する。動体同定部1321は、算出された総和を入力画像データと参照データ間の類似度とする。
【０１５４】
動体同定部1321は、すべての参照データ1401との類似度計算を行い、該類似度が最大となる参照データに与えられるカテゴリを同定カテゴリとする。該同定カテゴリとの類似度計算結果を同定類似度とする。動体同定部1321は、同定カテゴリおよび同定類似度を動体同定結果としてデータ送信部1322に出力する。
【０１５５】
部分類似度は、形状類似度および濃度類似度の総和とする。形状類似度は分割されたブロックにおける各画素について、前記動領域に含まれる画素であるか否かを動体同定部1321にて判定し、参照データの同位置画素と一致するかを求める。動体同定部1321は、各ブロック内のすべての画素に対しそれぞれ前記判定を行い、参照データと一致した画素数を所定の値で正規化した値を形状類似度とする。濃度類似度は、ブロック内の各画素の濃度と参照データの同位置画素間の差分絶対値を動体同定部1321にて求め、該ブロック内のすべての画素に対する差分絶対値の総和を算出する。動体同定部1321は、該算出された総和を所定の値で正規化し、その値を濃度類似度とする。
【０１５６】
一方、遠隔情報受信装置1302は、画像復号部108 と、座標変換部109 と、シーン合成部110 と、モニタ111 とを含み、これらは図１に示した遠隔情報受信装置102 における各構成と同じ構成でよい。また、遠隔情報受信装置1302のデータ受信部1323は、データ送信部1322より送信された伝送データを受信し、その伝送データに応じて、画像復号部108 に符号化ストリームを出力し、オーディオデータ記憶部1324に動体データと動体同定結果とを出力し、シーン合成部110 にシーンデータを出力する。
【０１５７】
データ受信部1323の出力に接続されたオーディオデータ記憶部1324は、入力される動体データと動体同定結果とに基づいて、これら情報の入力時刻に同期して予め格納された複数種類のオーディオデータの中から前記動体同定結果に対応する１種類のオーディオデータを選択して読み出す。オーディオデータ記憶部1324こうして読み出したオーディオデータをD/A 変換してスピーカ1225に出力し、そのオーディオ信号を出力させる。
【０１５８】
以上のような構成で本実施例における遠隔情報送信装置1301の動作を説明する。遠隔情報送信装置1301が動作を開始すると、シーン記憶部105 からシーン初期データがデータ送信部に出力されてその伝送データが遠隔情報受信装置1302に送信され、カメラ122 から出力される動画像データが画像符号化部103 、動体検出部104 および動体同定部1321に入力される。
【０１５９】
動体検出部104 では、動画像データに基づいてブロック毎の動きベクトルが検出され、これが画像符号化部103 および動体同定部1421に出力される。さらに動体検出部104 にて動体データが算出されて、算出された動体データが動体同定部1321およびデータ送信部1322に入力される。
【０１６０】
画像符号化部103 は、入力される動画像データと動きベクトルとに基づいて符号化ストリームを計算し、これをデータ送信部1322に出力する。データ送信部1422は、画像符号化部103 より符号化ストリームを入力すると、これを伝送データとしてデータ受信部1323に送信し、また、動体検出部104 より動体データを入力すると、これを伝送データとしてデータ受信部1323に送信する。また、データ送信部1322は、動体同定部1321より動体同定結果を入力すると、これを伝送データとしてデータ受信部1323に送信する。
【０１６１】
動体同定部1321では、動体検出部104 から出力される動体データと、カメラ122 から出力される動画像データとに基づいて、検出された動体の種類を推定し、その結果を動体同定結果としてデータ送信部1322に出力する。
【０１６２】
以上の動作により、第８の実施例の遠隔情報送信装置1301は、動作開始時にはシーン初期データを遠隔情報受信装置1302に送信し、それ以降は、魚眼レンズ付きのカメラ122 の動画像データを符号化して遠隔情報受信装置1302に送信し、さらに、動体が検出された場合に、動体データおよび動体同定結果を遠隔情報受信装置1302に送信する。
【０１６３】
次に遠隔情報受信装置1302の動作を説明すると、まず、受信した伝送データがシーン初期データである場合(A) には図１に示した実施例と同様の動作が行われる。
【０１６４】
また、受信した伝送データが符号化ストリームである場合(B) 動体を含まない画像データについては、図１に示した第１の実施例と同じ動作をする。また、画像データに動体が含まれている動体フレームであるとき、動体同定結果がオーディオデータ記憶部1324に入力され、動体同定結果に応じたオーディオデータがスピーカ1125に出力される。伝送されたフレームが動体フレームであるか否かは、たとえば符号化ストリームを復号した際、それに含まれる動きベクトルに基づいて判定する。具体的には、各フレームにおける動きベクトルの分散値を演算してその演算結果の値に応じて値が大きい場合にそのフレームを動体フレームであると判断する。この場合、フレームに動体が含まれていない場合には演算結果は０に近い値となって、動体を含まないフレームを判断することができる。
【０１６５】
オーディオデータ記憶部1324には、動体同定部1321に格納されているのと同じ監視対象物の内容を示す音声データが予め格納されている。動体同定結果に含まれる同定類似度が所定の閾値を上回るとき、オーディオデータ記憶部1324から同定カテゴリを示すオーディオデータが読み出され、D/A 変換処理を受けてスピーカ1125に出力される。該類似度が所定の閾値を下回る場合には、同定不可能であることを示すオーディオデータをオーディオデータ記憶部1324に予め格納しておくことにより読み出し、これをD/A 変換してスピーカ1125に出力する。伝送データが動体データである場合(C) は前記第１の実施例と同様の動作が行われる。
【０１６６】
以上説明したように本実施例では、動領域の内容を推定し、推定結果、信頼度に基づく結果を受信装置側でオーディオデータとして支援情報として出力する構成とした。受信装置側のオペレータは、監視が必要なタイミングでオーディオ信号により入力画像の内容を示す情報として監視支援を受けることができ、常にモニタを目視する負担が軽減される。したがって目視監視業務に占有されることなく、必要な監視業務を遂行できる。よって、動領域同定機能によりユーザの負担を軽減できる高性能な遠隔監視装置が提供される。
【０１６７】
次に図15を参照して遠隔情報監視装置の第９の実施例を説明する。同図には、遠隔情報送信装置1501と、遠隔情報受信装置1502とを含む遠隔情報監視装置が示され、これらは、たとえばISDN等の通信網にて接続される。
【０１６８】
本実施例における遠隔情報送信装置1501は、監視カメラ122 と、画像符号化部103 と、動体検出部104 と、シーン記憶部105 と、データ送信部106 とを含み、これらは図１に示した実施例における遠隔情報送信装置101 と同様の構成でよいのでその詳細説明を省略する。また、遠隔情報受信装置1502は、データ受信部1521と、画像復号部108 と、座標変換部109 と、シーン合成部110 と、モニタ111 と、動体同定部1421と、オーディオデータ記憶部1324と、スピーカ1125とを含む。
【０１６９】
遠隔情報受信装置1502のデータ受信部1521は、遠隔情報送信装置1501から送信される伝送データを受信して、その受信データに応じて、符号化ストリームを画像復号部108 および動体同定部1421に出力し、シーンデータをシーン合成部110 に出力する。
【０１７０】
画像復号部108 は、データ受信部1323より出力される符号化ストリームを復号し、その復号結果の復号データを座標変換部109 および動体同定部1421に出力する。画像復号部108 は、復号した符号化ストリームのフレームが動体フレームであるか否かを判断する機能を有し、その判断結果を動体同定部1421に通知する。
【０１７１】
動体同定部1421は、画像データが動体フレームであると判断されると、データ受信部1521から動体データを入力した後復号した動画像データを併せて入力し、図13に示した第８の実施例における動体同定部1321と同様にして動体同定結果を得る。動体同定部1421は、動体同定結果をオーディオデータ記憶部1324に出力する。
【０１７２】
オーディオデータ記憶部1324には、動体同定部1421に格納されているのと同じ監視対象物の内容を示す音声データがあらかじめ格納されている。動体同定部1421から供給される動体同定結果に含まれる同定類似度が所定の閾値を上回るとき、オーディオデータ記憶部1324は、同定カテゴリを示すオーディオデータを読み出し、これをD/A 変換してオーディオ信号をスピーカ1125に出力する。該類似度が所定の閾値を下回る場合には、オーディオデータ記憶部1324は、同定不可能であることを示すオーディオデータを読み出してD/A 変換後スピーカ1125に出力する。このようにオーディオデータ記憶部1324は、動体同定部1421より動体同定結果を入力し、該入力時刻に同期して、予め格納された複数種類のオーディオデータの中から動体同定結果を参照し、１種類のオーディオデータを選択して読み出し、そのオーディオ信号を出力する。座標変換部109 およびシーン合成部110 は、図１に示した同一の参照符号の各構成と同じ構成でよい。
【０１７３】
以上のような構成で、第９の実施例における遠隔情報受信装置1502の動作を説明１する。なお、遠隔情報送信装置1501の動作については前述の第１の実施例における遠隔情報送信装置101 の動作と同じ動作でよいのでその説明を省略する。遠隔情報受信装置1402のデータ受信部1423にて受信される伝送データがシーン初期データである場合(A) と、伝送データが動体データである場合(C) は、前述の第１の実施例における遠隔情報受信装置と同様の動作が行われる。
【０１７４】
次に、伝送データが符号化ストリームである場合(B) について説明すると、画像復号部108 、座標変換部109 およびシーン合成部110 は、第１の実施例と同じ動作でよい。とくに、受信した符号化ストリームを復号した動画像データが動体フレームであるとき、動体同定部1421に動体データが入力された後、図13に示した第８の実施例におけるで説明した方法と同様に、画像復号部108 から出力される画像データを併せて動体同定部1421に入力して、動体同定結果をオーディオデータ記憶部1324に送る。この結果、オーディオデータ記憶部1324では、動体同定結果に含まれる同定類似度が所定の閾値を上回るときには同定カテゴリを示すオーディオデータを読み出し、また、該類似度が所定の閾値を下回るときには同定不可能であることを示すオーディオデータを読み出す。読み出されたデータはアナログのオーディオ信号に変換されてスピーカ1125に出力される。
【０１７５】
このように本実施例では、動領域の内容を推定し、推定結果、信頼度に基づく結果を受信装置側で求めて、オーディオデータによる支援情報を出力する構成とした。受信装置側のオペレータは、監視が必要なタイミングで出力されるオーディオ信号によって入力画像の内容を示す情報が得られ、監視支援を受けることができ、このため常にモニタを目視する負担が軽減する。この結果、目視監視業務のみに占有されることなく他に必要な監視業務を遂行できる。本実施例のシステムでは、動体同定部を受信側に備えることにより、送信側と受信側との処理量がバランスよくとられる。すなわち、送信側の画像符号化処理量は受信側の画像復号処理量の数倍であるが、動体同定部を受信側に置くことにより送信側の処理量増加を防止した監視システムが構築される。よって、動領域の同定機能により監視者の負担を軽減できる高性能な遠隔監視装置が提供される。
【０１７６】
【発明の効果】
このように本発明によれば、監視対象空間全体の状況をグラフィクス表示し、オーディオ信号による監視支援情報を再生し、さらに動体の動画表示を行う組み合わせにより、遠隔地の等の監視地点での異常発生状況および異常発生箇所を、受信装置側の監視者が直感的に把握することができる。このため、監視対象の広い範囲内における異常が即座に認識され、非常時における対応がとりやすい。また、モニタ表示を集中して、長時間見つめている必要がなく、遠隔監視業務を行う監視者の負担が軽減される
【０１７７】
このように、本発明は、監視対象空間内での異常発生の状況が直観的に把握できるという優れたユーザインタフェースが提供される。
【図面の簡単な説明】
【図１】本発明が適用された第１の実施例における遠隔監視装置のブロック図である。
【図２】監視カメラの投影動作を説明する概念図である。
【図３】座標変換部の動作を説明する概念図である。
【図４】動きベクトルの検出方法を説明する図である。
【図５】シーン合成部による表示例を示す図である。
【図６】遠隔監視装置の第２の実施例を示すブロック図である。
【図７】シーン更新部の動作を説明する図である。
【図８】遠隔監視装置の第３の実施例を示すブロック図である。
【図９】遠隔監視装置の第４の実施例を示すブロック図である。
【図１０】遠隔監視装置の第５の実施例を示すブロック図である。
【図１１】遠隔監視装置の第６の実施例を示すブロック図である。
【図１２】遠隔監視装置の第７の実施例を示すブロック図である。
【図１３】遠隔監視装置の第８の実施例を示すブロック図である。
【図１４】動体同定部の動作を説明する図である。
【図１５】遠隔監視装置の第９の実施例を示すブロック図である。
【符号の説明】
101 遠隔情報送信装置
102 遠隔情報受信装置
103 画像符号化部
104 動体検出部
105 シーン記憶部
106 データ送信部
107 データ受信部
108 画像復号部
109 座標変換部
110 シーン合成部
111 モニタ
Claims (28)
- 監視対象の情報を伝送路を介して接続される受信装置に送信する送信装置と、該送信装置からの情報を受信して前記監視対象の情報を出力する前記受信装置とにより、前記監視対象の状況を監視する遠隔監視装置において、
前記送信装置は、３次元実空間を撮像する撮像手段にて生成される画像データに基づいて、前記監視対象の３次元実空間における動体を検出し、該動体に応じた動体情報を出力する動体検出手段と、
前記画像データを符号化し、符号化された符号化データを出力する第１の符号化手段と、
前記符号化データおよび前記動体情報を伝送データに変換して、該伝送データを前記伝送路を介して前記受信装置に伝送する情報送信手段とを含み、
前記受信装置は、前記情報送信手段から送信される伝送データを受信し、該伝送データに応じて前記符号化データおよび前記動体情報を、対応する出力先に出力する情報受信手段と、
前記符号化データを復号する復号手段と、
前記３次元実空間をモデル化したモデルデータおよび更新されたモデルデータを再生し、該モデルデータに応じたグラフィック画像と、前記画像データに応じた画像を表示手段に表示させる再生手段とを含むことを特徴とする遠隔監視装置。 - 請求項１に記載の遠隔監視装置において、前記動体検出手段は、前記画像データの表す２次元画像中より動体を検出し、該２次元画像における動体の存在範囲を示す位置情報を含む動体情報を出力し、
前記再生手段は、前記動体情報に基づいて前記動体の３次元構造を計算して、前記３次元実空間のモデルデータに前記動体を表すオブジェクトを付加して再生することを特徴とする遠隔監視装置。 - 請求項２に記載の遠隔監視装置において、前記動体情報は前記動体の大きさ情報を含み、前記再生手段は、該動体情報に応じて前記動体の存在範囲を示すオブジェクトの大きさを変化させることを特徴とする遠隔監視装置。
- 請求項２に記載の遠隔監視装置において、前記動体情報は前記動体の領域情報を含み、前記再生手段は、該動体情報に応じて前記動体の存在範囲を示すオブジェクトの形状を変化させることを特徴とする遠隔監視装置。
- 請求項１に記載の遠隔監視装置において、前記送信装置は、前記モデルデータを記憶するモデルデータ記憶手段と、
該モデルデータ記憶手段の記憶情報を前記動体検出部からの情報に基づいて更新させるモデルデータ更新手段とを含み、
該モデルデータ更新手段は、前記動体検出手段にて検出される動体情報に基づいて前記モデルデータを更新するとともに、該動体の３次元配置を推定して該推定結果を前記動体情報として出力し、
前記再生手段は、前記動体情報に基づいて、前記モデルデータに動体のオブジェクトを付加して再生することを特徴とする遠隔監視装置。 - 請求項１ないし４のいずれかに記載の遠隔監視装置において、前記送信装置は、前記画像データを高品質に符号化する第２の符号化手段と、該第２の符号化手段にて符号化された符号化データを記憶するデータ記憶手段とを含み、該データ記憶手段は、前記受信装置からの要求を受け取るかもしくは前記動体検出手段にて動体が検出されると、記憶した前記符号化データを読み出して前記情報送信手段に供給し、
該情報送信手段は、前記データ記憶手段から読み出された符号化データを前記受信装置に送信することを特徴とする遠隔監視装置。 - 請求項６に記載の遠隔監視装置において、前記データ記憶手段は、前記動体情報を前記符号化データとともに記憶して、前記符号化データを読み出す際に前記動体データとともに読み出して前記情報送信手段に供給し、該情報送信手段は、該データ記憶手段から読み出された符号化データおよび動体情報を前記受信装置に送信することを特徴とする遠隔監視装置。
- 請求項６または７に記載の遠隔監視装置において、前記第１の符号化手段は、前記画像データのフレームを一定間隔ごとに間引きして、間欠的な画像フレームを前記情報送信手段に出力して送信させることを特徴とする遠隔監視装置。
- 請求項１ないし５のいずれかに記載の遠隔監視装置において、前記受信装置は、前記動体情報に基づいて、前記第１の符号化手段における符号化を制御するためのパラメータを計算して前記送信装置に通知する符号化パラメータ送信手段を備え、前記第１の符号化手段は、前記受信装置から送信されるパラメータに基づいて符号化の品質制御を行うことを特徴とする遠隔監視装置。
- 請求項１ないし９のいずれかに記載の遠隔監視装置において、前記再生手段は、前記復号手段にて復号された２次元画像中に、前記動体情報に応じた動体を指示するマーカを合成して表示させることを特徴とする遠隔監視装置。
- 請求項１ないし１０のいずれかに記載の遠隔監視装置において、前記画像データは、前記撮像手段のレンズによって、広い画角の３次元空間を歪曲して２次元平面に撮像した画像データであり、
前記再生手段は、前記２次元画像を再生する際、前記レンズにより歪曲された投影変換の歪曲特性を解除することを特徴とする遠隔監視装置。 - 請求項１ないし１０のいずれかに記載の遠隔監視装置において、前記動体検出手段は、前記動体が検出されない場合に、前記撮像手段の撮像方向を自動的に変更させることを特徴とする遠隔監視装置。
- 請求項１ないし１２のいずれかに記載の遠隔監視装置において、前記送信装置は、監視対象に応じて複数が配置され、各送信装置に割り当てられた識別情報を前記伝送データに付加して送信し、
前記受信装置の情報受信手段は、該複数の送信装置からの伝送データを受信し、該受信装置は、前記複数の送信装置のいずれかを前記識別情報により選択する選択情報を出力する選択手段を含み、
前記送信装置の第１の符号化手段は、前記選択情報に応動して該送信装置における前記画像データを符号化することを特徴とする遠隔監視装置。 - 請求項１３に記載の遠隔監視装置において、前記選択情報は、前記動体に関する位置情報を含み、前記第１の符号化手段は、前記位置情報に応じた画像品質となる符号化処理を行うことを特徴とする遠隔監視装置。
- 請求項１３に記載の遠隔監視装置において、前記送信装置は、監視対象に応じて複数が配置され、各送信装置に割り当てられた識別情報を前記伝送データに付加して送信し、
前記情報受信手段は、該複数の送信装置から送信される伝送データを受信し、
前記受信装置は、前記伝送データのうち符号化データを、前記動体情報に応じて選択的に前記復号手段に供給して該復号手段における処理量を制御することを特徴とする遠隔監視装置。 - 請求項１ないし１５のいずれかに記載の遠隔監視装置において、前記送信装置は、前記動体の状態に応じた音声データを記憶する第１の音声記憶手段であって、前記動体情報に応じた音声データを読み出して出力する第１の音声記憶手段を含み、
前記情報送信手段は、前記第１の音声記憶手段から読み出される音声データを送信し、
前記情報受信手段は、前記音声データを復号して該音声データの表す音声を出力することを特徴とする遠隔監視装置。 - 請求項１ないし１５のいずれかに記載の遠隔監視装置において、前記受信装置は、動体の状態に応じた音声データを記憶する第２の音声記憶手段であって、前記情報受信手段にて受信される動体情報に応じた音声データを読み出して出力する第２の音声データ記憶手段を含むことを特徴とする遠隔監視装置。
- 請求項１に記載の遠隔監視装置において、前記送信装置は、前記画像データと前記動体情報とに基づいて、前記動体の種類を推定する第１の動体同定手段であって、前記動体の種類を複数の参照データとの類似度に応じて推定する同定結果を出力する第１の動体同定手段を含み、
前記情報送信手段は、前記同定結果を前記受信装置に送信し、
前記受信手段は、前記同定結果に応じた情報を出力することを特徴とする遠隔監視装置。 - 請求項１に記載の遠隔監視装置において、前記受信装置は、前記復号手段にて復号される画像データと、前記情報受信手段にて受信される動体情報とに基づいて、前記動体の種類を推定する第２の動体同定手段であって、前記動体の種類を複数の参照データとの類似度に応じて推定する同定結果を出力する第２の動体同定手段を含み、該同定結果に応じた情報を出力することを特徴とする遠隔監視装置。
- 監視センタの設置場所より遠隔地に、監視対象を撮像するカメラを設置し、該遠隔地側から該監視対象の状況を伝送路を介して前記監視センタに送信し、該監視センタにて監視する遠隔監視方法において、
遠隔地側から、前記監視対象の３次元実空間を２次元画像に変換して符号化し前記監視センタに伝送するとともに、前記３次元実空間中の動体を検出して該動体の動体情報を前記監視センタに伝送し、
前記監視センタは、符号化された２次元画像を復号して再生し、前記動体情報に基づいて、前記３次元実空間のモデルデータを更新して再生することを特徴とする遠隔監視方法。 - 請求項２０に記載の遠隔監視方法において、前記遠隔地側にて、前記２次元画像中より動体を検出し、該２次元画像中の前記動体の位置、大きさ、領域のいずれかを含む動体情報を前記監視センタに伝送し、
該監視センタにて受信される前記動体情報に基づいて前記動体の３次元構造を推定し、３前記次元実空間のモデルデータに該動体を表すオブジェクトを付加して再生することを特徴とする遠隔監視方法。 - 請求項２０に記載の遠隔監視方法において、前記遠隔地側にて、前記２次元画像中より動体を検出し、該動体の３次元構造を推定して動体情報として前記監視センタに伝送し、
監視センタにて受信される動体情報に基づいて前記３次元実空間のモデルデータに前記動体を表すオブジェクトを付加して再生することを特徴とする遠隔監視方法。 - 請求項２０ないし２２のいずれかに記載の遠隔監視方法において、
前記遠隔地から２次元画像を符号化して伝送するとともに、これとは別に２次元画像をより高品質に符号化して該符号化データを該遠隔地側にて記憶し、該遠隔地にて動体が検出された場合もしくは前記監視センタからの要求があった場合に前記記憶した符号化データを前記監視センタに伝送することを特徴とする遠隔監視方法。 - 請求項２０ないし２２のいずれかに記載の遠隔監視方法において、
前記遠隔地から２次元画像を符号化して伝送するとともに、これとは別に２次元画像をより高品質に符号化して該符号化データと前記動体情報とを該遠隔地側にて記憶し、該遠隔地にて動体が検出された場合もしくは前記監視センタからの要求があった場合に前記記憶した符号化データと動体情報とを前記監視センタに伝送することを特徴とする遠隔監視方法。 - 請求項２０ないし２３のいずれかに記載の遠隔監視方法において、前記監視センタ側にて、前記遠隔地側から送信される動体情報に基づいて、該遠隔地側にて符号化処理する際の符号化制御情報を計算し、該計算結果を該遠隔地側に通知し、該遠隔地側は、前記２次元画像を符号化する際、該通知される符号化制御情報に基づいて符号化品質を制御することを特徴とする遠隔監視方法。
- 請求項２０ないし２５のいずれかに記載の遠隔監視方法において、前記監視センタは、前記動体を示すマーカを前記動体情報に基づいて前記復号した２次元画像に合成して再生することを特徴とする遠隔監視方法。
- 請求項２０ないし２６のいずれかに記載の遠隔監視方法において、
前記遠隔地側の前記カメラのレンズによって前記３次元実空間を２次元画像に投影変換する際、広い画角の３次元空間を歪曲して２次元平面に撮像し、前記監視センタは、前記２次元画像を再生する際、前記歪曲された投影変換の歪曲特性を解除することを特徴とする遠隔監視方法。 - 請求項２７に記載の遠隔監視方法において、前記監視センタは、前記２次元画像を再生する際、前記３次元空間中の部分領域にて前記動体が検出されない場合、前記部分領域を移動させて、該移動された部分領域の２次元画像を再生することを特徴とする遠隔監視方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01020099A JP3665212B2 (ja) | 1999-01-19 | 1999-01-19 | 遠隔監視装置および遠隔監視方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01020099A JP3665212B2 (ja) | 1999-01-19 | 1999-01-19 | 遠隔監視装置および遠隔監視方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000209569A JP2000209569A (ja) | 2000-07-28 |
| JP3665212B2 true JP3665212B2 (ja) | 2005-06-29 |
Family
ID=11743643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01020099A Expired - Fee Related JP3665212B2 (ja) | 1999-01-19 | 1999-01-19 | 遠隔監視装置および遠隔監視方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3665212B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4828359B2 (ja) * | 2006-09-05 | 2011-11-30 | 三菱電機株式会社 | 監視装置及び監視プログラム |
| US20080074494A1 (en) * | 2006-09-26 | 2008-03-27 | Harris Corporation | Video Surveillance System Providing Tracking of a Moving Object in a Geospatial Model and Related Methods |
| JP2008197829A (ja) | 2007-02-09 | 2008-08-28 | Sony Corp | 画像処理装置と方法およびプログラムと記録媒体 |
| JP5163564B2 (ja) * | 2009-03-18 | 2013-03-13 | 富士通株式会社 | 表示装置、表示方法および表示プログラム |
| JP6115316B2 (ja) * | 2013-05-27 | 2017-04-19 | 株式会社リコー | 画像処理システム、撮像装置およびプログラム |
| KR102343700B1 (ko) * | 2015-01-22 | 2021-12-27 | 허들리 인코포레이티드 | 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신 |
| JP7101331B2 (ja) * | 2016-11-22 | 2022-07-15 | サン電子株式会社 | 管理装置及び管理システム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09212219A (ja) * | 1996-01-31 | 1997-08-15 | Fuji Facom Corp | 三次元仮想モデル作成装置及び制御対象物の監視制御装置 |
| JP3288575B2 (ja) * | 1996-03-27 | 2002-06-04 | 三菱電機株式会社 | 撮像画像を用いた監視装置とそのモデル作成方法および撮像装置制御方法 |
-
1999
- 1999-01-19 JP JP01020099A patent/JP3665212B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000209569A (ja) | 2000-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9886770B2 (en) | Image processing device and method, image processing system, and image processing program | |
| US9773333B2 (en) | Information processing device, information processing method, and program | |
| JP3926572B2 (ja) | 画像監視方法、画像監視装置及び記憶媒体 | |
| EP2490179B1 (en) | Method and apparatus for transmitting and receiving a panoramic video stream | |
| US20050275721A1 (en) | Monitor system for monitoring suspicious object | |
| JPWO2004066632A1 (ja) | 遠隔映像表示方法、映像取得装置及びその方法とそのプログラム | |
| JP2010521844A (ja) | 監視システム | |
| JPH06319134A (ja) | 画像通信システム | |
| JP2012083412A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP5531603B2 (ja) | 画像処理装置および方法、並びにプログラム | |
| JP3665212B2 (ja) | 遠隔監視装置および遠隔監視方法 | |
| KR20030049642A (ko) | 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상합성을 위한 카메라 정보 부호화/복호화 방법 | |
| JP2000184357A (ja) | プラント監視装置 | |
| JP2005175970A (ja) | 撮像システム | |
| US20160127617A1 (en) | System for tracking the position of the shooting camera for shooting video films | |
| JP6004978B2 (ja) | 被写体画像抽出装置および被写体画像抽出・合成装置 | |
| JP4857297B2 (ja) | 映像処理装置 | |
| KR20180135971A (ko) | 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법 | |
| WO2016117480A1 (ja) | テレコミュニケーションシステム | |
| KR20140111079A (ko) | 카메라 제어 방법 및 그 시스템 | |
| KR20170011928A (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치 | |
| JP2010087559A (ja) | 動画像送信装置、動画像受信装置、動画像通信システム及び動画像通信プログラム | |
| JP3066594U (ja) | 画像変換装置 | |
| JPH0332185A (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JPH11243508A (ja) | 画像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050331 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080408 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090408 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100408 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100408 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110408 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110408 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130408 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |