以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した監視システム1は、例えば図1に示すように、被写体を撮像して画像信号を生成するカメラユニット2と、カメラユニット2により生成された画像信号を蓄積するためのサーバ53と、上記画像信号が伝送される監視装置5と、監視装置5に接続されるディスプレイ6と、複数のユーザがアプリケーションを実行するための端末装置9と、端末装置9に接続される端末ディスプレイ10と、インターネット網等に代表され、通信制御機器7a,7bを介した双方向通信を実現するための公衆通信網8とを備えている。
カメラユニット2,サーバ53,並びに監視装置5は、所望の被写体を撮像すべく撮影現場等に設置される撮像システム91として構成してもよいし、またサーバ53,監視装置5をパーソナルコンピュータ(PC)等に一体化させた電子機器92により構成してもよい。このような撮像システム91或いは電子機器92は、端末装置9との間で、公衆通信網8を介した双方向通信を可能とするために、例えばLAN(Local Area Network)を介して通信制御機器7aに接続される。
カメラユニット2は、パンチルタ部3と、カメラ部4とが一体的に構成されてなる。パンチルタ部3は、例えばパン、チルトの2軸につき撮影方向を自在に変更するための回転台として構成される。
カメラ部4は、パンチルタ部3を構成する回転台上に配設され、監視装置5による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部4は、監視装置5による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。このカメラ部4を一の監視装置5に対して複数設置することにより、同一の被写体につき、互いに異なる撮影角度で撮像することができ、多面的な画像情報を得ることも可能となる。
監視装置5は、例えばパーソナルコンピュータ(PC)等の電子機器により構成され、カメラユニット2から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ6を介してユーザに表示する。またこの監視装置5は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれを表示するように制御する。この監視装置5は、このネットワーク8全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置9からの要求に応じて画像を送信する。
ネットワーク8は、例えば監視装置5と電話回線を介して接続されるインターネット網を始め、TA/モデムと接続されるISDN(Integrated Services Digital Network)/B(broadband)−ISDN等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの監視システム1を、一定の狭いエリア内で運用する場合には、このネットワーク8を、LAN(Local Area Network)で構成してもよい。さらにこのネットワーク8は、静止画像に加えてMPEG画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル(IP)に基づき、MPEGデータがある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。
端末装置9は、各家庭や企業等に待機するユーザがネットワーク8を介して監視装置5から画像を取得し、所望の処理を実行するためのPCである。複数の端末装置9を通信制御機器7bを介してネットワーク8に接続することにより、複数のユーザに対してこの監視システム1のアプリケーションを同時に提供することが可能となる。この端末装置9は、監視装置5から取得した画像を、端末ディスプレイ10に対して表示する。またこの端末装置9は、ユーザによる指定操作に応じて要求信号を生成し、これを監視装置5に対して送信する。なお端末装置9のブロック構成については、後述する監視装置5の構成を引用し、説明を省略する。
次に、本発明を適用した監視システム1におけるサーバ53,監視装置5の構成につき、これらを一体化して構成した電子機器92を例に挙げて上述したカメラユニット2と合わせて説明をする。
図2は、カメラユニット2,電子機器92の構成図である。この図2では、共通のコントローラバス21に対して、カメラユニット2並びに電子機器92の各構成要素が接続されている。
カメラユニット2を構成するパンチルタ部3は、撮像方向を変更するための回転台を制御するTilt部3a、Pan部3bとを有する。また、カメラユニット2を構成するカメラ部4は、主としてレンズ部22の画角を変更するためのレンズ制御部23と、レンズ部22の光軸に直交する位置に配設される撮像部24と、撮像部24により生成された画像信号を画像入出力部13へ送信するためのIEEE(Institute of Electrical and Electronics Engineers)1394インターフェース25と、カメラユニット2の現在位置を検出するためのGPS(Global Positioning System)受信部28と、GPS受信部28に装着されるメタデータ生成部29とを備えている。ちなみに、IEEE1394インターフェース25は、イーサネット(登録商標)に代替してもよい。
また監視装置5は、IEEE1394インターフェース25に接続されるバッファメモリ51と、バッファメモリ51に接続されるエンコーダ52と、エンコーダ52から出力される画像を蓄積するサーバ53と、サーバ53から読み出された画像を圧縮するための画像圧縮部54と、サーバ53及び画像圧縮部54に接続され、ディスプレイ6上に表示する画像を作り出すグラフィックコントローラ55と、コントローラバス21を介して各部を制御するためのCPU56と、I/Oポート58とにより構成され、ディスプレイ6上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード59並びにマウス60と、さらにこのI/Oポート58に接続されるメモリカード61並びに時計62とを備えている。
Tilt部3a並びにPan部3bは、CPU56からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部4の撮影方向を水平方向、或いは垂直方向に変更することができる。
レンズ制御部23は、CPU56からの駆動信号に基づき、レンズ部22に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部23は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部4は、撮影倍率を順次調整して被写体を撮像することも可能となる。
撮像部24は、例えばCCD(Charge Coupled Device )等の固体撮像素子により構成され、レンズ部22を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをIEEE1394インターフェース25へ送信する。
GPS受信部28は、GPSシステムにより送出される信号に基づき、カメラユニット2の設置場所や撮影方向を検出する。このGPS受信部28を設けることにより、特に複数のカメラユニット2を設置する場合において、双方の撮影方向を連動して制御することが可能となる。GPS受信部28からの出力信号は、メタデータ生成部29に供給され、GPSによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部29は、この生成した位置情報やメタデータをエンコーダ52へ供給する。なお本発明では、このGPS受信部28、メタデータ生成部29の構成を省略してもよい。
バッファメモリ51は、CPU56からの制御信号に基づき、IEEE1394インターフェース25から供給される画像信号を一時的に格納する。このバッファメモリ51において一時的に格納された画像信号は、エンコーダ52に供給され、例えばJPEG(Joint Photographic Experts Group)等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ52は、圧縮符号化する画像信号に対して、メタデータ生成部29から供給される位置情報やメタデータを付加してもよい。エンコーダ52は、圧縮符号化した画像信号をサーバ53或いは画像圧縮部54へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ52における処理は省略される。
サーバ53は、エンコーダ52から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ53は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ53に記録された画像信号は、CPU56による制御に基づき、画像圧縮部54やグラフィックコントローラ55へ読み出される。なおサーバ53に記録される画像信号をメモリカード61へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のPCへ移し換えることも可能となる。
画像圧縮部54は、サーバ53から読み出したJPEG形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。グラフィックコントローラ55は、サーバ53から読み出した画像信号、又は画像圧縮部54から出力される画像信号に基づき、ディスプレイ6への絵画処理を実行する。また、このグラフィックコントローラ55は、CPU56による制御に基づき、ディスプレイ6におけるコントラスト、輝度の制御を実行する。
CPU56は、ユーザによりキーボード59やマウス60を介して画像領域、画像位置が指定された場合に、パンチルタ部3やレンズ制御部23を駆動するための駆動信号や、監視装置5内の各部を制御するための制御信号を、コントローラバス21を介して送信する。また、このCPU56は、端末装置9から所定の要求信号を受けて、サーバ53に記録されている画像から最適なものを選択し、或いは各種情報を選択し、これを当該端末装置9へ送信するように制御する。
なお、本発明では、上述した電子機器92における構成を全てカメラユニット2に搭載した撮像装置として適用してもよい。
次に本発明を適用した監視システム1における撮像動作について説明をする。
図3は、カメラユニット2により、黒枠で示される撮影範囲内を撮影画角uで撮像する場合について示している。撮影範囲を撮影画角uで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角uで撮像することにより得られるフレーム(以下、単位画像という。)のサイズのi×j倍で表せるときには、少なくともi×j通りの撮影方向を設定する必要がある。この撮影画角uで撮像したi×j個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
ここで、撮影範囲の各単位画像の座標(M,N)を、水平方向につき、左端から順に1、2、・・M・、iとし、垂直方向につき上端から順に1、2、・・N・、jとしたとき、CPU56は、Tilt部3a並びにPan部3bに対して駆動信号を送信することにより、カメラ部4の撮影方向を、先ず左上に位置する座標(1,1)に合わせて撮像を実行させる。この座標(1,1)について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ51に一時的に格納され、エンコーダ52において、JPEG規格に基づいて圧縮符号化される。そしてこの画像信号は、GPS28から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ53に記録される。
同様にCPU56は、Tilt部3a並びにPan部3bに対して駆動信号を送信することにより、カメラ部4の撮影方向を、右側に1画枠分シフトさせて座標(2,1)に合わせて撮像を実行する。この座標(2,1)について撮像することにより生成された画像信号も同様にサーバ53へ記録される。CPU56による制御に基づき、カメラ部4は、撮影方向を座標(3,1)、(4,1)・・(i,1)と水平方向へ順次変更させて撮像を実行する。
カメラ部4は、1列目の撮像を終了させた後、CPU56による制御に基づき、撮影方向を2列目の座標(1,2)に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標(i,j)まで撮像を終了させた時、サーバ53は、座標毎に撮像したi×j個の単位画像に基づく画像信号が記録されている状態になる。
ちなみに、このサーバ53に記録されている各単位画像に基づく画像信号は、画像圧縮部54により順次読み出されて、ディスプレイ6の表示画面のサイズに適合するように圧縮される。この圧縮された各単位画像は、グラフィックコントローラ15を経てディスプレイ6に表示される。サーバ53に記録されたi×j個の単位画像を全てディスプレイ6に表示させることにより、1枚の全体画像が合成されることになる。上述の撮像動作を所定間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。
また、上述の撮像動作を所定間隔で実行することにより、サーバ53には、各撮像タイミングで生成される全体画像に応じたi×j個の単位画像が記録されている状態となる。監視装置5のユーザは、このサーバ53に対して事後的にアクセスすることにより、以前撮像されてサーバ53に記録されている全体画像又はこれを構成する各単位画像を選択し、これをディスプレイ6上に表示させることができる。また、端末装置9のユーザも、公衆通信網8を介してサーバ53にアクセスすることにより、以前撮像されてサーバ53に記録されている全体画像又はこれを構成する各単位画像を選択し、これをユーザ端末10上に表示させることができる。
図4は、撮像したi×j個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ6の全体画像表示部70に表示する例を示している。なお、この監視装置5は、全体画像表示部70に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また監視装置5は、パノラマ状の全体画像(パノラマ画像)の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した1枚の全体画像を、この全体画像表示部70に表示させてもよい。
ちなみに表示画面45には、単位画像を拡大した拡大画像を表示するための拡大画像表示部71がさらに設けられている。この拡大画像表示部71は、全体画像表示部70に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。
また表示画面45には、拡大画像表示部71に表示されている単位画像につき、撮影倍率を縮小して表示させるためのWIDEボタン72、撮影倍率を拡大して表示させるためのZOOMボタン73が表示される。また、この表示画面45には、カメラ部4の撮影方向を水平、垂直方向において調整するための撮影方向制御部75、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン76等も表示される。
ユーザは、全体画像表示部70や拡大画像表示部71に対して、キーボード59やマウス60を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部70,71には、マウス60等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
ちなみに、本発明を適用した監視システムでは、更に車両等の移動被写体の移動態様を累積的に表示することができる。この移動被写体における軌跡の表示は、撮像した画像上に生じた差異を検出することにより実行する。
上述の如く一定の間隔で実行される撮像動作により、サーバ53には、生成された全体画像を構成する単位画像が順次記録される。ここで、サーバ53に記録されている単位画像から構成される全体画像のうち、直前に撮像された画像との間で画像上の差異を検出するものを比較全体画像といい、また、この比較全体画像の直前に撮像され記録されている全体画像を基本全体画像という。
図5(a)に示すように、差異を検出するための比較全体画像が全体画像a2である場合には、基本全体画像は、全体画像a1となる。撮像した画像上に生じた差異を検出する場合には、この全体画像a2を構成する単位画像と、全体画像a1を構成する単位画像との間で輝度レベルを比較する。この輝度レベルの比較は、図5(a)に示すように、同一座標(1,1)、(2,1)、(3,1)、・・・、(M,N)にある単位画像間で、換言すれば同一撮影方向にある単位画像間で実行する。これにより、基本全体画像に対する比較全体画像の輝度レベルの変化を、各撮影方向に応じて検出することができる。
CPU56は、比較全体画像(全体画像a2)と基本全体画像(全体画像a1)との間で、例えば座標(M,N)にある単位画像の輝度レベルを比較する場合には、先ず、これら二つの単位画像をサーバ53から読み出す。次にCPU56は、例えば図5(b)に示すように、読み出した二つの単位画像間において同一位置にある各画素(m,n)につき輝度レベルを比較する。この輝度レベルの比較は、同一位置にある画素(m,n)につき、輝度レベルの差分を求めるようにしてもよい。CPU56は、読み出した単位画像間の輝度レベルの差異を、各画素につき求めた輝度レベルの差分値を介して検出することができる。ちなみに、この各画素間の輝度レベルの比較は、単位画像を構成する全ての画素につき実行してもよいし、単位画像を構成する一部の画素のみに対して実行するようにしてもよい。
ちなみに、本発明では、比較全体画像を構成する一部の単位画像のみについて、上述の如く輝度レベルを比較してもよい。このときユーザは、マウス60等を用いて、所望の単位画像を指定することにより、かかる指定された単位画像のみにつき輝度レベルの差異を検出することが可能となる。
CPU56は、比較全体画像と基本全体画像とを構成する全ての単位画像につき、輝度レベルの差異を検出した後、累積差異情報を生成する。この累積差異情報は、単位画像毎に比較した輝度レベルの差異を、各撮影方向につき比較全体画像に至るまで累積したものである。また、この累積差異情報は、輝度レベルの差異を、輝度レベルの差分値に基づいて検出する場合に、当該差分値を各撮影方向につき比較全体画像に至るまで累積加算したものとして表される。この各撮影方向につき累積加算した差分値を互いに合わせることにより、比較全体画像に対応した一の累積差異情報を生成することもでき、更には比較全体画像に対応して生成された一の累積差異情報を当該比較全体画像と関連付けてサーバ53へ記録することもできる。
例えば、撮影範囲を最初に撮像して得られた全体画像が全体画像a1である場合には、比較全体画像a2につき関連付けて記録される累積差異情報b1は、全体画像a1と全体画像a2との間で検出した輝度レベルの差分値のみに基づくものとなる。
同様に比較全体画像a3と関連付けて記録される累積差異情報b2は、全体画像a1と全体画像a2との間で検出した輝度レベルの差分値に加えて、全体画像a2と全体画像a3との間で検出した輝度レベルの差分値を累積したものとして表される。同様に比較全体画像a4と関連付けて記録される累積差異情報b3は、全体画像a1と全体画像a2との間で検出した輝度レベルの差分値に加えて、更に全体画像a2と全体画像a3との間で検出した輝度レベルの差分値、全体画像a3と全体画像a4との間で検出した輝度レベルの差分値を累積したものとして表される。
次に、上述の如き生成された累積差異情報とともにサーバ53へ記録された比較全体画像を表示する場合には、かかる比較全体画像を構成する単位画像が画像圧縮部54により順次読み出されてディスプレイ6上に表示されることになる。このとき、ディスプレイ6上に表示させる比較全体画像に関連付けてサーバ53へ記録されている累積差異情報をサーバ53から同時に読み出し、これを比較全体画像を構成する各単位画像に重ね合わせて表示させる。
例えば、カメラユニット2により最初に撮像して得られた全体画像a1において、図6(a)に示すような撮影範囲として捉えた道路上に車両等を始めとした移動被写体が写し出されている場合には、かかる全体画像a1を構成する単位画像は、上述の如く順次サーバ53へ記録される。また次のタイミングにおいて、図6(b)に示すように移動被写体が道路上の別の位置へ移動した状態を全体画像a2として生成した場合に、かかる全体画像a2を比較全体画像として、基本全体画像にあたる全体画像a1との間で輝度レベルの差分値を求める。この図6に示す例においては、道路上を移動した移動被写体と道路との間で輝度レベルにつき差異が生じているため、かかる部分については輝度レベルの差分が発生し、他の建物の部分や木の部分については、差分は0となる。またCPU56は、全体画像a1と全体画像a2との間で検出した輝度レベルの差分値に基づく累積差異情報b1を同時に生成し、全体画像a2と関連付けてサーバ53へ記録する。
図7は、このような比較全体画像としての全体画像a2をディスプレイ6上に表示する場合につき示している。この全体画像a2と関連付けてサーバ53に記録された累積差異情報b1を同時に読み出し、これを比較全体画像を構成する各単位画像に重ね合わせて表示させる。この累積差異情報b1を表示する場合には、例えば図7に示すように、求めた輝度レベルの差分値に応じた色情報を各撮影方向(単位画像)につき重ねて表示する。例えば、輝度レベルの差分値がより大きくなるにつれて、この表示する色情報を赤色へ近づけるようにしてもよい。これにより、移動被写体が移動した部分については、より赤色に近い色情報が表示され、建物や木の部分等のような差分値は0となる部分については、無色で表示されることになる。ユーザは、ディスプレイ6上に表示される全体画像a2をこの累積差異情報b1として表される色情報とともに視認することにより、差異が生じた画像領域を容易に識別することができ、移動被写体の移動態様を容易に解析することができる。
同様に次のタイミングにおいて、移動被写体が道路上の更に別の位置へ移動した場合に、これを撮像した図8(a)に示すような全体画像a3を生成し、かかる全体画像a3を比較全体画像として、基本全体画像にあたる全体画像a2との間で輝度レベルの差分値を求める。この図8(a)に示す例においては、道路上を移動する移動被写体と道路との間で輝度レベルにつき差異が生じているため、かかる部分に応じた輝度レベルの差分値が求められ、他の建物の部分や木の部分については、差分値は0となる。
比較全体画像a3と関連付けて記録される累積差異情報b2は、この求めた差分値に加え、さらに累積差異情報b1に基づく差分値を累積したものとして表される。特にこの図8(b)に示される累積差異情報b2としての色情報は、累積差異情報b1としての色情報も付加されているため、ユーザは、ディスプレイ6上に表示される全体画像a3をこの累積差異情報b2として表される色情報とともに視認することにより、全体画像a1から全体画像a3に至るまでの輝度成分の差異を累積的に識別することが可能となる。例えば、移動被写体が移動する道路等のような輝度レベルの差異が顕著になる領域については、累積差異情報b2として累積される輝度レベルの差分値も大きくなり、表示される色情報もより赤色に近くなる。比較全体画像が、全体画像a4、a5、・・・と順次更新されるにつれ、これらに関連付けられる累積差異情報b3、b4、・・・に累積される輝度レベルの差分値の格差も道路と建物等との間で大きくなる。
図9は、上記撮影範囲を相当回数撮影して得られた比較全体画像を、これに関連付けて生成した累積差異情報とともにディスプレイ6上へ表示する場合につき示している。この図9に示すように、移動被写体が高い頻度で移動する領域については、各単位画像間で求められた差分値がその分累積的に加算され、表示される色情報はより赤色に近くなる。一方、移動被写体が低い頻度で移動する領域については、累積される差分値はそれほど大きくなることはなく、表示される色情報はより黄色に近くなる。また建物の部分等のように移動被写体が全く移動しない領域については、上述と同様に無色で表示される。
これにより、ユーザは、かかるディスプレイ6上に表示される累積差異情報を視認することにより、移動被写体がより高い頻度で移動する領域、低い頻度で移動する領域、全く移動しない領域を撮影範囲内から容易に特定することができる。このような図9に示すような画像を移動被写体の解析結果としてサーバ53へ保存しておくことにより、事後的な解析、検討を行う場合における参考資料とすることもできる。
また、移動被写体が全く移動しない領域につき遮蔽することにより、ユーザがディスプレイ6を介して視認することができないようにしてもよい。これにより、不必要な情報や開示を望まない情報のユーザへの表示を抑えることが可能となる。
なお、本発明を適用した監視システム1は、上述した実施の形態に限定されるものではなく、例えば図10に示すように、ディスプレイ6上に表示させる比較全体画像が指定された後に、上述した累積差異情報を生成するようにしてもよい。
先ず図10に示すステップS11において、ディスプレイ6上に表示させる全体画像として全体画像akが指定された場合には、ステップS12へ移行し、全体画像の識別番号nを1に設定する。
次にステップS13へ移行し、比較全体画像an+1とその直前にタイミングにおいて撮像された基本全体画像anとの間で、上述の如く輝度レベルの差異を比較する。ステップS12においてnは1に設定されているため、比較全体画像a2と基本全体画像a1との間で上述した方法により輝度レベルを比較する。ちなみに次のステップS14へ移行する前に、この識別番号nに1を加算する。
次にステップS14へ移行し、比較全体画像anとその直前にタイミングにおいて撮像された基本全体画像an−1との間で、上述の如く輝度レベルの差異が生じているか判別する。その結果、両者間で輝度レベルにつき差異が検出された場合には、ステップS15へ移行する。一方、両者間で輝度レベルにつき差異が存在しない場合には、ステップS19へ移行する。
ステップS15において、上記生成された輝度レベルの差異に基づいて、累積差異情報を生成する。次にステップS16へ移行し、この比較全体画像anと累積差異情報とを上述の如く重ねて表示させる。次にステップS17へ移行し、全体画像anが全体画像akと等しいか否か判別する。その結果、an≠akである場合には、ステップS13へ戻る。一方、an=akである場合には、ディスプレイ上に表示させる全体画像akに至っていることを示唆しており、ステップS18へ移行して処理を終了させる。
一方、ステップS19へ移行した場合には、比較全体画像anと累積差異情報を重ねて表示させる。次にステップS20に移行し、上記ステップS17と同様に、全体画像anが全体画像akと等しいか否か判別する。その結果an≠akである場合には、ステップS13へ戻る。一方、an=akである場合には、ステップS18へ移行して処理を終了させる。
上述したように、本発明を適用した監視システム1では、撮影方向を順次変化させて撮影範囲を撮像することにより生成された全体画像を監視する際に、当該単位画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出し、かかる検出した輝度レベルの差異を、ディスプレイ6上に表示する比較全体画像に至まで各撮影方向につき累積した累積差異情報を生成し、これを当該比較全体画像を構成する各単位画像に重ねて表示させる。 これにより、移動被写体の移動態様を累積的に捉えておくことにより、事後的な解析の便宜を図ると同時に、移動の伴わない非移動被写体の特定を容易に実現することができる。
また、本発明を適用した監視システム1では、上述した単位画像間における輝度レベルの比較を、R,G,Bの原色成分毎に実行してもよい。この輝度レベルの比較は、上述の如く、同一座標(M,N)にある単位画像間で、換言すれば同一撮影方向にある単位画像間で実行する。これにより、基本全体画像に対する比較全体画像の各原色成分における輝度レベルの変化を、換言すれば、各原色成分における輝度レベルの差分値を撮影方向毎に検出することができる。
図11(a)は、原色成分のうちR(赤)の輝度レベルを比較する場合につき説明するための図である。縦軸は、比較する単位画像につき、対応する画素毎に演算した差分値(明るさ)を示している。また図11(b)は、この図11(a)に示される差分値のうち水平方向における最大値を表示したものであり、図11(c)は、図11(a)に示される差分値のうち垂直方向における最大値を表示したものである。
差異検出レベルL1並びに色レベルL2は、キーボード59やマウス60を介してユーザにより自由に設定できるレベルである。演算された原色成分(R)の輝度レベルの差分値がこの差異検出レベルL1を超えたときに、差異が検出されたものと判定される。色レベルL2は、S/N比を向上させるべく、演算される差分値のゲインを設定するためのレベルである。例えば図11に示すように、一の差分値を色レベルL2まで増幅させることにより、他の差分値も同様に増幅されることになる。増幅された各差分値に対して所望の差異検出レベルL1を設定することにより、高精度な差異検出を実現することができる。すなわちユーザは、検出を望む差分値のレベルに対応させて自在に色レベルL2を設定することができ、またこの色レベルL2との関係において差異検出レベルL1を設定することにより、色レベルL2の割合に対してどの程度のレベル変化を起こしたら差異が検出されたものと判断するか自由に設定することができる。ちなみに、他の原色成分(G、B)に関しても同様にL1,L2を設定することができる。
なお、この差異検出レベルL1及び色レベルL2は、R、G、Bの原色成分毎に互いに異なるレベルに設定してもよく、また、R、G、Bの原色成分により構成される色成分毎に異なるレベルに設定してもよい。更に、比較全体画像を構成する単位画像毎に、互いに異なるレベルに設定してもよい。
すなわち、監視システム1では、比較する単位画像について原色成分毎に演算した輝度レベルの差分値のうち、少なくとも一の原色成分において差異検出レベルL1を超える場合のみ、当該単位画像につき何らかの差異が検出されたものと判断して累積差異情報を生成することができる。このため、R、G、B毎に単独で差異を検出することができ、実際に表示画面45上において表示される全体画像において、視覚的に検出することが不可能な微小な状況変化までも高精度に検出することができる。
また、本発明を適用した監視システム1では、差異を検出することができる対象物の大きさを選択することもできる。
図12(a)に示すようにユーザは、キーボード59やマウス60を用いて単位画像毎に所望の参照画像領域を設定することができる。この設定される参照画像領域は、一の単位画像に対して1種のみ設定してもよいし、複数種設定してもよい。また原色成分毎に互いに異なるサイズからなる参照画像領域を設定してもよい。
ここで、ユーザにより図12(b)に示すように、水平方向の長さをWであり、また垂直方向の長さがtである参照画像領域が設定された場合において、CPU56は、かかる参照画像領域が設定された単位画像につき、求められた差分値が差異検出レベルL1を超える被検出領域を識別する。CPU56は、この識別した被検出領域につき、参照画像領域との間でサイズを比較する。
例えば、図13に示すように、差分値が差異検出レベルL1を超える被検出領域として、先ず水平方向の長さがW1であり、垂直方向の長さがt1である被検出領域R1を識別した場合に、水平方向につき、参照画像領域の長さWと、このW1とを比較し、また垂直方向につき、参照画像領域の長さtと、このt1とを比較する。その結果、被検出領域R1のサイズが水平、垂直方向において共に参照画像領域のサイズを超える場合には、差異が検出されたものと判定する。また、この被検出領域R1において、水平、垂直方向のうちいずれか一方のサイズが、参照画像領域のサイズを下回る場合には、差異が検出されなかったものと判定する。
同様に、CPU56は、差分値が差異検出レベルL1を超える被検出領域として、水平方向の長さがW2であり、垂直方向の長さがt2である被検出領域R2を識別した場合には、水平方向につき、参照画像領域の長さWと、このW2とを比較し、また垂直方向につき、参照画像領域の長さtと、このt2とを比較し、差異の有無を判定する。
すなわち、本発明を適用した監視システム1では、ユーザにより設定された参照画像領域に基づき、差異を検出するための被検出領域を選択することができる。特に、参照画像領域のサイズを細かく調整することにより、微小な被検出領域につき、差異が検出されることはなくなる。
また撮影範囲内に存在する被写体の中から、ある特定の対象につき、差異の検出を望む場合においても、参照画像領域のサイズを当該検出対象のサイズに応じて設定することにより実現することができる。特に撮影方向を順次変化させて被写体を撮像することにより得られる全体画像は、様々な移動被写体を含む場合が多いため、単位画像間で互いに異なるサイズからなる参照画像領域を設定することにより、各移動被写体につき、単一システムによる差異検出を実現することができる。
また、カメラ部4から遠距離にある移動被写体と近距離にある移動被写体は、仮に同一物であっても単位画像に表示されるサイズが異なる。例えばカメラ部4から遠距離位置に敷設されている道路上の自動車と、カメラ部4から近距離位置に敷設されている道路上の自動車では、同一種類のものであっても、後者の方が大きく表示される。このため、カメラ部4から遠距離位置に敷設されている道路を含む単位画像と、カメラ部4から近距離位置に敷設されている道路を含む単位画像との間で、設定する参照画像領域のサイズを変えることにより、かかる同一種類の自動車についても、カメラ部4からの遠近に支配されることなく正確な差異検出を実現することができる。
特に参照画像領域のサイズを、特定の移動被写体のサイズに合わせることにより、かかる特定の移動被写体の軌跡をディスプレイ6上に表示させることもできる。
例えば図14に示すように、遠方から徐々に近づいてくる移動被写体(飛行機)を、撮影範囲内に捉えて上述と同様に所定の間隔で撮像動作を繰り返すことにより、単位画像から構成される全体画像を生成し、更にこの生成した各全体画像を比較全体画像として上述の如くそれぞれ累積差異情報を生成する。この生成される累積差異情報は、移動被写体の輝度レベルの差分値により構成され、かかる差分値をディスプレイ6上に表示される全体画像に至るまで累積することにより、図14に示すような移動被写体の軌跡を色情報として表示することができる。
ユーザは、このような移動被写体の軌跡に応じた累積差異情報を色情報として視認することにより、特定の移動被写体の移動態様をより詳細に解析することができる。
なお、本発明を適用した監視システム1では、本来動きの少ない部分に存在する移動被写体の移動態様を図15に示す手順を実行することにより解析することができる。
先ず図15に示すステップS51において、ディスプレイ6上に表示させる全体画像として全体画像akが指定された場合には、ステップS52へ移行し、全体画像の識別番号nを1に設定する。
次にステップS53へ移行し、比較全体画像an+1とその直前のタイミングにおいて撮像された基本全体画像anとの間で、上述の如く輝度レベルの差異を比較する。このとき、求めた輝度レベルの差分値が差異検出レベルL1を超えるか否か、各画素につき判別する。そして、このステップS53においては、求めた輝度レベルの差分値が差異検出レベルL1を超える回数dを比較全体画像an+1を構成する各単位画像の画素位置毎にカウントする。そして、この回数dがスレッショルドEを超えているか否か判定する。
このステップS53において、回数dがスレッショルドEを超えている場合には、当該画素位置については、移動被写体の動きが活発であるため、差異が検出される頻度が高い画素であることを判別する。CPU56は、単位画像を構成する画素位置毎にこの回数dを求め、スレッショルドEを超えているか否か判別する。比較全体画像an+1を構成する各単位画像につき、全て回数dを求めた結果、スレッショルドEを超えている画素が1つも存在しない場合にはステップS56へ移行し、一方、スレッショルドEを超えている画素が1つでも存在する場合には、ステップS54へ移行する。
ステップS54へ移行した場合において、CPU56は、その回数dがスレッショルドEを超えている画素位置を識別し、当該識別した画素位置を移動被写体の動きが活発であるため、差異が検出される頻度が高い差異検出エリアに含める。CPU56は、この回数dがスレッショルドEを超えている全ての画素を識別し、これを差異検出エリアに含めた後、ステップS55へ移行する。
ステップS55において、CPU56は、差異検出エリアを構成する画素位置については、輝度レベルの差異の比較対象から外すための設定を行う。
次にステップS56へ移行し、比較全体画像an+1とその直前にタイミングにおいて撮像された基本全体画像anとの間で、上述の如く輝度レベルの差異を比較する。ちなみに次のステップS57へ移行する前に、この識別番号nに1を加算する。
次にステップS57へ移行し、比較全体画像anとその直前にタイミングにおいて撮像された基本全体画像an−1との間で、上述の如く輝度レベルの差異が生じているか判別する。その結果、両者間で輝度レベルにつき差異が検出された場合には、ステップS58へ移行する。一方、両者間で輝度レベルにつき差異が存在しない場合には、ステップS61へ移行する。
ステップS58において、上記生成された輝度レベルの差異に基づいて、累積差異情報を生成する。次にステップS59へ移行し、この比較全体画像anと累積差異情報とを上述の如く重ねて表示させる。次にステップS60へ移行し、全体画像anが全体画像akと等しいか否か判別する。その結果、an≠akである場合には、ステップS53へ戻る。一方、an=akである場合には、ディスプレイ上に表示させる全体画像akに至っていることを示唆しており、ステップS63へ移行して処理を終了させる。
一方ステップS61へ移行した場合には、比較全体画像anと累積差異情報を重ねて表示させる。次にステップS62に移行し、上記ステップS60と同様に、全体画像anが全体画像akと等しいか否か判別する。その結果an≠akである場合には、ステップS53へ戻る。一方、an=akである場合には、ステップS63へ移行して処理を終了させる。
即ち、本発明を適用した監視システム1では、このような図15に示す手順を実行することにより、移動被写体の動きが活発な領域を除く領域において存在する被写体の動きを選択的に検出することが可能となる。特に、このスレッショルドEの具体的な値をユーザが任意に設定することにより、所望の移動被写体の移動態様のみを選択的に解析することも可能となる。
なお、本発明を適用した監視システム1では、さらに図16に示す手順により、端末装置9を操作するユーザに対しても検出した差異に関する情報を提供することができる。
先ずステップS61において、端末装置9を操作する各ユーザは、ネットワーク8に接続されている監視装置5にアクセスする。
次にステップS62に移行し、監視装置5は、自身のサーバ53に記録されている全体画像のうち、ユーザに対して公開できるものについて、公開可能画像リストを作成し、これを端末装置9へ送信する。ちなみに、この公開可能画像リストには、各全体画像のファイル名やファイルサイズのみならず、縮小された全体画像が貼り付けられる場合もある。この公開可能画像リストは、ネットワーク8、端末装置9を介して、端末ディスプレイ10上に表示される。
次にステップS63へ移行し、ユーザは、公開可能画像リストから所望の全体画像を選択する。端末装置9は、ユーザによる選択操作に応じて、全体画像送信要求C1を監視装置5へ送信する。
ステップS64において、監視装置5は、かかる全体画像送信要求C1を受けて、ユーザにより選択された全体画像並びにその累積差異情報をサーバ53から読み出し、これを端末装置9へ送信する。送信された全体画像は、上述の如く累積差異情報と重ね合わせてネットワーク8、端末装置9を介して、端末ディスプレイ10に表示される(ステップS65)。
以上説明した手順を実行することにより、本発明を適用した監視システム1では、監視装置5を操作するユーザに加えて、ネットワーク8に接続されている端末装置9を操作するユーザに対しても、適切な検出情報を提供することができる。
なお、上述した実施の形態では、全体画像に対応させた累積差異情報を生成し、これを全体画像に重ね合わせてディスプレイ6上に表示させる場合を例にとり説明をしたが、かかる場合に限定されるものではなく、例えば、各単位画像に対応させた累積差異情報を、単位画像に重ね合わせてディスプレイ上に表示させてもよい。
更に、本発明は、上述した処理をコンピュータに実行させるためのプログラムや、かかるプログラムが記録された記録媒体に適用してもよいことは勿論である。
1 監視システム、2 カメラユニット、3 パンチルタ部、4 カメラ部、5 監視装置、6 ディスプレイ、8 ネットワーク、9 ユーザ端末、10 端末ディスプレイ、22 レンズ部、23 レンズ制御部、24 撮像部、25 IEEE1394インターフェース、28 GPS受信部、29 メタデータ生成部、51 バッファメモリ、52 エンコーダ、53 サーバ、54 画像圧縮部、55 グラフィックコントローラ、56 CPU、58 I/Oポート、59 キーボード、60 マウス