JP4736381B2 - 撮像装置及び方法、監視システム、プログラム並びに記録媒体 - Google Patents

Description

本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する撮像装置及び方法、監視システム、プログラム並びに記録媒体に関する。

従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子により画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニターを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニターに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。

このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ状の全体画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録することにより、監視の実現を可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。

従来の監視カメラにより、例えば図２６に示すような撮影範囲内を所定の撮影画角で撮像する場合には、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズを、上記所定の撮影画角により撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｓ×ｔ倍で表せるときには、少なくともｓ×ｔ通りの撮影方向を設定する必要がある。

実際には、監視カメラの撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行する。次に、この監視カメラの撮影方向を座標（２，１）、（３，１）、（４，１）・・（ｓ，１）と水平方向へ順次変更させて撮像を実行する。１列目の撮像を終了させた後、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｓ，ｔ）まで撮像を実行した後、このｓ×ｔ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。

特開平１０−１０８１６３号公報 特開２０００−２４３０６２号公報

しかしながら、従来の如き監視カメラは、一枚の全体画像を生成するために、これを構成する全てのｓ×ｔ個の単位画像を撮像する必要があり、特に撮影範囲内において短時間に生じた僅かな状況変化を漏れなく捉えることができないという問題点があった。

図２７は、時刻ｔ１〜ｔ４へ経過していくにつれ、移動速度の速い移動被写体（鳥）が建物から徐々に遠ざかる様子を示している。この図２７に示す時刻ｔ１において全体画像を構成するｓ×ｔ個の単位画像を撮像する際には、移動被写体の存在しない建物や雲等を構成する単位画像も含めて順次撮像する必要があるため、長時間を要することになる。

その結果、次のタイミングで全体画像の撮像する際には、既に時刻がｔ４に到達している場合もあり、時刻ｔ２,ｔ３における移動被写体の状況を画像データとして捉えることができず、ひいては監視カメラを介した監視の実効が図れなくなるという問題点があった。

更に、この移動被写体が撮影範囲から逸脱した場合に、これを随時捉えて撮像を続行することができなくなるという問題点もあった。

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、広範な撮影範囲の状況を監視するために撮影範囲全体を表す全体画像を構成する各単位画像を撮像する撮像装置及び方法、監視システム、プログラム並びに記録媒体において、さらに移動被写体を追跡撮像することにより、移動被写体の動きを広範な領域に至るまで短い時間間隔で捉えることができる撮像装置及び方法、監視システム、プログラム並びに記録媒体を提供することにある。

本発明では、上述した課題を解決するために、撮影範囲全体を表すパノラマ画像を構成する各単位画像に１以上の全体撮影部の撮影方向を順次合わせて撮像し、撮像された一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を比較することにより、当該一の単位画像における画像位置毎に動きの有無を判別し、動きがあるものと判別された画像位置に応じて、追跡画像位置を求め、１以上の追跡撮影部の撮影方向を上記求めた追跡画像位置に合わせて単位画像を撮像する際に、上記全体撮影部により生成されるパノラマ画像上で設定される４点を結ぶ監視枠で示される監視領域について、上記全体撮影部及び上記追跡撮影部により得られる単位画像間の各画像位置における上記パノラマ画像に対する相対的位置に基づいて作成された上記単位画像間の各画像位置における相関関係を示す相関情報を参照して、上記動きがあるものと判別された画像位置の上記４点で定義される上記監視領域における相対的位置を表す縦方向の比と横方向の比を求め、上記縦方向の比と横方向の比を用いて、上記動きがあるものと判別された画像位置の上記パノラマ画像上での座標位置に対応する上記追跡撮影部により得られる全体画像における座標位置を算出することにより、上記追跡画像位置を求める。

即ち、本発明を適用した撮像装置は、撮影範囲全体を表すパノラマ画像を撮像する１以上のパノラマ撮像手段と、指定された撮影方向に合わせて単位画像を撮像する１以上の追跡撮像手段と、上記パノラマ撮像手段により生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を比較することにより、当該一の単位画像における画像位置毎に動きの有無を判別する動き判別手段と、上記パノラマ撮像手段及び上記追跡撮像手段から得られる単位画像間の各画像位置における相関関係を示す相関情報が予め記録される記録手段と、上記記録手段に記録された上記相関情報を参照しつつ、上記動き判別手段により動きがあるものと判別された画像位置に応じて、上記追跡撮像手段の撮影方向を指定する方向指定手段と、上記相関情報を作成する相関情報作成手段とを備え、上記相関情報作成手段は、上記パノラマ撮像手段により生成されるパノラマ画像上で設定される４点を結ぶ監視枠で示される監視領域について、上記パノラマ撮像手段及び上記追跡撮像手段から得られる単位画像間の各画像位置における上記パノラマ画像に対する相対的位置に基づき、上記相関情報を作成して上記記録手段に記録し、上記方向指定手段は、上記記録手段に記録されている上記相関情報に基づいて、上記動き判別手段により動きがあるものと判別された画像位置の上記相関情報作成手段により設定された上記４点で定義される上記監視領域における相対的位置を表す縦方向の比と横方向の比を求め、上記縦方向の比と横方向の比を用いて、上記動きがあるものと判別された画像位置の上記パノラマ画像上での座標位置に対応する上記追跡撮像手段により得られる全体画像における座標位置を算出して、上記追跡撮像手段の撮影方向を指定する。

また、本発明を適用した撮像方法は、全体撮影部により撮影範囲全体を表すパノラマ画像を撮像するパノラマ画像撮像ステップと、上記パノラマ画像撮像ステップにおいて撮像されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を比較することにより、当該一の単位画像における画像位置毎に動きの有無を判別する動き判別ステップと、上記動き判別ステップにおいて動きがあるものと判別された画像位置に応じて、追跡画像位置を求める追跡位置算出ステップと、１以上の追跡撮影部の撮影方向を上記追跡画像位置に合わせて単位画像を撮像する追跡撮影ステップとを有し、上記追跡位置算出ステップでは、上記全体撮影部により生成されるパノラマ画像上で設定される４点を結ぶ監視枠で示される監視領域について、上記全体撮影部及び上記追跡撮影部により得られる単位画像間の各画像位置における上記パノラマ画像に対する相対的位置に基づいて作成された上記単位画像間の各画像位置における相関関係を示す相関情報を参照して、上記動きがあるものと判別された画像位置の上記４点で定義される上記監視領域における相対的位置を表す縦方向の比と横方向の比を求め、上記縦方向の比と横方向の比を用いて、上記動きがあるものと判別された画像位置の上記パノラマ画像上での座標位置に対応する上記追跡撮影部により得られる全体画像における座標位置を算出することにより、上記追跡画像位置を求める。

また、本発明を適用した監視システムは、撮影範囲全体を表すパノラマ画像を撮像する１以上の全体撮影部と、指定された撮影方向に合わせて単位画像を撮像する１以上の追跡撮影部と、上記全体撮影部からネットワークを介して送信されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を比較することにより、当該一の単位画像における画像位置毎に動きの有無を判別する動き判別手段と、上記全体撮影部及び上記追跡撮影部から得られる単位画像間の各画像位置における相関関係を示す相関情報が予め記録される記録手段と、上記記録手段に記録された上記相関情報を参照しつつ、上記動き判別手段により動きがあるものと判別された画像位置に応じて、上記追跡撮影部の撮影方向を上記ネットワークを介して指定する方向指定手段と、上記相関情報を作成する相関情報作成手段とを有し、上記相関情報作成手段は、上記全体撮影部により生成されるパノラマ画像上で設定される４点を結ぶ監視枠で示される監視領域について、上記全体撮影部及び上記追跡撮影部から得られる単位画像間の各画像位置における上記パノラマ画像に対する相対的位置に基づき、上記相関情報を作成して上記記録手段に記録し、上記方向指定手段は、上記記録手段に記録されている上記相関情報に基づいて、上記動き判別手段により動きがあるものと判別された画像位置の上記相関情報作成手段により設定された上記４点で定義される上記監視領域における相対的位置を表す縦方向の比と横方向の比を求め、上記縦方向の比と横方向の比を用いて、上記動きがあるものと判別された画像位置の上記パノラマ画像上での座標位置に対応する上記追跡撮影部により得られる全体画像における座標位置を算出して、上記追跡撮影部の撮影方向を指定する監視装置とを備える。

本発明を適用したプログラムは、全体撮影部により撮影範囲全体を表すパノラマ画像を撮像するパノラマ画像撮像ステップと、上記パノラマ画像撮像ステップにおいて生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を比較することにより、当該一の単位画像における画像位置毎に動きの有無を判別する動き判別ステップと、上記動き判別ステップにおいて動きがあるものと判別された画像位置に応じて、追跡画像位置を求める追跡位置算出ステップと、１以上の追跡撮影部の撮影方向を上記求められた追跡画像位置に合わせて単位画像を撮像する追跡撮影ステップとを有し、上記追跡位置算出ステップでは、上記全体撮影部により生成されるパノラマ画像上で設定される４点を結ぶ監視枠で示される監視領域について、上記全体撮影部及び上記追跡撮影部により得られる単位画像間の各画像位置における上記パノラマ画像に対する相対的位置に基づいて作成された上記単位画像間の各画像位置における相関関係を示す相関情報を参照して、上記動きがあるものと判別された画像位置の上記４点で定義される上記監視領域における相対的位置を表す縦方向の比と横方向の比を求め、上記縦方向の比と横方向の比を用いて、上記動きがあるものと判別された画像位置の上記パノラマ画像上での座標位置に対応する上記追跡撮影部により得られる全体画像における座標位置を算出することにより、上記追跡画像位置を求めることをコンピュータに実行させる。

本発明を適用した記録媒体は、全体撮影部により撮影範囲全体を表すパノラマ画像を撮像するパノラマ画像撮像ステップと、上記パノラマ画像撮像ステップにおいて生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を比較することにより、当該一の単位画像における画像位置毎に動きの有無を判別する動き判別ステップと、上記動き判別ステップにおいて動きがあるものと判別された画像位置に応じて、追跡画像位置を求める追跡位置算出ステップと、１以上の追跡撮影部の撮影方向を上記求められた追跡画像位置に合わせて単位画像を撮像する追跡撮影ステップとを有し、上記追跡位置算出ステップでは、上記全体撮影部により生成されるパノラマ画像上で設定される４点を結ぶ監視枠で示される監視領域について、上記全体撮影部及び上記追跡撮影部により得られる単位画像間の各画像位置における上記パノラマ画像に対する相対的位置に基づいて作成された上記単位画像間の各画像位置における相関関係を示す相関情報を参照して、上記動きがあるものと判別された画像位置の上記４点で定義される上記監視領域における相対的位置を表す縦方向の比と横方向の比を求め、上記縦方向の比と横方向の比を用いて、上記動きがあるものと判別された画像位置の上記パノラマ画像上での座標位置に対応する上記追跡撮影部により得られる全体画像における座標位置を算出することにより、上記追跡画像位置を求めることをコンピュータに実行させるためのプログラムが記録されている。

本発明では、撮影範囲全体を表すパノラマ画像を構成する各単位画像に１以上の全体撮影部の撮影方向を順次合わせて撮像し、撮像された一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を比較することにより、当該一の単位画像における画像位置毎に動きの有無を判別し、動きがあるものと判別された画像位置に応じて、追跡画像位置を求め、１以上の追跡撮影部の撮影方向を上記求めた追跡画像位置に合わせて単位画像を撮像する際に、上記全体撮影部により生成されるパノラマ画像上で設定される４点を結ぶ監視枠で示される監視領域について、上記全体撮影部及び上記追跡撮影部により得られる単位画像間の各画像位置における上記パノラマ画像に対する相対的位置に基づいて作成された上記単位画像間の各画像位置における相関関係を示す相関情報を参照して、上記動きがあるものと判別された画像位置の上記４点で定義される上記監視領域における相対的位置を表す縦方向の比と横方向の比を求め、上記縦方向の比と横方向の比を用いて、上記動きがあるものと判別された画像位置の上記パノラマ画像上での座標位置に対応する上記追跡撮影部により得られる全体画像における座標位置を算出することにより、上記追跡画像位置を求める。

これにより、広範な撮影範囲の状況を監視するために撮影範囲全体を表す全体画像を構成する各単位画像を撮像すると同時に、移動被写体を追跡撮像することができ、さらに移動被写体の動きを広範な領域に至るまで短い時間間隔で捉えることが可能となる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した監視システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成する全体撮影用カメラ２並びに追跡撮影用カメラ５と、これらの各カメラ２,５に接続されたネットワーク８と、接続されたネットワーク８を介して全体撮影用カメラ２、追跡撮影用カメラ５を制御し、又はこれらから画像信号を取得する監視装置１５とを備えている。

全体撮影用カメラ２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。カメラ部４は、パンチルタ部３を構成する回転台上に配設され、監視装置１５に基づく制御の下、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、監視装置１５による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。

この全体撮影用カメラ２は、図１に示すように、撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像を実行する。かかる単位画像を画像信号としてネットワーク８を介して監視装置１５側へ送信することにより、単位画像を貼り合わせた撮影範囲全体を表した全体画像を合成することができる。

追跡撮影用カメラ５は、パンチルタ部６と、カメラ部７とが一体的に構成されてなる。このパンチルタ部６，カメラ部７の構成は、全体撮影用カメラ２におけるパンチルタ部３，カメラ部４と同様であるため、説明を省略する。

監視装置１５は、パーソナルコンピュータ（ＰＣ）等により構成され、全体撮影用カメラ２からネットワーク８を介して送信される画像信号を記録メディアへ記録し、また記録メディアへ記録した画像信号に基づく各画像をユーザに表示する。またこの監視装置１５は、全体撮影用カメラ２から伝送される画像信号につき輝度成分を識別することにより動きの有無を判別し、当該判別結果に応じて全体撮影用カメラ２における撮像のモードを切り替えるように制御する。更に、この監視装置１５は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、図示しない他の端末装置からの要求に応じて、画像や音声を送信する。

ネットワーク８は、例えば監視装置１５と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした通信網である。ちなみにこの監視システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Local Area Network）で構成してもよいし、またＩＥＥＥ１３９４インターフェース等を介して接続するようにしてもよい。さらにこのネットワーク８は、静止画像に加えて動画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Moving Picture Experts Group）データを始めとする動画像がある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク８には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、端末装置による要求を受けて、自身に格納してある所定の情報を送信する。

次に、本発明を適用した監視システム１における全体撮影用カメラ２，追跡撮影用カメラ５，並びに監視装置１５の構成について詳細に説明する。

図２は、全体撮影用カメラ２，追跡撮影用カメラ５，並びに監視装置１５の構成図である。この図２では、全体撮影用カメラ２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するTilt部並びにPan部より構成される。このパンチルタ部３には、接続された方位センサ２５によりカメラ部４の位置と角度に関する情報が送信される。また、全体撮影用カメラ２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４とを備えている。

同様に、追跡撮影用カメラ５を構成するパンチルタ部６は、撮像方向を変更するための回転台を制御するTilt部並びにPan部より構成される。このパンチルタ部６には、接続された方位センサ５５によりカメラ部５２の位置と角度に関する情報が送信される。また、全体撮影用カメラ２を構成するカメラ部７は、主としてレンズ部５２の画角を変更するためのレンズ制御部５３と、レンズ部５２の光軸に直交する位置に配設される撮像部５４とを備えている。

監視装置１５は、ネットワーク８を介して全体撮影用カメラ２から送信される画像信号に基づいてパノラマ状の全体画像（パノラマ画像）を作成する全体画像作成部３１と、全体画像作成部３１において作成された全体画像につき動き検出する差異検知部３２と、ネットワーク８を介して追跡撮影用カメラ５に接続され、また当該追跡撮影用カメラ５を制御するための追跡撮影制御部３３と、上記差異検知部３２において動きがあるものと判別された画像位置に応じて追跡画像位置を求める追跡位置計算部３４と、少なくとも全体画像作成部３１並びに追跡位置計算部３４に接続されてなり、全体撮影用カメラ２及び追跡撮影用カメラ５から得られる単位画像間の各画像位置における相関関係を示す相関情報を記録するパノラマ設定データベース（ＤＢ）３５と、上記相関情報を作成するためのパノラマ設定部３６と、追跡撮影を行うための条件（以下、追跡撮影条件という。）を設定するための追跡撮影条件設定部３８と、上記追跡撮影条件設定部３８において設定された追跡撮影条件を記録するための追跡撮影条件ＤＢ３９とを備えている。

パンチルタ部３は、全体画像作成部３１からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台自体を水平方向、或いは垂直方向へ旋回させることができるため、回転台上に載置されているカメラ部４の撮影方向を水平方向、或いは垂直方向へ旋回させることができる。

レンズ制御部２３は、全体画像作成部３１からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。

撮像部２４は、例えばＣＣＤ（Charge Coupled Device ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成する。この撮像部２４は、生成した画像信号を全体画像作成部３１へ送信する。

パンチルタ部６は、追跡撮影制御部３３からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されているカメラ部７の撮影方向を水平方向、或いは垂直方向へ旋回させることができる。

レンズ制御部５３は、追跡撮影制御部３３からの駆動信号に基づき、レンズ部５２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部５３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。

撮像部５４は、例えばＣＣＤ（Charge Coupled Device ）等の固体撮像素子により構成され、レンズ部５２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成する。この撮像部５４は、生成した画像信号を追跡撮影制御部３３へ送信する。

全体画像作成部３１は、広範囲な撮影を実現すべく、全体撮影用カメラ２による撮像時において撮影方向を徐々に変化させることができるように、ネットワーク８を介して所定の制御を施す。またこの全体画像作成部３１は、全体撮影用カメラ２により撮影された単位画像を貼り合わせて一枚のパノラマ状の全体画像を作成する。全体画像作成部３１は、作成した全体画像を記録し、また差異検知部３２の要求に応じてこれを読み出す。

差異検知部３２は、全体画像作成部３１において作成された全体画像につき動き検出する。この差異検知部３２は、この動き検出した結果を追跡位置計算部３４並びに、追跡撮影制御部３３へ通知する。ちなみに、この差異検知部３２は、この動き検出の条件につき、追跡撮影条件ＤＢ３９へ問い合わせるようにしてもよい。

追跡撮影制御部３３は、差異検知部３２から通知された動き検出結果等に基づいて、ネットワーク８を介して追跡撮影用カメラ５の撮影方向、撮影画角等を制御する。また、この追跡撮影制御部３３は、追跡撮影用カメラ５により撮影された単位画像をネットワーク８を介して取得する。

パノラマ設定部３６は、上記相関情報を作成すべく、ユーザが所望の情報を入力するためのキーボードやマウス等により構成される。

追跡撮影条件設定部３８は、追跡撮影条件ＤＢ３９に蓄積されるべき動き検出の条件を設定するためのキーボードやマウス等により構成される。

次に、全体画像作成部３１における詳細な構成につき説明をする。

全体画像作成部３１は、図３に示すように、全体撮影用カメラ２との間でネットワーク８を介して接続されるＡ／Ｄ変換部６１と、このＡ／Ｄ変換部６１に接続されるエンコーダ６３と、エンコーダ６３から出力される画像を蓄積する記録メディア６６と、記録メディア６６から読み出された画像を伸張するためのデコーダ６７と、Ａ／Ｄ変換部６１並びにデコーダ６７に接続され、ユーザに対して表示するための画像を作り出すモニター用画像処理部６８と、接続されたモニター用画像処理部６８から供給される画像を一時的に記憶するメモリ６９と、接続されたモニター用画像処理部６８から入力される信号をアナログ化するＤ／Ａ変換部７４と、各構成要素を制御するための制御部７０とを備えている。

ちなみに、このＤ／Ａ変換部７４には、液晶表示面等から構成され、ユーザに対して所定の情報を表示するためのモニター７５が接続されている。またモニター７５上に表示されている画像からユーザが所望の画像領域、画像位置を指定するための操作部７６が制御部７０に接続されている。

Ａ／Ｄ変換部６１は、全体撮影用カメラ２から送信される画像信号をデジタル化し、これをエンコーダ６３,差異検知部３２,モニター用画像処理部６８へ送信する。

エンコーダ６３は、例えばＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化される。ちなみにこのエンコーダ６３は、圧縮符号化する画像信号に対して、位置情報やメタデータを付加してもよい。エンコーダ６３は、圧縮符号化した画像信号を記録メディア６６へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ６３における処理は省略される。

記録メディア６６は、例えばハードディスクや、着脱自在なディスク状記録媒体等として適用され、エンコーダ６３から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。記録メディア６６に記録された画像信号は、制御部７０による制御に基づき読み出され、デコーダ６７へ送信される。なお記録メディア６６に記録される画像信号を図示しないメモリカードへ記録するように制御することにより、メモリカードに記録されている画像信号を他のＰＣへ移し換えることも可能となる。また、この記録メディア６６に記録されている画像信号を上述した図示しないネットワークサーバに記録するように制御することにより、記録メディア６６を図示しないネットワークサーバに代替することも可能となる。

デコーダ６７は、記録メディア６６から読み出されたＪＰＥＧ形式の画像信号を伸張し、これをモニター用画像処理部６８へ送信する。

モニター用画像処理部６８は、制御部７０による制御の下、Ａ／Ｄ変換部６１或いはデコーダ６７から送信される画像信号に基づき、モニター７５への絵画処理を実行する。またモニター用画像処理部６８は、制御部７０による制御に基づき、モニター７５におけるコントラスト、輝度の制御を実行する。また、このモニター用画像処理部６８は、メモリ６９と協働することにより、複数枚の画像をモニター７５における液晶表示面上へ同時に表示するために画素を間引く処理を実行する。

制御部７０は、ユーザにより操作部７６を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、監視装置１５内の各ユニットを制御するための制御信号を送信する。また、この制御部７０は、ネットワーク８を介した他の端末装置からの要求を受けて、記録メディア６６に記録されている最適な静止画像、動画像、或いは各種情報を選択し、これを当該端末装置へ送信するように制御する。

モニター７５は、例えば図示しない液晶表示素子やバックライト等から構成され、ユーザが撮像された画像を視認するためのインターフェースである。液晶表示素子の背面からは上述したバックライトにより照明光が照射され、モニター７５全体の視認性を向上させることができる。

操作部７６は、モニター７５上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボードやマウス等により構成される。ちなみに、パノラマ設定部３６及び／又は追跡撮影条件設定部３８の構成をこの操作部７６に担わせることにより、これらを省略してもよいことは勿論である。

次に、この全体画像作成部３１により全体画像が作成されるまでの動作につき説明をする。

図４は、全体撮影用カメラ２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。

ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、制御部７０は、パンチルタ部３に対して所定の駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、Ａ／Ｄ変換部６１によりＡ／Ｄ変換された後、またモニター用画像処理部６８を介してメモリ６９へ記憶される。また、この画像信号は、エンコーダ６２において、ＪＰＥＧ規格に基づいて圧縮符号化され、メタデータ等も同時に付加された上で、記録メディア６６へ順次記録される。

同様に制御部７０は、パンチルタ部３に対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様に記録メディア６６へ記録される。制御部７０による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。

カメラ部４は、１列目の撮像を終了させた後、制御部７０による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、メモリ６９,記録メディア６６には、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。ちなみに座標（ｉ，ｊ）まで撮像を終了後、制御部７０は、パンチルタ部３に対して駆動信号を送信することにより、カメラ部４の撮影方向を、再び左上に位置する座標（１，１）に合わせて、次のタイミングにおける撮像を実行させる。

ちなみに、単位画像の撮像の順は上述した例に限定されるものではなく、例えば、１列目の撮像を終了させた後、制御部７０による制御に基づき、撮影方向を２列目の座標（ｉ，２）に調整して撮像を実行し、その後、座標（１，２）へ向かって撮影方向をシフトさせるようにしてもよい。

メモリ６９に記録されている各単位画像に基づく画像信号は、モニター用画像処理部６８により順次読み出されて、モニター７５における表示画面のサイズに適合するように縮小される。この縮小された各単位画像は、Ｄ／Ａ変換部７４を経てモニター７５に表示される。メモリ６９に記録されたｉ×ｊ個の単位画像を全てモニター７５に表示させることにより、１枚のパノラマ状の全体画像が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。

また制御部７０により、記録メディア６６において以前より記録されている単位画像をモニター７５上に表示する旨が指定された場合には、記録メディア６６からかかる単位画像に基づく画像信号が順次読み出され、デコーダ６７により伸張されてモニター用画像処理部６８へ送られる。モニター用画像処理部６８において、上述の如く表示画面のサイズに適合するように縮小され、パノラマ状の全体画像へ合成されて表示されることになる。

図５は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、モニター７５の全体画像表示部１７０に表示する例を示している。なお、この監視装置１５は、全体画像表示部１７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また監視装置１５は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部１７０に表示させてもよい。

ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部１７１がさらに設けられている。この拡大画像表示部１７１は、全体画像表示部１７０に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。

また表示画面４５には、拡大画像表示部１７１に表示されている単位画像につき、撮影倍率を縮小して表示させるためのＷＩＤＥボタン１７２、撮影倍率を拡大して表示させるためのＺＯＯＭボタン１７３が表示される。また、この表示画面４５には、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御部１７５、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン１７６等も表示される。

またユーザは、全体画像表示部１７０や拡大画像表示部１７１に対して、操作部１７６を介して、所望の画像領域、画像位置を指定することができる。なお、各表示部１７０,１７１には、操作部１７６におけるマウス等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。

ちなみに、本発明を適用した監視システム１では、上述の如く全体撮影用カメラ２により撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成する通常撮像モードに加えて、追跡撮影用カメラ５により所望の移動被写体を随時捉えてこれを連続的に撮影する追跡撮像モードも有する。この追跡撮像モードでは、全体画像を短い時間間隔で生成してゆくことにより、図５における全体画像表示部１７０に表示される鳥等のような移動被写体の動きを漏れなく画像信号として捉える。

図６は、通常撮像モードと追跡撮像モードについて時系列的に示している。通常撮像モードでは、全体画像を構成する全ての単位画像に対して撮影方向を順次合わせて撮像を実行するため、一枚の全体画像を合成するまでに長時間を要する結果、単位時間あたりに生成し得る全体画像の数（以下、リフレッシュレートという）が小さくなる。

これに対して、追跡撮像モードでは、移動被写体を捉えた追跡画像位置を含む１以上の単位画像のみを撮像すれば足りるため、通常撮像モードと比較して短時間で撮像を終了することができ、リフレッシュレートを高めることが可能となる。

本発明を適用した監視システム１では、被写体に対する撮像動作が開始された場合に、先ず通常撮像モードによる撮像が実行される。その際、差異検知部３２は、図６に示すように、撮像された単位画像と、先の全体画像を構成する同一撮影方向上の単位画像との間で動きの有無を判別する。その結果、差異検知部３２により、動きがあるものと判別された単位画像が存在する場合には、移動被写体が存在することを示唆するものとして、その旨が追跡位置計算部３４並びに追跡撮影制御部３３へ通知され、追跡撮像モードが発動されることになる。

ちなみに、この追跡撮像モードでは、差異検知部３２により動きがあるものと判別された単位画像ａ１中の追跡画像位置につき、追跡撮影用カメラ５により追跡撮影することにより、単位画像ｂ１を生成する。かかる場合において、全体撮影用カメラ２、追跡撮影用カメラ５間における設置環境、撮影方向等が互いに異なる場合もあることから、追跡位置計算部３４において、パノラマ設定ＤＢ３５に記録された相関情報を参照しつつ、各カメラ２,５間における撮影方向につき整合をとる。実際にこの追跡位置計算部３４では、計算した追跡画像位置を介してカメラ２,５間の撮影方向につき整合をとるようにする。これにより、追跡撮影用カメラ５は、追跡位置計算部３４から追跡撮影制御部３３を介して指定される撮影方向へカメラ部７をパンチルト走査させることにより、取得される単位画像ｂ１につき、単位画像ａ１との間で整合をとることが可能となる。なお、追跡画像位置を介してカメラ２,５間の撮影方向を整合させる詳細な手順については後述する。

なお、差異検知部３２は、新たに撮像された単位画像との間で輝度レベルを比較する先の全体画像として、前のタイミングで撮像された全体画像を用いる場合のみならず、事前に保存してある全体画像を用いてもよい。かかる場合において、追跡撮影条件設定部３９により、如何なる条件の下で何れの全体画像を用いるか予め設定しておき、これを追跡撮影条件ＤＢを記録しておくようにしてもよい。

追跡撮像モードが発動された場合には、通常撮像モードと並行して２台のカメラにより、撮像が実行されてゆくことになる。例えば図７に示すように、時刻ｔ１〜ｔ４へ経過していくにつれ、移動速度の速い移動被写体（鳥）が建物から徐々に遠ざかる場合において、通常撮像モードでは、時刻ｔ１において全体画像を構成するｓ×ｔ個の単位画像を撮像する際には、移動被写体の存在しない建物や雲等を構成する単位画像も含めて順次撮像する必要があるため、長時間を要することになる。

その結果、この通常撮像モードでは、次のタイミングで全体画像の撮像する際において既に時刻がｔ４に到達している場合もあり、時刻ｔ２,ｔ３における移動被写体の状況を画像データとして捉えることができない。

これに対して、追跡撮像モードでは、移動被写体を含む単位画像のみ順次撮像するため、時刻ｔ２,ｔ３における移動被写体の状況についても、逐一撮像して、これを保存しておくことができる。また、この移動被写体が撮影範囲から逸脱した場合であっても、これを追跡撮影用カメラ５により随時捉えて撮像を続行することができる。その結果、追跡撮像モードでは、図７に示すように各時刻ｔ１〜ｔ４における枠内の領域のみ撮像した単位画像を取得することができ、短時間に生じた僅かな状況変化を漏れなく捉えることができる。

次に、追跡位置計算部３４により追跡画像位置を求める手順につき、更に詳細に説明をする。

先ず、図８に示すステップＳ１１において、全体撮影用カメラ２並びに追跡撮影用カメラ５について撮影方向をチルト方向にそれぞれ３４０°旋回させながら、単位画像を撮影する。各カメラ２,５により撮像された単位画像は、それぞれ全体画像作成部３１へ送信され、記録メディア６６へ記録されることになる。なお、この旋回させる角度は、３４０°に限定されるものではなく、いかなるものであってもよい。

次に、ステップＳ１２へ移行し、ステップＳ１１において各カメラ２,５により３４０°旋回させて撮像した単位画像を貼り合わせてそれぞれ全体画像を作成する。また、作成した各全体画像をモニター７５上に表示させる。

次にステップＳ１３へ移行し、ユーザは、ステップＳ１２においてモニター７５上に表示された全体画像から、監視を望む領域を特定する。かかる場合において、ユーザは、モニター７５上に表示されている全体画像の中から、監視を望む領域を操作部７６により指定することになる。

図９(a)は、駐車場を監視する場合において、全体撮影用カメラ２により撮像した単位画像からなる全体画像の一部を示している。また、図９(b)は、異なる場所に設置した追跡撮影用カメラ５により撮像した単位画像からなる全体画像の一部を示している。ステップＳ１２において、ユーザは、この図９(a)に示す全体画像につき、監視を望む領域を、例えばＡ〜Ｄ点を結ぶ枠（以下、監視枠という。）内に設定する。この監視枠が上述した撮影範囲となる。同様に、このステップＳ１２において、ユーザは、この図９(b)に示す全体画像につき、撮影対象が、上述したＡ〜Ｄ点に対応するように、Ａ’点〜Ｄ’点をそれぞれ設定する。以下、これらの設定を監視枠設定という。

ちなみに、このＡ〜Ｄ点並びにＡ’点〜Ｄ’点の監視枠設定は、操作部７６を介して手動で設定する場合のみならず、例えば輝度情報等に基づいて自動的に行ってもよい。

次にステップＳ１３へ移行し、ステップＳ１２において監視枠設定したＡ〜Ｄ点並びにＡ’点〜Ｄ’点につき、それぞれ同一の画像位置を示すように微調整を行う。かかる場合において、各設定点の名称、座標、設定名等が、Ａ〜Ｄ点とＡ’点〜Ｄ’点との間で一致するように微調整を行う。なお、この微調整は、設定したＡ〜Ｄ点とＡ’点〜Ｄ’点との間で対応付けがされているだけでもよい。これにより、設定したＡ〜Ｄ点とＡ’点〜Ｄ’点のみならず、監視枠内における各画像位置間においても互いに対応付けをとることが可能となる。また互いの画像位置間で対応付けがなされていることで、一方の画像位置の移動に応じて他方の画像位置における相関的な移動も識別することが可能となる。

次にステップＳ１４へ移行し、全ての監視枠設定をパノラマ設定ＤＢ３５へ保存する。即ち、このステップＳ１４では、設定したＡ〜Ｄ点とＡ’点〜Ｄ’点との間における対応付けを上記相関情報としてパノラマ設定ＤＢ３５へ保存する。

ちなみに、全体撮影用カメラ２と追跡撮影用カメラ５とを互いに重ねることにより、略同一位置に配設するようにすることで、上述したステップＳ１１〜ステップＳ１４までの処理することもできる。

本発明では、上述したステップＳ１１〜ステップＳ１４までの処理を、実際に監視を行う前に実行する。そして、実際の撮像は、以下の図１０に示す手順に基づいて実行する。

先ず、ステップＳ２１において、全体画像作成部３１は、パノラマ設定ＤＢ３５に記録されている監視枠設定を読み出して、撮影範囲を識別する。

次にステップＳ２２へ移行し、この全体画像作成部３１は、識別した撮影範囲に基づいてパンチルタ部３を制御するための駆動信号を生成する。この駆動信号をパンチルタ部３へ送信することにより、識別した撮影範囲において、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像を行う。

次にステップＳ２３へ移行し、撮影範囲（監視枠）内における全ての単位画像の撮像につき終了したか否か判別する。その結果、未だ全ての単位画像の撮像が終了していないものと判別された場合には、上記撮像を続行し、終了したものと判別された場合には、ステップＳ２４へ移行する。

ステップＳ２４へ移行した場合において、単位画像を貼り合わせて全体画像を作成する。このとき、この生成した全体画像を改めてモニター７５上へ表示してもよい。

次にステップＳ２５へ移行し、全体画像作成部３１は、新たな全体画像を生成した旨を差異検知部３２へ通知する。

図１１は、かかる通知を受けた差異検知部３２の動作手順を示している。

先ずステップＳ３１において、差異検知部３２は、追跡撮影条件ＤＢ３９へアクセスすることにより、そこに記録されている追跡撮影条件を取得する。

次にステップＳ３２へ移行し、差異検知部３２は、取得した追跡撮影条件に基づいて、動き検出を行う。このステップＳ３２における動き検出は、新たに生成した全体画像と、先に取得した全体画像との間で、輝度レベルの差分値を求めることにより実行する。かかる場合において、求めた輝度レベルの差分値が、予め設定された閾値を超えているか否か判断する（ステップＳ３３）。ここで輝度レベルの差分値が閾値を超えている場合には、動きが検出されたものと判断してステップＳ３４へ移行する。これに対して、当該輝度レベルの差分値が上記閾値以下の場合には、動きが検出されなかったものと判断して、処理を終了する。かかる場合において、差異検知部３２は、上記閾値を上述した追跡撮影条件として追跡撮影条件ＤＢ３９から取得するようにする。動き検出の精度は、この閾値を如何に設定するかにより支配される。このため、追跡撮影条件設定部３８を介して、この閾値を自由に設定できるようにすることにより、動き検出のレベル、精度を自由に調整できるようにしてもよい。

次にステップＳ３４へ移行し、差異検知部３２は、追跡位置計算部３４へアクセスし、動き検出した画像位置Ｅ、換言すれば、輝度レベルの差分値が閾値を超える画像領域の座標（Ｅｘ,Ｅｙ）を、追跡位置計算部３４へ通知する。また次にステップＳ３５へ移行し、差異検知部３２は、追跡位置計算部３４により算出された追跡画像位置を取得する。更にこの差異検知部３２は、更にステップＳ３６において、取得した追跡画像位置を、追跡撮影制御部３３へ通知する。

ここで、ステップＳ３５における追跡画像位置の算出方法につき、上述したステップＳ１１〜Ｓ１４において、駐車場につき監視枠設定した場合を例にとり、説明をする。

先ず追跡位置計算部３４は、パノラマ設定ＤＢ３５に記録されているＡ〜Ｄ点並びにＡ‘点〜Ｄ’点における監視枠設定を読み出す。ここで読み出したＡ点の座標を（Ａｘ,Ａｙ）とし、Ｂ点の座標を（Ｂｘ,Ｂｙ）とし、Ｃ点の座標を（Ｃｘ,Ｃｙ）とし、Ｄ点の座標を（Ｄｘ,Ｄｙ）とする。

また追跡位置計算部３４は、上述したステップＳ３４において差異検知部３２から通知された画像位置ＥのＡ〜Ｄ点で定義される監視領域における相対的な位置を識別する。かかる場合において画像位置Ｅの相対的な位置を、例えば図１２(a)に示すように、縦方向の比（ｘ１：ｘ２）、横方向の比（ｙ１：ｙ２）により表すようにしてもよい。かかる場合において、この縦方向の比、横方向の比は、それぞれ以下の式１、式２により表すことができる。
ｘ１：ｘ２≒Ｅｘ−（Ａｘ＋Ｂｘ）／２：（Ｄｘ＋Ｃｘ）／２−Ｅｘ・・・・式１
ｙ１：ｙ２≒Ｅｙ−（Ａｙ＋Ｃｙ）／２：（Ｂｙ＋Ｄｙ）／２−Ｅｙ・・・・式２
これにより、全体撮影用カメラ２により撮像した全体画像において、動き検出した画像位置Ｅの相対的位置を求めることができる。

次にこの追跡位置計算部３４は、この画像位置Ｅが、追跡撮影用カメラ５における全体画像の何れの座標に対応するか計算する。ここで、図１２(b)に示すように、取得したＡ’点の座標を（Ａ’ｘ,Ａ’ｙ）とし、Ｂ点の座標を（Ｂ’ｘ,Ｂ’ｙ）とし、Ｃ’点の座標を（Ｃ’ｘ,Ｃ’ｙ）とし、Ｄ’点の座標を（Ｄ’ｘ,Ｄ’ｙ）とする。また、追跡撮影用カメラ５における全体画像において、上記画像位置Ｅに対応する追跡画像位置を、以下追跡画像位置Ｅ’とし、その座標を（Ｅ’ｘ,Ｅ’ｙ）とする。

かかる場合において、Ａ’ｘ≧Ｂ’ｘであり、かつＤ’ｘ≧Ｃ’ｘの場合には、Ｅ’ｘは以下の式３で表すことができる。
Ｅ’ｘ≒（（Ｃ’ｘ＋（Ｄ’ｘ−Ｃ’ｘ）×ｙ１／（ｙ１＋ｙ２））−（（Ｂ’ｘ＋（Ａ’ｘ−Ｂ’ｘ）×ｙ２／（ｙ１＋ｙ２））×ｘ１／（ｘ１＋ｘ２）＋Ｂ’ｘ＋（Ａ’ｘ−Ｂ’ｘ）×ｙ２／（ｙ１＋ｙ２）・・・・・・・式３
また、Ｄ’ｙ≧Ｂ’ｙであり、かつＡ’ｙ≧Ｃ’ｙの場合には、Ｅ’ｙは以下の式４で表すことができる。
Ｅ’ｙ≒（（Ｂ’ｙ＋（Ｄ’ｙ−Ｂ’ｙ）×ｘ１／（ｘ１＋ｘ２））−（（Ｃ’ｙ＋（Ａ’ｙ−Ｃ’ｙ）×ｘ２／（ｘ１＋ｘ２））×ｙ１／（ｙ１＋ｙ２）＋Ｃ’ｙ＋（Ａ’ｙ−Ｃ’ｙ）×ｘ２／（ｘ１＋ｘ２）・・・・・・・式４
即ち、この求めた追跡画像位置Ｅ’の座標（Ｅ’ｘ,Ｅ’ｙ）は、座標位置Ｅの座標（Ｅｘ,Ｅｙ）との間で対応付けがとれている状態となっている。仮に全体撮影用カメラ２並びに追跡撮影用カメラ５が互いに異なる場所において設置されていたとしても、また互いに駐車場から異なる距離において設置されていたとしても、このため、全体撮影用カメラ２における全体画像から動き検出した座標位置Ｅから、追跡撮影用カメラ５における座標位置Ｅ’を一義的に求めることが可能となる。

追跡位置計算部３４は、求めた追跡画像位置Ｅ’の座標（Ｅ’ｘ,Ｅ’ｙ）を上記追跡画像位置として、これを差異検知部３２へ送信することができる。差異検知部３２は、この追跡画像位置Ｅ’の座標（Ｅ’ｘ,Ｅ’ｙ）を追跡撮影制御部３３へ送信する。追跡撮影制御部３３は、かかる追跡撮影用カメラ５の撮影方向を座標（Ｅ’ｘ,Ｅ’ｙ）が含まれるように設定することにより、動き検出された画像位置に当該撮影方向を合わせ込むことができる。

図１３は、かかる追跡画像位置Ｅ’が通知された追跡撮影制御部３３の撮影動作手順を示している。

先ずステップＳ４１において、差異検知部から追跡画像位置を取得した追跡撮影制御部３３は、追跡撮影用カメラ５の撮影方向を座標（Ｅ’ｘ,Ｅ’ｙ）が含まれるように設定し直す。次にステップＳ４２へ移行して、追跡撮影用カメラ５に対して駆動信号を送信することにより、当該撮影方向における撮影が開始される。

ちなみに、追跡撮影用カメラ５は、追跡撮影制御部３３から撮影を停止するための信号が送信されたか否か逐一チェックする。そして、当該信号が送信された場合には、撮影動作を停止することになる。

このような監視システム１は、特に駐車場を監視する場合のアプリケーションとして、例えば図１４(a)に示すように、全体撮影用カメラ２により立入禁止区域において、上記監視枠を設定する。そして、当該領域内に人が入ってくることにより、先の全体画像との間で輝度レベルの差異が生じた場合には、図１４(b)に示すように追跡撮影用カメラ５により、追跡画像位置を含むように撮影方向を合わせ込み、追跡撮像を実行することになる。

また、このような監視システム１は、いわゆるシネマコンプレックスと呼ばれる複合映画館の各映写室内に設置することもできる。観客の着席前におけるいわゆる空席状態の全体画像を取得し、各座席を含むように上記監視枠を設定する。これにより、座席に座った観客の輝度レベル分だけ差異が生じ、求められた差分値が閾値を超える結果、追跡画像位置を含むように撮影方向を合わせ込み、追跡撮像を実行することができる。これにより、チケットの販売情報、座席の予約情報と照らし合わせて、御代約の座席に人が座った場合にこれを追跡することができる。

なお、上述した実施の形態では、被写体を撮像して画像信号を生成する全体撮影用カメラ２並びに追跡撮影用カメラ５を１つずつ設ける場合を例にとり説明をしたが、かかる場合に限定されるものではなく、例えば１以上の全体撮影用カメラ２と、１以上の追跡撮影用カメラ５により構成されていればよい。図１５は、３つの全体撮影用カメラ２と、１つの追跡撮影用カメラ５により構成された監視システム１００を示している。この監視システム１００では、複数の全体撮影用カメラ２で互いに異なる撮影方向から同一の被写体を撮像してもよいし、互いに異なる対象物を撮像するようにしてもよい。各全体撮影用カメラ２により動き検出された場合に、追跡撮像モードへ移行し、追跡撮影用カメラ５による撮像が実行されることになる。なお、全体撮影用カメラ２並びに追跡撮影用カメラ５の数量、比に関しては任意に決定することができることは勿論である。

また、本発明を適用した監視システム１においては、各カメラ２,５につき、全体撮像、追跡撮像としての役割を特定するのではなく、状況に応じて全体撮像、追跡撮像の何れかを実行するようにしてもよい。図１６に示す監視システム１０１では、カメラ２,５を２台配設し、通常撮像モード下においては、２台のカメラ２,５により、それぞれ全体画像を撮像する。いずれかのカメラ２,５より動き検出された場合に、追跡撮像モードへ移行し、いずれか一のカメラ２,５により追跡撮像が実行されることになる。

また、本発明を適用した監視システム１では、上述した単位画像間における輝度レベルの比較を、Ｒ,Ｇ,Ｂの原色成分毎に実行してもよい。この輝度レベルの比較は、上述の如く、同一座標（Ｍ，Ｎ）にある単位画像間で、換言すれば同一撮影方向にある単位画像間で実行する。これにより、基準全体画像に対する比較全体画像の各原色成分における輝度レベルの変化を、換言すれば、各原色成分における輝度レベルの差分値を撮影方向毎に検出することができる。

更に本発明は、上述した監視システム１として実施する場合のみならず、例えば、監視装置１５の機能を全てカメラ側に搭載するようにしてもよい。さらに、上述した処理をコンピュータに実行させるためのプログラムや、かかるプログラムが記録された記録媒体に適用してもよいことは勿論である。

また、本発明は、図１７に示すように３６０度の広範囲な領域を撮影する固定カメラ２Ａを上述の監視システム１にける全体撮影用カメラ２に使用する監視システム２００にも適用することができる。この監視システム２００は、被写体を撮像して画像信号を生成する全体撮影用カメラ２Ａ並びに追跡撮影用カメラ５と、これらの各カメラ２Ａ，５に接続されたネットワーク８と、接続されたネットワーク８を介して全体撮影用カメラ２、追跡撮影用カメラ５を制御し、又はこれらから画像信号を取得する監視装置１５とを備えている。

この監視システム２００では、３６０°全方位撮影がリアルタイムに可能な固定カメラ２Ａを全体撮影用カメラ２として使用し、この固定カメラ２Ａとパン／チルト／ズームの可能な追跡撮影用カメラ５が図１８の（Ａ），（Ｂ）に示すように同軸状に配置されている。

なお、図１８は、固定カメラ２Ａと追跡撮影用カメラ５の配置例を正面図（Ａ）及び側面図（Ｂ）にて示している。

この監視システム２００において固定カメラ２Ａによりリアルタイムに取得される３６０°全方位の画像は、例えば図１９に示すように、
パン方向画角 ３６０°
チルト方向画角 ５５°（仰角３８°俯角１７°）
で、画素数は、１２８０×２４０程度の画質となっている。

また、追跡撮影用カメラ５により得られる画像を貼り合わせることにより形成されるパノラマ画像は、例えば図２０に示すように、
パン方向画角 ３４０°
チルト方向画角 ５１°（仰角２５．５°俯角２５．５°）
で、画素数は、６４００×９６０の画質となっている。

この監視システム２００では、その画像空間を図２１に示すように、張り合わせ画像取得（ＶＧＡ １０×２枚）を行っている。

追跡撮影用カメラ５が取得する１枚の画像は、チルト方向２５．５°、パン方向３４°となるようにあらかじめズーム調整をしている。

この監視システム２００における監視装置１５は、出荷時に、次の初期設定（１），初期設定（２）がなされる。

初期設定（１）： この監視システム２００におけるパノラマ画像の広角画像空間は、パン方向＝３４０°，チルト方向＝５１°の総画角で、パン方向に６４００等分割・チルト方向に９６０等分割した画像情報を持ち、この画像情報を、監視装置１５のパノラマ設定データベースに格納する。

初期設定（２）： 固定カメラ２Ａによりリアルタイムに取得される図２２に示す３６０°全方位の画像上にＡ，Ｂ，Ｃ，Ｄの４点と、追跡撮影用カメラ５により得られる画像を貼り合わせることにより形成される図２３に示すパノラマ画像上にＡ’，Ｂ’，Ｃ’，Ｄ’の４点を設定する。上記４点は同じ箇所を示しているとみなす。これも監視装置１５のパノラマ設定データベースに格納する。

この監視システム２００では、このような初期設定がされた監視装置１５により、図２４のフローチャートに示す手順に従って、固定カメラ２Ａによりリアルタイムに取得される３６０°全方位の画像上での指示情報に基づいて、追跡撮影用カメラ５が制御される。

すなわち、この監視システム２００における監視装置１５は、ユーザが３６０°全方位の画像上で任意の点を指定すると（ステップＳ５１）、マウスペイントでユーザが指定したポイントＥ（Ｘ，Ｙ）の３６０°全方位画像上の座標を取得し（ステップＳ５２）、パノラマ設定データベースから３６０°全方位画像の位置合わせポイントＡ，Ｂ，Ｃ，Ｄを取得し（ステップＳ５３）、パノラマ設定データベースから追跡撮影用カメラ５の３４０°パノラマ画像の位置合わせポイントＡ’，Ｂ’，Ｃ’，Ｄ’を取得し（ステップＳ５４）、３６０°全方位画像上の位置Ｅ（Ｘ，Ｙ）に対応する３４０°パノラマ画像上の位置Ｅ（Ｘ’，Ｙ’）の位置情報を取得し（ステップＳ５５）、追跡撮影用カメラ５にＥ（Ｘ’，Ｙ’）の位置に移動する要求を送信して（ステップＳ５６）、移動先の画像を表示する（ステップＳ５７）。

すなわち、この監視システム２００では、図２２に示す３６０°全方位の画像上で任意の点Ｅをクリックした場合、図２２の画像上の座標Ｅ（Ｘ，Ｙ）が導き出され、この座標Ｅ（Ｘ，Ｙ）について、あらかじめパノラマ設定データベースに格納されているＡ，Ｂ，Ｃ，Ｄの各点からの相対位置（概算）を計算する。

あらかじめパノラマ設定データベースに格納されている図２３のＡ’，Ｂ’，Ｃ’，Ｄ’は、上記のＡ，Ｂ，Ｃ，Ｄの各点に相当するとみなされるので、図２２のＥ（Ｘ，Ｙ）に対応する図２３のＥ’（Ｘ’，Ｙ’）は、上記のＡ’，Ｂ’，Ｃ’，Ｄ’と上記算出したＡ，Ｂ，Ｃ，Ｄの各点からの相対位置とから求めることができる。計算されたＥ’ （Ｘ’，Ｙ’）は、上記データベースに格納された画像情報上の位置情報として表される。

このＥ’（Ｘ’，Ｙ’）の位置情報に基づいて、追跡撮影用カメラ５の画像の中心がＥ’となるようにパンチルト制御をする。

ここで、この監視システム２００における固定カメラ２Ａによりリアルタイムに取得される３６０°全方位の画像上で任意に指定されるＥの相対位置（概算）の算出は次のように行われる。

Ｘ１：Ｘ２≒Ｅｘ−（Ａｘ＋Ｂｘ）／２：（Ｄｘ＋Ｃｘ）／２−Ｅｘ
Ｙ１：Ｙ２≒Ｅｙ−（Ａｙ＋Ｃｙ）／２：（Ｂｙ＋Ｄｙ）／２−Ｅｙ
また、追跡撮影用カメラ５により得られる３４０°パノラマ画像におけるＥ´の位置（概算）の算出は次のようにして行われる。

先の計算で求めた相対位置の比率Ｘ１：Ｘ２が５：２、Ｙ１：Ｙ２が３：４で
Ａ’ｘ＞＝Ｂ’ｘかつＤ’ｘ＞＝Ｃ’ｘの場合
Ｅ’ｘ≒（（Ｃ’ｘ＋（Ｄ’ｘ−Ｃ’ｘ）＊３／７）−（Ｂ’ｘ＋（Ａ’ｘ−Ｂ’ｘ）＊４／７））＊５／７＋Ｂ’ｘ＋（Ａ’ｘ−Ｂ’ｘ）＊４／７
Ｄ’ｙ＞＝Ｂ’ｙかつＡ’ｙ＞＝Ｃ’ｙの場合
Ｅ’ｙ≒（（Ｂ’ｙ＋（Ｄ’ｙ−Ｂ’ｙ）＊５／７）−（Ｃ’ｙ＋（Ａ’ｙ−Ｃ’ｙ）＊２／７））３＊／７＋Ｃ’ｙ＋（Ａ’ｙ−Ｃ’ｙ）＊２／７
ここで、この監視システム２００における全体撮影用カメラ２Ａと追跡撮影用カメラ５の垂直方向の視野角断面図を図２５に示す。

この図２５は、全体撮影用カメラ２Ａすなわち広角カメラ（Panorama Camera）と追跡撮影用カメラ５すなわち狭角カメラ（Zoom Camera）を同軸上にレイアウトした場合に対象物を、両カメラでほぼ同じ方向（垂直方向）に捕えることができるということを図式化して表している。

最初に、
Ｘ：撮影対象とカメラの水平方向距離
Ｙ：Ｘ距離での、チルト画角全体で撮影可能な垂直方向距離（高さ）
ΔＹ：２台のカメラの撮像部中心間の距離
とする。

前提として、以下の２つの前提があることとする。

前提１：追跡撮影用カメラ５と３６０°カメラは、それぞれのカメラの撮像部中心をほぼ同一垂直線上に存在する。

前提２：追跡撮影用カメラ５と全体撮影用カメラ２Ａのチルト方向画角は、５５°〜６６°程度の範囲で同じ画角に調整されている。

その上で、図２５のような２台の視野角の位置関係を持つこととする。

仮に、２台の画角をそれぞれ２台とも ５５°とすると
ΔＹ＝１００ｍｍのカメラ位置関係で
Ｘ＝１０ｍの位置の物体を撮影する場合、
Ｙ＝２＊Ｘ＊Ｔａｎ（５５／２）°＝１０．４１ｍ
となる。その結果
ΔＹ／Ｙ＝０．００９６ ＝０．９６％
となり、Ｙ：垂直方向の全体距離に対して、２台のカメラ間の垂直方向の位置の差は微量で、２台の画像をモニター表示した場合、差異を感じるレベルに無い。

すなわち、ＶＧＡ：６４０×４８０に換算した場合の５ｄｏｔ程度の差に過ぎない。

なお、同軸レイアウトの為、水平方向の画角は両カメラとも同じ画角を共有できる。

この監視システム２００では、各カメラ２Ａ，５を同軸状に配置することにより、各カメラ２，５の相対位置関係による対象物の位置算出アルゴリズムを必要とせずに、全体撮影用カメラ２Ａにより得られる３６０°全方位の画像のポイントを指定して、そのポイント中心とした画像を追跡撮影用カメラ５により撮影することができる。

本発明を適用した監視システムの構成を示す図である。 各カメラ,監視装置のブロック構成図である。 全体画像作成部の詳細な構成につき説明するための図である。 カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。 ディスプレイ上の表示画面の構成例を示す図である。 通常撮像モード並びに追跡撮像モードにつき時系列的に示した図である。 通常撮像モード並びに追跡撮像モードにつき更に詳細に説明するための図である。 追跡位置計算部により追跡画像位置を求める手順につき説明するためのフローチャートである。 駐車場を監視する場合における監視枠の設定につき説明するための図である。 全体撮影用カメラによる撮像手順につき説明するためのフローチャートである。 差異検知部の動作手順につき説明するためのフローチャートである。 画像位置ＥのＡ〜Ｄ点で定義される監視領域における相対的な位置を識別する場合につき説明するための図である。 追跡画像位置Ｅ’が通知された追跡撮影制御部の撮影動作手順を示すフローチャートである。 本発明を適用した監視システムにおけるアプリケーション例につき説明するための図である。 本発明を適用した監視システムの他の構成を示す図である。 本発明を適用した監視システムの更なる他の構成を示す図である。 固定カメラを全体撮影用カメラに使用する監視システムの構成を示す図である。 上記監視システムにおける固定カメラと追跡撮影用カメラの配置例を示す正面図（Ａ）及び側面図（Ｂ）である。 上記監視システムにおいて固定カメラによりリアルタイムに取得される３６０°全方位の画像を示す図である。 上記監視システムにおいて追跡撮影用カメラにより得られる画像を貼り合わせることにより形成されるパノラマ画像を示す図である。 上記監視システムにおける画像空間を示す図である。 上記監視システムにおいて監視装置に初期設定される３６０°全方位の画像上にＡ，Ｂ，Ｃ，Ｄの４点を示す図である。 上記監視システムにおいて監視装置に初期設定されるパノラマ画像上のＡ’，Ｂ’，Ｃ’，Ｄ’の４点を示す図である。 上記監視システムにおける監視装置の動作を示すフローチャートである。 上記監視システムにおける全体撮影用カメラと追跡撮影用カメラの垂直方向の視野角断面図である。 パノラマ状の全体画像を構成する単位画像の例につき説明するための図である。 従来技術の問題点につき説明するための図である。

符号の説明

１，１００，１０１，２００ 監視システム、２，２Ａ 全体撮影用カメラ、３ パンチルタ部、４ カメラ部、５ 追跡撮影用カメラ、６ パンチルタ部、７ カメラ部、１５ 監視装置、２２,５２ レンズ部、２４,５４ 撮像部、２５,５５ 方位センサ、３１ 全体画像作成部、３２ 差異検知部、３３ 追跡撮影制御部、３４ 追跡位置計算部、３５ パノラマ設定ＤＢ、３６ 相関情報作成部、３８ 追跡撮影条件設定部、３９ 追跡撮影条件ＤＢ

Claims (10)

1. 撮影範囲全体を表すパノラマ画像を撮像する１以上のパノラマ撮像手段と、
   指定された撮影方向に合わせて単位画像を撮像する１以上の追跡撮像手段と、
   上記パノラマ撮像手段により生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を比較することにより、当該一の単位画像における画像位置毎に動きの有無を判別する動き判別手段と、
   上記パノラマ撮像手段及び上記追跡撮像手段から得られる単位画像間の各画像位置における相関関係を示す相関情報が予め記録される記録手段と、
   上記記録手段に記録された上記相関情報を参照しつつ、上記動き判別手段により動きがあるものと判別された画像位置に応じて、上記追跡撮像手段の撮影方向を指定する方向指定手段と、
   上記相関情報を作成する相関情報作成手段と
   を備え、
   上記相関情報作成手段は、上記パノラマ撮像手段により生成されるパノラマ画像上で設定される４点を結ぶ監視枠で示される監視領域について、上記パノラマ撮像手段及び上記追跡撮像手段から得られる単位画像間の各画像位置における上記パノラマ画像に対する相対的位置に基づき、上記相関情報を作成して上記記録手段に記録し、
   上記方向指定手段は、上記記録手段に記録されている上記相関情報に基づいて、上記動き判別手段により動きがあるものと判別された画像位置の上記相関情報作成手段により設定された上記４点で定義される上記監視領域における相対的位置を表す縦方向の比と横方向の比を求め、上記縦方向の比と横方向の比を用いて、上記動きがあるものと判別された画像位置の上記パノラマ画像上での座標位置に対応する上記追跡撮像手段により得られる全体画像における座標位置を算出して、上記追跡撮像手段の撮影方向を指定することを特徴とする撮像装置。
2. 上記動き判別手段における動きの有無を判別する際に参照する閾値を設定するための閾値設定手段をさらに備え、
   上記動き判別手段は、上記輝度レベルの差異と予め設定された閾値とを比較することにより、上記動きの有無を判別すること
   を特徴とする請求項１記載の撮像装置。
3. 上記パノラマ撮像手段と、上記追跡撮像手段とは、略同一位置上に配設されてなること
   を特徴とする請求項１記載の撮像装置。
4. 上記撮像された単位画像を記録媒体へ記録する記録手段をさらに備えること
   を特徴とする請求項１記載の撮像装置。
5. 上記パノラマ撮像手段は、撮影範囲全体を表すパノラマ画像を毎回撮像する広角の固定撮像手段であること
   を特徴とする請求項１記載の撮像装置。
6. 上記パノラマ撮像手段は、撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像すること
   を特徴とする請求項１記載の撮像装置。
7. 全体撮影部により撮影範囲全体を表すパノラマ画像を撮像するパノラマ画像撮像ステップと、
   上記パノラマ画像撮像ステップにおいて撮像されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を比較することにより、当該一の単位画像における画像位置毎に動きの有無を判別する動き判別ステップと、
   上記動き判別ステップにおいて動きがあるものと判別された画像位置に応じて、追跡画像位置を求める追跡位置算出ステップと、
   １以上の追跡撮影部の撮影方向を上記追跡画像位置に合わせて単位画像を撮像する追跡撮影ステップとを有し、
   上記追跡位置算出ステップでは、上記全体撮影部により生成されるパノラマ画像上で設定される４点を結ぶ監視枠で示される監視領域について、上記全体撮影部及び上記追跡撮影部により得られる単位画像間の各画像位置における上記パノラマ画像に対する相対的位置に基づいて作成された上記単位画像間の各画像位置における相関関係を示す相関情報を参照して、上記動きがあるものと判別された画像位置の上記４点で定義される上記監視領域における相対的位置を表す縦方向の比と横方向の比を求め、上記縦方向の比と横方向の比を用いて、上記動きがあるものと判別された画像位置の上記パノラマ画像上での座標位置に対応する上記追跡撮影部により得られる全体画像における座標位置を算出することにより、上記追跡画像位置を求める
   ことを特徴とする撮像方法。
8. 撮影範囲全体を表すパノラマ画像を撮像する１以上の全体撮影部と、
   指定された撮影方向に合わせて単位画像を撮像する１以上の追跡撮影部と、
   上記全体撮影部からネットワークを介して送信されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を比較することにより、当該一の単位画像における画像位置毎に動きの有無を判別する動き判別手段と、上記全体撮影部及び上記追跡撮影部から得られる単位画像間の各画像位置における相関関係を示す相関情報が予め記録される記録手段と、上記記録手段に記録された上記相関情報を参照しつつ、上記動き判別手段により動きがあるものと判別された画像位置に応じて、上記追跡撮影部の撮影方向を上記ネットワークを介して指定する方向指定手段と、上記相関情報を作成する相関情報作成手段とを有し、
   上記相関情報作成手段は、上記全体撮影手段により生成されるパノラマ画像上で設定される４点を結ぶ監視枠で示される監視領域について、上記全体撮像部及び上記追跡撮像部から得られる単位画像間の各画像位置における上記パノラマ画像に対する相対的位置に基づき、上記相関情報を作成して上記記録手段に記録し、上記方向指定手段は、上記記録手段に記録されている上記相関情報に基づいて、上記動き判別手段により動きがあるものと判別された画像位置の上記相関情報作成手段により設定された上記４点で定義される上記監視領域における相対的位置を表す縦方向の比と横方向の比を求め、上記縦方向の比と横方向の比を用いて、上記動きがあるものと判別された画像位置の上記パノラマ画像上での座標位置に対応する上記追跡撮影部により得られる全体画像における座標位置を算出して、上記追跡撮影部の撮影方向を指定する監視装置と
   を備えることを特徴とする監視システム。
9. 全体撮影部により撮影範囲全体を表すパノラマ画像を撮像するパノラマ画像撮像ステップと、
   上記パノラマ画像撮像ステップにおいて生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を比較することにより、当該一の単位画像における画像位置毎に動きの有無を判別する動き判別ステップと、
   上記動き判別ステップにおいて動きがあるものと判別された画像位置に応じて、追跡画像位置を求める追跡位置算出ステップと、
   １以上の追跡撮影部の撮影方向を上記求められた追跡画像位置に合わせて単位画像を撮像する追跡撮影ステップとを有し、
   上記追跡位置算出ステップでは、上記全体撮影部により生成されるパノラマ画像上で設定される４点を結ぶ監視枠で示される監視領域について、上記全体撮影部及び上記追跡撮像部により得られる単位画像間の各画像位置における上記パノラマ画像に対する相対的位置に基づいて作成された上記単位画像間の各画像位置における相関関係を示す相関情報を参照して、上記動きがあるものと判別された画像位置の上記４点で定義される上記監視領域における相対的位置を表す縦方向の比と横方向の比を求め、上記縦方向の比と横方向の比を用いて、上記動きがあるものと判別された画像位置の上記パノラマ画像上での座標位置に対応する上記追跡撮像部により得られる全体画像における座標位置を算出することにより、上記追跡画像位置を求める
   をコンピュータに実行させるためのプログラム。
10. 全体撮影部により撮影範囲全体を表すパノラマ画像を撮像するパノラマ画像撮像ステップと、
    上記パノラマ画像撮像ステップにおいて生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を比較することにより、当該一の単位画像における画像位置毎に動きの有無を判別する動き判別ステップと、
    上記動き判別ステップにおいて動きがあるものと判別された画像位置に応じて、追跡画像位置を求める追跡位置算出ステップと、
    １以上の追跡撮影部の撮影方向を上記求められた追跡画像位置に合わせて単位画像を撮像する追跡撮影ステップとを有し、
    上記追跡位置算出ステップでは、上記全体撮影部により生成されるパノラマ画像上で設定される４点を結ぶ監視枠で示される監視領域について、上記全体撮影部及び上記追跡撮影部により得られる単位画像間の各画像位置における上記パノラマ画像に対する相対的位置に基づいて作成された上記単位画像間の各画像位置における相関関係を示す相関情報を参照して、上記動きがあるものと判別された画像位置の上記４点で定義される上記監視領域における相対的位置を表す縦方向の比と横方向の比を求め、上記縦方向の比と横方向の比を用いて、上記動きがあるものと判別された画像位置の上記パノラマ画像上での座標位置に対応する上記追跡撮影部により得られる全体画像における座標位置を算出することにより、上記追跡画像位置を求めること
    をコンピュータに実行させるためのプログラムが記録された記録媒体。

Images