JP4872859B2 - モニタリングシステム - Google Patents

Description

この発明は、赤外線カメラを使用した広域のモニタリングに適用されるモニタリングシステムに関する。

従来、広範囲の状況を監視するために、テレビジョンカメラを使用するモニタリングシステムが使用されている。例えば海上監視、河川監視、立ち入り監視区域のモニタリング、野生動物の行動観察等にモニタリングシステムが使用される。このモニタリングシステムとして、カメラの撮影範囲を順にずらしながら、静止画像を撮影し、多数の静止画像を連結することで、モニタリングしようとする範囲の画像を生成することが提案されている（例えば下記特許文献１を参照）。多数の静止画像を連結することで生成される連結画像（以下、全体画像と適宜称する）は、極めて高解像度の画像とすることができる。したがって、全体画像中の一部分の拡大画像を得る場合に、拡大画像自体の解像度が高く、拡大画像であっても鮮明な画像を得ることができる。

特開２００３−３２４７１７号公報

昼間時には、通常のビデオカメラが使用されるが、夜間のモニタリングのためには、赤外線カメラ（サーマルイメージャ、ＩＲカメラ等とも呼ばれる）が用いられる。

赤外線カメラは、図１に示すように、撮影中に時間経過と共に、取得画像（以下、適宜撮像画像と称する）が暗くなる傾向がある。図１では、数分毎に取得される画像Ｐ１，Ｐ２，Ｐ３の明るさの変化を示している。このため、赤外線カメラにおいては、１０分乃至数十分毎にリフレッシュを行い、撮影画像の明るさを強制的に所定のものとしている。撮影画像Ｐ４は、リフレッシュ後のものを示す。なお、赤外線カメラの画像は、被写体の温度に応じて明るさの変化するモノクロ画像である。例えば温度が高いほど白い画像が取得される。

リフレッシュの条件としては、例えば筐体内の温度が±３°以上変化する条件、または前回のリフレッシュから所定時間以上経過する条件とがある。リフレッシュは、撮影レンズの入射側を遮断し、センサーの出力をある固有の値に設定する処理である。

モニタリングシステムにおいては、侵入等の異常の発生を自動的に検出するために、以前の画像と今回の画像とを比較し、設定された値以上の相違が存在する場合に、異常が発生したものと判定し、その場所（撮影画像）を例えば赤い色の画像とするアラームを発生するようになされている。したがって、上述したリフレッシュによって明るさが極端に変化することに起因して、異常が発生したものと誤って判定し、アラームが発生する問題がある。リフレッシュによる明るさの変化が大きいので、全体画像の殆どの領域でアラームが発生することになり、モニタリングの機能を発揮できなくなる。

したがって、この発明は、リフレッシュによる明るさの大きな変動を防止し、正確にモニタリングを行うことができるモニタリングシステムを提供することを目的とする。

上述した課題を解決するために、この発明は、
所定の周期でもって取得画像の明るさを所定のものに初期化する赤外線カメラと、
赤外線カメラの撮像方向を開始位置から終了位置まで走査させる撮像方向制御手段と、
赤外線カメラにより各撮像方向で取得された複数の画像を連結して、１枚の全体画像を作成する処理を繰り返す画像処理手段と、
全体画像を表示する表示手段と、
赤外線カメラの初期化のタイミングが連続する２枚の全体画像が切り替わる遷移期間内に含まれるように制御する制御部と
を有する
ことを特徴とするモニタリングシステムである。
さらに、この発明は、全体画像内に設定された基準画像の明るさを所定の明るさとする基準値を記憶する基準値メモリと、
遷移期間において、初期化の後に、次の全体画像内の基準画像の明るさを基準値にするための補正値を求め、補正値を記憶する補正値記憶メモリと、
次の全体画像を形成する各取得画像を補正値によって補正する補正手段とを備える。

この発明によれば、全体画像の中で設定された基準画像の明るさが一定の明るさとなるように制御することができ、初期化により明るさが極端に変化することを防止することができ、モニタリング時に誤った判定を行うことを防止できる。

以下、この発明の一実施の形態について図面を参照しながら説明する。

図２は、この発明の一実施の形態の全体の構成を示す。一実施の形態では、赤外線カメラ１１と、赤外線カメラ１１から得られた画像データを補正する自動明るさ補正回路（図中では、ＡＥと表記する）１６とを含むカメラユニット１０が使用される。カメラユニット１０は、例えばビルの屋上に設置され、屋外での使用に耐えるように、ケース内に収納されている。カメラユニット１０の赤外線カメラ１１は、望遠レンズを有し、離れた場所を撮影可能とされている。赤外線カメラ１１は、図示しない旋回台のパン部およびチルト部によって、水平方向（パン方向）に例えば２７０°回転可能とされ、垂直方向（チルト方向）に３０°回転可能とされている。パン部およびチルト部は、それぞれ駆動源としてステッピングモータを有している。

この発明の一実施の形態においては、簡単のため省略されているが、昼間撮影を主として受け持つビデオカメラも設けられている。赤外線カメラ１１とビデオカメラとの両者によって昼間および夜間におけるモニタリングが可能とされている。

また、カメラユニット１０は、有線ＬＡＮ(Local Area Network)などのネットワーク２５により制御装置２４と接続される。制御装置２４は、例えばパーソナルコンピュータおよびアプリケーションソフトウェアによって構成される。カメラユニット１０は、パン部およびチルト部によって撮像中心を画角分移動させる毎に画像が取得される。垂直方向でＭ（例えば８枚）、平行方向でＮ（例えば１６枚）の合計（Ｍ×Ｎ＝８×１６＝１２８）枚の画像が順番に撮影される。そして、カメラユニット１０は、これらの画像を補正および圧縮し、制御装置２４に対して、例えばＪＰＥＧにより圧縮された画像データと、画像データに関連するデータ（以下、メタデータと適宜称する）とが出力される。制御装置２４には表示部が設けられており、赤外線カメラ１１が各撮像方向で撮像することで得られる（Ｍ×Ｎ）枚の画像を合成して表示することにより、パノラマ状の広角な視野の全体画像を得ることができる。

各画像は、例えばＶＧＡ（Video Graphics Array，６４０×４８０画素）相当の画素を有する。この場合、１２８枚の画像は、重複部分を無視すると、（垂直方向が640 ×16＝10,240画素で、水平方向が480 ×8 ＝3,840 画素）の約４０００万画素の全体画像が形成できる。実際には、表示部としてパーソナルコンピュータ（制御部２４）のディスプレイが使用されるので、全体画像の画素数がディスプレイの画素数に応じて減少したものとなる。

カメラユニット１０は、赤外線カメラ１１と、自動明るさ補正回路１６と、カメラコントロール部１８と、画像圧縮処理回路１９と、ＣＰＵ（Central Processing Unit ；中央処理装置）２０と、旋回コントロール部２１と、温度コントロール部２２と、電源２３とを有している。

赤外線カメラ１１は、対象物から出ている赤外線エネルギーを検出し、温度に変換し、温度分布を画像として表示するものである。赤外線カメラ１１の撮影画像は、温度が高いほど白くなるようなモノクロ画像である。

赤外線カメラ１１には、例えばその位置を検出するためのＧＰＳ（Global Positioning System ）が備えられている。ＧＰＳを備えることによって、赤外線カメラ１１の設置場所のデータを記録できるとともに、赤外線カメラ１１の向きを検出することができる。赤外線カメラ１１の向きは、ＧＰＳに限らず、パン・チルタの回転角度によって検出できる。

自動明るさ補正回路１６は、赤外線カメラ１１から入力された画像データを補正し、リフレッシュによって生じる明るさの変化が抑えられた撮影画像の画像データを出力する。

カメラコントロール部１８は、制御装置２４によって設定された撮影条件設定を赤外線カメラ１１に通知するものである。設定される撮影条件としては、ゲイン、コントラストおよびレンズ絞りなどが挙げられる。

画像圧縮処理回路１９は、自動明るさ補正回路１６から入力された補正後の撮像データに対して、制御装置２４に出力するために適したデータとなるように圧縮符号化（例えばＪＰＥＧ）と縮小処理とを行う。

ＣＰＵ２０は、旋回コントロール２１を介して、パン部およびチルト部を制御して赤外線カメラ１１を所定の軌道で旋回させ、画像データを得るようにする。また、温度コントロール２２を介してファン等を制御することによって、赤外線カメラ１１の例えばケース内の温度が適切な温度となるように制御する。

また、ＣＰＵ２０は、制御装置２４と接続されており、制御装置２４で入力された制御操作に対応する制御をカメラユニット１０の各部に対して行う。さらに、ＣＰＵ２０は、画像圧縮処理回路１９において作成された圧縮された画像データと、メタデータとを制御装置２４に出力する。ＣＰＵ２０は、制御装置２４に対して赤外線カメラ１１におけるリフレッシュのタイミングを通知するために、赤外線カメラ１１からのリフレッシュを指示する制御信号を受け取る。

制御装置２４は、例えばカメラユニット１０から入力された補正・圧縮後の画像データを保存するメモリ部と、全体画像を画面表示する表示部と、カメラユニット１０との通信を行うための通信部などを有する。制御装置２４は、ネットワークを介してカメラユニット１０から画像データおよびメタデータを受信し、複数の補正・圧縮後の画像データを連結する処理を行い、パノラマ状の全体画像を表示する。パノラマ状の全体画像は、カメラユニット１０において、各撮像位置で撮影された画像を連結した画像である。

表示されている全体画像を確認することにより、モニタリングを行うことができる。また、全体画像の時間的変化から監視領域における異常例えば侵入を自動的に検出して、アラームが発生するようになされる。制御装置２４の表示部には、全体画像表示部以外にも、ユーザが指定した所定の部分の拡大画像を表示する拡大画像表示部、カメラユニット１０を操作するための操作アイコン部およびカメラ設置場所などの監視情報を示す文字情報表示部などが設けられる。

図３に、全体画像を作成するために、赤外線カメラ１１がパン動作およびチルト動作によって所定領域を撮影する動作を示す。赤外線カメラ１１が旋回台上に設置され、ホームポジションから撮像方向が可変される。図３において、撮影された（Ｍ×Ｎ）枚のフレームをカメラ部側から見て、各行に対して上から順に１、２、・・・、Ｍの番号を付し、各列に対して左から順に１、２、・・・、Ｎの番号を付す。ホームポジションが例えば（Ｍ，Ｎ）＝（１，１）の座標のフレームを撮影する位置とされる。

（１，１）の座標位置のフレームを撮影すると、赤外線カメラ１１がパンされ、（１
，２）の座標位置のフレームが撮影され、以下、順に（１，３）・・・・、（１，Ｎ）の座標位置のフレームが撮影され、次に第２行の座標位置（２，Ｎ）のフレームが撮影され、以下、順に（２，Ｎ−１）・・・・、（２，１）の座標位置のフレームが撮影される。以下、各フレームを（Ｍ，Ｎ）の座標位置のフレームまで撮影する。各フレームが他のフレームと所定画素分の重複部分を有する。このように、カメラユニットが撮影方向を可変して各画像が作成される。

図４に示すように、Ｍ＝４，Ｎ＝１０の例では、画像Ｐ1,1 （座標位置（１，１）の画像を意味する。以下同様である。）が走査開始位置となり、Ｐ1,2 、Ｐ1,3 、・・・、Ｐ1,10で第1 行の走査が完了すると、Ｐ2,10から第２行の走査が開始し、Ｐ2,1 までで第２行の走査が完了する。以下、第３行および第４行の走査がなされ、画像Ｐ4,10が走査終了位置の画像である。全体画像を作成する周期は、数秒から数十秒程度である。次に、同様の撮像方向の制御がなされ、画像Ｐ'1,1から開始して画像Ｐ'4,10 で終了する次の全体画像が得られる。各画像は、実際に撮影された被写体の温度分布に応じたモノクロ画像であるが、簡単のため、画像の図示については省略されている。

リフレッシュの影響を軽減するために、時間的に連続する２枚の全体画像を形成する場合に、最初の全体画像（Ｐ1,1 〜Ｐ4,10）を形成してから次の全体画像の形成の開始までの遷移期間内にリフレッシュ（センサーの初期化）を行うようになされる。図４に示すように、リフレッシュが遷移期間でなされるので、全体画像を形成する走査中でリフレッシュが発生して画像の明るさが急激に変動することを防止することができる。

この処理後でも、リフレッシュの前後で全体画像の明るさが変動する問題が残る。この発明の一実施の形態では、図５に示すように、時系列上に画像Ｐ１０１，Ｐ１０２，Ｐ１０３が順次発生する場合に、画像Ｐ１０１において基準値（ＡＥ基準値と称する）を登録し、リフレッシュ後の画像Ｐ１０４をＡＥ基準値の明るさとなるように補正する。この補正処理によって、リフレッシュによる明るさの急激な変化を防止するものである。

図６に示すように、ＡＥ基準値登録とリフレッシュおよび明るさ補正とがなされる。一例としてユーザが制御装置２４におけるＧＵＩの操作によって全体画像内の明るさを適切にする初期設定がなされる。初期設定は、全体画像の表示を見て侵入等の異常を検出するのに適切な明るさとなるように、全体的な明るさが設定される。次に、全体画像内の基準画像（基準面と適宜称する）の位置がＧＵＩで設定される。基準面としては、動体が含まれる可能性が殆どないように、外乱の影響が少ない画像が好ましい。例えば木の上とか、囲いで仕切られた場所の画像等が基準面として好ましい。

基準面の位置は、水平方向および垂直方向の座標（ｘ，ｙ）によって規定される。例えば（ｘ＝７，ｙ＝３）のアドレスが基準面として設定される。実際のアドレスは、所定ビット数の２進コードで表現される。補正に先行して基準面を設定した時に、その基準面内の画素値の平均値を基準値として求める。この基準値をＡＥ基準値と称する。ＡＥ基準値が基準値メモリに記憶される。

全体画像を形成するための走査開始位置（画像Ｐ1,1 ）を撮影する前に、遷移期間内で画角を制御して基準面の画像Ｐ3,7 を撮影し、その平均値を求める。求められた平均値とＡＥ基準値との差を求め、差を補正値として補正値メモリに記憶する。

そして、リフレッシュ後において、走査開始位置の画像Ｐ1,1 の全画素の値に対して、補正値を減算（または加算）する。次の画像Ｐ1,2 に対しても同様の補正処理がなされ、走査終了位置の画像Ｐ4,10まで同様の補正処理がなされる。すなわち、補正は、基準面の画像Ｐ3,7 の平均値とＡＥ基準値とを一致させる処理である。

終了位置の画像Ｐ4,1 まで撮像方向が変化すると、次の全体画像の作成が開始される。次の全体画像の作成の前に、リフレッシュが行われ、次に、基準面の画像Ｐ'3,7が取得され、その平均値が計算され、ＡＥ基準値と計算した平均値との差が補正値として求められる。この補正値が最初の画像Ｐ'1,1の画素値に対して加算（または減算）され、補正がなされる。以下、同様の動作がなされる。

この発明の一実施の形態は、このような自動明るさ補正によって、時間的に連続する２枚の全体画像の明るさがリフレッシュによって急激に変化することを防止することができる。したがって、２枚の全体画像の間で同一の位置の画像例えばＰ1,2 とＰ'1,2とを比較して両画像間の変化を異常として検出する場合、検出の誤りを防止することができる。

ＡＥ基準値の発生および記憶は、最初に基準面の位置を設定する場合になされる。しかしながら、他のタイミング例えば所定時間毎にＡＥ基準値を求めるようにしても良い。

図７に、自動明るさ補正回路１６の一例の構成を示す。赤外線カメラ１１の撮像部１５は、被写体の温度に対応した明るさの画像データを自動明るさ補正回路１６の平均値演算回路３１および減算回路３２に出力する。撮像部１５には、レンズ、撮像素子および撮像信号処理回路が含まれる。レンズは、被写体が発する赤外線を集光し、撮像素子に入射させる。撮像部１５からは、赤外線のエネルギー量が多いほど、すなわち温度が高いほど白くなるモノクロ画像データが例えばＮＴＳＣ方式と同様のデジタルカラービデオ信号として自動明るさ補正回路１６に対して出力される。

自動明るさ補正回路１６は、各画像の全画素の値の平均値を演算する平均値演算回路３１と、減算回路３２と、スイッチ回路３３と、ＡＥ基準値メモリ３４と、減算回路３５と、補正値メモリ３６と、ＡＥ動作を制御するコントローラ３７とからなる。ＡＥコントローラ３７は、赤外線カメラ１１の撮像方向を可変するためのパン・チルタ４１を制御して所望の撮像方向が設定される。

平均値演算回路３１は、撮入力された画像データの画素値について、１枚の静止画の全画素の平均値である面平均値を演算し、減算回路３２に出力する。面平均値は、（ｍ×ｎ）ピクセルサイズの画像データにおいて、以下の式１から算出される。式１は、ｍ＝３２０、ｎ＝２４０のＱＶＧＡの解像度の画像の例である。

最初に、設定された基準面の撮像信号を取得し、平均値演算回路３１によって基準面内の全画素の値の単純平均値が計算される。スイッチ回路３３の入力端子ａ側が選択され、平均値がＡＥ基準値として基準値メモリ３４に格納される。

次に、全体画像の作成時に、最初にその全体画像内の基準面に赤外線カメラ１１の撮像方向が設定され、基準面の撮像データが平均値演算回路３１に供給される。平均値が減算回路３５に供給される。スイッチ回路３３は、端子ｂが選択される状態とされ、基準値メモリ３４からＡＥ基準値がスイッチ回路３３を介して減算回路３５に供給される。減算回路３５は、現在の画像の平均値とＡＥ基準値との差を計算し、この差を補正値として補正値メモリ３６に記憶する。

減算回路３２では、撮像データから補正値が減算され、補正後の出力データが得られる。補正後の出力データが制御装置２４に対して送出され、制御装置２４において、補正後の画像から全体画像を形成する。

上述した補正動作は、ハードウェアに限らず，ＣＰＵのソフトウェア処理によって行うこともできる。図８は、ＡＥ基準値生成時の処理の流れを示す。ステップＳ１において、基準面に対して赤外線カメラを向ける。複数の基準面の候補の中で外乱の少ない画像が基準面として決定される（ステップＳ２）。

ステップＳ３において、撮像素子の初期化（リフレッシュ）がなされる。ステップＳ４において、設定された基準面の全画素レベルが取り込まれる。基準面の平均レベルがステップＳ５において計算される。ステップＳ６において、基準面のアドレス（位置情報）が保存され、ステップＳ７において、基準面平均値（ＡＥ基準値）が基準値メモリに保存される。

図９は、上述したように計算され、保存されているＡＥ基準値を使用してなされるＡＥ動作の処理の流れを示す。ステップＳ１１は、ＡＥ基準値の作成処理（図８）を示す。ステップＳ１２において、基準面に赤外線カメラを向ける。ステップＳ１３において、撮像素子の初期化（リフレッシュ）が実行される。ステップＳ１４において、基準面の全画素レベルが取り込まれる。基準面の平均レベルがステップＳ１５において計算される。

ステップＳ１６において、基準面平均レベルとＡＥ基準値との差分が計算され、計算された差分が補正値として求められる。ステップＳ１７において、補正値が補正値メモリに保存される。

ステップＳ１８において、赤外線カメラが撮影開始位置に戻され、撮影が開始される。ステップＳ１９において、撮影された全画素のデータから補正値が減算される。ステップＳ２０において、補正結果が撮像結果として出力される。全体画像の終了位置まで補正処理がなされると、ステップＳ１２に処理が戻る。

このような補正処理によって、次に撮影される画像から形成される全体画像中の基準面の明るさが保存しているＡＥ基準値と同一となるように制御される。この処理の結果、リフレッシュがなされても、全体画像の明るさが急激に変化することを回避でき、異常検出の誤りを防止することができる。但し、各画像値が８ビットのデジタルデータであるので、平均値を整数に丸めているので、多少の誤差が生じる。

図１０乃至図１２を撮影して、この発明の補正処理を具体的に説明する。図１０は、ＡＥ基準値を生成する場合に、自動明るさ補正回路に入力された撮影画像（基準面の画像）の一部を示す。すなわち、垂直アドレスが１０９〜１２０の範囲で、水平アドレスが１６５〜１８９の範囲の領域の部分画像を表している。なお、この例では、垂直アドレスが０〜４７９であり、水平アドレスが０〜６３９である。画素値は、例えば８ビットのデータであり、０〜２５５の範囲の値を有する。

まず、この画像データの面平均値（ＡＥ基準値）を算出する。面平均値は、式１を用いて、下記のように計算される。
ＡＥ基準値Ｖｒｅｆ＝（Ｙ（１６５，１０９）＋Ｙ（１６６，１０９）＋・・・＋Ｙ（１７９，１２０）＋Ｙ（１８０，１２０））／（１６×１２）
＝９７．８３
ただし、上述の式において、Ｙ（ｘ，ｙ）は、水平方向にｘ番目、垂直方向にｙ番目の画素の画像値を示す。

図１１は、全体画像作成動作（多画面動作）時の基準面の画像レベルの一例を示す。この部分的領域の平均値が１０６．８３である。したがって、補正値は、基準面の画像の平均値からＡＥ基準値を減算した値であるので、（１０６．８３−９７．８３＝９．００）と求められる。

この補正値が図１１の各画素の値から減算されるので、補正後の画像データが図１２に示すものとなる。補正後の画像データは、ＡＥ基準値の画面と同様の値を有するものとなる。

以上、この発明の一実施の形態について具体的に説明したが、この発明は、上述の一実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えば赤外線カメラの出力として温度と対応する色が付いたカラー画像データを得る場合に対してこの発明を適用しても良い。

従来の撮像装置における撮影画像の問題点を説明するための略線図である。 この発明の一実施の形態のモニタリングシステムの一構成例を示すブロック図である。 この発明の一実施の形態における全体画像作成動作の一例を説明するための略線図である。 この発明の一実施の形態における全体画像作成動作をより具体的に説明するための略線図である。 この発明の一実施の形態による自動明るさ補正処理を説明するための略線図である。 この発明の一実施の形態における自動明るさ補正処理を説明するための略線図である。 この発明の一実施の形態における自動明るさ補正回路の一例を示すブロック図である。 この発明の一実施の形態におけるＡＥ基準値の生成処理の流れを説明するためのフローチャートである。 この発明の一実施の形態における自動明るさ補正処理の流れを説明するためのフローチャートである。 この発明の一実施の形態における自動明るさ補正回路の動作の一例を説明するための略線図である。 この発明の一実施の形態における自動明るさ補正回路の動作の一例を説明するための略線図である。 この発明の一実施の形態における自動明るさ補正回路の動作の一例を説明するための略線図である。

符号の説明

１０・・・カメラユニット
１１・・・赤外線カメラ
１５・・・撮像部
１６・・・自動明るさ補正回路
２０・・・ＣＰＵ
２１・・・旋回コントロール部
２２・・・温度コントロール部
２４・・・制御装置
３１・・・平均値演算回路
３２，３５・・・減算回路
３４・・・ＡＥ基準値メモリ
３６・・・補正値メモリ

Claims (5)

1. 所定の周期でもって取得画像の明るさを所定のものに初期化する赤外線カメラと、
   上記赤外線カメラの撮像方向を開始位置から終了位置まで走査させる撮像方向制御手段と、
   上記赤外線カメラにより各撮像方向で取得された複数の画像を連結して、１枚の全体画像を作成する処理を繰り返す画像処理手段と、
   上記全体画像を表示する表示手段と、
   上記赤外線カメラの初期化のタイミングが連続する２枚の上記全体画像が切り替わる遷移期間内に含まれるように制御する制御部と
   を有する
   ことを特徴とするモニタリングシステム。
2. 上記画像処理手段は、上記全体画像の明るさを調整する
   ことを特徴とする請求項１に記載のモニタリングシステム。
3. 上記全体画像内に設定された基準画像の明るさを所定の明るさとする基準値を記憶する基準値メモリと、
   上記遷移期間において、上記初期化の後に、次の上記全体画像内の上記基準画像の明るさを上記基準値にするための補正値を求め、上記補正値を記憶する補正値記憶メモリと、
   次の上記全体画像を形成する各取得画像を上記補正値によって補正する補正手段と
   をさらに備えることを特徴とする請求項１に記載のモニタリングシステム。
4. 上記撮像方向制御手段は、上記基準画像の上記全体画像内の位置を設定する
   ことを特徴とする請求項３に記載のモニタリングシステム。
5. 上記補正値が上記基準画像の明るさと、上記基準値の差の値であり、
   上記補正手段は、上記取得画像に対して上記差の値を合成する
   ことを特徴とする請求項１に記載のモニタリングシステム。

Images