JP4780455B2

JP4780455B2 - 映像監視装置及び方法

Info

Publication number: JP4780455B2
Application number: JP2006054129A
Authority: JP
Inventors: 諒子豊田; 秀行関
Original assignee: サクサ株式会社
Priority date: 2006-02-28
Filing date: 2006-02-28
Publication date: 2011-09-28
Anticipated expiration: 2026-02-28
Also published as: JP2007235485A

Description

本発明は、監視カメラ等の撮影手段を用いて異常状態を監視する映像監視装置及び方法に関する。

こうした映像監視装置では、監視カメラ等で所定時間毎に撮影した映像をＣＲＴ等のモニタに表示して監視者が侵入者の有無を監視する。監視カメラを複数の場所に設置しておき、撮影した映像を監視センタ等で集中して表示すれば、複数の場所を同時に遠隔監視することが容易に行うことができる。

しかしながら、監視者が常時モニタに表示された映像をチェックすることは、大変な労力が必要となるため、撮影された映像に侵入者等の移動物体が入ってきたことを自動的に検出して監視者に異常を知らせるようにした監視装置が提案されている。例えば、特許文献１では、撮像部が撮影した光学画像と基準画像を比較して差分画像を生成し、レーザ測距部が測定した対象物までの距離と基準距離との差分値を計算し、光学画像の変化領域と距離変化の生じた測距ポイントとの位置の相関を考慮して侵入者の判定を行う点が記載されている。また、特許文献２では、取得した映像のフレーム上又は画像上の変化領域を検出した時に警報音を生成し、変化領域の位置や度合いに基づいて警報音を変化させるようにした点が記載されている。また、特許文献３では、監視対象となるシーンの三次元シーンモデルと監視対象物体の三次元物体モデルを構築してコンピュータグラフィックスにより三次元監視領域を生成し、撮影装置の設置パラメータを用いて画面上の監視領域を設定して撮影した画像から監視領域を切り出すようにした点が記載されている。また、特許文献４では、実空間で幅Ｗの平行する線が指標として映されている画像から走査ライン毎の線の間の画素数ｗを計数してＷとｗの比に基づき各走査ラインに対応する距離を算出する点が記載されている。
特開２００２−２０８０７３号公報特開２００５−３２８２３６号公報特開平６−３５４４３号公報特開２００２−４２１４２号公報

監視カメラにより撮影された映像に基づいて画像処理を行って侵入者等の移動物体を自動的に認識しようとする場合、監視カメラの地面からの高さ及び俯角といった設置パラメータに基づいて撮影画像から３次元距離データを算出して移動物体の大きさ等を認識することができるが、地面が水平な平面状態でないと距離データに誤差が生じるようになる。例えば、壁面や段差等の構造物がある領域では、地面よりも高い位置になるため監視カメラの設置パラメータと撮影画像だけからは正確な３次元距離データを算出することはできない。

そのため、地面が平面である場所以外を監視する場合には移動物体を自動認識することができず、監視する場所が制限されてしまう不都合があった。

そこで、本発明は、監視カメラの設置パラメータ及び撮影画像に基づいて様々な構造物が設置された場所においても正確な監視を行うことができる映像監視装置及び方法を提供することを目的とするものである。

請求項１の発明は、監視領域を撮影する撮影手段と、撮影手段により撮影された背景画像を構造物毎に画定した構造種別エリアの２次元座標に対応してエリア種別データを記憶するエリア記憶手段と、背景画像及び撮影手段の設置パラメータに基づいて構造種別エリアのうち基準エリアとして設定された水平な平面の２次元座標に対応する３次元距離データを算出する距離算出手段と、基準エリアに隣接する構造種別エリアとの境界線の３次元距離データ及び構造種別エリアのエリア種別データに基づいて構造種別エリアの２次元座標に対応する３次元距離データを算出して設定する距離設定手段と、背景画像の２次元座標に関連付けて３次元距離データを記憶する距離記憶手段と、撮影手段の撮影した映像データに基づいて動物体に関する異物画像を抽出処理する画像処理手段と、異物画像データ及び異物画像の下端の２次元座標に対応する３次元距離データに基づいて動物体のサイズを算出するサイズ算出手段を備えていることを特徴とする。
請求項２の発明は、請求項１に記載された映像監視装置において、さらに前記算出された動物体のサイズに基づいて監視対象物体か否か判別する判別手段を備えていることを特徴とする。
請求項３の発明は、請求項１に記載された映像監視装置において、前記距離設定手段は、基準エリアに隣接する構造種別エリアの境界線に関する基準エリアの３次元距離データと当該構造種別エリアのエリア種別データに基づいて当該構造種別エリアの２次元座標に対応する３次元距離データを算出する手段と、３次元距離データが算出された構造種別エリアに隣接する構造種別エリアの境界線に関する基準エリアの３次元距離データと当該構造種別エリアのエリア種別データに基づいて当該構造種別エリアの２次元座標に対応する３次元距離データを算出する手段とを備えていることを特徴とする。

請求項４の発明は映像監視方法であって、撮影手段により撮影された背景画像を構造物毎に画定した構造種別エリアの２次元座標に対応してエリア種別データを記憶し、背景画像及び撮影手段の設置パラメータに基づいて構造種別エリアのうち基準エリアとして設定された水平な平面の２次元座標に対応する３次元距離データを算出し、基準エリアに隣接する構造種別エリアとの境界線の３次元距離データ及び構造種別エリアのエリア種別データに基づいて構造種別エリアの２次元座標に対応する３次元距離データを算出して設定し、背景画像の２次元座標に関連付けて３次元距離データを記憶し、撮影手段の撮影した映像データに基づいて動物体に関する異物画像を抽出処理し、異物画像データ及び異物画像の下端の２次元座標に対応する３次元距離データに基づいて動物体のサイズを算出し、算出された動物体のサイズに基づいて監視対象物体か否か判別することを特徴とする。

上記のような構成を有することで、背景画像において予め画定された構造物毎に構造種別エリアの２次元座標に対応してエリア種別データを記憶し、それに基づいて３次元距離データを作成するので、より正確な３次元距離データにより動物体のサイズが算出され、高精度の監視を行うことができる。

具体的には、まず、背景画像を構造物（例えば、床、壁、段差、階段、スロープ等）別に画像領域を画定してそれぞれの領域毎にエリア種別データを割り当てる。そして、その中の基準エリア、すなわち、撮影手段の設置パラメータ（設置高さ及び俯角等）に基づいて正確な３次元距離データを算出できるエリア、例えば、地面や床面について３次元距離データを算出する。

次に、基準エリアの３次元距離データに基づいて他の構造種別エリアの３次元距離データを設定していく。例えば、基準エリアに隣接する構造種別エリアについては、その境界線の３次元距離データが算出されているので、その構造種別エリアの構造物の形状によって距離が設定できる。

塀や壁などの垂直構造物の場合には、基準エリアとの境界線の距離データをそのまま構造種別エリアの３次元距離データとして設定することができる。また、段差等の水平構造物の場合には、段差の高さを設定すれば、段差の上面の３次元距離データは撮影手段の設置パラメータから算出することができる。階段やスロープといった傾斜構造物についてもその上下の境界線の３次元距離データから内挿補間演算処理により３次元距離データを設定することができる。

こうして基準エリアの３次元距離データに基づいて隣接する構造種別エリアから順次３次元距離データを設定していき、背景画像全体の構造物に対応した３次元距離データを得ることができる。

そして、撮影手段の撮影した映像データから抽出された異物画像データとその異物画像の下端の２次元座標に対応する３次元距離データから動物体のサイズを算出して監視対象物体であるか否か判別するようにしているので、動物体に対して３次元距離データに基づいた正確な判定を行うことができる。

以下、本発明に係る実施形態について詳しく説明する。なお、以下に説明する実施形態は、本発明を実施するにあたって好ましい具体例であるから、技術的に種々の限定がなされているが、本発明は、以下の説明において特に本発明を限定する旨明記されていない限り、これらの形態に限定されるものではない。

図１は、本発明に係る実施形態に関する概略ブロック構成図である。装置本体１には、監視領域の撮影手段である監視カメラ２、監視映像等を表示するモニタ３、操作に必要な情報を入力するための入力装置４、監視対象物体が判別された際に報知する警報装置５が接続されている。

装置本体１には、装置全体の制御に関する情報処理を行う制御部１０、撮影された映像の画像処理を行う画像処理部１１、監視カメラ２が撮影した映像から照明のゆらぎ等のノイズを除去して監視領域の映像を取得する映像取得部１２、画像処理部１１から出力される入力画像１３ａ、処理画像１３ｂ及び背景画像１３ｃ等を記憶する画像メモリ１３、制御処理に必要なプログラム、後述する距離テーブル１４ａ、構造種別エリアに関するエリア種別データ１４ｂ、構造種別エリアの距離データ設定に用いる構造種別パラメータ１４ｃを記憶する記憶部１４、及びモニタ３等の外部装置との間でデータを送受信する入出力部１５を備えている。

制御部１０は、距離データ算出部１０ａ、構造種別エリア距離データ設定部１０ｂ、動物体サイズ算出部１０ｃ及び判別部１０ｄを備えており、画像処理部１１は、構造種別エリア表示処理部１１ａ及び異物画像処理部１１ｂを備えている。

背景画像１３ｃは、監視装置を設置した際に監視領域に動物体のない状態で監視カメラ２により撮影した画像を背景画像として記憶しておく。

距離データ算出部１０ａは、設置した監視カメラ２の設置パラメータ（設置高さ、俯角及び監視カメラ２のレンズの焦点距離）に基づいて基準エリアとして選択されたエリアの２次元座標に対応した３次元距離データを算出する。例えば、図６に示すように、監視カメラ２の設置高さＨ、俯角θ及びレンズの焦点距離ｆとすると、監視カメラ２から人物Ｓまでの水平距離Ｌは、以下の式より算出される。
Ｌ＝Ｈ×（ｆｃｏｓθ＋ｙｓｉｎθ）／（ｆｓｉｎθ−ｙｃｏｓθ）
ここで、ｙは画面上でのｙ座標値である。したがって、３次元距離Ｌ’は、
Ｌ’＝√（Ｈ²＋Ｌ²）
により求められる。

この場合、３次元距離データを正確に算出できるのは水平面のみで構造物により高さが異なってくると算出できないので、基準エリアとしては、水平な床面や水平な地面を選択する必要がある。

構造種別エリアの設定は、構造種別エリア表示処理部１１ａで行われる。図３に、その処理フローを示す。まず、監視カメラ２より背景画像が取得されて（Ｓ１００）モニタ３に表示される（Ｓ１０１）。例えば、図２に示すような背景画像が取得されて表示されたとする。

次に、操作者がマウス等の入力装置を使用して背景画像領域を構造種別毎に画定していき（Ｓ１０２）、画定されたエリア毎にエリア種別データを入力していく（Ｓ１０３）。図２（ｂ）に示すように、基準エリアとなる床面Ａを画定して所定のエリア種別データａを入力する。また、同じ向きの垂直壁面Ｂ１からＢ４を画定してエリア種別データｂを入力する。同様に、垂直壁面Ｃ１からＣ３にはエリア種別データｃを、床面からずれた段差面Ｄ１及びＤ２にはエリア種別データｄを、傾斜構造物である階段やスロープであるＥ１からＥ３にはエリア種別データｅを入力する。階段のような複雑な構造物に対しては全体からみた傾斜面で画定するようにすればよい。エリア種別データが入力されたエリアは所定のカラー表示が行われてエリア設定されたことが表示される。

こうして背景画像を構造種別エリアに分けてそれぞれにエリア種別データを入力し、設定漏れがないかチェックして（Ｓ１０４）入力されたエリア種別データを記憶部１４に記憶する。

構造種別エリア距離データ設定部１０ｂは、基準エリアで算出された３次元距離データに基づいて構造種別エリア毎にエリア種別データに対応して構造種別パラメータを設定し３次元距離データを設定する。そして、作成された３次元距離データを背景画像の２次元座標と関連付けた距離テーブル１４ａを作成し、記憶部１４に記憶する。

構造種別パラメータは、エリア種別データ毎にその距離データの設定方法に必要なもので、例えば、図７（ａ）に示すように、垂直壁面Ｂ，Ｃの場合には、床面との境界線の３次元距離データＬ1’を用いて３次元距離データＬ2’を設定することができる。床面を基準エリアに選択するとそのエリア内については３次元距離データが算出されるため、床面との境界線についても３次元距離データＬ1’を得ることができ、３次元距離データＬ1’における１画素単位の実際の高さが求められる。したがって、垂直壁面エリア内の２次元座標に対応した境界線からの高さの画素数から垂直壁面内の高さＨ’を求め、垂直壁面内の高さＨ’をパラメータとして３次元距離データＬ2’を以下のように設定する。
Ｌ2’＝√｛（Ｈ−Ｈ’）²＋Ｌ²｝

また、図７（ｂ）に示すように、段差部Ｄの場合には、床面との境界線の３次元距離データＬ1’を用い、段差部の高さＨ’をパラメータとして段差部Ｄの上面エリア内の２次元座標に対応した３次元距離データＬ2’を以下のように設定する。なお、段差部Ｄの高さＨ’は、３次元距離データＬ1’における１画素単位の実際の高さに基づいて高さＨ’に対応する画素数から求められる。
Ｌ2＝（Ｈ−Ｈ’）×（ｆｃｏｓθ＋ｙｓｉｎθ）／（ｆｓｉｎθ−ｙｃｏｓθ）
Ｌ2’＝√｛（Ｈ−Ｈ’）²＋Ｌ2²｝

また、図７（ｃ）に示すように、傾斜面Ｅの場合には、その下端の境界線の３次元距離データＬ1’及びその上端の境界線の３次元距離データＬ2’が隣接するエリアで設定されていれば、傾斜面を平面と仮定して３次元距離データＬ1’及びＬ2’の内挿補間演算処理により傾斜面Ｅの３次元距離データＬ3’を設定することができる。この場合、上端及び下端だけでなく両側端のデータを用いて内挿補間演算処理により設定するようにすることもできる。このように傾斜面では境界線の３次元距離データをパラメータとして設定される。

図４は、距離データ算出処理に関するフローである。まず、監視カメラ２の設置パラメータ（設置高さＨ、俯角θ、レンズ焦点距離ｆ）を入力する（Ｓ２００）。そして、背景画像を表示し（Ｓ２０１）それに対応して画定した構造種別エリアを表示する（Ｓ２０２）。

そして、表示された構造種別エリアの中から基準エリアを選択して（Ｓ２０３）基準エリア内の３次元距離データが算出される（Ｓ２０４）。３次元距離データの算出方法は、上述したとおりである。

基準エリアの３次元距離データの算出後、基準エリアに隣接する構造種別エリアを選択し（Ｓ２０５）、それに対応するエリア種別データが読み出される（Ｓ２０６）。そして、読み出されたエリア種別データに基づいて３次元距離データの設定に必要な構造種別パラメータの設定が行われる（Ｓ２０７）。例えば、図２において基準エリアとして床面Ａが選択された場合、垂直壁面Ｂ１やＢ３は基準エリアＡに隣接しているため、エリア内の高さをパラメータとして設定すれば、エリア内の３次元距離データが設定できる。また、基準エリアＡに隣接していない段差Ｄや傾斜構造物Ｅについては、隣接する境界線の３次元距離データが揃わないと算出できないため、距離データが設定可能かチェックする（Ｓ２０８）。そして、設定可能な場合にはエリア内の２次元座標に対応する３次元距離データの設定を行い（Ｓ２０９）、ステップＳ２０８で設定できないと判断された場合にはステップＳ２０５に戻り、外の構造種別エリアを選択する。

エリア内の３次元距離データが設定されると、設定されていない構造種別エリアがないかチェックし（Ｓ２１０）、すべてのエリアが設定されると、背景画像の２次元座標に関連付けて３次元距離データを記憶した距離テーブル１４ａが作成される（Ｓ２１１）。

動物体サイズ算出部１０ｃは、画像処理部１１の異物画像抽出部１１ｂで抽出されて画像メモリ１３に蓄積された異物画像データ及び記憶部１４に記憶された距離テーブル１４ａの距離データに基づいて動物体のサイズを算出する。そして、判別部１０ｄは、算出された動物体のサイズを記憶部１４に記憶された基準データと比較して監視対象物体であるか否か判別する。

図５は、動物体の判別処理に関するフローである。まず、監視カメラ２で撮影された映像が画像処理部１１で処理されて入力画像が得られる（Ｓ３００）。そして、異物画像抽出部１１ａで得られた入力画像１３ａが監視位置の背景画像１３ｃと照合されて差分画像が生成され（Ｓ３０１）、差分画像のデータに基づいて公知の方法により異物画像が含まれるかチェックされる（Ｓ３０２）。異物画像がないと判断された場合にはステップＳ３００に戻り、次の入力画像が取得される。

ステップＳ３０２において異物画像が含まれると判断された場合には、異物画像が抽出される（Ｓ３０３）。図８は、入力画像（図８（ａ））から抽出された動物体Ｓの異物画像（図８（ｂ））を示している。この例では、監視領域に入り込んだ侵入者Ｓが監視カメラ２により撮影されて背景画像と異なった画像が検出され異物画像として抽出されている。

次に、抽出された異物画像データに基づいてその下端に位置する画素Ｓｃの距離データを距離テーブル１４ａから読み出す（Ｓ３０４）。そして、異物画像データに基づいて算出された縦方向の画素数Ｓｈ及び横方向の画素数Ｓｗを読み出した３次元距離データで補正して動物体Ｓのサイズを算出する（Ｓ３０５）。図９は、動物体のサイズに関する算出方法を示す説明図である。読み出された３次元距離データＬ’から縦方向の１画素に対応する実際の長さが算出されるため、実際の長さに縦方向の画素数を掛けることで長さＳｈが求められる。そして、監視カメラ２の俯角θから動物体の垂直方向の長さＳＨは、
ＳＨ＝Ｓｈ／ｃｏｓθ
で近似的に算出される。横方向の長さについては、１画素に対応する実際の長さに横方向の画素数を掛けることで算出することができる。

こうして算出された動物体Ｓのサイズと予め設定された基準データを比較して監視対象物体か否か判別される（Ｓ３０６）。人の場合には縦方向に細長いサイズか否かで判別でき、自動車は横方向に長いサイズであり、猫や犬といった小動物は、縦横に小さいサイズとなるため、こうしたサイズデータを集めて統計的に平均的なデータを基準データとして設定しておけば、人の判別を正確かつ迅速に行うことができる。

以上説明した映像監視装置によれば、監視領域に壁面、段差、階段又はスロープといった構造物が存在しても背景画像の３次元距離データに正確に反映されるため、動物体のサイズを正確に算出することができる。また、壁面を伝って動物体が移動している場合でもその異物画像の下端に対応する距離データからサイズを算出することで、誤った判別をすることがなくなる。

そして、構造種別エリア毎に３次元距離データを設定することで、遠方の監視位置においても精度の高い３次元距離データを設定でき、より正確に動物体のサイズの算出を行うことが可能となる。

本発明に係る実施形態に関する概略ブロック構成図である。背景画面例（図２（ａ））及び構造種別エリアに画定した画面例を示す説明図である。構造種別エリア設定処理に関するフローである。距離データ算出処理に関するフローである。動物体の判別処理に関するフローである。３次元距離データの算出方法を示す説明図である。構造種別エリアの３次元距離データの設定方法を示す説明図である。入力画像及び異物画像を示す模式図である。動物体のサイズに関する算出方法を示す説明図である。

符号の説明

Ｓ・・・動物体、１・・・装置本体、２・・・監視カメラ、３・・・モニタ。

Claims

監視領域を撮影する撮影手段と、撮影手段により撮影された背景画像を構造物毎に画定した構造種別エリアの２次元座標に対応してエリア種別データを記憶するエリア記憶手段と、背景画像及び撮影手段の設置パラメータに基づいて構造種別エリアのうち基準エリアとして設定された水平な平面の２次元座標に対応する３次元距離データを算出する距離算出手段と、基準エリアに隣接する構造種別エリアとの境界線の３次元距離データ及び構造種別エリアのエリア種別データに基づいて構造種別エリアの２次元座標に対応する３次元距離データを算出して設定する距離設定手段と、背景画像の２次元座標に関連付けて３次元距離データを記憶する距離記憶手段と、撮影手段の撮影した映像データに基づいて動物体に関する異物画像を抽出処理する画像処理手段と、異物画像データ及び異物画像の下端の２次元座標に対応する３次元距離データに基づいて動物体のサイズを算出するサイズ算出手段を備えていることを特徴とする映像監視装置。
請求項１に記載された映像監視装置において、さらに前記算出された動物体のサイズに基づいて監視対象物体か否か判別する判別手段を備えていることを特徴とする映像監視装置。
請求項１に記載された映像監視装置において、前記距離設定手段は、基準エリアに隣接する構造種別エリアの境界線に関する基準エリアの３次元距離データと当該構造種別エリアのエリア種別データに基づいて当該構造種別エリアの２次元座標に対応する３次元距離データを算出する手段と、３次元距離データが算出された構造種別エリアに隣接する構造種別エリアの境界線に関する基準エリアの３次元距離データと当該構造種別エリアのエリア種別データに基づいて当該構造種別エリアの２次元座標に対応する３次元距離データを算出する手段とを備えていることを特徴とする映像監視装置。
撮影手段により撮影された背景画像を構造物毎に画定した構造種別エリアの２次元座標に対応してエリア種別データを記憶し、背景画像及び撮影手段の設置パラメータに基づいて構造種別エリアのうち基準エリアとして設定された水平な平面の２次元座標に対応する３次元距離データを算出し、基準エリアに隣接する構造種別エリアとの境界線の３次元距離データ及び構造種別エリアのエリア種別データに基づいて構造種別エリアの２次元座標に対応する３次元距離データを算出して設定し、背景画像の２次元座標に関連付けて３次元距離データを記憶し、撮影手段の撮影した映像データに基づいて動物体に関する異物画像を抽出処理し、異物画像データ及び異物画像の下端の２次元座標に対応する３次元距離データに基づいて動物体のサイズを算出し、算出された動物体のサイズに基づいて監視対象物体か否か判別することを特徴とする映像監視方法。