JP4873229B2

JP4873229B2 - 監視映像処理装置及び方法

Info

Publication number: JP4873229B2
Application number: JP2006101244A
Authority: JP
Inventors: 諒子豊田; 綾杉山
Original assignee: サクサ株式会社
Priority date: 2006-03-31
Filing date: 2006-03-31
Publication date: 2012-02-08
Anticipated expiration: 2026-03-31
Also published as: JP2007274655A

Description

本発明は、監視カメラ等の撮影手段を用いて異常状態を監視する映像監視装置の監視映像処理装置及び方法に関する。

こうした映像監視装置では、監視カメラ等で所定時間毎に撮影した映像をＣＲＴ等のモニタに表示して監視者が侵入者の有無を監視する。監視カメラを複数の場所に設置しておき、撮影した映像を監視センタ等で集中して表示すれば、複数の場所を同時に遠隔監視することが容易に行うことができる。

しかしながら、監視カメラの設置場所が増加してくると、道路等の公共のスペース以外に個人の住宅等が監視カメラの撮影領域に入ってくるようになってくる。個人の住宅を撮影することは、プライバシーの侵害となるため、監視画像に表示されないようにマスクする必要があるが、住宅街等のプライバシー領域が多い場所では監視カメラが撮影した画像の大部分がマスクされてしまい、映像による十分な監視が行えなくなる課題があった。

こうした課題に対して、特許文献１では、被監視者が携帯発信装置を保有し、カメラ部は携帯発信装置が発信する特定の電波を検出し、携帯発信装置の位置を示す情報と、携帯発信装置とカメラ部の距離を示す情報を計測するセンサ部を具備し、距離情報と位置情報から携帯発信装置の周辺にマスキング処理を行い、監視者が認識できないようにしてプライバシーを保護する点が記載されている。また、特許文献２では、監視対象を撮影するカメラの視野にプライバシー保護のため撮影禁止される場所が含まれるときに、撮影禁止場所を含むマスク領域を撮影画面上に設定し、マスク領域設定後の撮影時にマスク領域が含まれるときはマスク領域をプライバシー保護された画像に置換した置換監視画像を得るに際し、撮影するマスク領域の静止画像をメモリに記憶し、監視カメラの視野にマスク領域が含まれるか否かを角度比較手段により検出し、マスク領域が含まれるとして検出された場合は、マスク領域の画像をメモリに記憶した静止画像を画像置換手段によりに置換するようにして監視画像信号生成装置が記載されている。
特開２００５−２６９４８９号公報特開２００５−２４４５５０号公報

特許文献１では、被監視者についてはマスク処理がされるが、住宅内部等のプライバシー領域はマスク処理されず、撮影されてしまうことになる。また、特許文献２のように、プライバシー保護領域を静止画像で置換してしまうと、プライバシー保護領域に侵入した者の画像が静止画像に置換されることになって監視に支障が生じる可能性がある。

そこで、本発明は、監視画像のプライバシー領域をマスクすることが可能となるとともに監視エリアへの侵入者等の異物が表示された監視画像を生成することができる監視映像処理装置を提供することを目的とするものである。

請求項１に係る監視映像処理装置は、撮影手段により撮影された撮影画像のマスク領域を設定する設定手段と、撮影手段により撮影された映像データに基づいて動物体に関する異物を抽出する抽出処理手段と、抽出された異物を撮影画像から切り出し処理する切り出し処理手段と、設定されたマスク領域に基づいて切り出し処理された撮影画像をマスク処理するマスク処理手段と、マスク処理された撮影画像に切り出し処理された異物を貼付する監視画像生成手段と、異物の下端が監視エリア内に入っているか否かを判断する手段を備え、前記切り出し処理手段は、異物の下端が監視エリア内に入っているとき抽出された異物を撮影画像から切り出し処理することを特徴とする。
請求項２に係る監視映像処理装置は、請求項１に記載された監視映像処理装置において、前記切り出し処理手段は、マスク領域に異物の一部が入っている場合に、切り出し処理することを特徴とする。
請求項３に係る監視映像処理装置は、請求項１又は２に記載された監視映像処理装置において、前記異物に基づいて人物か否か判定する判定手段を備えており、人物と判定された異物を前記切り出し処理手段により切り出し処理することを特徴とする。

請求項４に係る監視映像処理方法は、撮影手段により撮影された撮影画像のマスク領域を設定し、撮影手段により撮影された映像データに基づいて動物体に関する異物を抽出し、異物の下端が監視エリアに入っているか否か判断し、入っていると判断したときは抽出された異物を撮影画像から切り出し処理し、設定されたマスク領域に基づいて切り出し処理された撮影画像をマスク処理し、マスク処理された撮影画像に切り出し処理された異物を貼付して監視画像を生成することを特徴とする。
なお、本発明では、「動物体」は、監視エリア内で移動する対象物を指し、「異物」は、監視エリアの映像データから抽出した「動物体」のデータをいう。

上記のような構成を有することで、撮影された映像データに基づいて動物体に関する異物を抽出して切り出し処理した後撮影画像のマスク処理をして切り出された異物を貼付しているので、マスク処理された撮影画像に監視対象となる動物体に関する画像が表示された監視画像を生成することができる。したがって、監視エリアに侵入した者の画像を確実に表示して監視することができるとともにプライバシー保護領域については予めマスク領域として設定しておけば、監視画像に表示されることがなくなる。

また、異物に基づいて人物か否か判定する判定手段を備え、人物と判定された異物を前記切り出し処理手段により切り出し処理することで、監視対象物体として重要となる人物を切り出し処理した監視画像を生成することができ、人物に対する監視を容易に行うことが可能となる。

以下、本発明に係る実施形態について詳しく説明する。なお、以下に説明する実施形態は、本発明を実施するにあたって好ましい具体例であるから、技術的に種々の限定がなされているが、本発明は、以下の説明において特に本発明を限定する旨明記されていない限り、これらの形態に限定されるものではない。

図１は、本発明に係る実施形態に関する概略ブロック構成図である。装置本体１には、監視エリアの撮影手段である監視カメラ２、監視映像等を表示するモニタ３、操作に必要な情報を入力するための入力装置４、監視対象物体が判別された際に報知する警報装置５が接続されている。

装置本体１には、装置全体の制御に関する情報処理を行う制御部１０、撮影された映像の画像処理を行う画像処理部１１、監視カメラ２が撮影した映像から照明のゆらぎ等のノイズを除去して監視エリアの映像を取得する映像取得部１２、画像処理部１１から出力される入力画像１３ａ、処理画像１３ｂ及び背景画像１３ｃ等を記憶する画像メモリ１３、制御処理に必要なプログラム、後述する距離テーブル１４ａ及び入力装置から入力された判別に用いる基準データ等の設定データ１４ｂを記憶する記憶部１４、及びモニタ３等の外部装置との間でデータを送受信する入出力部１５を備えている。

制御部１０は、距離データ算出部１０ａ、動物体サイズ算出部１０ｂ及び判定部１０ｃを備えており、画像処理部１１は、異物処理部１１ａ、静止画像処理部１１ｂ、マスク領域処理部１１ｃ及び監視画像生成部１１ｄを備えている。

距離データ算出部１０ａは、設置した監視カメラ２の設置パラメータ（設置高さ、俯角及び監視カメラ２のレンズの焦点距離）に基づいて撮影画像の２次元座標に対応した３次元距離データを公知の方法により算出する。なお、撮影画像の座標位置に対応する３次元距離データの算出方法としては、異なる位置から監視エリアを撮影したステレオ画像に基づいて算出するようにしてもよく、特に限定されない。

撮影画像の座標位置に対応して算出された３次元距離データに基づいて、３次元距離データを２次元座標と関連付けた距離テーブル１４ａを作成し、記憶部１４に記憶する。

動物体サイズ算出部１０ｂは、画像処理部１１の異物抽出部１１ａで抽出されて画像メモリ１３に蓄積された異物及び記憶部１４に記憶された距離テーブル１４ａの距離データに基づいて動物体のサイズを算出する。
判定部１０ｃは、異物の下端が監視エリアに入っているか否かの判断や、算出された動物体のサイズと記憶部１４に設定データ１４ｂとして記憶された基準データと比較して監視対象物体であるか否かの判別等を行う。

異物処理部１１ａは、予め作成された背景画像と入力画像の差分画像に基づいて動物体の画像を異物として抽出する機能、抽出された異物を切り出す機能といった異物の処理に関する機能を有する。なお、異物の抽出方法としては、フレーム間の差分画像に基づく公知の方法を用いてもよく、特に限定されない。

静止画像処理部１１ｂは、入力画像から静止画像を生成する機能、監視カメラ２の設置時に背景画像を作成する機能といった静止画像の処理に関する機能を有する。

マスク領域処理部１１ｃは、監視カメラ２の設置時等に撮影画像上でマスクする領域を設定する機能、設定されたマスク領域に基づいて入力画像のマスキング処理を行う機能といったマスク領域の処理に関する機能を有する。

監視画像生成部１１ｄは、マスキング処理された入力画像に切り出された異物を貼付して監視画像を生成する機能といった監視画像の生成に関する機能を有する。

図２は、マスク領域の設定処理に関するフローである。マスク領域は、例えば、監視カメラ２の設置時に撮影画像を見ながらプライバシーを保護する必要がある画像領域を設定する。まず、監視カメラ２で撮影された入力画像を取得し（Ｓ１００）、静止画像処理部１１ｂで入力画像から背景画像を生成する（Ｓ１０１）。そして、背景画像を見ながらマスク領域および監視エリアをマウス等の入力装置を用いて設定する（Ｓ１０２、Ｓ１０３）。マスク領域の設定データは、撮影画像上の２次元座標により設定されて記憶される。
なお、撮影画像でマスク領域を設定することで、設定したマスク領域外を全て監視エリアに、或いは、逆に、監視エリアを設定することで設定した監視エリア外を全てマスク領域に自動設定することもできる。

図３は、マスク領域を設定した画像例を示している。この例では、背景画像Ｐを画像に表示して個人住宅部分の画像領域をマスク領域Ｍ（点線で表示）に設定している。

図４は、監視画像処理に関するフローである。監視画像を処理する場合には、事前に、背景画像に基づいて上述したように画像の座標位置に対応した３次元距離データを算出して距離テーブル１４ａを作成し、記憶部１４に記憶しておく。

まず、監視カメラ２で撮影された映像が画像処理部１１で処理されて入力画像が得られる（Ｓ２００）。そして、異物抽出部１１ａで得られた入力画像１３ａが監視位置の背景画像１３ｃと照合されて差分画像が生成され（Ｓ２０１）、差分画像のデータに基づいて公知の方法により異物が含まれるかチェックされる（Ｓ２０２）。異物がないと判断された場合にはステップＳ２１２に進み、設定されたマスキング領域に基づいて入力画像をそのままマスキング処理する。

ステップＳ２０２において異物が含まれると判断された場合には、異物の下端が監視エリアに入っているか否か判断される（Ｓ２０３）、入っていると判断されたときは（Ｓ２０３、ＹＥＳ）、異物が抽出される（Ｓ２０４）。この場合、例えば、図３に示すような背景画像を記憶しておき、図５に示すような人物Ｓが映った入力画像が取得されると、異物として人物Ｓの画像データが異物として抽出される。そして、図６に示すように、異物の下端の座標ｙ、異物の領域の縦方向の画素数Ｓｈ及び横方向の画素数Ｓｗが求められる。
ステップＳ２０３で、異物の下端が監視エリアに入っていないと判断されたときは（２０３、ＮＯ）、ステップＳ２１２に進み、設定されたマスキング領域に基づいて入力画像をそのままマスキング処理する。

次に、抽出された異物に基づいてその下端の座標ｙに基づいて距離データを距離テーブル１４ａから読み出す（Ｓ２０５）。そして、異物の領域の縦方向の画素数Ｓｈ及び横方向の画素数Ｓｗを、読み出した距離データで補正して人物Ｓのサイズを算出する（Ｓ２０６）。算出された人物Ｓのサイズと予め設定された基準データを比較して人物か否か判定される（Ｓ２０７）。人物の場合には縦方向に細長いサイズか否かで判別でき、自動車は横方向に長いサイズであり、猫や犬といった小動物は、縦横に小さいサイズとなるため、こうしたサイズデータを集めて統計的に平均的なデータを基準データとして設定しておけば、人物の判定を正確かつ迅速に行うことができる。

ステップＳ２０７において異物が人物でないと判定された場合には、ステップＳ２１１に進み、設定されたマスキング領域に基づいて入力画像をそのままマスキング処理する。

ステップＳ２０７において人物と判定された場合には判定された異物の切り出し処理が行われ（Ｓ２０８）、図７に示すように、人物Ｓの画像が切り出される。そして、異物が切り出された後の入力画像についてマスキング処理が行われる（Ｓ２０９）。マスキング処理は、監視カメラ２の設置時に設定したマスク領域Ｍに基づいて処理される。図８に示すように、設定されたマスク領域Ｍの部分は画像がマスクされ、非設定領域Ｎのみが表示可能となる。

次に、マスキング処理された入力画像にステップＳ２０８で切り出した人物Ｓに関する異物が貼付される（Ｓ２１０）。図９に示すように、人物Ｓに関する異物は画像上の元の位置に戻されるため、マスク領域にかかる部分についても異物が表示可能となる。こうして監視画像が生成されて、モニタ３に表示される（Ｓ２１１）。また、ステップＳ２１２においてマスキング処理された入力画像についても監視画像としてモニタに表示される。そして、ステップＳ２００に戻り次の入力画像について同様に監視画像処理が行われる。
なお、以上の処理において、ステップ２０３を省略することもできる。この場合は、人物に関する異物画像があれば、常に異物画像の切り出し以下の処理（Ｓ２０８〜Ｓ２１１）を行う。

以上のように、プライバシーを保護すべき領域については、マスク領域を設定することで確実に監視画像で表示されないようにするとともに、人物等の動物体については異物として全体が監視画像に確実に表示されるようになり、プライバシーを配慮しつつこれまでと同様の監視を行うことが可能となる。

本発明に係る実施形態に関する概略ブロック構成図である。マスク領域の設定処理に関するフローである。マスク領域を設定した画像例である。監視画像処理に関するフローである。入力画像の画像例である。異物に関する画像例である。切り出された異物を示す説明図である。マスキング処理された画像例である。生成された監視画像を示す画像例である。

符号の説明

Ｓ・・・動物体、１・・・装置本体、２・・・監視カメラ、３・・・モニタ。

Claims

撮影手段により撮影された撮影画像のマスク領域を設定する設定手段と、撮影手段により撮影された映像データに基づいて動物体に関する異物を抽出する抽出処理手段と、抽出された異物を撮影画像から切り出し処理する切り出し処理手段と、設定されたマスク領域に基づいて切り出し処理された撮影画像をマスク処理するマスク処理手段と、マスク処理された撮影画像に切り出し処理された異物を貼付する監視画像生成手段と、異物の下端が監視エリア内に入っているか否かを判断する手段を備え、
前記切り出し処理手段は、異物の下端が監視エリア内に入っているとき抽出された異物を撮影画像から切り出し処理することを特徴とする監視映像処理装置。
前記切り出し処理手段は、マスク領域に異物の一部が入っている場合に、切り出し処理することを特徴とする請求項１に記載された監視映像処理装置。
前記異物に基づいて人物か否か判定する判定手段を備えており、人物と判定された異物を前記切り出し処理手段により切り出し処理することを特徴とする請求項１又は２に記載された監視映像処理装置。
撮影手段により撮影された撮影画像のマスク領域を設定し、撮影手段により撮影された映像データに基づいて動物体に関する異物を抽出し、異物の下端が監視エリアに入っているか否か判断し、入っていると判断したときは抽出された異物を撮影画像から切り出し処理し、設定されたマスク領域に基づいて切り出し処理された撮影画像をマスク処理し、マスク処理された撮影画像に切り出し処理された異物を貼付して監視画像を生成することを特徴とする監視映像処理方法。