JP4828359B2 - 監視装置及び監視プログラム - Google Patents

Description

この発明は、例えば、公共施設などの構内に設置されている複数の監視カメラにより撮影された映像を収集して、構内の監視を行う監視装置及び監視プログラムに関するものである。

従来の典型的な監視装置では、監視対象領域（例えば、公共施設などの構内）に設置されているＮ台の監視カメラに対応するＮ台のテレビカメラモニタを一箇所（例えば、監視室）に集め、Ｎ台のテレビカメラモニタがＮ台の監視カメラにより撮影された映像を表示するようにしている。
したがって、監視要員がＮ台のテレビカメラモニタにより表示されている全ての映像を見ることにより、構内の監視を行うことになる。
しかし、従来の監視装置では、Ｎ台の監視カメラが設置されている位置関係が明確でないため、監視カメラの設置台数が多くなると、熟練の監視要員でなければ、或るテレビカメラモニタにより表示されている映像を見ることによって、監視対象物である侵入者を発見しても、その侵入者が構内のどの位置に存在しているかを直感的に把握することが困難である課題があった。

この課題を解決している監視装置として、以下の特許文献１に開示されている監視装置がある。
この監視装置では、例えば、車両などの特定の筐体の周囲に複数の監視カメラを配置し、特定の筐体を中心にして、複数の監視カメラにより撮影された映像をマッピングするようにしている。
複数の監視カメラにより撮影された映像のマッピング画像は、特定の筐体の周囲の状況を筐体の中心を基準にして表現しているため、特定の筐体の周囲に存在している侵入者の位置を直感的に把握することができる。

特開２００５−２６８８４７号公報（段落番号［０００５］、図３）

従来の監視装置は以上のように構成されているので、例えば、車両などの特定の筐体の周囲に複数の監視カメラを配置することができれば、特定の筐体の周囲の状況を筐体の中心を基準にして表現することができる。しかし、監視対象領域が車両などの特定の筐体ではなく、例えば、空港や発電所などの広範囲の領域である場合、複数の監視カメラが広く分散して配置されるため、複数の監視カメラにより撮影された映像をマッピングすることが困難である。そのため、或る監視カメラの映像を見ることによって、侵入者を発見しても、その侵入者が構内のどの位置に存在しているかを直感的に把握することが困難である課題があった。

この発明は上記のような課題を解決するためになされたもので、例えば、空港や発電所など、広範囲の領域を監視する場合でも、侵入者が構内のどの位置に存在しているかを直感的に把握することができる監視装置及び監視プログラムを得ることを目的とする。

この発明に係る監視装置は、監視対象領域に分散して設置されている少なくとも２台以上の監視カメラにより撮影された映像の中から監視対象物が存在している領域を抽出する領域抽出手段と、その領域抽出手段により抽出された領域に対応する仮想３次元空間モデル内の３次元位置を特定し、仮想３次元空間モデル内の３次元位置に上記領域の映像をマッピングするマッピング手段とを設け、マッピング手段により映像がマッピングされた仮想３次元空間モデルの画像を生成するようにしたものである。

この発明によれば、監視対象領域に分散して設置されている少なくとも２台以上の監視カメラにより撮影された映像の中から監視対象物が存在している領域を抽出する領域抽出手段と、その領域抽出手段により抽出された領域に対応する仮想３次元空間モデル内の３次元位置を特定し、仮想３次元空間モデル内の３次元位置に上記領域の映像をマッピングするマッピング手段とを設け、マッピング手段により映像がマッピングされた仮想３次元空間モデルの画像を生成するように構成したので、例えば、空港や発電所など、広範囲の領域を監視する場合でも、監視対象物が構内のどの位置に存在しているかを直感的に把握することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１による監視装置を示す構成図であり、図において、監視カメラ１−１〜１−Ｎは例えば空港や発電所などの監視対象領域に広く分散して設置されており、その監視対象領域における所定の領域を撮影する。
ネットワーク２は例えばＬＡＮなどの構内ネットワークであり、監視カメラ１−１〜１−Ｎや監視装置３が接続されている。

監視装置３はＮ台の監視カメラ１−１〜１−Ｎにより撮影された映像を収集して、構内の監視を行う装置である。
監視装置３のネットワークＩ／Ｆ部１１はネットワーク２に対するインタフェース処理を実施する。
監視装置３の映像収集処理部１２は例えばデータ受信器などから構成されており、ネットワークＩ／Ｆ部１１を介して、監視カメラ１−１〜１−Ｎにより撮影された映像を収集する処理を実施する。
なお、ネットワークＩ／Ｆ部１１及び映像収集処理部１２から映像収集手段が構成されている。

監視装置３の領域抽出処理部１３は例えばＭＰＵを実装している半導体集積回路や映像収集処理部１２により収集された映像を一時的に格納するバッファメモリなどから構成されており、映像収集処理部１２により収集された映像の中に侵入者（監視対象物）が写っている場合、その映像の中から侵入者が存在している領域を抽出する処理を実施する。なお、領域抽出処理部１３は領域抽出手段を構成している。
監視装置３の空間モデル記憶部１４は監視対象領域の３次元空間を仮想的に表現している仮想３次元空間モデル（例えば、監視対象領域に存在する建物等を模しているポリゴンなどの３次元モデルデータ）を記憶しているハードディスクなどのメモリ装置である。なお、空間モデル記憶部１４は空間モデル記憶手段を構成している。

監視装置３の３次元位置特定処理部１５は例えばＭＰＵを実装している半導体集積回路などから構成されており、領域抽出処理部１３により抽出された領域に対応する仮想３次元空間モデル内の３次元位置を特定する処理を実施する。
監視装置３のマッピング処理部１６は例えばＭＰＵを実装している半導体集積回路などから構成されており、３次元位置特定処理部１５により特定された仮想３次元空間モデル内の３次元位置に、領域抽出処理部１３により抽出された領域の画像をマッピングする処理を実施する。
ただし、マッピング処理部１６は同一の侵入者が写っている映像が複数存在している場合、同一の侵入者を撮影している複数の監視カメラ１のうち、仮想３次元空間モデル内に定義されている視点から最も近い位置に設置されている監視カメラ１により撮影された映像を仮想３次元空間モデル内にマッピングする。
なお、３次元位置特定処理部１５及びマッピング処理部１６からマッピング手段が構成されている。

監視装置３の仮想空間画像生成処理部１７は例えばＧＰＵなどのグラフィックスプロセッサを実装している半導体集積回路などから構成されており、マッピング処理部１６により映像がマッピングされた仮想３次元空間モデルの画像を生成する処理を実施する。
即ち、仮想空間画像生成処理部１７は仮想３次元空間モデル内に定義されている視点から見える仮想３次元空間モデルの透視投影画像を生成する処理を実施する。なお、仮想空間画像生成処理部１７は画像生成手段を構成している。
表示装置４は例えば液晶ディスプレイなどの表示機器であり、監視装置３の仮想空間画像生成処理部１７により生成された透視投影画像を表示する処理を実施する。

図１の例では、監視装置３の構成要素であるネットワークＩ／Ｆ部１１、映像収集処理部１２、領域抽出処理部１３、３次元位置特定処理部１５、マッピング処理部１６及び仮想空間画像生成処理部１７が専用のハードウェアで構成されているものを想定しているが、監視装置３がコンピュータ（計算機）で構成されている場合、図２に示すように、予め、監視装置３の構成要素であるネットワークＩ／Ｆ部１１、映像収集処理部１２、領域抽出処理部１３、３次元位置特定処理部１５、マッピング処理部１６及び仮想空間画像生成処理部１７の処理内容を記述している監視プログラム（映像収集処理プログラム、領域抽出処理プログラム、３次元位置特定処理プログラム、マッピング処理プログラム、仮想空間画像生成処理プログラム）を当該コンピュータのメモリに記憶するとともに、仮想３次元空間モデルを当該コンピュータのハードディスクなどのメモリに記憶して、当該コンピュータのＣＰＵが当該メモリに記憶されている監視プログラムを実行するようにしてもよい。
図３はこの発明の実施の形態１による監視装置の処理内容を示すフローチャートである。

次に動作について説明する。
この実施の形態１では、図４に示すように、監視対象領域に建物Ａ、建物Ｂ及び建物Ｃが存在しており、建物Ａ、建物Ｂ及び建物Ｃを模しているポリゴンなどの３次元モデルデータ（図５を参照）が仮想３次元空間モデルとして監視装置３の空間モデル記憶部１４に記憶されているものとする。
また、監視対象領域には、図４に示すように、３つの監視カメラ１−１，１−２，１−３が分散して設置されているものとする。

なお、図６は侵入者（監視対象物）が監視対象領域に存在していないとき、監視カメラ１−１〜１−３により撮影された映像を示す説明図であり、特に（ａ）は監視カメラ１−１により撮影された映像、（ｂ）は監視カメラ１−２により撮影された映像、（ｃ）は監視カメラ１−３により撮影された映像である。
また、図７は侵入者（監視対象物）が監視対象領域に存在しているとき、監視カメラ１−１〜１−３により撮影された映像を示す説明図であり、特に（ａ）は監視カメラ１−１により撮影された映像、（ｂ）は監視カメラ１−２により撮影された映像、（ｃ）は監視カメラ１−３により撮影された映像である。

監視装置３の映像収集処理部１２は、構内の監視を開始する前に、侵入者が監視対象領域に存在していない状態で、監視カメラ１−１〜１−３により撮影された映像（図６（ａ）〜（ｃ）の映像）をネットワークＩ／Ｆ部１１経由で収集し、それらの映像を領域抽出処理部１３のバッファメモリに格納する。
以下、侵入者が監視対象領域に存在していない状態で、監視カメラ１−１〜１−３により撮影された映像（図６（ａ）〜（ｃ）の映像）を「背景映像」と称する。
監視装置３の映像収集処理部１２は、構内の監視を開始すると、ネットワークＩ／Ｆ部１１経由で、監視カメラ１−１〜１−３により撮影された映像を収集する（ステップＳＴ１）。
映像収集処理部１２が映像を収集するに際して、映像収集処理部１２が映像の送信指令を監視カメラ１−１〜１−３に出力することによって、監視カメラ１−１〜１−３から映像が送信されるようにしてもよいし、監視カメラ１−１〜１−３から定期的に送信される映像を受信するようにしてもよい。
監視装置３の映像収集処理部１２は、監視カメラ１−１〜１−３により撮影された映像（図７（ａ）〜（ｃ）の映像）を収集すると、それらの映像を領域抽出処理部１３に出力する。

監視装置３の領域抽出処理部１３は、映像収集処理部１２から監視カメラ１−１〜１−３により撮影された映像（図７（ａ）〜（ｃ）の映像）を受けると、その映像（図７（ａ）〜（ｃ）の映像）とバッファメモリに格納している背景映像（図６（ａ）〜（ｃ）の映像）を比較して、監視カメラ１−１〜１−３により撮影された映像（図７（ａ）〜（ｃ）の映像）の中に写っている侵入者を検出し（ステップＳＴ２）、その映像の中から侵入者が存在している領域を抽出する（ステップＳＴ３）。
図８は領域抽出処理部１３における領域抽出処理の手順を示す説明図である。以下、図８を参照して、侵入者が存在している領域の抽出処理を具体的に説明する。

領域抽出処理部１３は、事前に背景映像（図６（ａ）〜（ｃ）の映像）をバッファメモリに格納したのち（処理手順（１））、映像収集処理部１２から監視カメラ１−１〜１−３により撮影された映像（図７（ａ）〜（ｃ）の映像）を受けると（抽出手順（２））、バッファメモリに格納されている背景映像（図６（ａ）〜（ｃ）の映像）と、映像収集処理部１２から出力された映像（図７（ａ）〜（ｃ）の映像）とを比較して、不一致画素を抽出する（抽出手順（３））。

領域抽出処理部１３は、不一致画素を抽出すると、不一致画素に対するノイズ除去処理を実施して（抽出手順（４））、不一致画素が固まっている画素集合領域にラベル付けを実施する（抽出手順（５））。
図８の例では、侵入者が３人存在しており、３人とそれぞれの影とを合わせて６つの画素集合領域が存在するので、３つの画素集合領域にラベル付けを実施する。
領域抽出処理部１３は、画素集合領域にラベル付けを実施すると、例えば、画素集合領域の大きさが最大基準値以上である場合や、画素集合領域の大きさが最小基準値以下である場合、人間でない可能性が高いため、画素集合領域の大きさが最大基準値以上であるなどの場合には、その画素集合領域を侵入者が存在している領域の候補から除外し、残った画素集合領域を侵入者が存在している領域とする（抽出手順（６））。

監視装置３の３次元位置特定処理部１５は、領域抽出処理部１３から侵入者が存在している領域の映像を受けると、空間モデル記憶部１４から仮想３次元空間モデルを読み込み、図９に示すように、侵入者が存在している領域に対応する仮想３次元空間モデル内の３次元位置を特定する（ステップＳＴ４）。
仮想３次元空間モデル内の３次元位置の特定処理は、例えば、以下のように実施する。

３次元位置特定処理部１５は、監視カメラ１−１〜１−３の設置位置と設置方向が既知である場合（図１０を参照）、監視カメラ１−１〜１−３の映像の中心線から侵入者が存在している領域までの距離を求め、その距離から監視カメラ１−１〜１−３の設置方向を基準とする侵入者の存在方向α、β、γを求める。
３次元位置特定処理部１５は、監視カメラ１−１〜１−３の設置方向を基準とする侵入者の存在方向α、β、γを求めると、侵入者の存在方向α、β、γに基づいて幾何学的計算を実施することにより、侵入者が存在している領域に対応する仮想３次元空間モデル内の３次元位置を特定する。

監視装置３のマッピング処理部１６は、３次元位置特定処理部１５が、侵入者が存在している領域に対応する仮想３次元空間モデル内の３次元位置を特定すると、図１１に示すように、その仮想３次元空間モデル内の３次元位置に、仮想パネル（投影用ポリゴン）を配置する（ステップＳＴ５）。
ただし、１つの監視カメラ１により撮影された映像だけでなく、複数の監視カメラ１−１〜１−３により撮影された映像に侵入者が写っている場合には（図７を参照）、仮想３次元空間モデル内に定義されている視点から最も近い位置に設置されている監視カメラ１に正面が向くように仮想パネル（投影用ポリゴン）を配置する。
図９の例では、視点が建物Ｂの手前の位置に定義されており、監視カメラ１−１〜１−３の中で、監視カメラ１−２の設置位置が視点に最も近いので、正面が監視カメラ１−２を向くように仮想パネルを配置する。

マッピング処理部１６は、仮想パネルを仮想３次元空間モデル内に配置すると、図１２に示すように、仮想３次元空間モデル内に定義されている視点から最も近い位置に設置されている監視カメラ１により撮影された映像を仮想パネルにマッピングする（ステップＳＴ６）。
図９の例では、監視カメラ１−２の設置位置が視点に最も近いので、監視カメラ１−２により撮影された映像を仮想パネルにマッピングする。

監視装置３の仮想空間画像生成処理部１７は、マッピング処理部１６が監視カメラ１により撮影された映像を仮想パネルにマッピングすると、映像がマッピングされた仮想３次元空間モデルの画像を生成する（ステップＳＴ７）。
即ち、仮想空間画像生成処理部１７は、図１３に示すように、仮想３次元空間モデル内に定義されている視点から見える仮想３次元空間モデルの透視投影画像を生成する。透視投影画像の生成処理は、例えば、ＯｐｅｎＧＬなど、広く普及している３次元グラフィクスソフトウェアライブラリを使用することにより実施することができる。
表示装置４は、監視装置３の仮想空間画像生成処理部１７が仮想３次元空間モデルの透視投影画像を生成すると、その透視投影画像を表示する（ステップＳＴ８）。

以上で明らかなように、この実施の形態１によれば、監視対象領域に分散して設置されている少なくとも２台以上の監視カメラ１−１〜１−３により撮影された映像の中から侵入者が存在している領域を抽出する領域抽出処理部１３と、領域抽出処理部１３により抽出された領域に対応する仮想３次元空間モデル内の３次元位置を特定する３次元位置特定処理部１５と、３次元位置特定処理部１５により特定された仮想３次元空間モデル内の３次元位置に領域抽出処理部１３により抽出された領域の映像をマッピングするマッピング処理部１６とを設け、マッピング処理部１６により映像がマッピングされた仮想３次元空間モデルの画像を生成するように構成したので、例えば、空港や発電所など、広範囲の領域を監視する場合でも、侵入者が構内のどの位置に存在しているかを直感的に把握することができる効果を奏する。

また、この実施の形態１によれば、少なくとも２台以上の監視カメラカメラ１−１〜１−３のうち、仮想３次元空間モデル内に定義されている視点から最も近い位置に設置されている監視カメラ１−２により撮影された映像の中から抽出された領域の映像を仮想３次元空間モデル内にマッピングするように構成したので、視点から見える仮想３次元空間モデルの透視投影画像を正確に生成することができるようになる効果がある。

また、この実施の形態１によれば、仮想３次元空間モデル内に定義されている視点から見える仮想３次元空間モデルの透視投影画像を生成するように構成したので、表示装置４には常に視点から見える仮想３次元空間モデルの透視投影画像が表示されるようになり、その結果、侵入者が存在している位置を直感的に把握することができる効果を奏する。

なお、この実施の形態１では、構内の侵入者が１名であるものについて示したが、構内の侵入者が２名以上であっても、同様の処理を実施することにより、２名以上の侵入者が写っている透視投影画像を表示することができる。
また、この実施の形態１では、監視対象物が構内の侵入者であるものについて示したが、監視対象物が構内の侵入者であるものに限るものではなく、例えば、車両や組み立てラインの部品など、人間以外の物体を監視対象物にしてもよい。

実施の形態２．
上記実施の形態１では、監視装置３の領域抽出処理部１３が図８の領域抽出処理手順にしたがって侵入者が存在している領域を抽出するものについて示したが、他の方法で侵入者が存在している領域を抽出するようにしてもよい。
例えば、領域抽出処理部１３が赤外線カメラを用いて観測対象領域の温度分布を観測し、他の領域と比べて温度分布が高い領域に侵入者が存在するものとして、当該領域を抽出するようにしてもよい。
また、領域抽出処理部１３が観測対象領域の地面に設置されている信号ケーブルの波形を観測し、その信号ケーブルの波形が変化している領域に侵入者が存在するものとして、当該領域を抽出するようにしてもよい。

実施の形態３．
上記実施の形態１では、監視装置３の３次元位置特定処理部１５が幾何学的計算を実施して、侵入者が存在している領域に対応する仮想３次元空間モデル内の３次元位置を特定するものについて示したが、他の方法で仮想３次元空間モデル内の３次元位置を特定するようにしてもよい。
例えば、３次元位置特定処理部１５がレーザーセンサーや地面に設置されている信号ケーブルの波形変化などから、侵入者が存在している領域に対応する仮想３次元空間モデル内の３次元位置を特定するようにしてもよい。

この発明の実施の形態１による監視装置を示す構成図である。 この発明の実施の形態１による監視装置を示す構成図である。 この発明の実施の形態１による監視装置の処理内容を示すフローチャートである。 監視対象領域に存在している建物と、監視対象領域に分散して設置されている監視カメラとを示す説明図である。 監視対象領域に存在している建物のポリゴン（仮想３次元空間モデル）を示す説明図である。 侵入者（監視対象物）が監視対象領域に存在していないとき、監視カメラ１−１〜１−３により撮影された映像を示す説明図である。 侵入者（監視対象物）が監視対象領域に存在しているとき、監視カメラ１−１〜１−３により撮影された映像を示す説明図である。 領域抽出処理部１３における領域抽出処理の手順を示す説明図である。 仮想３次元空間モデルにおける侵入者の存在領域を示す説明図である。 ３次元位置特定処理部１５における３次元位置の特定処理を説明する説明図である。 仮想３次元空間モデルに対する仮想パネルの配置を示す説明図である。 仮想パネルに対する映像のマッピングを示す説明図である。 仮想３次元空間モデルの透視投影画像を示す説明図である。

符号の説明

１−１〜１−Ｎ 監視カメラ、２ ネットワーク、３ 監視装置、４ 表示装置、１１ ネットワークＩ／Ｆ部（映像収集手段）、１２ 映像収集処理部（映像収集手段）、１３ 領域抽出処理部（領域抽出手段）、１４ 空間モデル記憶部（空間モデル記憶手段）、１５ ３次元位置特定処理部（マッピング手段）、１６ マッピング処理部（マッピング手段）、１７ 仮想空間画像生成処理部（画像生成手段）。

Claims (4)

1. 監視対象領域に分散して設置されている少なくとも２台以上の監視カメラにより撮影された映像を収集する映像収集手段と、上記映像収集手段により収集された映像の中から監視対象物が存在している領域を抽出する領域抽出手段と、上記監視対象領域の３次元空間を仮想的に表現している仮想３次元空間モデルを記憶している空間モデル記憶手段と、上記領域抽出手段により抽出された領域に対応する上記仮想３次元空間モデル内の３次元位置を特定し、上記仮想３次元空間モデル内の３次元位置に上記領域の映像をマッピングするマッピング手段と、上記マッピング手段により映像がマッピングされた仮想３次元空間モデルの画像を生成する画像生成手段とを備えた監視装置。
2. マッピング手段は、少なくとも２台以上の監視カメラのうち、仮想３次元空間モデル内に定義されている視点から最も近い位置に設置されている監視カメラにより撮影された映像の中から抽出された領域の映像を仮想３次元空間モデル内にマッピングすることを特徴とする請求項１記載の監視装置。
3. 画像生成手段は、仮想３次元空間モデル内に定義されている視点から見える仮想３次元空間モデルの透視投影画像を生成することを特徴とする請求項１または請求項２記載の監視装置。
4. 監視対象領域に分散して設置されている少なくとも２台以上の監視カメラにより撮影された映像を収集する映像収集処理手順と、上記映像収集処理手順により収集された映像の中から監視対象物が存在している領域を抽出する領域抽出処理手順と、メモリから上記監視対象領域の３次元空間を仮想的に表現している仮想３次元空間モデルを読み込み、上記領域抽出処理手順により抽出された領域に対応する上記仮想３次元空間モデル内の３次元位置を特定し、上記仮想３次元空間モデル内の３次元位置に上記領域の映像をマッピングするマッピング処理手順と、上記マッピング処理手順により映像がマッピングされた仮想３次元空間モデルの画像を生成する画像生成処理手順とをコンピュータに実行させるための監視プログラム。

Images