JP5960470B2 - 画像監視装置 - Google Patents

Description

本発明は、複数の監視カメラによって撮像した監視場所の撮像画像を、監視者が目視にて監視する画像監視装置に関する。

近年、複数の監視カメラによって撮像した撮像画像を順次受信して、監視者の利用する監視端末に表示させることによって、監視場所の複数エリアにおける異常状態を集中的に監視する画像監視装置が利用されている。従来、このような複数の監視カメラを用いた画像監視装置では、監視端末のモニタ表示を複数の表示区画に分割し、各表示区画に複数の監視カメラによって撮像した撮像画像を個別に表示する技術が用いられていた（例えば、特許文献１）。

特開平０５−０６４２００号公報

しかし、近年のような監視カメラの設置台数の急激な増加に伴い、従来技術のような監視方法では、監視者が適切に異常状態を監視することが困難となっていた。すなわち、従来技術では、監視者が分割表示された全ての撮像画像を目視して異常状態か否かを判別しなければならないため、監視カメラの設置台数の増加に伴って監視者の監視負荷が増大するといった問題があった。そのため、複数の監視カメラからの撮像画像を全て表示するのではなく、当該撮像画像の中から特に注視しなければならない画像領域のみを抽出して、抽出した当該画像領域の監視場所における位置関係を把握できるよう集約表示することにより、効率的に監視したいといったニーズがあった。

そこで、本発明は、撮像画像から特に注視しなければならない画像領域を抽出し、監視場所を３次元仮想空間として表した場所モデル上に当該画像領域を集約表示することにより、上記ニーズを満たすことを目的とする。

上記した目的を達成するために、本願請求項１に係る画像監視装置は、
監視場所の撮像画像を順次取得する撮像部と、前記監視場所を３次元の仮想空間として表現した場所モデルと、前記撮像部の設置位置、光軸及び画角を前記仮想空間に対応付けた撮像条件情報と、前記仮想空間における仮想カメラの位置、光軸及び画角からなる仮想視点情報とを記憶した記憶部と、前記撮像画像から抽出した変化領域を前記場所モデル上に配置して前記仮想カメラから該場所モデルを撮像した仮想監視画像を出力する画像処理部と、前記仮想監視画像を表示する表示部とを備えた画像監視装置であって、
前記画像処理部は、前記場所モデルと前記撮像条件情報と前記変化領域の撮像画像上の位置及び大きさとを用いて、前記仮想空間における該変化領域の位置である仮想空間位置を求め、該仮想空間位置における該変化領域の大きさに相当するオブジェクトに該変化領域を投影した変化領域オブジェクトを生成するオブジェクト生成手段と、前記変化領域の中から所定の画像特徴を有する変化領域を注目変化領域として検出し、該注目変化領域の前記仮想空間位置から所定範囲内にある変化領域を表示変化領域として設定する表示変化領域設定手段と、前記表示変化領域に対応する前記変化領域オブジェクトを前記場所モデル上の前記仮想空間位置に配置し、該場所モデルと前記仮想視点情報とを用いて前記仮想監視画像を生成して前記表示部に出力する仮想監視画像生成手段と、を有することを特徴としている。

かかる構成により、本発明の画像処理部は、監視場所に設置された複数の撮像部から取得した撮像画像から背景差分等の従来技術を用いて変化領域を抽出する。そして、本発明のオブジェクト生成手段は、抽出された各変化領域の仮想空間内における位置（仮想空間位置）を求める。また、オブジェクト生成手段は、仮想空間位置における該変化領域の大きさに相当するオブジェクト（例えば、板状オブジェクト）を求め、当該オブジェクトに変化領域を投影（例えば、板状オブジェクトの表面に変化領域をテクスチャマッピングする）した変化領域オブジェクトを求める。そして、本発明の表示変化領域設定手段は、抽出した各変化領域の中から予め設定した画像特徴との比較に基づいて監視者が注目すべき変化領域（注目変化領域）を検出する。また、表示変化領域設定手段は、検出した注目変化領域の仮想空間位置から仮想空間内において予め定めた距離範囲（以下、「近傍領域」という）内にある変化領域を表示変化領域として設定する。そして、本発明の仮想監視画像生成手段は、各表示変化領域に対応する変化領域オブジェクトを、仮想空間内（場所モデル上）の対応する仮想空間位置に配置する。また、仮想監視画像生成手段は、変化領域オブジェクトが配置された場所モデルを仮想視点情報を用いて３次元コンピュータグラフィックスのレンダリング処理することにより、仮想カメラから見たときの仮想的な監視画像である仮想監視画像を生成する。そして、本発明の表示部は、生成された仮想監視画像を表示出力する。

このように、本発明の画像監視装置は、注目変化領域から所定範囲内にある変化領域（表示変化領域）を、監視者が注視しなければならない画像領域として抽出して、一つの仮想監視画像内に集約表示することができる。したがって、監視者は表示部からの表示出力された仮想監視画像を目視にて監視することにより、監視場所内における異常状態を効率的に、かつ俯瞰的に監視することができるため、大規模なショッピングセンターなどといった多数の監視カメラが設置されている監視場所であっても、監視者の監視負荷を増大させることなく監視することができる。

本願請求項２に係る画像監視装置は、請求項１の画像監視装置において、
表示変化領域設定手段にて設定される前記表示変化領域は、予め定めた目標移動物体の画像特徴を有する前記変化領域とすることを特徴としている。

かかる構成により、本発明の表示変化領域設定手段は、注目変化領域の仮想空間位置から所定範囲内にある変化領域であって、予め定めた目標移動物体（例えば人物）の画像特徴を有する当該変化領域を表示変化領域として設定する。これにより、注目変化領域の仮想空間位置から所定範囲内にある変化領域であっても、目標移動物体とはみなされない変化領域については表示変化領域として設定されないことから、監視者の監視したい目標移動物体のみを抽出して、一つの仮想監視画像内に集約表示することができる。

本願請求項３に係る画像監視装置は、請求項１又は請求項２の画像監視装置において、
前記画像処理部は、前記表示変化領域設定手段にて検出した前記注目変化領域を前記仮想空間にて時間的に追跡し、該注目変化領域が出現位置から所定距離以上移動したとき、該注目変化領域の前記仮想空間位置から所定範囲内にある前記変化領域の画像特徴を追跡特徴量として前記記憶部に記憶する追跡特徴量記憶手段と、前記変化領域の画像特徴と前記追跡特徴量との比較に基づいて該変化領域を前記表示変化領域として設定する追跡領域設定手段と、を更に有する請求項１又は請求項２に記載の画像監視装置。

かかる構成により、本発明の追跡特徴量記憶手段は、表示変化領域設定手段にて検出した注目変化領域を仮想空間において時間的に追跡し、出現位置から所定距離以上移動した注目変化領域を検出する。そして、追跡特徴量記憶手段は、出現位置から所定距離移動した注目変化領域を検出したとき、当該注目変化領域の所定範囲内にある変化領域の画像特徴（追跡特徴量）を記憶部に記憶する。そして、本発明の追跡領域設定手段は、抽出された変化領域の画像特徴が、記憶部に記憶した追跡特徴量が同一又は類似しているとき、当該変化領域がたとえ近傍領域の範囲外であったとしても、表示変化領域として設定する。そして、本発明の仮想監視画像生成手段は、表示変化領域として設定された変化領域オブジェクトを、仮想空間内の対応する仮想空間位置に配置し、仮想カメラから見たときの仮想的な監視画像である仮想監視画像を生成する。そして、本発明の表示部は、生成された仮想監視画像を表示出力する。一般に、注目変化領域が移動した場合においては、移動した注目変化領域の周囲に存在する目標移動物体が、当該移動に関与している可能性が高い。そのため、このような移動に関与しうる目標移動物体については、近傍領域の内外に関わらず表示し続けることにより、当該目標移動物体を常に監視することが可能となる。

本発明に係る画像監視装置によれば、撮像画像から特に注視しなければならない画像領域を抽出して、仮想監視画像として集約表示することにより、監視者は、監視場所内における異常状態を効率的に、かつ俯瞰的に監視することができる。

画像監視装置の全体構成を示すブロック構成図 オブジェクト生成処理を説明する図 撮像画像と基準画像の例を表す図 表示変化領域設定処理を説明する図 変化領域オブジェクトが配置された場所モデルを表す図 仮想監視画像を現す図 画像監視装置による全体動作の処理手順を示すフローチャート 表示変化領域設定処理の具体的処理手順を示すフローチャート 他の実施形態における画像監視装置の全体構成を示すブロック構成図 追跡特徴量記憶処理の具体的処理手順を示すフローチャート

以下、建物内を監視場所とし、警備員等の監視者が当該監視場所を監視カメラにより撮像した撮像画像によって監視場所内における状態を監視する実施形態について、添付した図面を参照しながら詳細に説明する。

（第一の実施形態）
本発明に係る画像監視装置は、監視場所を撮像した撮像画像を順次取得し、この順次取得した撮像画像を画像処理して仮想カメラから見たときの監視画像（仮想監視画像）を生成して表示することにより、監視者が監視場所における状態を仮想視点から俯瞰的に監視できるようにするものである。特に、本実施形態は、複数の監視カメラからの撮像画像から監視者が注視すべき画像領域を抽出し、当該画像領域を場所モデル上に配置して、仮想監視画像を生成するよう画像処理する機能を含む画像監視装置を提供するものである。

（画像監視装置の全体構成について）
図１に示すように、本実施形態の画像監視装置１は、監視端末２、撮像装置３によって構成される。

撮像装置３は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品等を含んで構成される所謂監視カメラであり、本発明における撮像部として機能する。撮像装置３は、室内の壁の上部又は天井部に設置され、監視場所を俯瞰して撮像するよう設置される。撮像装置３は、監視場所を所定時間おきに撮像して撮像画像を監視端末２に順次送信する。撮像画像が撮像される時間間隔は、例えば１／５秒である。本実施形態では、監視場所内に複数台の撮像装置３が設置されていることとする。

監視端末２は、記憶部２１、画像処理部２２、通信部２３、表示部２４及び入力部２５を含んで概略構成される。通信部２３は、ＬＡＮやＵＳＢ等の通信インタフェースであり、撮像装置３と通信を行う。本実施形態では、複数の撮像装置３から送信された撮像画像を通信部２３を介して受信する。入力部２５は、キーボードやマウス、タッチパネル、可搬記憶媒体の読み取り装置等の情報入力デバイスである。監視者等は、入力部２５を用いて、例えば、それぞれの撮像装置３の設置位置等の様々な撮像条件に関する情報を設定したりすることができる。

記憶部２１は、ＲＯＭ、ＲＡＭ、ＨＤＤ等の情報記憶装置である。記憶部２１は、各種プログラムや各種データを記憶し、画像処理部２２との間でこれらの情報を入出力する。各種データには、場所モデル２１１、撮像条件情報２１２、仮想視点情報２１３、その他、画像処理部２２の処理に使用される各種情報（例えば、撮像装置３で取得するフレーム毎の撮像画像、抽出手段２２１で撮像画像から変化領域を抽出するために用いる基準画像や抽出閾値など）を記憶している。

場所モデル２１１は、監視場所に存在する現実世界の壁・床・柱、什器等の物体をモデル化することにより作成された３次元形状データを含む３次元の仮想空間を表した座標情報である。場所モデル２１１における３次元形状データは、監視場所の形状情報に基づいて３次元ＣＡＤで作成されたものでも良いし、３次元レーザースキャナー等により監視場所の３次元形状を取り込んだデータを利用しても良い。このようにして作成された場所モデル２１１は、監視者等により入力部２５から設定登録されることにより記憶部２１に記憶される。

撮像条件情報２１２は、現在時刻における撮像装置３の設置位置や光軸（姿勢）に関する設置条件情報と、焦点距離、画素数、画素サイズ、レンズ歪みに関する画角条件情報とからなり、撮像装置３毎に個別設定される。また、撮像条件情報２１２は、場所モデルの仮想空間における座標情報に対応付けられた値で設定されている。ここで、設置位置に関する設置条件情報とは、監視場所内（実空間）を３次元直交座標系として表し、実空間の直交座標系で座標が既知である基準点の座標値に基準点からの相対距離、方向を測定して補正する等の公知の技術を使用して算出した座標データとして表した情報である。また、光軸に関する設置条件情報とは、上記座標軸に対する撮像装置３の光軸の回転角度に関する情報であり、撮像装置３のいわゆるパン角度、チルト角度から求めることができる。撮像条件情報２１２は、初期設定時に監視者等によって入力部２５から設定登録されることにより記憶部２１に記憶される。

仮想視点情報２１３は、仮想空間における仮想カメラの位置、光軸及び画角からなる情報であり、入力部２５により監視者が指定操作することによって記憶部２１に記憶される。仮想視点情報２１３は、場所モデルの仮想空間における座標情報に対応付けられた値で設定されている。

画像処理部２２は、ＣＰＵ等を備えたコンピュータで構成され、撮像装置３からデジタル化された画像の入力を受け、後述する図７〜図８に示す一連の処理として、撮像画像読出処理、抽出処理、オブジェクト生成処理、表示変化領域設定処理、仮想監視画像生成処理、出力処理を実行するべく、抽出手段２２１、オブジェクト生成手段２２２、表示変化領域設定手段２２３、仮想監視画像生成手段２２４を含んでいる。

抽出手段２２１は、撮像装置３で取得された撮像画像の中から輝度変化のある領域を変化領域として抽出する抽出処理を行っている。本実施形態では、撮像装置３ごとに移動物体の存在しない過去の撮像画像を基準画像として予め記憶部２１に保存しておき、最新に取得した撮像画像と基準画像との輝度値の差分値が記憶部２１に記憶された所定の抽出閾値以上である領域を変化領域として抽出する。この際、基準画像として監視場所の背景の撮像画像や、過去に取得した撮像画像などを適宜選択して採用することができる。また、抽出手段２２１は、抽出処理として、抽出した変化領域にラベル付けする処理を行う。この際、変化領域のある抽出画素に注目したときに、注目抽出画素に隣接している抽出画素を一塊の抽出画素領域とみなし、各一塊の抽出画素領域に対して、全ての監視画像内でユニークなラベルを割り当てる。

オブジェクト生成手段２２２は、記憶部２１に記憶された撮像条件情報２１２と、抽出手段２２１にて抽出した変化領域の撮像画像上の位置及び大きさとから場所モデル（仮想空間）上における変化領域の足元位置を算出し、当該足元位置における当該変化領域の大きさに相当するオブジェクトに当該変化領域を投影した変化領域オブジェクトを生成するオブジェクト生成処理を行う。ここで、足元位置とは、撮像画像上における変化領域の下端中央の座標情報について、当該座標情報に対応するよう算出した仮想空間における座標情報であり、変化領域が場所モデルに接地していたと仮定して求めた値である。なお、足元位置は、本発明における仮想空間位置に対応する。以下、オブジェクト生成処理の詳細について図２を用いて説明する。

図２は、監視場所の上方から地面方向を撮像している撮像装置３の撮像画像に基づいて変化領域オブジェクトを生成する一例を表したものである。なお、図２において、符号２１１ａ、２１１ｂ、２１１ｃは、場所モデル２１１の一部を表したものであり、そのうち２１１ａが監視場所である建物の床面を表し、２１１ｂが壁面を表し、２１１ｃが監視場所に置かれた金庫を表したものとする。オブジェクト生成手段２２２は、変化領域オブジェクトを生成するにあたり、まず、記憶部２１の撮像条件情報２１２から撮像装置３の設置位置（Ｘ、Ｙ、Ｚ）を読み出して、その位置に対応する場所モデル２１１（仮想空間）上における光学中心Ｏを求める。また、オブジェクト生成手段２２２は、当該光学中心Ｏと、記憶部２１の撮像条件情報２１２から読み出した光軸（姿勢）に関する設置条件情報とから、撮像装置３の場所場所モデル２１１上における光軸を求める。また、オブジェクト生成手段２２２は、記憶部１１から焦点距離ｆとＣＣＤの画素の実サイズ、画像の縦横のピクセル数とレンズの歪みに関する諸元等の撮像条件情報２１２を読み出し、撮像装置３の場所モデル２１１上において光軸と垂直な投影面ａｂｃｄを求める。光学中心Ｏから投影面ａｂｃｄの四つの頂点を通る四角錐Ｏａ’ｂ’ｃ’ｄ’は、撮像装置３の視野を形成する立体となる。図２において、投影面ａｂｃｄに投影された撮像画像上における符号３０の画像領域は、抽出手段２２１にて抽出された変化領域であるとする。

次に、オブジェクト生成手段２２２は、変化領域３０の撮像画像上における位置と大きさに基づいて、変化領域オブジェクトの場所モデル２１１（仮想空間）上における足元位置を求める。変化領域３０を包含する矩形の下辺中央位置３０ａと光学中心Ｏとを結ぶ直線を求め、当該直線の延長線上において場所モデル２１１との交点３１ａを求める。いわば、交点３１ａは、変化領域３０の撮像画像上の位置３０ａに対応する場所モデル２１１（仮想空間）上における変化領域オブジェクトの位置に相当し、本実施形態では、この位置を足元位置と呼ぶ。図２の例では、変化領域３０に対応する変化領域オブジェクトは金庫２１１ｃの場所モデルの上に接していることが分かる。また、変化領域３０を包含する矩形の上辺中央位置３０ｂと光学中心Ｏとを結ぶ直線を求める。そして、当該直線と、足元位置３１ａから場所モデル２１１の水平面（例えば、床面２１１ａ）に垂直な直線との交点３１ｂは、変化領域３０の撮像画像上の位置３０ｂに対応する場所モデル２１１上の位置に相当し、本実施形態では、この位置を頭部位置と呼ぶ。

次に、足元位置３１ａと頭部位置３１ｂとの間の距離から変化領域オブジェクトの場所モデル２１１（仮想空間）上における高さを求める。すなわち、ここでは、求めるべき変化領域オブジェクトは足元位置から垂直に立っているものと仮定して、変化領域オブジェクトの高さを求めている。そして、求めた変化領域オブジェクトの高さと変化領域３０の縦横比とから、変化領域オブジェクトの場所モデル２１１（仮想空間）上における幅を求める。このようにして求めた、変化領域オブジェクトの高さと幅からなる矩形の板状オブジェクト（厚さは任意）に、変化領域３０に対応する撮像画像の画像領域をテクスチャマッピングすることにより、変化領域オブジェクトを生成する。図２の符号３２は、変化領域３０に対応する変化領域オブジェクトを表したものである。

表示変化領域設定手段２２３は、変化領域の中から所定の画像特徴を有する変化領域を注目変化領域として検出し、当該注目変化領域の場所モデル２１１（仮想空間）上における足元位置から所定範囲内にある変化領域を表示対象の変化領域（表示変化領域）として設定する表示変化領域設定処理を行う。以下、表示変化領域設定処理の詳細について、図３と図４を用いて説明する。

図３ａはある撮像装置３による撮像画像４０であり、図３ｂは当該撮像装置３の基準画像４１である。すなわち、図３ａにおける変化領域は、符号３０ａ、３０ｂ、３０ｃに示す画像領域であり、抽出手段２２１にて、各変化領域が抽出されていることとする。また、各変化領域３０の場所モデル２１１（仮想空間）上における足元位置は、オブジェクト生成手段２２２にて算出されていることとする。図４は、場所モデル２１１の一部と、当該撮像装置３の撮像画像に基づいて、オブジェクト生成手段２２２にて生成された変化領域オブジェクト３２とを表したものである。図４において、符号３２ａ、３２ｂ、３２ｃはそれぞれ、変化領域３０ａ、３０ｂ、３０ｃに対応する変化領域オブジェクト３２である。

表示変化領域設定処理では、まず、抽出手段２２１にて抽出した変化領域３０の中から、記憶部２１に予め設定された所定の画像特徴を有する変化領域３０を注目変化領域として検出する処理を行う。本実施形態では、予め記憶部２１に注目変化領域の画像特徴である注目特徴量（赤色でかつ正三角形の形状とサイズ）が記憶されていることとする。図３ａの例では、変化領域３０ａが注目変化領域として検出されることになる。

次に、表示変化領域設定処理では、当該注目変化領域の場所モデル２１１（仮想空間）上における足元位置から、記憶部２１に予め設定された範囲情報に示す範囲内の領域（近傍領域）に、変化領域が存在しているか否かを判定し、これによって検出された変化領域を表示変化領域として設定する。本実施形態では、予め記憶部２１に半径５ｍの円形の範囲を範囲情報として設定されていることとし、図４の符号３３に当該範囲からなる近傍領域を表示している。図４に表すように、変化領域オブジェクト３２ａ、３２ｂは、当該範囲内に存在するため、これらに対応する変化領域３０ａ、３０ｂは表示変化領域として設定されることとなる。また、当該範囲内に存在しない変化領域オブジェクト３２ｃは表示変化領域として設定されない。なお、本実施形態では、注目変化領域についても表示変化領域として設定しているが、設定しなくてもよい。また、上記の処理の他にも、後述するように変化領域が目標移動物体の画像特徴（目標特徴量）合致しているか否かを判定した上で表示変化領域として設定しているが、詳細については後述する。

仮想監視画像生成手段２２４は、表示変化領域設定手段２２３にて表示変化領域として設定された変化領域に対応する変化領域オブジェクト３２を場所モデル上のに配置し、変化領域オブジェクト３２が配置された場所モデル２１１と記憶部２１に記憶された仮想視点情報とを用いて仮想監視画像を生成する仮想監視画像生成処理を行い、生成した仮想監視画像を表示部２４に出力する処理を行う。以下、表示変化領域設定処理の詳細について説明する。

まず、仮想監視画像生成処理では、表示変化領域設定手段２２３にて表示変化領域として設定された変化領域に対応する変化領域オブジェクト３２を場所モデル上に配置する処理を行う。変化領域オブジェクト３２を配置する際、各変化領域オブジェクト３２の足元位置に応じた場所モデル２１１（仮想空間）上の位置に配置する。なお、変化領域オブジェクト３２は、場所モデル２１１に垂直であって、テクスチャマッピングされた面がテクスチャマッピングした画像を撮像した撮像装置３の方向を向くよう配置する。

次に、仮想監視画像生成処理では、変化領域オブジェクト３２が配置された場所モデル２１１を、記憶部２１に記憶された仮想視点情報２１３を用いてレンダリング処理して、仮想監視画像を生成する処理を行う。図５に、変化領域オブジェクト３２が配置された場所モデル２１１を表す。図５において、符号３４ｗ、３４ｘ、３４ｙ、３４ｚに表すオブジェクトは撮像装置３を表すオブジェクトであり、符号３５に表すオブジェクトは記憶部２１に記憶された仮想視点情報２１３に基づいて設置された仮想カメラを表すオブジェクトであり、それぞれ本処理の説明のために便宜的に表示したものである。図６に、当該仮想カメラ３４から変化領域オブジェクト３２が配置された場所モデル２１１を撮像（レンダリング）した仮想監視画像４２を表す。

表示部２４は、ディスプレイ等の情報表示デバイスである。表示部２４は、画像処理部２２から出力された仮想監視画像４２を表示する。このように、本実施形態の画像監視装置は、注目変化領域から所定範囲内にある変化領域（表示変化領域）を、監視者が注視しなければならない画像領域として抽出して、一つの仮想監視画像内に集約表示することができる。したがって、監視者は表示部２４からの表示出力された仮想監視画像４２を目視にて監視することにより、監視場所内における異常状態を効率的に、かつ俯瞰的に監視することができるため、大規模なショッピングセンターなどといった多数の監視カメラが設置されている監視場所であっても、監視者の監視負荷を増大させることなく監視することができる。

（監視端末２の画像処理部２２が実行する処理について）
以下、本実施形態の画像監視装置１に係る監視端末２の画像処理部２２が実行する処理の流れの一例について、図７を参照しながら詳細に説明する。なお、本実施例では、監視場所である建物内に４台の撮像装置が設置されているものとして説明する。

動作に先立ち、監視者等により監視端末２の入力部２５を用いて撮像条件情報２１２の設定、仮想視点情報２１３の設定、及び場所モデル２１１の登録等の各種初期設定が行なわれる（ＳＴ１）。本実施例では、監視場所である建物内に４台の撮像装置３が設置されている場合を想定しているため、撮像装置３ごとに撮像条件情報２１２が初期設定にて登録される。また、場所モデル２１１として図５の３次元形状データが、初期設定にて登録されたとして以下の処理を説明する。

次に、画像処理部２２は、撮像装置３から受信して記憶部２１に記憶された撮像画像を、撮像装置３ごとに読み出す撮像画像読出処理を実行する（ＳＴ２）。撮像画像読出処理では、最新（現在時刻に最も近い）の撮像画像を撮像装置３ごとに読み出す。

次に、画像処理部２２の抽出手段２２１により抽出処理を実行する（ＳＴ３）。抽出処理では、撮像画像読出処理で取得された撮像装置３ごとの撮像画像から、それぞれ変化領域を抽出する。本実施形態では、今回取得した撮像画像と基準画像との差分をとることにより変化領域を抽出する。また、抽出処理では、抽出された変化領域に対してラベル付けするラベリング処理も実施している。

次に、画像処理部２２のオブジェクト生成手段２２２によりオブジェクト生成処理を実行する（ＳＴ４）。オブジェクト生成処理では、抽出処理にて撮像装置３ごとに抽出された各変化領域について、場所モデル２１１（仮想空間）上における足元位置を算出すると共に、変化領域オブジェクトを生成する。オブジェクト生成処理の詳細については、前述したためここでは説明を省略する。

次に、画像処理部２２の表示変化領域設定手段２２３により、表示変化領域設定処理を実行する（ＳＴ５）。表示変化領域設定処理では、抽出処理にて抽出した変化領域の中から注目変化領域を検出し、当該注目変化領域の足元位置から所定範囲内にある変化領域を表示変化領域として設定する。図５の例では、符号３４ｘ、３４ｚに対応する撮像装置３からの撮像画像に、符号３２ｘ’、３２ｚ’に対応する注目変化領域がそれぞれ検出されていることになる。そして、当該注目変化領域の足元位置から半径５ｍの範囲内に存在する符号３２ｘ、３２ｘ’、３２ｚ、３２ｚ’に対応する変化領域が表示変化領域として設定されていることになる。なお、表示変化領域設定処理の詳細については追って説明する。

次に、画像処理部２２の仮想監視画像生成手段２２４により、仮想監視画像生成処理を実行する（ＳＴ６）。仮想監視画像生成処理では、表示変化領域設定手段２２３にて表示変化領域として設定された変化領域に対応する変化領域オブジェクト３２を場所モデル上のに配置し、仮想カメラから見たときの仮想監視画像を生成する処理を行う。例えば、図５に表すように、設定された表示変化領域に対応する変化領域オブジェクト３２ｘ、３２ｘ’、３２ｚ、３２ｚ’が、場所モデル２１１上に配置される。そして、記憶部２１に記憶された仮想視点情報２１３に基づいて設置された仮想カメラ３５から、当該場所モデル２１１を撮像した仮想的な画像を図６に示した仮想監視画像４２として生成している。図６に示した仮想監視画像４２において、符号４２ｘ、４２ｘ’、４２ｚ、４２ｚ’に対応する画像領域は、図５における変化領域オブジェクト３２ｘ、３２ｘ’、３２ｚ、３２ｚ’に対応するものである。仮想監視画像生成処理の詳細については、前述したためここでは説明を省略する。

次に、画像処理部２２は、仮想監視画像生成処理にて生成された仮想監視画像を表示部２４に表示出力する処理を行う。そして、画像処理部２２は、監視者等によって入力部２５から終了操作が行われるまで、ＳＴ２〜ＳＴ７の処理を繰り返し実行する。

（表示変化領域設定処理の詳細について）
次に、図７のフローチャートのＳＴ５における、画像処理部２２の表示変化領域設定手段２２３が実行する表示変化領域設定処理の詳細について図８を参照しながら説明する。なお、図８のループ１は、ＳＴ２０〜ＳＴ２２の各処理を各撮像装置３で取得した撮像画像における変化領域の数分だけ実行することを意味する。同じように、ループ２は、ＳＴ２４〜ＳＴ２６の各処理を各撮像装置３で取得した撮像画像における変化領域の数分だけ実行することを意味する。なお、本処理の説明において、選択変化領域とは、ループ１又はループ２にて処理対象となっている変化領域をいう。

表示変化領域設定処理では、まず、選択変化領域の画像特徴と記憶部２１に記憶した注目変化領域の画像特徴（注目特徴量）とを比較し、選択変化領域の画像特徴が注目特徴量に合致しているか否かを判定する（ＳＴ２０）。本実施形態では、選択変化領域の形状が赤色の正三角形であって、所定のサイズの範囲内であるときに、当該選択変化領域は注目特徴量に合致していると判定する。ＳＴ２０にて、選択変化領域の画像特徴が注目特徴量に合致していないと判定したとき（ＳＴ２０−Ｎｏ）、ループ１にてまだ処理対象となっていない他の変化領域を選択変化領域に変更して、ＳＴ２０からの処理を行う。

ＳＴ２０にて、選択変化領域の画像特徴が注目特徴量に合致していると判定したとき（ＳＴ２０−Ｙｅｓ）、当該選択変化領域を注目変化領域として設定し、当該選択変化領域のラベルに対応付けて記憶部２１に記憶する処理を行う（ＳＴ２１）。なお、この際、当該選択変化領域は、表示変化領域としても設定され、記憶部２１に記憶されることとする。そして、当該選択変化領域の場所モデル２１１（仮想空間）上における足元位置から、記憶部２１に予め設定された範囲情報の範囲内を近傍領域として設定し、場所モデル２１１上における近傍領域の座標情報を記憶部２１に記憶する処理を行う（ＳＴ２２）。ＳＴ２２の処理を終了すると、ループ１にてまだ処理対象となっていない他の変化領域を選択変化領域に変更して、ＳＴ２０からの処理を行う。

ループ１にて、全ての変化領域についてＳＴ２０〜ＳＴ２３の処理を終了すると、表示変化領域設定手段２２３は、ＳＴ２１にて記憶した記憶部２１の情報を読出し、変化領域に注目変化領域が存在していたか否かを判定する（ＳＴ２３）。ＳＴ２３にて、変化領域に注目変化領域が存在していないと判定したとき（ＳＴ２３−Ｎｏ）、表示変化領域設定手段２２３は、表示変化領域設定処理を終了し、図７のＳＴ６に処理を進める。

ＳＴ２３にて、変化領域に注目変化領域が存在していると判定したとき（ＳＴ２３−Ｙｅｓ）、表示変化領域設定手段２２３は、選択変化領域の足元位置とＳＴ２２にて設定した近傍領域の座標情報を記憶部２１から読出し、選択変化領域の足元位置が近傍領域の範囲内に含まれるか否かを判定する（ＳＴ２４）。ＳＴ２４にて、選択変化領域の足元位置が近傍領域の範囲内に含まれないと判定したとき（ＳＴ２４−Ｎｏ）、ループ２にてまだ処理対象となっていない他の変化領域を選択変化領域に変更して、ＳＴ２４からの処理を行う。

ＳＴ２４にて、選択変化領域の足元位置が近傍領域の範囲内に存在していると判定したとき（ＳＴ２４−Ｙｅｓ）、当該選択変化領域の画像特徴が予め記憶部２１に記憶された目標移動物体（本実施形態では人物）の画像特徴と合致しているか否かを判定する（ＳＴ２５）。ＳＴ２５にて、選択変化領域の画像特徴が予め記憶部２１に記憶された目標移動物体の画像特徴と合致していないと判定したとき（ＳＴ２５−Ｎｏ）、ループ２にてまだ処理対象となっていない他の変化領域を選択変化領域に変更して、ＳＴ２４からの処理を行う。一方、選択変化領域の画像特徴が予め記憶部２１に記憶された目標移動物体の画像特徴と合致していると判定したとき（ＳＴ２５−Ｙｅｓ）、当該選択変化領域を表示変化領域として設定し、記憶部２１に記憶する処理を行う（ＳＴ２６）。ＳＴ２６の処理を終了すると、ループ２にてまだ処理対象となっていない他の変化領域を選択変化領域に変更して、ＳＴ２４からの処理を行う。ループ２にて全ての変化領域に対する処理を終了すると、表示変化領域設定手段２２３は、表示変化領域設定処理を終了し、処理を図７のＳＴ６に進める。

（第二の実施形態）
上記の第一の実施形態は、複数の撮像装置３からの撮像画像を画像処理し、監視者が特に注目すべき画像領域として、注目変化領域の近傍領域内に存在する変化領域の変化領域オブジェクトを場所モデル上に配置して、仮想監視画像を生成するものである。しかし、第一の実施形態では、近傍領域の範囲外に目標移動物体（人物）が移動すると、当該目標移動物体が表示されなくなり、監視し続けることができなくなるといった問題が認められる。特に、注目変化領域が移動した場合においては、その周囲に存在する目標移動物体が、移動した注目変化領域に関与している可能性が高いことから、このような場合は、近傍領域の内外に関わらず当該目標移動物体を表示し続けたいといった監視ニーズがあった。そこで、第二の実施形態では、注目変化領域を追跡し、注目変化領域が所定の距離以上移動したとき、当該注目変化領域の周囲に存在していた目標移動物体（人物）については、近傍領域の範囲外であっても表示し続けることにより、上記ニーズを満たすことを目的としたものである。本実施形態は、例えば、監視者によって監視対象物体に注目変化領域であることを示すステッカーを貼付し、当該監視対象物体が移動した場合は、その移動に関与した人物を常に監視するといった用途で利用される。

図９は、第二の実施形態に係る画像監視装置１の構成を示すブロック図である。以下では、第二の実施形態の画像監視装置１のうち、上記第一の実施形態と同様の部分については同一の符号を付して説明しており、その構成や処理に差異がない場合は、その説明を省略している。図９に示すように、画像処理部２２に追跡特徴量記憶手段２２５と追跡領域設定手段２２６とが追加された点が第一の実施形態と相違する。

追跡特徴量記憶手段２２５は、表示変化領域設定手段２２３にて検出した注目変化領域を場所モデル２１１（仮想空間）上で時間的に追跡する追跡処理と、注目変化領域が所定距離以上移動したとき、当該注目変化領域の足元位置から所定範囲内にある変化領域の画像特徴を追跡特徴量として記憶部２１に記憶する追跡特徴量記憶処理とを実行する。なお、追跡処理及び追跡特徴量記憶処理は、図７のＳＴ５における表示変化領域設定処理の後であって、ＳＴ６の前に実行される。

追跡処理では、まず、前フレームの撮像画像４０から検出した注目変化領域の変化領域オブジェクト３２と、後フレームの撮像画像４０から検出した注目変化領域の変化領域オブジェクト３２との対応付け（同定）を行っている。対応付けに際し、追跡特徴量記憶手段２２５は、前後フレーム間における変化領域の画像特徴（位置や色、形状、サイズなど）を比較して、互いに同一又は類似する画像特徴の変化領域を同一物体による変化領域として対応付ける、といった従来技術を利用している。すなわち、前フレームにおいて検出した注目変化領域の画像特徴が、後フレームにおいて検出した注目変化領域の画像特徴と同一又は類似しているとき（例えば、色・形状・サイズが略一致し、足元位置が近いとき）、これらの注目変化領域を対応付け、対応付けられた変化領域の変化領域オブジェクト３２同士を互いに対応付ける。

次に追跡特徴量記憶処理の詳細について、図１０を用いて説明する。なお、図１０のループ３は、ＳＴ４０〜ＳＴ４２の各処理を注目変化領域の数分だけ実行することを意味している。また、本処理の説明において、選択注目変化領域とは、ループ３にて処理対象となっている注目変化領域をいう。追跡特徴量記憶処理では、まず、ＳＴ４のオブジェクト生成処理にて算出した、選択注目変化領域の現時点における足元位置を記憶部２１から読み出す（ＳＴ４０）。そして、ここで読み出した足元位置が、当該選択注目変化領域の出現位置（当該注目変化領域の初回出現時に記憶部２１に登録されることとする）から所定距離（本実施形態では２ｍと設定）以上移動したか否かを判定する（ＳＴ４１）。ＳＴ４１にて、当該足元位置が、当該選択注目変化領域の出現位置から所定距離以上移動したと判定したとき（ＳＴ４１−Ｙｅｓ）、当該選択注目変化領域の近傍領域内に存在する目標移動物体の画像特徴を記憶部２１に記憶する処理を行う（ＳＴ４２）。ＳＴ４１にて、当該足元位置が、当該選択注目変化領域の出現位置から所定距離以上移動したと判定しないとき（ＳＴ４１−Ｎｏ）、或いはＳＴ４２の処理を終了したとき、ループ３にてまだ処理対象となっていない他の注目変化領域を選択注目変化領域に変更して、ＳＴ４０からの処理を行う。

追跡領域設定手段２２６は、抽出手段２２１にて抽出された変化領域３０の画像特徴が、追跡特徴量記憶手段２２５にて記憶部２１に記憶された追跡特徴量と同一又は類似しているとき、当該変化領域３０を表示変化領域として設定し、記憶部２１に記憶する追跡領域設定処理を行う。

以上のように、第二の実施形態では、画像処理部２２に追加された追跡特徴量記憶手段２２５と追跡領域設定手段２２６とによって、注目変化領域の移動を検知し、当該移動に関与した目標移動物体を近傍領域の内外に関わらず仮想監視画像に表示し続けることができる。

ところで、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施形態で実施されてもよいものである。また、実施形態に記載した効果は、これに限定されるものではない。

上記実施形態では、表示変化領域設定処理において、選択変化領域の画像特徴と記憶部２１に記憶した注目変化領域の画像特徴（注目特徴量）とを比較し、選択変化領域の画像特徴が注目特徴量に合致しているか否かを判定することにより、選択変化領域が注目変化領域であるか否かを判定している（図８のＳＴ２０）。しかし、これに限らず、既知の従来技術（例えば、特開２００８−２６９７４号公報を参照）である識別器（いわゆるディテクタ）を用いて、選択変化領域内に注目変化領域が含まれるか否かを識別することにより選択変化領域が注目変化領域であるか否かを判定しても良い。これにより、変化領域の内部に含まれる注目変化領域をも検出することができる。

上記実施形態では、図７のＳＴ１（初期設定）にて、撮像装置３の撮像条件情報２１２を固定的に設定している。しかし、これに限らず、撮像装置３から監視端末２の通信部２３を介して撮像条件情報２１２を定期的に受信し、当該受信した撮像条件情報２１２に基づいてＳＴ２以降の処理を実施してもよい。これにより、例えば撮像装置３に対してパン・チルト・ズーム等により撮像条件情報２１２が変更されたとしても、監視者は、当該変更された撮像条件情報２１２に追従しながら、監視場所における状態を仮想視点から俯瞰的に監視できる。

上記実施形態では、オブジェクト生成手段２２２にて、変化領域に基づいて生成された矩形の板状オブジェクトに対して、当該変化領域に対応する撮像画像の画像領域をテクスチャマッピングすることにより、変化領域オブジェクトを生成している。しかし、これに限らず、予め登録された人型モデル（例えば円柱モデル）を用いて、変化領域の画像特徴に基づいて人型モデルのサイズを変更し、当該人型モデルに対して、変化領域に対応する撮像画像の画像領域をテクスチャマッピングすることにより、変化領域オブジェクトを生成してもよい。また、これ以外にも、変化領域に対応する撮像画像の画像領域を、場所モデル上の当該変化領域の大きさに相当する領域に対して直接投影（テクスチャマッピング）し、当該投影領域を変化領域オブジェクトとしてもよい。

１・・・画像監視装置
２・・・監視端末
３・・・撮像装置
２１・・・記憶部
２２・・・画像処理部
２３・・・通信部
２４・・・表示部
２５・・・入力部
２１１・・・場所モデル
２１２・・・撮像条件情報
２１３・・・仮想視点情報
２２１・・・抽出手段
２２２・・・オブジェクト生成手段
２２３・・・表示変化領域設定手段
２２４・・・仮想監視画像生成手段
２２５・・・追跡特徴量記憶手段
２２６・・・追跡領域設定手段
３０・・・変化領域
３１ａ・・・足元位置
３１ｂ・・・頭部位置
３２・・・変化領域オブジェクト
３３・・・近傍領域を表す範囲
３４・・・撮像装置を表すオブジェクト
３５・・・仮想カメラを表すオブジェクト
４０・・・撮像画像
４１・・・基準画像
４２・・・仮想監視画像

Claims (3)

1. 監視場所の撮像画像を順次取得する撮像部と、
   前記監視場所を３次元の仮想空間として表現した場所モデルと、前記撮像部の設置位置、光軸及び画角を前記仮想空間に対応付けた撮像条件情報と、前記仮想空間における仮想カメラの位置、光軸及び画角からなる仮想視点情報とを記憶した記憶部と、
   前記撮像画像から抽出した変化領域を前記場所モデル上に配置して前記仮想カメラから該場所モデルを撮像した仮想監視画像を出力する画像処理部と、
   前記仮想監視画像を表示する表示部と、を備えた画像監視装置であって、
   前記画像処理部は、
   前記場所モデルと前記撮像条件情報と前記変化領域の撮像画像上の位置及び大きさとを用いて、前記仮想空間における該変化領域の位置である仮想空間位置を求め、該仮想空間位置における該変化領域の大きさに相当するオブジェクトに該変化領域を投影した変化領域オブジェクトを生成するオブジェクト生成手段と、
   前記変化領域の中から所定の画像特徴を有する変化領域を注目変化領域として検出し、前記変化領域のうち、前記仮想空間位置が該注目変化領域の前記仮想空間位置から所定範囲内の近傍領域にある変化領域を表示変化領域として設定し、前記仮想空間位置が当該近傍領域にない変化領域を前記表示変化領域として設定しない表示変化領域設定手段と、
   前記表示変化領域に対応する前記変化領域オブジェクトを前記場所モデル上の前記仮想空間位置に配置し、該場所モデルと前記仮想視点情報とを用いて前記仮想監視画像を生成して前記表示部に出力する仮想監視画像生成手段と、を有することを特徴とする画像監視装置。
2. 表示変化領域設定手段にて設定される前記表示変化領域は、予め定めた目標移動物体の画像特徴を有する前記変化領域とすることを特徴とする請求項１に記載の画像監視装置。
3. 前記画像処理部は、
   前記表示変化領域設定手段にて検出した前記注目変化領域を前記仮想空間にて時間的に追跡し、該注目変化領域が出現位置から所定距離以上移動したとき、該注目変化領域の前記仮想空間位置から所定範囲内にある前記変化領域の画像特徴を追跡特徴量として前記記憶部に記憶する追跡特徴量記憶手段と、
   前記変化領域の画像特徴と前記追跡特徴量との比較に基づいて該変化領域を前記表示変化領域として設定する追跡領域設定手段と、を更に有する請求項１又は請求項２に記載の画像監視装置。
   
   

Images