JP5960472B2 - 画像監視装置 - Google Patents

Description

本発明は、複数の監視カメラによって撮像した監視場所の撮像画像を、監視者が目視にて監視する画像監視装置に関する。

近年、複数の監視カメラによって撮像した撮像画像を順次受信して、監視者の利用する監視端末に表示させることによって、監視場所の複数エリアにおける異常状態を集中的に監視する画像監視装置が利用されている。従来、このような複数の監視カメラを用いた画像監視装置では、監視端末のモニタ表示を複数の表示区画に分割し、各表示区画に複数の監視カメラによって撮像した撮像画像を個別に表示する技術が用いられていた（例えば、特許文献１）。

特開平０５−０６４２００号公報

しかし、近年のような監視カメラの設置台数の急激な増加に伴い、従来技術のような監視方法では、監視者が適切に異常状態を監視することが困難となっていた。すなわち、従来技術では、監視者が分割表示された全ての撮像画像を目視して異常状態か否かを判別しなければならないため、監視カメラの設置台数の増加に伴って監視者の監視負荷が増大するといった問題があった。そのため、複数の監視カメラからの撮像画像を全て表示するのではなく、当該撮像画像の中から特に注視しなければならない画像領域（例えば人物像などの目標移動物体）のみを抽出して、抽出した当該画像領域の監視場所における位置関係を把握できるよう集約表示することにより、効率的に監視したいといったニーズがあった。

そこで、本発明は、撮像画像から特に注視しなければならない画像領域を抽出し、監視場所を３次元仮想空間として表した場所モデル上に当該画像領域を集約表示することにより、上記ニーズを満たすことを目的とする。

上記した目的を達成するために、本願請求項１に係る画像監視装置は、
監視場所の撮像画像を順次取得する撮像部と、前記監視場所を３次元の仮想空間として表現した場所モデルと、前記撮像部の設置位置、光軸及び画角を前記仮想空間に対応付けた撮像条件情報と、前記仮想空間における仮想カメラの位置、光軸及び画角からなる仮想視点情報とを記憶した記憶部と、前記撮像画像から抽出した変化領域を前記場所モデル上に配置して前記仮想カメラから該場所モデルを撮像した仮想監視画像を出力する画像処理部と、前記仮想監視画像を表示する表示部とを備えた画像監視装置であって、
前記画像処理部は、
前記場所モデルと前記撮像条件情報と前記変化領域の撮像画像上の位置及び大きさとを用いて、前記仮想空間における該変化領域の位置である仮想空間位置を求め、該仮想空間位置における該変化領域の大きさに相当するオブジェクトに該変化領域を投影した変化領域オブジェクトを生成するオブジェクト生成手段と、
前記変化領域に対応する前記変化領域オブジェクトを前記場所モデル上の前記仮想空間位置に配置し、該場所モデルと前記仮想視点情報とを用いて前記仮想監視画像を生成して前記表示部に出力する仮想監視画像生成手段と、を有することを特徴としている。

かかる構成により、本発明の画像処理部は、監視場所に設置された複数の撮像部から取得した撮像画像から背景差分等の従来技術を用いて変化領域を抽出する。そして、本発明のオブジェクト生成手段は、抽出された各変化領域の仮想空間内における位置（仮想空間位置）を求める。また、オブジェクト生成手段は、仮想空間位置における該変化領域の大きさに相当するオブジェクト（例えば、板状オブジェクト）を求め、当該オブジェクトに変化領域を投影（例えば、板状オブジェクトの表面に変化領域をテクスチャマッピングする）した変化領域オブジェクトを求める。そして、本発明の仮想監視画像生成手段は、各変化領域に対応する変化領域オブジェクトを、仮想空間内（場所モデル上）の対応する仮想空間位置に配置する。また、仮想監視画像生成手段は、変化領域オブジェクトが配置された場所モデルを仮想視点情報を用いて３次元コンピュータグラフィックスのレンダリング処理をすることにより、仮想カメラから見たときの仮想的な監視画像である仮想監視画像を生成する。そして、本発明の表示部は、生成された仮想監視画像を表示出力する。

このように、本発明の画像監視装置は、撮像画像から特に注視しなければならない画像領域（例えば人物像などの目標移動物体）を抽出し、監視場所を３次元仮想空間として表した場所モデル上に当該画像領域を集約することにより、複数の監視カメラからの撮像画像の中から特に注視しなければならない画像領域である変化領域のみを一つの仮想監視画像内に集約表示することができる。したがって、監視者は表示部からの表示出力された仮想監視画像を目視にて監視することにより、監視場所内における異常状態を効率的に、かつ俯瞰的に監視することができるため、大規模なショッピングセンターなどといった多数の監視カメラが設置されている監視場所であっても、監視者の監視負荷を増大させることなく監視することができる。

本願請求項２に係る画像監視装置は、請求項１の画像監視装置において、
前記仮想監視画像生成手段は、
前記変化領域オブジェクトを前記場所モデル上の対応する仮想空間位置に配置して前記仮想カメラから撮像した場所有仮想画像と、該変化領域オブジェクトを該仮想空間位置に配置して該仮想カメラから撮像した場所無仮想画像とを生成し、該場所有仮想画像において前記変化領域に対応する画像領域の第一面積と、該場所無仮想画像において該変化領域に対応する画像領域の第二面積とを用いて、該仮想カメラから該変化領域を視認できる割合である視認率を前記仮想カメラごとに算出する視認率算出処理と、
該視認率が最大となる前記仮想カメラにより生成した前記場所有仮想監視画像を前記仮想監視画像として選択する選択処理を行うことを特徴としている。

かかる構成により、本発明の仮想監視画像生成手段は、視認率算出処理として、場所モデル上の仮想空間位置に変化領域オブジェクトを配置して仮想カメラの仮想視点情報を用いてレンダリング処理をすることにより、場所モデルを含む仮想画像（場所有仮想画像）を生成する。そして、仮想空間位置に変化領域オブジェクトを配置し、仮想カメラの仮想視点情報を用いてレンダリング処理をすることにより、場所モデルを含まない仮想画像（場所無仮想画像）を生成する。そして、場所有仮想画像において変化領域に対応する画像領域の面積（第一面積）と、場所無仮想画像において変化領域に対応する画像領域の面積（第二面積）とを求め、第一面積と第二面積との比率から仮想カメラから変化領域を視認できる割合である視認率を仮想カメラごとに算出する。そして、仮想監視画像生成手段は、選択処理として、求めた視認率のうち最も大きい視認率の仮想カメラを判定し、当該仮想カメラにより生成した場所有仮想監視画像を仮想監視画像として選択する。

前述のように、本発明の画像監視装置は、撮像画像から注視すべき目標移動物体を抽出して３次元仮想空間に集約して表示することにより、監視者は複数の撮像画像を一つの仮想監視画像から俯瞰的に監視することができる。しかし、目標移動物体の現在位置と仮想カメラの仮想視点との位置関係によっては、監視者の現在の仮想視点から見たとき、当該目標移動物体像が場所モデルの陰に隠れることが想定される。この場合、監視者は当該目標移動物体を監視し続けるためには、手動操作で適切な仮想視点に移動することが必要とされていた。このような場所モデルによる隠蔽状態は、場所モデルが複雑になるほど、また目標移動物体の数が増加するほど発生しやすいため、監視者は仮想視点の移動操作を頻繁に行う必要があり、煩雑な操作を強いられることになる。したがって、目標移動物体の隠蔽状態を視認率を算出することによって評価し、当該視認率に応じて仮想視点を自動設定することにより、監視者の監視負荷を軽減することができる。

本願請求項３に係る画像監視装置は、請求項１又は請求項２の画像監視装置において、
前記第一面積は、予め定めた目標移動物体の画像特徴を有する前記変化領域に対応する場所有仮想画像の画像領域の面積であり、前記第二面積は、予め定めた目標移動物体の画像特徴を有する前記変化領域に対応する場所無仮想画像の画像領域の面積であることを特徴としている。

かかる構成により、目標移動物体の画像特徴を有さない変化領域については、視認率を算出する際に考慮されないことになる。したがって、監視者は、目標移動物体として、例えば“子供”の画像特徴を設定した場合、子供の画像特徴を有する変化領域が好適に視認できるよう、仮想視点を変更することができる。このように、監視者の意図する目標移動物体をより適切に監視できるよう、仮想視点を変更することができる。

本願請求項４に係る画像監視装置は、請求項２又は請求項３の画像監視装置において、
利用者による操作入力を受ける入力部を更に有し、
前記仮想監視画像生成手段は、前記入力部から前記操作入力があったとき前記視認率算出処理を行うことを特徴としている。

かかる構成により、監視者は、自らが意図するタイミングで視認性の良い仮想視点に変更することができる。

本発明に係る画像監視装置によれば、撮像画像から特に注視しなければならない画像領域を抽出して、仮想監視画像として集約表示することにより、監視者は、監視場所内における異常状態を効率的に、かつ俯瞰的に監視することができる。

画像監視装置の全体構成を示すブロック構成図 オブジェクト生成処理を説明する図 変化領域オブジェクトが配置された場所モデルを表す図 場所有仮想画像の例を表す図 画像監視装置による全体動作の処理手順を示すフローチャート 仮想監視画像生成処理の具体的処理手順を示すフローチャート 変化領域オブジェクトが配置された場所モデルを表す図 場所無仮想画像の例を表す図 場所有仮想画像の例を表す図

以下、建物内を監視場所とし、警備員等の監視者が当該監視場所を監視カメラにより撮像した撮像画像によって監視場所内における状態を監視する実施形態について、添付した図面を参照しながら詳細に説明する。

本発明に係る画像監視装置は、監視場所を撮像した撮像画像を順次取得し、この順次取得した撮像画像を画像処理して仮想カメラから見たときの監視画像（仮想監視画像）を生成して表示することにより、監視者が監視場所における状態を仮想視点から俯瞰的に監視できるようにするものである。特に、本実施形態は、複数の監視カメラからの撮像画像から監視者が注視すべき画像領域（例えば人物像などの目標移動物体）を抽出し、当該画像領域を場所モデル上に配置して、仮想監視画像を生成するよう画像処理する機能を含む画像監視装置を提供するものである。さらに本実施形態は、生成された仮想監視画像において、抽出した画像領域が場所モデルの陰に隠れた状態で表示されるような場合であっても、監視者による煩雑な操作を行うことなく、隠蔽が生じにくい仮想視点に自動的に設定変更するよう画像処理する機能を含む画像監視装置を提供するものである。

（画像監視装置の全体構成について）
図１に示すように、本実施形態の画像監視装置１は、監視端末２、撮像装置３によって構成される。

撮像装置３は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品等を含んで構成される所謂監視カメラであり、本発明における撮像部として機能する。撮像装置３は、室内の壁の上部又は天井部に設置され、監視場所を俯瞰して撮像するよう設置される。撮像装置３は、監視場所を所定時間おきに撮像して撮像画像を監視端末２に順次送信する。撮像画像が撮像される時間間隔は、例えば１／５秒である。本実施形態では、監視場所内に複数台の撮像装置３が設置されていることとする。

監視端末２は、記憶部２１、画像処理部２２、通信部２３、表示部２４及び入力部２５を含んで概略構成される。通信部２３は、ＬＡＮやＵＳＢ等の通信インタフェースであり、撮像装置３と通信を行う。本実施形態では、複数の撮像装置３から送信された撮像画像を通信部２３を介して受信する。入力部２５は、キーボードやマウス、タッチパネル、可搬記憶媒体の読み取り装置等の情報入力デバイスである。監視者等は、入力部２５を用いて、例えば、それぞれの撮像装置３の設置位置等の様々な撮像条件に関する情報を設定したりすることができる。

記憶部２１は、ＲＯＭ、ＲＡＭ、ＨＤＤ等の情報記憶装置である。記憶部２１は、各種プログラムや各種データを記憶し、画像処理部２２との間でこれらの情報を入出力する。各種データには、場所モデル２１１、撮像条件情報２１２、仮想視点情報２１３、その他、画像処理部２２の処理に使用される各種情報（例えば、撮像装置３で取得するフレーム毎の撮像画像、抽出手段２２１で撮像画像から変化領域を抽出するために用いる基準画像や抽出閾値など）を記憶している。

場所モデル２１１は、監視場所に存在する現実世界の壁・床・柱、什器等の物体をモデル化することにより作成された３次元形状データを含む３次元の仮想空間を表した座標情報である。場所モデル２１１における３次元形状データは、監視場所の形状情報に基づいて３次元ＣＡＤで作成されたものでも良いし、３次元レーザースキャナー等により監視場所の３次元形状を取り込んだデータを利用しても良い。このようにして作成された場所モデル２１１は、監視者等により入力部２５から設定登録されることにより記憶部２１に記憶される。

撮像条件情報２１２は、現在時刻における撮像装置３の設置位置や光軸（姿勢）に関する設置条件情報と、焦点距離、画素数、画素サイズ、レンズ歪みに関する画角条件情報とからなり、撮像装置３毎に個別設定される。また、撮像条件情報２１２は、場所モデルの仮想空間における座標情報に対応付けられた値で設定されている。ここで、設置位置に関する設置条件情報とは、監視場所内（実空間）を３次元直交座標系として表し、実空間の直交座標系で座標が既知である基準点の座標値に基準点からの相対距離、方向を測定して補正する等の公知の技術を使用して算出した座標データとして表した情報である。また、光軸に関する設置条件情報とは、上記座標軸に対する撮像装置３の光軸の回転角度に関する情報であり、撮像装置３のいわゆるパン角度、チルト角度から求めることができる。撮像条件情報２１２は、初期設定時に監視者等によって入力部２５から設定登録されることにより記憶部２１に記憶される。

仮想視点情報２１３は、仮想空間における仮想カメラの位置、光軸及び画角からなる情報であり、入力部２５により監視者が指定操作することによって記憶部２１に記憶される。仮想視点情報２１３は、場所モデルの仮想空間における座標情報に対応付けられた値で設定されている。なお、本実施形態は、前述のように、抽出した画像領域が場所モデルに隠蔽された場合であっても、隠蔽が生じにくい仮想視点に自動的に設定変更た上で仮想監視画像を出力する機能を有するものである。当該機能を実現するため、記憶部２１には、監視者により指定操作されることによって設定される仮想視点情報２１３の他に、予め固定的に設定された複数の仮想視点情報２１３が記憶されていることとする。

画像処理部２２は、ＣＰＵ等を備えたコンピュータで構成され、撮像装置３からデジタル化された画像の入力を受け、後述する図５、図６に示す一連の処理として、撮像画像読出処理、抽出処理、オブジェクト生成処理、仮想監視画像生成処理、出力処理を実行するべく、抽出手段２２１、オブジェクト生成手段２２２、仮想監視画像生成手段２２３を含んでいる。

抽出手段２２１は、撮像装置３で取得された撮像画像の中から輝度変化のある領域を変化領域として抽出する抽出処理を行っている。本実施形態では、撮像装置３ごとに移動物体の存在しない過去の撮像画像を基準画像として予め記憶部２１に保存しておき、最新に取得した撮像画像と基準画像との輝度値の差分値が記憶部２１に記憶された所定の抽出閾値以上である領域を変化領域として抽出する。この際、基準画像として監視場所の背景の撮像画像や、過去に取得した撮像画像などを適宜選択して採用することができる。また、抽出手段２２１は、抽出処理として、抽出した変化領域にラベル付けする処理を行う。この際、変化領域のある抽出画素に注目したときに、注目抽出画素に隣接している抽出画素を一塊の抽出画素領域とみなし、各一塊の抽出画素領域に対して、全ての監視画像内でユニークなラベルを割り当てる。

オブジェクト生成手段２２２は、記憶部２１に記憶された撮像条件情報２１２と、抽出手段２２１にて抽出した変化領域の撮像画像上の位置及び大きさとから場所モデル（仮想空間）上における変化領域の足元位置を算出し、当該足元位置における当該変化領域の大きさに相当するオブジェクトに当該変化領域を投影した変化領域オブジェクトを生成するオブジェクト生成処理を行う。ここで、足元位置とは、撮像画像上における変化領域の下端中央の座標情報について、当該座標情報に対応するよう算出した仮想空間における座標情報であり、変化領域が場所モデルに接地していたと仮定して求めた値である。なお、足元位置は、本発明における仮想空間位置に対応する。以下、オブジェクト生成処理の詳細について図２を用いて説明する。

図２は、監視場所の上方から地面方向を撮像している撮像装置３の撮像画像に基づいて変化領域オブジェクトを生成する一例を表したものである。なお、図２において、符号２１１ａ、２１１ｂ、２１１ｃは、場所モデル２１１の一部を表したものであり、そのうち２１１ａが監視場所である建物の床面を表し、２１１ｂが壁面を表し、２１１ｃが監視場所に置かれた金庫を表したものとする。オブジェクト生成手段２２２は、変化領域オブジェクトを生成するにあたり、まず、記憶部２１の撮像条件情報２１２から撮像装置３の設置位置（Ｘ、Ｙ、Ｚ）を読み出して、その位置に対応する場所モデル２１１（仮想空間）上における光学中心Ｏを求める。また、オブジェクト生成手段２２２は、当該光学中心Ｏと、記憶部２１の撮像条件情報２１２から読み出した光軸（姿勢）に関する設置条件情報とから、撮像装置３の場所モデル２１１上における光軸を求める。また、オブジェクト生成手段２２２は、記憶部１１から焦点距離ｆとＣＣＤの画素の実サイズ、画像の縦横のピクセル数とレンズの歪みに関する諸元等の撮像条件情報２１２を読み出し、撮像装置３の場所モデル２１１上において光軸と垂直な投影面ａｂｃｄを求める。光学中心Ｏから投影面ａｂｃｄの四つの頂点を通る四角錐Ｏａ’ｂ’ｃ’ｄ’は、撮像装置３の視野を形成する立体となる。図２において、投影面ａｂｃｄに投影された撮像画像上における符号３０の画像領域は、抽出手段２２１にて抽出された変化領域であるとする。

次に、オブジェクト生成手段２２２は、変化領域３０の撮像画像上における位置と大きさに基づいて、変化領域オブジェクトの場所モデル２１１（仮想空間）上における足元位置を求める。変化領域３０を包含する矩形の下辺中央位置３０ａと光学中心Ｏとを結ぶ直線を求め、当該直線の延長線上において場所モデル２１１との交点３１ａを求める。いわば、交点３１ａは、変化領域３０の撮像画像上の位置３０ａに対応する場所モデル２１１（仮想空間）上における変化領域オブジェクトの位置に相当し、本実施形態では、この位置を足元位置と呼ぶ。図２の例では、変化領域３０に対応する変化領域オブジェクトは金庫２１１ｃの場所モデルの上に接していることが分かる。また、変化領域３０を包含する矩形の上辺中央位置３０ｂと光学中心Ｏとを結ぶ直線を求める。そして、当該直線と、足元位置３１ａから場所モデル２１１の水平面（例えば、床面２１１ａ）に垂直な直線との交点３１ｂは、変化領域３０の撮像画像上の位置３０ｂに対応する場所モデル２１１上の位置に相当し、本実施形態では、この位置を頭部位置と呼ぶ。

次に、足元位置３１ａと頭部位置３１ｂとの間の距離から変化領域オブジェクトの場所モデル２１１（仮想空間）上における高さを求める。すなわち、ここでは、求めるべき変化領域オブジェクトは足元位置から垂直に立っているものと仮定して、変化領域オブジェクトの高さを求めている。そして、求めた変化領域オブジェクトの高さと変化領域３０の縦横比とから、変化領域オブジェクトの場所モデル２１１（仮想空間）上における幅を求める。このようにして求めた、変化領域オブジェクトの高さと幅からなる矩形の板状オブジェクト（厚さは任意）に、変化領域３０に対応する撮像画像の画像領域をテクスチャマッピングすることにより、変化領域オブジェクトを生成する。図２の符号３２は、変化領域３０に対応する変化領域オブジェクトを表したものである。

仮想監視画像生成手段２２３は、変化領域オブジェクト３２を場所モデル上に配置し、変化領域オブジェクト３２が配置された場所モデル２１１と記憶部２１に記憶された仮想視点情報とを用いて仮想監視画像を生成する仮想監視画像生成処理を行い、生成した仮想監視画像を表示部２４に出力する処理を行う。以下、仮想監視画像生成処理の詳細について説明する。

まず、仮想監視画像生成処理では、オブジェクト生成手段２２２にて生成された変化領域オブジェクト３２を場所モデル上に配置する処理を行う。変化領域オブジェクト３２を配置する際、各変化領域オブジェクト３２の足元位置に応じた場所モデル２１１（仮想空間）上の位置に配置する。なお、変化領域オブジェクト３２は、場所モデル２１１に垂直であって、テクスチャマッピングされた面がテクスチャマッピングした画像を撮像した撮像装置３の方向を向くよう配置する。図３に、変化領域オブジェクト３２が配置された場所モデル２１１の一例を表す。図３に表すように、変化領域オブジェクト３２ｖ、３２ｘ、３２ｚが、場所モデル２１１上に配置される。図３において、符号３４ｖ〜３４ｚに表すオブジェクトは撮像装置３を表すオブジェクトであり、符号３５に表すオブジェクトは記憶部２１に記憶された仮想視点情報２１３に基づいて設置された仮想カメラを表すオブジェクトであり、それぞれ本処理の説明のために便宜的に表示したものである。

次に、仮想監視画像生成処理では、変化領域オブジェクト３２が配置された場所モデル２１１を、記憶部２１に記憶された仮想視点情報２１３を用いてレンダリング処理して、レンダリング画像を生成する処理を行う。本明細書では、場所モデル２１１と共に変化領域オブジェクト３２を仮想カメラによりレンダリング処理することによって生成したレンダリング画像のことを、「場所有仮想画像」と呼ぶ。図４に、図３における仮想カメラ３５から変化領域オブジェクト３２が配置された場所モデル２１１を撮像（レンダリング）した場所有仮想画像４２の例を表す。図４に示した仮想監視画像４２において、符号４２ｖ、４２ｘ、４２ｚに対応する画像領域は、図３における変化領域オブジェクト３２ｖ、３２ｘ、３２ｚに対応するものである。

次に、仮想監視画像生成処理では、１又は複数の仮想カメラ３４によって撮像（レンダリング）した場所有仮想画像の中から、１つの場所有監視画像を選択して、当該場所有監視画像を仮想監視画像として出力する。ところで、本実施形態では、前述のように、生成された仮想監視画像において抽出した画像領域が場所モデルに隠蔽された場合であっても、隠蔽が生じにくい仮想視点に自動的に設定変更した上で仮想監視画像を出力する機能を有する。当該機能を実現する仮想監視画像生成処理の詳細については後述する。

表示部２４は、ディスプレイ等の情報表示デバイスである。表示部２４は、画像処理部２２から出力された仮想監視画像４２を表示する。このように、本実施形態の画像監視装置は、撮像画像から抽出した変化領域を、監視者が注視しなければならない画像領域として一つの仮想監視画像内に集約表示することができる。したがって、監視者は表示部２４からの表示出力された仮想監視画像４２を目視にて監視することにより、監視場所内における異常状態を効率的に、かつ俯瞰的に監視することができるため、大規模なショッピングセンターなどといった多数の監視カメラが設置されている監視場所であっても、監視者の監視負荷を増大させることなく監視することができる。

（監視端末２の画像処理部２２が実行する処理について）
以下、本実施形態の画像監視装置１に係る監視端末２の画像処理部２２が実行する処理の流れの一例について、図５を参照しながら詳細に説明する。なお、本実施例では、監視場所である建物内に５台の撮像装置３が設置されているものとして説明する。

動作に先立ち、監視者等により監視端末２の入力部２５を用いて撮像条件情報２１２の設定、仮想視点情報２１３の設定、及び場所モデル２１１の登録等の各種初期設定が行なわれる（ＳＴ１）。本実施例では、監視場所である建物内に５台の撮像装置３が設置されている場合を想定しているため、撮像装置３ごとに撮像条件情報２１２が初期設定にて登録される。また、場所モデル２１１として図３の３次元形状データが、初期設定にて登録されたとして以下の処理を説明する。

次に、画像処理部２２は、撮像装置３から受信して記憶部２１に記憶された撮像画像を、撮像装置３ごとに読み出す撮像画像読出処理を実行する（ＳＴ２）。撮像画像読出処理では、最新（現在時刻に最も近い）の撮像画像を撮像装置３ごとに読み出す。

次に、画像処理部２２の抽出手段２２１により抽出処理を実行する（ＳＴ３）。抽出処理では、撮像画像読出処理で取得された撮像装置３ごとの撮像画像から、それぞれ変化領域を抽出する。本実施形態では、今回取得した撮像画像と基準画像との差分をとることにより変化領域を抽出する。また、抽出処理では、抽出された変化領域に対してラベル付けするラベリング処理も実施している。

次に、画像処理部２２のオブジェクト生成手段２２２によりオブジェクト生成処理を実行する（ＳＴ４）。オブジェクト生成処理では、抽出処理にて撮像装置３ごとに抽出された各変化領域について、場所モデル２１１（仮想空間）上における足元位置を算出すると共に、変化領域オブジェクトを生成する。オブジェクト生成処理の詳細については、前述したためここでは説明を省略する。

次に、画像処理部２２の仮想監視画像生成手段２２４により、仮想監視画像生成処理を実行する（ＳＴ５）。仮想監視画像生成処理では、オブジェクト生成手段２２２により生成された変化領域オブジェクト３２を場所モデル上に配置し、仮想カメラから見たときの仮想監視画像を生成する処理を行う。なお、仮想監視画像生成処理の詳細については追って説明する。

次に、画像処理部２２は、仮想監視画像生成処理にて生成された仮想監視画像を表示部２４に表示出力する処理を行う。そして、画像処理部２２は、監視者等によって入力部２５から終了操作が行われるまで、ＳＴ２〜ＳＴ６の処理を繰り返し実行する。

（仮想監視画像生成処理の詳細について）
次に、図５のフローチャートのＳＴ５における、画像処理部２２の仮想監視画像生成手段２２３が実行する仮想監視画像生成処理の詳細について図６を参照しながら説明する。

仮想監視画像生成処理では、まず、入力部２５を介して監視者から最適視点操作入力が行われたか否かを判定する（ＳＴ２０）。ここで、最適視点操作入力とは、監視者が、現在表示している仮想監視画像における仮想視点よりも、目標移動物体の変化領域を好適に視認したいときになされる入力操作であり、キーボードやマウス等によって実行されるコマンドである。例えば、図４における符号４２ｖ、４２ｚに対応する画像領域のように、目標移動物体の変化領域が、物体モデルの画像領域４２’の陰に隠れて視認しにくくなったとき、監視者は、他の仮想視点に切り替えるよう、最適視点操作入力を実行する。

ＳＴ２０にて、監視者から最適視点操作入力が行われたと判定したとき（ＳＴ２０−Ｙｅｓ）、仮想監視画像生成手段２２３は視認率算出処理を実行する。視認率算出処理は、仮想カメラ毎に実行され、仮想カメラ毎に視認率が算出される。そのため、図５のループ１は、ＳＴ２１〜ＳＴ２４の各処理を仮想カメラの数分だけ実行することを意味している。図７は、本処理を説明するために、図３の場所モデルに対して、記憶部２１に予め固定的に設定された仮想視点からなる仮想カメラを符号３５ａ〜３５ｈとして表したものである（符号３５は現在表示中の仮想カメラを表す）。図７の例では、仮想カメラの数は、記憶部２１に予め固定的に設定された仮想視点情報の数（８つ）に現在表示中の仮想カメラの数である１を加えた９つの仮想カメラに対して視認率算出処理が実行されることになる。なお、本処理の説明において、選択仮想カメラとは、ループ１にて処理対象となっている仮想カメラをいう。

視認率算出処理では、まず、記憶部２１から選択仮想カメラの仮想視点情報を読出す処理を行う（ＳＴ２１）。そして、読出した選択仮想カメラの仮想視点情報を用いて場所有仮想画像を生成する（ＳＴ２２）。場所有仮想画像を生成する処理の詳細については、前述したため、ここでは説明を省略する。

次に、仮想監視画像生成処理では、場所無仮想画像を生成する処理を行う（ＳＴ２３）。場所無仮想画像とは、場所モデルを含まない仮想画像（仮想カメラによるレンダリング画像）のことである。変化領域オブジェクト３２をその仮想空間における足元位置に場所有仮想画像の場合と同様に配置し、一方で場所モデルを当該仮想空間に配置することなく、選択仮想カメラによってレンダリング処理することにより得ることができる画像である。いわば、場所無仮想画像においては、変化領域オブジェクト３２は物体モデルに隠蔽されることはないため、最も目標移動物体の変化領域を視認できる画像であるといえる。図８に図４と同じ仮想カメラ（図７の符号３５に対応）によって撮像した場所無仮想画像の例を表す。図８において符号４３ｘ、４３ｖ、４３ｚに示す画像領域は、図４における符号４２ｖ、４２ｘ、４２ｚに対応する画像領域である。

次に、仮想監視画像生成処理では、視認率を算出する処理を行う（ＳＴ２４）。視認率を算出するにあたり、まず、仮想監視画像生成手段２２３は、ＳＴ２２にて生成した場所有仮想画像における変化領域に対応する画像領域の面積（第一面積）を求める。すなわち、図４において符号４２ｖ、４２ｘ、４２ｚに対応する画像領域の面積の和を第一面積として算出する。そして、仮想監視画像生成手段２２３は、ＳＴ２３にて生成した場所無仮想画像における変化領域に対応する画像領域の面積（第二面積）を求める。すなわち、図８において符号４３ｖ、４３ｘ、４３ｚに対応する画像領域の面積の和を第二面積として算出する。そして、第一面積と第二面積との比率（第一面積／第二面積）から仮想カメラから変化領域を視認できる割合である視認率を算出し、当該視認率と選択仮想カメラとを対応付けて記憶部２１に記憶する。ＳＴ２４の処理を終了すると、ループ１にてまだ処理対象となっていない他の仮想カメラを選択仮想カメラに変更して、ＳＴ２１からの処理を行う。

ループ１にて全ての仮想カメラに対する処理を終了すると、仮想監視画像生成手段２２３は、視認率算出処理を終了し、処理をＳＴ２５に進める。ＳＴ２５では、視認率算出処理にて求めた各仮想カメラの視認率のうち、最も大きい視認率の仮想カメラを判定し、当該仮想カメラの場所有仮想監視画像を仮想監視画像として選択する選択処理を行う（ＳＴ２５）。例えば、現在表示中の仮想監視画像を生成した仮想カメラが図７における符号３５の仮想カメラであるとき、図４のような仮想監視画像を得ていたとする。ここで、監視者による最適視点操作入力がなされて、図７における符号３５及び符号３５ａ〜３５ｈの仮想カメラの視認率をそれぞれ算出した結果、符合３５ｆの仮想カメラの視認率が最も大きかった場合、符合３５ｆの仮想カメラが生成した場所有仮想監視画像である図９が仮想監視画像として選択されることになる。このように、視認率算出処理及び選択処理によって、監視者はより視認性の良い仮想視点に容易に変更することができるため、監視負荷を軽減することができる。選択処理を終了すると、仮想監視画像生成処理を終了して、図５のＳＴ６に処理を進める。

ＳＴ２０にて、監視者から最適視点操作入力が行われていない判定したとき（ＳＴ２０−Ｎｏ）、仮想監視画像生成手段２２３は現在表示中の仮想カメラの仮想視点情報を記憶部２１から読み出す処理を行う（ＳＴ２６）。そして、読出した選択仮想カメラの仮想視点情報を用いて場所有仮想画像を生成する（ＳＴ２７）。場所有仮想画像を生成する処理の詳細については、前述したため、ここでは説明を省略する。そして、生成した場所有仮想画像を仮想監視画像と設定して（ＳＴ２８）、仮想監視画像生成処理を終了して、図５のＳＴ６に処理を進める。

ところで、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施形態で実施されてもよいものである。また、実施形態に記載した効果は、これに限定されるものではない。

上記実施形態では、図５のＳＴ１（初期設定）にて、撮像装置３の撮像条件情報２１２を固定的に設定している。しかし、これに限らず、撮像装置３から監視端末２の通信部２３を介して撮像条件情報２１２を定期的に受信し、当該受信した撮像条件情報２１２に基づいてＳＴ２以降の処理を実施してもよい。これにより、例えば撮像装置３に対してパン・チルト・ズーム等により撮像条件情報２１２が変更されたとしても、監視者は、当該変更された撮像条件情報２１２に追従しながら、監視場所における状態を仮想視点から俯瞰的に監視できる。

上記実施形態では、オブジェクト生成手段２２２にて、変化領域に基づいて生成された矩形の板状オブジェクトに対して、当該変化領域に対応する撮像画像の画像領域をテクスチャマッピングすることにより、変化領域オブジェクトを生成している。しかし、これに限らず、予め登録された人型モデル（例えば円柱モデル）を用いて、変化領域の画像特徴に基づいて人型モデルのサイズを変更し、当該人型モデルに対して、変化領域に対応する撮像画像の画像領域をテクスチャマッピングすることにより、変化領域オブジェクトを生成してもよい。また、これ以外にも、変化領域に対応する撮像画像の画像領域を、場所モデル上の当該変化領域の大きさに相当する領域に対して直接投影（テクスチャマッピング）し、当該投影領域を変化領域オブジェクトとしてもよい。

上記実施形態では、仮想監視画像生成手段２２３にて、あらゆる変化領域に対応する場所有仮想画像（又は場所無仮想画像）の画像領域の面積和から第一面積（又は第二面積）を算出しているが、これに限らず、監視者等によって予め定めた目標移動物体の画像特徴を有する変化領域に限定し、当該変化領域に対応する場所有仮想画像（又は場所無仮想画像）の画像領域の面積和から第一面積（又は第二面積）を算出してもよい。これにより、目標移動物体の画像特徴を有さない変化領域については、視認率を算出する際に考慮されないこととなり、監視者は、目標移動物体として、例えば“子供”の画像特徴を設定した場合、子供の画像特徴を有する変化領域が好適に視認できるよう、仮想視点を変更することができる。

１・・・画像監視装置
２・・・監視端末
３・・・撮像装置
２１・・・記憶部
２２・・・画像処理部
２３・・・通信部
２４・・・表示部
２５・・・入力部
２１１・・・場所モデル
２１２・・・撮像条件情報
２１３・・・仮想視点情報
２２１・・・抽出手段
２２２・・・オブジェクト生成手段
２２３・・・仮想監視画像生成手段
３０・・・変化領域
３１ａ・・・足元位置
３１ｂ・・・頭部位置
３２・・・変化領域オブジェクト
３５・・・仮想カメラ
４０・・・撮像画像
４１・・・基準画像
４２・・・場所有仮想画像
４３・・・場所無仮想画像

Claims (3)

1. 監視場所の撮像画像を順次取得する撮像部と、
   前記監視場所を３次元の仮想空間として表現した場所モデルと、前記撮像部の設置位置、光軸及び画角を前記仮想空間に対応付けた撮像条件情報と、前記仮想空間における複数の仮想カメラの位置、光軸及び画角からなる仮想視点情報とを記憶した記憶部と、
   前記撮像画像から抽出した変化領域を前記場所モデル上に配置して前記仮想カメラから該場所モデルを撮像した仮想監視画像を出力する画像処理部と、
   前記仮想監視画像を表示する表示部とを備えた画像監視装置であって、
   前記画像処理部は、
   前記場所モデルと前記撮像条件情報と前記変化領域の撮像画像上の位置及び大きさとを用いて、前記仮想空間における該変化領域の位置である仮想空間位置を求め、該仮想空間位置における該変化領域の大きさに相当するオブジェクトに該変化領域を投影した変化領域オブジェクトを生成するオブジェクト生成手段と、
   前記変化領域に対応する前記変化領域オブジェクトを前記場所モデル上の対応する仮想空間位置に配置して前記仮想カメラから撮像した場所有仮想画像と該変化領域オブジェクトを該仮想空間位置に配置して該仮想カメラから撮像した場所無仮想画像とを生成し、該場所有仮想画像において前記変化領域に対応する画像領域の第一面積と該場所無仮想画像において該変化領域に対応する画像領域の第二面積とを用いて、該仮想カメラから該変化領域を視認できる割合である視認率を前記仮想カメラごとに算出する視認率算出処理と、
   該視認率が最大となる前記仮想カメラにより生成した前記場所有仮想監視画像を前記仮想監視画像として選択する選択処理と、を行う仮想監視画像生成手段と、
   を有することを特徴とする画像監視装置。
2. 前記第一面積は、予め定めた目標移動物体の画像特徴を有する前記変化領域に対応する場所有仮想画像の画像領域の面積であり、前記第二面積は、予め定めた目標移動物体の画像特徴を有する前記変化領域に対応する場所無仮想画像の画像領域の面積であることを特徴とする請求項１に記載の画像監視装置。
3. 利用者による操作入力を受ける入力部を更に有し、
   前記仮想監視画像生成手段は、前記入力部から前記操作入力があったとき前記視認率算出処理を行う請求項１又は請求項２に記載の画像監視装置。

Images