JP5727207B2 - 画像監視装置 - Google Patents

Description

本発明は、撮像装置による監視場所の撮像画像を監視者が目視にて監視する画像監視装置に関する。

従来、画像監視装置は、監視場所に設置された撮像装置からの撮像画像を受信し、表示部の映像ウィンドウに当該撮像画像を表示する。また、映像ウィンドウとは別に監視場所の地図画像、地図画像上に配置された撮像装置及び撮像範囲を地図ウィンドウとして表示部に表示する。これによって、監視者は、監視場所における撮像装置の撮像範囲を容易に把握しつつ、所定の撮像画像にて監視している。（特許文献１）
また、地図画像上にセンサを示すシンボルを配置することによって、センサ反応時に監視者がセンサ反応場所とその場所における撮像画像とを容易に把握できる画像監視装置も提案されている。（特許文献２）

特開平０８−２５１４６７ 特開平０５−２７４５７３

監視者は、特定の撮像装置が撮影した撮像画像によって監視している際に、その他の撮像装置の撮像範囲を把握したいことがある。この場合、従来の画像監視装置では目視中の映像ウィンドウから目を離して地図ウィンドウに視線を移さなければならない。このため、要注意人物を映像ウィンドウの撮像画像上にて目視にて追っている場合に、他の撮像装置の撮像画像にてどのように映っているかを想像するのに熟練が必要であった。例えば、特定の人物の移動先を見越してその移動先における最適な画角で撮像できる撮像装置がどれなのかを把握したい場合や、当該人物を異なるアングルから撮像している撮像装置がどれなのかを把握したい場合、監視者は、撮像画像から一旦地図ウィンドウ上に視線を移して、地図画像上の該当する位置にあるシンボルを探さなければならなかった。また、センサ反応時においても、一旦地図ウィンドウ上に視線を移してから反応したセンサの位置を確認しなければならないため、何が原因でセンサが反応したのかを迅速に把握するのが困難であった。

そこで本発明は、現在表示している撮像画像上に他の撮像装置の撮像範囲やセンサの検知範囲を撮像画像上に再現表示することにより、監視者が監視場所の状況を迅速に把握しうることを目的とする。

かかる課題を解決するために、監視場所を撮像する撮像部と、前記監視場所内の状態を監視する監視部と、記憶部と、前記撮像部の撮像画像上に前記監視部の監視範囲を表した合成画像を出力する画像処理部と、前記合成画像を表示する表示部とを備えた画像監視装置であって、前記記憶部は、前記監視場所を３次元の仮想空間として表現した場所モデルと、前記監視部の設置位置、監視方向及び監視角情報を前記場所モデルと対応付けた監視条件情報と、前記撮像部の設置位置、光軸及び画角情報を前記場所モデルと対応付けた撮像条件情報とを記憶し、前記画像処理部は、前記監視条件情報と前記場所モデルとを用いて前記監視部の監視範囲を表す監視範囲モデルを生成するモデル生成手段と、前記監視範囲モデルと前記場所モデルと前記撮像条件情報とを用いて前記撮像部の視野に相当するレンダリング画像を生成するレンダリング手段と、前記撮像画像と前記レンダリング画像とを合成した合成画像を出力する合成処理手段と、を有することを特徴とする画像監視装置を提供する。

かかる構成により、本発明のモデル生成手段は、監視条件情報と場所モデルとに基づいて、監視部の監視範囲を３次元形状として捉えた監視範囲モデルを生成し、当該監視範囲モデルを場所モデル内に配置する処理を行う。そして、本発明のレンダリング手段は、当該監視範囲モデルが配置された場所モデルと撮像条件情報とを用いて、撮像部からの視野に相当するレンダリング画像を生成する処理を行う。例えば、レンダリング手段は、監視範囲モデルが配置された場所モデル内に、撮像条件情報で設定された仮想的なカメラ（以下、「仮想カメラ」という）から、３次元コンピュータグラフィックスのレンダリング処理を行うことにより、撮像部の視野に相当するレンダリング画像を生成する。そして、本発明の合成処理手段は、撮像部からの撮像画像とレンダリング画像とを合成した合成画像を出力する処理を行う。例えば、レンダリング画像から、監視部の監視範囲を表す画像領域（以下、「監視範囲画像」という）を抽出し、当該監視範囲画像を撮像画像上にオーバーレイすることにより合成画像を出力する。そして、本発明の表示部は、合成画像を表示する。

上記処理により、監視者は、合成画像における監視範囲画像から監視部の監視範囲を把握することができる。したがって、監視者は、従来技術のように一旦地図ウィンドウ上に視線を移すことなく他の監視部の監視範囲を把握できるため、異常状態が発生した場合においても、監視場所の状況を迅速に把握することができる。また、パン・チルト・ズーム等の操作により撮像部の撮像条件情報が変更されて、撮像部の視野が変更されたとしても、変更された視野における合成画像において監視範囲画像を動的に再現表示することができる。したがって、監視者は、地図ウィンドウ上に視線を移すことなく合成画像を確認しながら、撮像部の視野を変更できる。

また、本発明の好ましい態様として、前記場所モデルは、前記監視場所に存在する物体を含めて３次元の仮想空間を表現したものとする。
例えば、場所モデルは、監視場所である建物内の壁・床・柱等の建築構造物や建物内に設置された什器等の設置物などといった物体の３次元形状情報を含めて３次元の仮想空間を表現したものとして記憶部に記憶されているものとする。かかる構成により、本発明のモデル生成手段は、場所モデルの物体との干渉を考慮して監視条件情報に基づいて監視範囲モデルを生成し、当該場所モデルを場所モデル内に配置する処理を行う。また、本発明のレンダリング手段は、物体による監視範囲モデルの隠蔽を考慮して、レンダリング画像を生成する処理を行う。
上記処理により、例えば、監視部の監視範囲内に壁等の物体が存在する場合、合成画像における監視範囲画像は、当該物体（壁）に遮られ、当該物体（壁）を越えて表示されることはない。また、撮像部からの視野からは見えない領域、例えば、壁等の物体により隠蔽されている領域を監視部が監視している場合、当該物体（壁）に隠蔽されている部分の監視範囲画像は、合成画像において表示されることはない。したがって、監視部における監視範囲が、監視場所内に存在する物体との干渉や隠蔽を考慮して再現表示されるため、監視者は、より正確に監視部の監視範囲を把握することができる。

また、本発明の好ましい態様として、前記監視部は、前記監視場所を撮像する第２撮像部であり、前記監視条件情報の監視方向及び監視角情報はそれぞれ前記第２撮像部の光軸及び画角情報であるものとする。
かかる構成により、監視者は、合成画像から第２撮像部の監視範囲（撮像範囲）を把握することができる。すなわち、監視場所に撮像部が複数設置されている場合、監視者は、ある撮像部についての合成画像において再現表示された監視範囲画像から、他の撮像部の監視範囲を把握することができる。

また、本発明の好ましい態様として、更に、監視者にて前記合成画像上の位置を指定操作される入力部を有し、前記入力部にて前記合成画像上の前記監視範囲を表す画像領域が指定されると、前記画像処理部の前記レンダリング手段は、前記第２撮像部の視野に相当する前記レンダリング画像を生成し、前記画像処理部の前記合成処理手段は、前記第２撮像部の撮像画像と前記レンダリング画像とを合成した合成画像を出力するものとする。
かかる構成により、監視者によって入力部から合成画像における監視範囲画像が指定されると、本発明のレンダリング手段は、指定された監視範囲画像に対応する撮像部（第２撮像部）の視野に相当するレンダリング画像を生成する処理を行う。そして、本発明の合成処理手段は、当該レンダリング画像と、指定された監視範囲画像に対応する撮像部（第２撮像部）の撮像画像とを合成した合成画像を出力する処理を行う。上記処理により、監視者は、マウス等の入力部を用いて合成画像上に表示されている監視範囲画像を指定することにより、希望する撮像部の合成画像を表示部に表示させることができる。したがって、監視者は、地図ウィンドウ上に視線を移すことなく合成画像を確認しながら、表示部に表示させたい他の撮像部の合成画像へ表示を切替操作することができる。

また、本発明の他の態様として、前記監視部は、赤外線センサ、超音波センサ又はマイクロ波センサであるものとする。
かかる構成により、監視者は、合成画像から赤外線センサ、超音波センサ又はマイクロ波センサ等といった空間センサに関する監視範囲（検知範囲）を把握することができる。

上記のように、本発明の画像監視装置は、現在表示している撮像画像上に他の撮像装置の撮像範囲やセンサの検知範囲といった監視範囲を表示することによって、異常状態等の迅速な対処が必要とされるような状況においても容易に監視場所の状況を把握することができる。

第一の実施例に係る画像監視装置の構成を示すブロック図 監視範囲モデルを説明する図 監視範囲モデルを説明する図 第一の実施例に係る制御部における処理を示すフローチャート 場所モデルを表す図 モデリング処理後の監視範囲モデルを設置した場所モデルを表す図 レンダリング処理後のレンダリング画像を表す図 撮像画像を表す図 合成画像を表す図 合成画像を表す図 第二の実施例に係る画像監視装置の構成を示すブロック図 第二の実施例に係る制御部における処理を示すフローチャート

（第一の実施例）
以下、本発明の一実施形態として、建物内を監視場所とし、警備員等の監視者が当該監視場所を撮像装置により撮像した撮像画像によって監視場所内における状態を監視する場合の実施例について、図面を参照して説明する。

図１は、画像監視装置１の全体構成について模式的に示した図である。画像監視装置１は、監視端末２、撮像装置３によって構成される。なお、本実施例は、撮像装置３が、本発明における監視部及び撮像部として機能した場合の実施例である。

撮像装置３は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品等を含んで構成される所謂監視カメラである。撮像装置３は、室内の壁の上部又は天井部に設置され、監視場所を俯瞰して撮像するよう設置される。撮像装置３は、監視場所を所定時間おきに撮像して撮像画像を監視端末２に順次送信する。入力画像が撮像される時間間隔は、例えば１／５秒である。本実施例では、監視場所内に複数台の撮像装置３が設置されていることとする。

監視端末２は、コンピュータ機能を有しており、記憶部２１、制御部２２、通信部２３、表示部２４及び入力部２５を備えている。

通信部２３は、ＬＡＮやＵＳＢ等の通信インタフェースであり、撮像装置３と通信を行う。

入力部２５は、キーボードやマウス、タッチパネル、可搬記憶媒体の読み取り装置等の情報入力デバイスである。監視者等は、入力部２５を用いて、それぞれの撮像装置３の設置位置等の様々な撮像条件に関する情報を設定したり、表示部２４への表示対象となる撮像装置３を選択したりすることができる。

記憶部２１は、ＲＯＭ、ＲＡＭ、ＨＤＤ等の情報記憶装置である。記憶部２１は、各種プログラムや各種データを記憶し、制御部２２との間でこれらの情報を入出力する。各種データには、撮像条件情報２１２、場所モデル２１１、監視範囲モデル２１３、表示対象情報２１４、対応情報２１５が含まれる。

場所モデル２１１は、監視場所に存在する現実世界の壁・床・柱、什器等の物体をモデル化することにより作成された３次元形状データを含む３次元の仮想空間を表した座標情報である。場所モデル２１１における３次元形状データは、監視場所の形状情報に基づいて３次元ＣＡＤで作成されたものでも良いし、３次元レーザースキャナー等により監視場所の３次元形状を取り込んだデータを利用しても良い。このようにして作成された場所モデル２１１は、監視者等により入力部２５から設定登録されることにより記憶部２１に記憶される。

撮像条件情報２１２は、現在時刻における撮像装置３の設置位置や光軸（姿勢）に関する設置条件情報と、焦点距離、画素数、画素サイズ、レンズ歪みに関する画角条件情報とからなり、撮像装置３毎に個別設定される。また、撮像条件情報２１２は、場所モデルの仮想空間における座標情報に対応付けられた値で設定されている。ここで、設置位置に関する設置条件情報とは、監視場所内（実空間）を３次元直交座標系として表し、実空間の直交座標系で座標が既知である基準点の座標値に基準点からの相対距離、方向を測定して補正する等の公知の技術を使用して算出した座標データとして表した情報である。また、光軸に関する設置条件情報とは、上記座標軸に対する撮像装置３の光軸の回転角度に関する情報であり、撮像装置３のいわゆるパン角度、チルト角度から求めることができる。撮像条件情報２１２は、初期設定時に監視者等によって入力部２５から設定登録されることにより記憶部２１に記憶される。

監視範囲モデル２１３は、撮像装置３の監視範囲を模してモデル化した３次元形状データである。監視範囲モデル２１３は、後述するように制御部２２のモデル生成手段２２１によって生成され、記憶部２１に記憶される。

表示対象情報２１４は、表示部２４への表示対象となる撮像装置３の識別情報からなるリストである。すなわち、表示対象情報２１４に登録されている撮像装置３に対応する後述する合成画像が、表示部２４に１又は複数表示される。表示対象情報２１４は、管理者によって初期設定時に登録されたり、監視者によって必要に応じて入力部２５から手動で更新したり、制御部２２によって所定時間おきに自動更新されたりする。

対応情報２１５は、後述する合成画像上に表示された監視範囲画像の位置と範囲を表す情報と撮像装置３の識別情報とを対応づけたテーブルである。例えば、合成画像上に２つの監視範囲画像が表示されており、一方の監視範囲画像Ａが撮像装置Ａの監視範囲を、もう一方の監視範囲画像Ｂが撮像装置Ｂの監視範囲を表すものであるとする。この場合、対応情報２１５には、監視範囲画像Ａの位置と範囲を表す情報に撮像装置Ａの識別情報が対応づけられて記憶されている。同様に、対応情報２１５には、監視範囲画像Ｂの位置と範囲を表す情報に撮像装置Ｂの識別情報が対応づけられて記憶されている。なお、対応情報２１５は、後述する合成処理手段２２３にて作成され、記憶部２１に記憶される。

制御部２２は、例えばＣＰＵやＤＳＰ等の演算装置であって、記憶部２１に記憶されるプログラムに従って各種の情報処理を実行する。本実施例では、制御部２２は、撮像装置３の撮像画像上に、他の撮像装置３の監視範囲を表す監視範囲画像を合成した合成画像を生成し、表示部２４に出力する処理を行う。また、制御部２２は、入力部２５からの設定情報や操作情報等の入力情報を記憶部２１に記憶する処理を行う。制御部２２は、機能的に、モデル生成手段２２１と、レンダリング手段２２２と、合成処理手段２２３と、選択手段２２４とを含んで構成される。

モデル生成手段２２１は、記憶部２１の撮像条件情報２１２と場所モデル２１１とに基づいて監視範囲モデル２１３を生成し、当該監視範囲モデル２１３を場所モデル２１１上における位置情報と対応付けて記憶部２１に記憶するモデリング処理を行う。すなわち、モデリング処理によって、理論上、監視範囲モデル２１３が配置された場所モデル２１１を得られることになる。なお、モデリング処理では、撮像条件情報２１２に基づいて、各撮像装置３に対応する仮想カメラを場所モデル２１１上に配置する処理も行う。この際、当該仮想カメラは、後述するレンダリング手段２２２にて撮像装置３の視野に相当するレンダリング画像が得られるよう設定されるものとする。

図２は、監視場所の上方から床面方向を撮像している撮像装置３に係る監視範囲モデル２１３の一例を表したものである。ここで、図２を用いて、モデル生成手段２２１における監視範囲モデル２１３の生成の処理を説明する。なお、図２において、符号２１１ａ、２１１ｂは、場所モデル２１１の一部を表したものであり、そのうち２１１ａが床面を表し、２１１ｂが壁面を表したものとする。

モデル生成手段２２１は、監視範囲モデル２１３を生成するにあたり、まず、記憶部２１の撮像条件情報２１２から撮像装置３の設置位置（Ｘ，Ｙ，Ｚ）を読み出して、その位置に対応する場所モデル２１１上における光学中心Ｏを求める。また、モデル生成手段２２１は、当該光学中心Ｏと、記憶部２１の撮像条件情報２１２から読み出した光軸（姿勢）に関する設置条件情報とから、撮像装置３の場所モデル２１１上における光軸を求める。また、モデル生成手段２２１は、記憶部２１から焦点距離ｆとＣＣＤの画素の実サイズ、画像の縦横のピクセル数とレンズの歪みに関する諸元等の撮像条件情報２１２を読み出し、撮像装置３の場所モデル２１１上における投影面ａｂｃｄを求める。そして、光学中心Ｏから投影面ａｂｃｄの四つの頂点を通る四角錐Ｏａ’ｂ’ｃ’ｄ’を生成する。なお、四角錐の高さは、少なくとも四角錐の底面における四つの頂点（ａ’，ｂ’，ｃ’，ｄ’）が場所モデル２１１を貫く程度の任意の高さとする。そして、モデル生成手段２２１は、この四角錐と場所モデル２１１との干渉面ＡＢＣＤを公知の幾何計算により求め、当該干渉面と四角錐の頭頂点を含む四つの側面からなる立体形状ＯＡＢＣＤを監視範囲モデル２１３として求める。

このように、監視範囲モデル２１３の形状は、撮像条件情報２１２の値によって変化する。例えば、撮像装置３がズーム操作を行った場合、焦点距離ｆが大きくなることに伴って、四角錐の底面ａ’ｂ’ｃ’ｄ’の辺の長さが小さくなり、干渉面の大きさも小さくなるように変化する。また、撮像装置３に対して、パン・チルト操作を行い、図３のように床面２１１ａと壁面２１１ｂとが監視範囲に含まれるよう撮像装置３の光軸を移動させた場合、監視範囲モデル２１３の形状は、ＯＡＢＥＣＤＦを頂点とした３次元形状となる。なお、図２、図３はレンズのゆがみを除去した場合の監視範囲モデル２１３の概略を表したものである。

なお、本実施例では、上記のように撮像条件情報２１２として焦点距離、画素数、画素サイズ、レンズ歪みからなる画角条件情報を用いて投影面を求め、当該投影面から監視範囲モデル２１３を算出するための処理を行っている。しかし、焦点距離、画素数、画素サイズ、レンズ歪みからなる画角条件情報を用いなくても監視範囲モデル２１３を算出することができる。例えば、撮像装置３の種類によっては、撮像装置３の水平角（又は垂直角）を設定することによって、当該水平角（又は垂直角）と当該撮像装置３のアスペクト比とから一意に監視範囲を求めることができるものがある。このような撮像装置３では、画角条件情報として水平角（又は垂直角）とアスペクト比とを設定することによって、四角錐の頭頂点Ｏにおける対向する２つの側面がなす角度を求めることができるため、これから上記実施例と同様に四角錐Ｏａ’ｂ’ｃ’ｄ’を求めることができ、監視範囲モデル２１３を生成することができる。

レンダリング手段２２２は、表示対象情報２１４に記された撮像装置３に対応する仮想カメラを用いて、監視範囲モデル２１３が配置された場所モデル２１１を仮想的に撮像するレンダリング処理を行い、撮像装置３の視野に相当する仮想的な画像であるレンダリング画像を生成する。この際、レンダリング手段２２２は、監視範囲モデル２１３が配置された場所モデル２１１から、レンダリング処理対象の仮想カメラに対応する監視範囲モデル２１３を取り除いてからレンダリング処理を行う。なお、レンダリング手段２２２は、少なくとも記憶部２１の表示対象情報２１４に記された撮像装置３それぞれに対応する仮想カメラによってレンダリング処理を繰り返し実施する。レンダリング処理によって生成されたレンダリング画像は、記憶部２１に一時的に記憶される。

合成処理手段２２３は、撮像画像とレンダリング画像とから合成画像を生成するオーバーレイ処理を行う。オーバーレイ処理では、合成処理手段２２３は、まず記憶部２１に一時的に記憶されたレンダリング画像から、監視範囲モデル２１３に該当する部分の画像領域である監視範囲画像を撮像装置３に対応付けて抽出する処理を行う。本実施例では、監視範囲画像の色情報に基づいてレンダリング画像から撮像装置３に対応付けて監視範囲画像を抽出する。具体的には、予めモデリング処理にてモデル生成手段２２１が、監視範囲モデル２１３の色情報を、場所モデル２１１とは異なる色であって撮像装置３ごとに異なる色として設定しておく。この際、モデル生成手段２２１は、撮像装置３ごとに設定された色情報を記憶部２１に記憶しておく。こうすることで、合成処理手段２２３は、レンダリング画像から上記色情報を含む画像領域を監視範囲画像として抽出することができる。

続いて、オーバーレイ処理では、合成処理手段２２３は、抽出した監視範囲画像とこれに対応する撮像装置３の識別情報とを対応付けた対応情報２１５を記憶部２１に記憶する処理を行う。この際、合成処理手段２２３は、撮像装置３ごとに設定された色情報を参照することにより、監視範囲画像と撮像装置３とを対応付けることができる。

続いて、オーバーレイ処理では、合成処理手段２２３は、撮像装置３から受信した撮像画像上に抽出した監視範囲画像をオーバーレイする（重ね合わせる処理）ことにより合成画像を生成する。この際、監視範囲画像に隠れた部分における撮像画像についても監視者が見ることができるよう、監視範囲画像を半透明にして重ね合わせることとする。なお、合成処理手段２２３は、少なくとも記憶部２１の表示対象情報２１４に記された各撮像装置３の撮像画像に対してオーバーレイ処理を繰り返し、それぞれの合成画像を出力する。

選択手段２２４は、入力部２５からの入力情報に基づいて、記憶部２１の表示対象情報２１４を更新する処理を行う。具体的には、選択手段２２４は、監視者により表示部２４に表示されている合成画像上の監視範囲画像をマウス等の入力部２５にて指示されると、当該合成画像上における指示位置座標を取得する。そして、選択手段２２４は、記憶部２１の対応情報２１５を参照することにより、指示位置座標が監視範囲画像を指示しているか否かを判別する。そして、指示位置座標が監視範囲画像を指示している場合、指示された監視範囲画像がどの撮像装置３に対応するかを判別し、対応する撮像装置３の識別情報を記憶部２１に表示対象情報２１４として記憶する処理を行う。

表示部２４は、ディスプレイ等の情報表示デバイスである。表示部２４は、合成処理手段２２３から出力された合成画像を表示する。なお、記憶部２１の表示対象情報２１４に複数の撮像装置３の識別情報が登録されてるときは、表示部２４に複数の合成画像が表示されることになるが、この場合、一つのディスプレイからなる表示部２４に分割表示されてもよいし、複数のディスプレイからなる表示部２４に個別表示されてもよい。このように、監視者は表示部２４からの表示出力を監視することにより、監視場所内における異常状態を検知することができる。また、監視者は、撮像画像上に重畳表示された監視範囲画像から、他の撮像装置３の監視範囲を容易に把握することができるため、緊急時における迅速な対処が可能となる。

以下、本実施例の画像監視装置１に係る監視端末２の制御部２２が実行する処理の流れの一例について、図４のフローチャートに基づいて説明する。なお、本実施例では、監視場所である室内に３台の撮像装置３ａ、３ｂ、３ｃ（図示せず）が設置されているものとして説明する。

動作に先立ち、監視者等により監視端末２の入力部２５を用いて撮像条件情報２１２の設定、表示対象情報２１４の設定、及び場所モデル２１１の登録等の各種初期設定が行なわれる（Ｓ１０）。本実施例では、監視場所である建物内に３台の撮像装置３が設置されている場合を想定しているため、撮像装置３ごとに撮像条件情報２１２が初期設定にて登録される。また、表示対象情報２１４として撮像装置３ａの識別情報が、場所モデル２１１として図５の３次元形状データが、初期設定にて登録されたとして以下の処理を説明する。

初期設定が終わると、モデル生成手段２２１は、撮像装置３ごとに監視範囲モデル２１３を生成し、記憶部２１に登録するモデリング処理を、全ての撮像装置３についての処理が終了するまで繰り返し実施する（Ｓ１２、Ｓ１４）。図６は、モデリング処理後における監視範囲モデル２１３が設置された場所モデル２１１の模式図である。図６において、符号９１ａ、９１ｂ、９１ｃはそれぞれ撮像装置３ａ、３ｂ、３ｃに対応する仮想カメラを表したものであり、撮像条件情報２１２に基づいて配置されたものである。なお、仮想カメラは本明細書における処理説明のため、便宜上、図６に表したに過ぎず、３次元形状を表すモデルとして場所モデル２１１上に配置されたものではない。また、符号２１３ａ、２１３ｂ、２１３ｃは、それぞれ撮像装置３ａ、３ｂ、３ｃに対応する監視範囲モデル２１３であり、撮像条件情報２１２に基づいて生成され、場所モデル２１１上に配置されたものである。

次に、レンダリング手段２２２は、レンダリング処理を行い、記憶部２１の表示対象情報２１４に示された撮像装置３ａの視野に相当するレンダリング画像を生成する（Ｓ１６）。図７は、レンダリング処理によって撮像装置３ａに対応する仮想カメラ９１ａから仮想的に撮像した場合のレンダリング画像５の模式図を表したものである。図７において、符号５１ｂ、５１ｃはそれぞれ監視範囲モデル２１３ｂ、２１４ｃに対応する監視範囲画像５１である。また、図７において、符号５２、５３はそれぞれ場所モデル２１１における壁面２１２ｂ、床面２１２ａに対応する画像領域である。レンダリング処理では、レンダリング処理の対象となっている仮想カメラ９１ａに対応する監視範囲モデル２１３ａを取り除いてからレンダリング画像を生成する処理を実施するため、図７のようにレンダリング画像には監視範囲モデル２１３ａに対応する監視範囲画像５１が表示されることはない。また、レンダリング処理では、図７の監視範囲画像５１ｃのように、壁等の物体によって隠蔽されている部分の監視範囲画像５１の画像領域については、レンダリング画像上に表示されることはない。

次に、合成処理手段２２３は、記憶部２１の表示対象情報２１４に記された撮像装置３の撮像画像と、ステップＳ１６にて生成したレンダリング画像から抽出した監視範囲画像５１とを重ね合わせて合成画像を生成するオーバーレイ処理を行う（Ｓ１８）。そして、合成処理手段２２３は、オーバーレイ処理によって生成した合成画像を表示部２４に出力する処理を行う。これによって、表示部２４は、当該合成画像を表示する（Ｓ２０）。図８は撮像装置３ａから受信した撮像画像６の模式図である。ここで図８のように、撮像装置３ａからの撮像画像６には人物像９２が撮像されていることとする。図９はオーバーレイ処理によって図８の撮像画像６上にレンダリング画像から抽出した監視範囲画像５１を重ね合わせた合成画像７の模式図である。図９において、符号７ｂ、７ｃの画像領域は、図７のレンダリング画像５から抽出された監視範囲画像５１であり、それぞれ図７における監視範囲画像５１ｂ、５１ｃに対応する画像領域である。このように監視者は、合成画像上に再現表示された他の撮像装置３ｂ、３ｃの監視範囲を表す監視範囲画像７ｂ、７ｃを確認しながら監視できるため、他の撮像装置３の監視範囲を容易にかつ素早く把握することができる。

次に、制御部２２は、入力部２５からの切替操作の有無を判定する（Ｓ２２）。入力部２５による切替操作が検出されなかった場合（Ｓ２２−Ｎｏ）、ステップＳ１８へ進み、撮像装置３から新たに取得した次フレームの撮像画像６と、ステップＳ１６で生成したレンダリング画像５とを用いてオーバーレイ処理を行う。

一方、入力部２５からの切替操作が検出された場合（Ｓ２２−Ｙｅｓ）、選択手段２２４は、入力部２５からの入力情報に基づいて、記憶部２１の表示対象情報２１４を更新する（Ｓ２４）。続いて、制御部２２は、処理をステップＳ１６へ進め、更新された表示対象情報２１４に示された撮像装置３に対応する仮想カメラ（いわば、表示対象情報２１４に示された撮像装置３に相当する視野の仮想カメラ）によってレンダリング処理を行う。そして、そのレンダリング処理で生成されたレンダリング画像と、更新された表示対象情報２１４に示された撮像装置３の撮像画像とを用いて、ステップＳ１８のオーバーレイ処理により合成画像が生成され、続くＳ２０にて当該合成画像が表示される。

例えば、監視者が、人物像９２の移動先を予想して、当該移動先における人物像９２をより良く監視できる撮像装置３ｃによる合成画像に表示を切り替えたい場合を想定する。この場合、監視者は、マウスの操作によりマウスカーソルを合成画像７上の監視範囲画像７ｃに合わせて、指示操作（例えばマウスクリック）する。指示操作されると、選択手段２２４は、指示位置座標と対応情報２１５とから撮像装置３ｃに対応する監視範囲画像が指示されたこと判別し、表示対象情報２１４を撮像装置３ｃの識別情報に更新する処理を行う。これにより、図１０のような撮像装置３ｃについての合成画像７をディスプレイ上に表示させることができる。

（第二の実施例）
上記の第一の実施例は、撮像装置３が、本発明における監視部及び撮像部として機能した場合の実施例である。一方、本実施例は、人物から放射される赤外線の受光量の変化に基づいて人物の存否を検出する赤外線センサが、本発明における監視部として機能した場合の実施例である。なお、本実施例においても、第一の実施例の場合と同様に、撮像装置３が本発明における撮像部として機能している。
本実施例では、監視場所に設置された赤外線センサが反応した場合に、当該赤外線センサに対応する撮像装置３についての合成画像を表示する処理を行う。なお、本実施例における合成画像とは、撮像画像上に赤外線センサの監視範囲（検知範囲）を表す画像領域、すなわち監視範囲画像を重ね合わせるよう画像処理した画像のことをいう。

図１１は、本実施例に係る画像監視装置１の構成を示すブロック図である。以下では、本実施例の画像監視装置１の内、上記第一の実施例と同様の部分については同一の符号を付して説明しており、その構成や処理に差異がない場合は、その説明を省略している。図１１のように、通信部に一又は複数の赤外線センサ８が接続される点、監視端末２の記憶部２１に表示対象情報２１４と対応情報２１５とが存在しない点、記憶部２１に反応情報２１６と監視条件情報２１７とが追加された点、制御部２２に選択手段２２４が存在しない点が、第一の実施例と相違する。

本実施例における記憶部２１の反応情報２１６は、一の赤外線センサ８の識別情報に対して、一又は複数の撮像装置３の識別情報が対応付けられた情報リストである。本実施例における監視端末２は、当該反応情報２１６を参照することによって、赤外線センサ８が反応したときに、当該赤外線センサ８に対応づけられた撮像装置３の撮像画像を取得し、当該撮像画像と当該撮像装置３に相当する視野の仮想カメラから生成されたレンダリング画像とから合成画像を生成し、表示部２４に表示出力する処理を行う。なお、反応情報２１６は、初期設定時に監視者等によって入力部２５から設定登録されることにより記憶部２１に記憶される。

また、本実施例における記憶部２１の監視条件情報２１７には、各赤外線センサ８の設置位置や監視方向に関するセンサ設置条件情報と、センサの検知範囲を画定する監視角情報とが記憶されている。また、本実施例における記憶部２１の監視範囲モデル２１３には、制御部２２のモデル生成手段２２１によって生成された、赤外線センサ８の監視範囲を模してモデル化した３次元形状データが記憶されている。

本実施例における制御部２２のモデル生成手段２２１は、監視条件情報２１７のセンサ設置条件情報と監視角情報とに基づいて、監視範囲モデル２１３を生成し、当該監視範囲モデル２１３を場所モデル２１１上に設定するモデリング処理を行う。ここで、監視条件情報２１７のセンサ設置条件情報と監視角情報とから赤外線センサ８の監視範囲を一意に求めることができるため、モデル生成手段２２１は、第一の実施例と同様の処理により、四角錐等の監視範囲を表す立体形状を求める。そして、モデル生成手段２２１は、第一の実施例と同様の処理により、当該立体形状と場所モデル２１１との干渉を幾何計算により求め、監視範囲モデル２１３を生成する処理を行う。

次に、本実施例に係る監視端末２の制御部２２が実行する処理の流れの一例について、図１２のフローチャートに基づいて説明する。
図１２のように、動作に先立ち、監視者等により監視端末２の入力部２５を用いて場所モデルの設定、撮像条件情報の設定、監視条件情報の設定、反応情報の設定等の初期設定が行われる（Ｓ３０）。

初期設定が終わると、モデル生成手段２２１は、赤外線センサ８ごとに監視範囲モデル２１３を生成し、記憶部２１に登録する処理を、全ての赤外線センサ８についてモデリング処理が終了するまで繰り返し実施する（Ｓ３２、Ｓ３４）。モデリング処理によって生成された各監視範囲モデル２１３は、場所モデル２１１上における位置情報と対応付けて記憶部２１に記憶される。すなわち、モデリング処理によって、理論上、監視範囲モデル２１３が配置された場所モデル２１１を得られることになる。更に、モデリング処理では、第一の実施例と同様に、撮像条件情報２１２に基づいて、各撮像装置３に対応する仮想カメラを場所モデル２１１上に配置する処理も行う。

次に、制御部２２は、赤外線センサ８が反応したか否かを判定し続ける（Ｓ３６）。赤外線センサ８が反応したと判定した場合（Ｓ３６−Ｙｅｓ）、制御部２２は、処理をステップＳ３８へ進める。

次に、レンダリング手段２２２は、レンダリング処理を行う（Ｓ３８）。レンダリング処理では、まず、レンダリング手段２２２は、記憶部２１の反応情報２１６を参照し、反応した赤外線センサ８に対応する撮像装置３を求める。そして、レンダリング手段２２２は、当該撮像装置３に対応する仮想カメラによってレンダリング画像を生成する。

次に、合成処理手段２２３は、オーバーレイ処理を行う（Ｓ４０）。オーバーレイ処理では、まず、合成処理手段２２３は、ステップＳ３８にて生成したレンダリング画像から監視範囲画像を抽出する。そして、合成処理手段２２３は、反応した赤外線センサ８に対応する撮像装置３から取得した撮像画像と、レンダリング画像から抽出した監視範囲画像とをオーバーレイすることにより合成画像を生成する。そして、合成処理手段２２３は、オーバーレイ処理によって生成した合成画像を表示部２４に出力する処理を行う。これによって、表示部２４は、当該合成画像を表示する（Ｓ４２）。

次に、制御部２２は、入力部２５からの解除操作の有無を判定する（Ｓ４４）。ここで、解除操作とは、画面表示を合成画像を表示している現状態のから初期設定後の画面表示（初期画面）に戻すための操作のことをいい、マウスやキーボード等の入力部２５からの所定の入力操作によって、解除操作の有無を判定する。例えば、所定のキー入力されたときに制御部は解除操作されたと判定される。解除操作されたと判定された場合（Ｓ４４−Ｙｅｓ）、制御部は画面表示を初期画面に戻すとともに、処理をステップＳ３６に進めて、次に赤外線センサ８が反応するまで処理を待機させる。

一方、解除操作されたと判定されない場合（Ｓ４４−Ｎｏ）、ステップＳ４０に進み、撮像装置３から新たに取得した次フレームの撮像画像と、ステップＳ３８で生成したレンダリング画像とを用いてオーバーレイ処理を行う。このように、解除操作されるまで新たに取得したフレームの撮像画像を用いて合成画像が生成され、表示部２４に表示出力される処理が繰り返される。

本実施例の画像監視装置１により、監視者は、赤外線センサ８の反応時に、撮像画像上から当該赤外線センサ８の監視範囲を把握することができるため、迅速に赤外線センサが反応した要因を把握することができる。例えば、赤外線センサ８の設置位置を地図ウィンドウ上で確認することなく、赤外線センサの監視範囲に隣接するカーテンの揺れによる検知なのか、移動体による検知なのかを撮像画像上に重畳表示された監視範囲画像から推測することができる。

なお、本実施例では、赤外線センサ８が反応した時に当該赤外線センサ８に対応する撮像装置３に係る合成画像を表示しているが、これに限らず、監視者による入力部２５からの入力操作によって、監視者の希望する撮像装置３に係る合成画像を表示するようにしてもよい。これにより、例えば赤外線センサ８の設置時や監視範囲についての設定変更時において、撮像画像上に重畳表示された監視範囲画像を確認しながら赤外線センサ８の監視範囲を設定することができるため、容易に赤外線センサ８の監視範囲を設定することができる。

また、本実施例では、ステップＳ３６にて赤外線センサ８が反応したと判定した後にステップＳ３８にてレンダリング処理を行っているが、これに限らず、予めレンダリング処理を行ってから赤外線センサ８の反応を判定する処理を行ってもよい。すなわち、レンダリング手段２２２は、予め全ての撮像装置３に対応する仮想カメラからレンダリング画像を生成して記憶部２１に記憶させておく。そして、合成処理手段２２３は、赤外線センサ８が反応したときに、当該赤外線センサ８に対応する撮像装置３に関するレンダリング画像を記憶部２１から読み出してオーバーレイ処理を行うことにより、合成画像を生成する処理を行う。これにより、赤外線センサ８が反応してからレンダリング処理を行うための計算処理を省略することができるため、素早く合成画像を表示することができる。

また、ステップＳ４０のオーバーレイ処理にて合成画像を生成する際に、反応した赤外線センサ８に対応する監視範囲画像を、他の赤外線センサ８の監視範囲画像と識別できるよう着色してからオーバーレイ処理を行ってもよい。例えば、合成処理手段２２３は、反応した赤外線センサ８に対応する監視範囲画像を赤に着色し、反応しない赤外線センサ８に対応する監視範囲画像を青に着色してからオーバーレイ処理を行う。これにより、監視者は、合成画像上に複数の監視範囲画像が表示されていた場合においても、どの赤外線センサ８が反応したのかを監視画面上から迅速に把握することができる。

また、本実施例では、反応情報２１６は、初期設定時等に入力部２５から設定登録されるが、これに限らず、自動的に設定されるものでもよい。例えば、モデル生成手段２２１によるモデリング処理において、赤外線センサ８の監視範囲モデル２１３を生成するだけでなく、撮像条件情報２１２に基づいて撮像装置３の監視範囲モデル２１３をも生成する処理を行う。そして、場所モデル２１１上において赤外線センサ８の監視範囲モデル２１３と撮像装置３の監視範囲モデル２１３との干渉を幾何計算する。その結果、撮像装置３の監視範囲モデル２１３に干渉している赤外線センサ８の監視範囲モデル２１３が判別できるため、当該撮像装置３の識別情報と干渉している赤外線センサ８の識別情報とを対応付けた情報を反応情報２１６として記憶部２１に記憶することにより、反応情報２１６を自動的に設定することができる。

また、本実施例では、本発明における監視部として赤外線センサ８を用いているが、これに限らず、マイクロ波センサや超音波センサ等の設置条件情報と監視角情報とを設定することにより監視範囲を一意に画定できる空間センサを用いてもよい。

本発明は、上記各実施例に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、各実施例に記載した効果は、これに限定されるものではない。

前記各実施例では、モデル生成手段２２１は、撮像条件情報２１２（又は監視条件情報２１７）に基づいて四角錐等の登頂点を含む側面と干渉面とからなる立体形状を監視範囲モデル２１３として生成している。しかし、これに限らず、モデル生成手段２２１は、干渉面のみからなる立体形状を監視範囲モデル２１３として生成してもよい。すなわち、モデル生成手段２２１は、前記各実施例と同様の方法により干渉面を求め、当該干渉面を薄いシート状の立体形状として記憶部２１に監視範囲モデル２１３として記憶させる処理を行う。この場合、表示部２４に表示される合成画像は、撮像画像上に他の撮像装置３（又は赤外線センサ８）の床面上における監視範囲のみを表す監視範囲画像のみが重畳表示された画像となる。このように、監視者は、前記各実施例のような空間内における監視範囲をも再現表示した複雑な形状からなる監視範囲を確認する必要がない場合には、床面上における監視範囲のみを表した監視範囲画像を表示させることでより簡素な表現ができ、撮像画像の視認性を向上させることができる。

前記各実施例では、場所モデル２１１として監視場所に存在する現実世界の壁・床・柱、什器等の物体をモデル化した３次元形状データを含む３次元の仮想空間を表した座標情報を用いている。しかし、これに限らず、撮像装置３（又は赤外線センサ８）の設置高から求まる床面を表す平面形状のみを、場所モデル２１１における物体の３次元形状データとして用いてもよい。すなわち、モデル生成手段２２１は、監視場所を平面（床面）のみからなる仮想空間と捉えて、撮像条件情報２１２（又は監視条件情報２１７）に基づいて仮想空間である床面上に監視範囲モデル２１３を生成する処理を行う。この際、モデル生成手段２２１は、監視範囲を表す四角錐等の立体形状と床面のみとの干渉を幾何計算することにより干渉面を算出して、監視範囲モデル２１３を生成する。これにより、壁や什器等の物体との干渉を考慮して監視範囲モデル２１３を生成できず、かつ、物体による隠蔽を考慮してレンダリング画像を生成できないため、結果として合成画像上に再現される監視範囲の正確性は低下することになる。しかし、簡易的に監視範囲モデル２１３を生成することができ、また簡易的にレンダリング画像を生成することができるため、結果として監視端末２の計算量を減少させることができる。また、予め記憶部２１に３次元形状データを設定するといった手間のかかる初期設定を省略できるため、利用者は画像監視装置１を手軽に利用することができるため、利便性も向上する。

同様に、物体の３次元形状データを含まない３次元の仮想空間を表した場所モデル２１１を用いてもよい。この場合の監視範囲モデル２１３は、物体との干渉を一切考慮しないものとなるため、結果として合成画像上に再現される監視範囲の正確性はさらに低下することになる。しかし、監視端末２の計算量を最も抑制できるため、簡易的に監視範囲を再現したい場合には有用である。

以上に本発明の実施の形態について説明した。第一の実施例では、画像監視装置１が、本発明の画像監視装置としてとして機能している。また、撮像装置３が、本発明の監視部、撮像部として機能している。また、記憶部２１が、本発明の記憶部として機能している。また、制御部２２のモデル生成手段２２１、レンダリング手段２２２、合成処理手段２２３が、本発明の画像処理部として機能している。また、表示部２４が、本発明の表示部として機能している。また、記憶部２１の撮像条件情報２１２が、本発明の監視条件情報、撮像条件情報として機能している。また、記憶部２１の場所モデル２１１が、本発明の場所モデルとして機能している。また、制御部２２のモデル生成手段２２１が、本発明のモデル生成手段として機能している。また、制御部２２のレンダリング手段２２２が、本発明のレンダリング手段として機能している。また、制御部２２の合成処理手段２２３が、本発明の合成処理手段として機能している。また、入力部２５が、本発明の入力部として機能している。
一方、第二の実施例では、撮像装置３が、本発明の撮像部としてとして機能している。また、赤外線センサ８が、本発明の監視部として機能している。また、記憶部２１の撮像条件情報２１２が、本発明の撮像条件情報として機能している。また、記憶部２１の監視条件情報２１７が、本発明の監視条件情報として機能している。

１・・・画像監視装置
２・・・監視端末
３・・・撮像装置
８・・・赤外線センサ
２１・・・記憶部
２２・・・制御部
２３・・・通信部
２４・・・表示部
２５・・・入力部
２１１・・・場所モデル
２１２・・・撮像条件情報
２１３・・・監視範囲モデル
２１４・・・表示対象情報
２１５・・・対応情報
２１６・・・反応情報
２１７・・・監視条件情報
２２１・・・モデル生成手段
２２２・・・レンダリング手段
２２３・・・合成処理手段
２２４・・・選択手段
２１２ａ・・・床面
２１２ｂ・・・壁面
５・・・レンダリング画像
５１・・・監視範囲画像
６・・・撮像画像
７・・・合成画像
９１・・・仮想カメラ
９２・・・人物像

Claims (5)

1. 監視場所を撮像する撮像部と、前記監視場所内の状態を監視する監視部と、記憶部と、前記撮像部の撮像画像上に前記監視部の監視範囲を表した合成画像を出力する画像処理部と、前記合成画像を表示する表示部とを備えた画像監視装置であって、
   前記記憶部は、前記監視場所を３次元の仮想空間として表現した場所モデルと、前記監視部の設置位置、監視方向及び監視角情報を前記場所モデルと対応付けた監視条件情報と、前記撮像部の設置位置、光軸及び画角情報を前記場所モデルと対応付けた撮像条件情報とを記憶し、
   前記画像処理部は、前記監視条件情報と前記場所モデルとを用いて前記監視部の監視範囲を表す監視範囲モデルを生成するモデル生成手段と、前記撮像条件情報を用いて前記監視範囲モデル及び前記場所モデルを仮想的に撮像したレンダリング画像を生成するレンダリング手段と、前記撮像画像上に前記レンダリング画像における前記監視範囲モデルに該当する画像領域を合成した合成画像を出力する合成処理手段と、
   を有することを特徴とする画像監視装置。
   
2. 前記場所モデルは、前記監視場所に存在する物体を含めて３次元の仮想空間を表現した請求項１に記載の画像監視装置。
3. 前記監視部は、前記監視場所を撮像する第２撮像部であり、前記監視条件情報の監視方向及び監視角情報はそれぞれ前記第２撮像部の光軸及び画角情報である請求項１又は請求項２に記載の画像監視装置。
4. 更に、監視者にて前記合成画像上の位置を指定操作される入力部を有し、前記入力部にて前記合成画像上の前記監視範囲を表す画像領域が指定されると、前記画像処理部の前記レンダリング手段は、前記第２撮像部の視野に相当する前記レンダリング画像を生成し、前記画像処理部の前記合成処理手段は、前記第２撮像部の撮像画像と前記レンダリング画像とを合成した合成画像を出力する請求項３に記載の画像監視装置。
5. 前記監視部は、赤外線センサ、超音波センサ又はマイクロ波センサである請求項１又は請求項２に記載の画像監視装置。
   
   

Images