JP4754283B2

JP4754283B2 - 監視システム及び設定装置

Info

Publication number: JP4754283B2
Application number: JP2005192923A
Authority: JP
Inventors: 佳孝濱石; 賢二池田
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2005-06-30
Filing date: 2005-06-30
Publication date: 2011-08-24
Anticipated expiration: 2025-06-30
Also published as: JP2007011776A

Description

本発明は、マイクロ波レーダ・超音波レーダ・レーザーセンサに代表される監視空間から取得した３次元情報に基づき、所定の監視領域内に監視対象が存在していることを検出する監視装置に関し、特に、監視空間を撮影した２次元の画像を利用して監視装置における３次元の監視領域を設定する監視システム及びそれに適した設定装置に関する。

近年、警備システムや自動車の通行監視システムなどにおいて、マイクロ波レーダ・超音波レーダなどを用い３次元情報に基づいて、監視空間への侵入者・自動車を検出する監視装置が提案されている。

監視装置はマイクロ波・超音波・赤外線など視認できない波を使用しているため、監視装置の設置状況から設定されている監視領域を確認することが困難である。また、同様な理由により、監視領域を設定する際にも、人間の直感に近いインターフェースでの設定をすることは困難であった。

そこで、従来、特許文献１の２次元のマイクロ波レーダでは、監視空間の画像を見ながら監視領域を設定する旨の提案がされている。

すなわち、特許文献１の２次元のマイクロ波レーダは、監視空間に対してマイクロ波を送波し、監視空間に存在する物体に反射して戻ってくる当該マイクロ波の反射波を受波し、送波及び受波したマイクロ波に基づいて物体までの距離及び水平方向を算出する。つまり、監視装置から物体までの距離と水平方向とを取得する２次元マイクロ波レーダである。そして、かかる２次元マイクロ波レーダにおいて、監視空間の画像を得る撮像装置（カメラ等）を併設し、画像上において監視したい領域を入力デバイスから指定し、監視領域を設定する方法が開示されている。

特開２００１−１５５２９１号公報

ところで、最近、監視装置は、監視対象までの距離と水平方向に加え、垂直方向の３次元情報を用いたものの研究が進められている。このような３次元情報を用いて監視対象を検出する監視装置では、特許文献１に記載の方法では適切な監視領域を設定できない。

すなわち、特許文献１に示される方法は、マイクロ波レーダの２次元情報である監視領域と、撮像された監視空間の２次元情報である画像との対応をとるため、監視領域を１つの平面とみなしている。このため、従来の監視領域の設定方法では、同一平面とみなさせない空間的な領域、具体的には銅像のような体積を有する物を含んだ領域を設定しようとすると、同一平面（床面、銅像の胴体の水平面）を監視領域に設定できるのみであり、銅像全体を含むような空間的な領域を監視領域に設定することができない課題があった。

また、画像上のポイントを監視装置までの距離に換算する場合は、基本的に指定したポイントが床面上であることを前提としている。つまり、画像処理における透視変換の逆変換を行う際には、基準となる水平面として床面を撮像装置の設置高・俯角・焦点距離等から予め決めておく必要がある。このため、特許文献１の監視領域の設定方法は、同一平面のうち、床面にしか監視領域を設定できないという問題がある。

さらに、監視領域を空中の空間（床面を含まない領域）に設定したい場合には、全く対応できない。

本発明は、上記従来技術の問題を鑑み、監視空間を撮影した２次元の画像を利用して監視装置における３次元の監視領域を設定すること可能とすることを目的とする。

本発明は、監視装置の監視空間の全部又は一部を撮像した画像および当該画像上における２次元座標で表現された画像指定点の指定を取得する入力インターフェースと、前記画像上における複数の画像指定点の指定を受けて、前記複数の画像指定点の前記画像上における２次元座標から、前記監視装置にて物体の検出処理を実施するために指定領域を特定する３次元座標である指定領域座標を算出する検出範囲算出部と、前記監視空間の物体の位置を３次元的に測定する前記監視装置に接続可能であり、前記指定領域を前記監視装置に出力する出力インターフェースと、を備える設定装置であって、前記検出範囲算出部は、監視空間の水平基準面上を指定した第１の画像指定点の入力を受けて接地点とし、当該接地点の鉛直線上に指定された第２の画像指定点の入力を受けて基準点とし、当該基準点との相対的な位置関係を持つ画像指定点の入力を受けて前記指定領域を３次元座標にて画定することを特徴とする。

なお、画像指定点とは、監視空間を撮像した画像上においてユーザによって指定される点のことを意味する。画像指定点は、画像における縦軸及び横軸に投影された２次元座標によって表される。また、指定領域とは、監視対象の検出処理において参照される空間であって、ユーザによって指定された画像上の画像指定点から算出される領域を意味する。例えば、指定領域は、物体を検出する対象とする監視領域又は物体を検出する対象としない非監視領域として設定することができる。指定領域を特定する点は、実空間における３次元座標系における各座標軸に投影された３次元座標によって表される。例えば、マイクロ波等の検出波を用いた監視装置では、指定領域を特定する点は監視装置からの距離、監視装置となす水平角度、垂直角度の３次元座標によって表すことが好適である。

前記検出範囲算出部は、前記複数の画像指定点に含まれる第１の画像指定点の２次元座標に基づいて、前記指定領域の基準点を実空間の基準面に投影した点の３次元座標である接地点座標を算出した後に、前記接地点座標を用いて前記基準面を含まない前記指定領域座標を算出することが好適である。例えば、前記画像を撮像した撮像部の設置状態に関する情報（カメラが設置された高さ、カメラの床面に対する俯角等）を用いて、前記複数の画像指定点のうち第１の画像指定点に対応する前記接地点を求める。さらに、前記複数の画像指定点のうち前記第１の画像指定点以外の画像指定点に基づいて、前記指定領域自体を特定する点を求める。このとき、前記接地点の鉛直線上に前記指定領域の基準点が位置するものとして前記指定領域を特定する点を算出する。

すなわち、前記撮像画像上で指定された１つの画像指定点の２次元座標から前記監視装置の監視空間に存在する基準面上の接地点の位置（３次元座標）をまず画定し、その接地点の位置の鉛直線上に前記指定領域の基準点が存在するものとして前記複数の画像指定点のうち残りの画像指定点の２次元座標に基づいて物体の検出処理の対象となる前記指定領域を画定する。

また、前記監視装置によって監視が可能な監視空間（走査範囲）の中心軸と、前記画像を取得するための撮像部の光軸と、を略一致させることが好ましい。換言すると、前記画像は、その中心位置が前記監視装置の監視空間の中心軸と略一致していることが好ましい。すなわち、前記監視装置の監視装置の走査範囲の中心軸に光軸を略合わせて設置された撮像部を用いて前記画像を取得することが好適である。これは、画像指定点の２次元座標から指定領域を画定するための処理の前提になるためである。

また、前記画像をユーザに呈示するディスプレイ等の表示部と、前記表示部に前記画像を表示させつつ、前記画像上における点を指定するポインティングデバイス等の入力部を用いて前記複数の画像指定点の指定をユーザから受け付けることが好適である。

これによって、ユーザは、前記表示部の画面上に呈示された前記画像から前記監視装置の監視可能範囲の状態を確認しつつ、前記入力部を用いて前記画像上において前記複数の画像指定点を容易に指定することができる。

このような設定装置は、監視空間に存在する物体の位置を３次元座標として検出する監視装置を備えた監視装置において特に有効である。すなわち、設定装置を用いて設定された前記指定領域に属性を設定して監視処理を行うことができる。このとき、前記指定領域の属性として監視対象が存在する場合に警報を出力する監視領域に設定してもよいし、監視対象の存在を監視しない非監視領域に設定してもよい。さらに、前記指定領域毎に属性を定め、属性の区分毎に重み付けを行って監視することも好適である。

本発明によれば、３次元情報を取得可能な監視装置において、監視空間を撮像した画像に基づいて監視領域を容易に設定することができる。

本発明の実施の形態における監視システム１００は、図１に示すように、監視装置１０、撮像部１２及び設定装置１４を含んで構成される。監視システム１００は、監視装置１０によって監視することが可能な監視空間を撮影した画像上の点を画像指定点としてユーザに指定させ、画像指定点から指定領域を算出し、指定領域を監視領域又は非監視領域として監視対象の存在を監視する。監視システム１００の各部の機能はプログラムを実行可能なコンピュータを用いて制御される。

例えば、撮像部１２及び設定装置１４は、監視装置１０とは別個の装置として構成され、監視装置１０に指定領域を設定する際に監視装置１０に接続されて用いられる。もちろん、監視装置１０、撮像部１２及び設定装置１４のいずれか２つ以上を適宜組み合わせて１つの装置としてシステム構成してもよい。

監視装置１０は、検出波送受信部２０、物体検出処理部２２、記憶部２４及び出力部２６を備えて構成される。監視装置１０は、設定装置１４と情報伝達可能に接続可能であり、設定装置１４から入力される指定領域の情報を受けて、指定領域を参照しつつ監視対象を検出する処理を行う。

検出波送受信部２０は、物体の位置を３次元的に検出するためのマイクロ波を送信及び受信する。本実施の形態では、マイクロ波レーダを例に説明を行うが、例えば、超音波を送受信する超音波レーダやレーザーを送受信するレーザーセンサとすることもできる。

物体の位置検出を可能とする検出方式として２周波ＣＷモノパルス方式を用いる。２周波ＣＷモノパルス方式では、複数のアンテナを配置して、異なる周波数のマイクロ波を時分割で送信し、物体によって反射された反射波に含まれるドップラー成分と各アンテナ間の強度，位相差を利用して、監視可能空間に存在する物体までの距離や物体に対する角度（水平角度及び垂直角度）等の位置情報、物体の移動速度等の情報を得ることができる。

なお、検出波送受信部２０の構成は上記に限定されるものではない。例えば、検出波送受信部２０は、監視空間を自動的に走査してマイクロ波を送信する機械的構成を有する指向性アンテナを含む構成としてもよい。この場合、検出波送受信部２０は、アンテナの走査角度（水平角度及び垂直角度）を検出する回転エンコーダ又はポテンシオメータ等の角度検出手段を備えることが好ましい。検出された走査角度を物体検出処理部２２へ出力することによって、監視可能空間に存在する物体の位置を３次元的に検出することができる。

物体検出処理部２２は、検出波送受信部２０から出力された信号を受けて、記憶部２４に登録された指定領域に対する監視対象の検出処理を行う。また、検出処理の結果に応じて、出力部２６に対して警告出力制御信号等の制御信号を出力する。物体検出処理部２２における処理の詳細については後述する。

記憶部２４は、半導体メモリを含んで構成される。記憶部２４は、設定装置１４の検出範囲算出部３２において算出された指定領域及び指定領域毎に設定された属性（後述）を指定領域に対応付けて格納及び保持する。記憶部２４に登録された指定領域の情報は、物体検出処理部２２における監視対象の検出処理において参照される。また、検出波送受信部２０を用いて監視することが可能な監視空間（視野範囲）を特定する情報を格納及び保持する。検出波送受信部２０の視野範囲は、検出波送受信部２０の特性や設置位置等によって決定されるので、検出波送受信部２０を設置した際に記憶部２４に登録される。なお、半導体メモリの代わりにハードディスク装置、光ディスク装置等の記憶手段を用いてもよい。

出力部２６は、監視装置１０を外部のネットワークに接続するインターフェースを含んで構成される。出力部２６は、物体検出処理部２２における物体の検出結果に応じて外部に接続された装置に対して信号を出力する。例えば、記憶部２４に記憶された指定領域内に監視対象が検出された場合、物体検出処理部２２から出力される制御信号を受けて、インターネットを介して外部の監視室に設置されたコンピュータに警報信号を出力する。

撮像部１２は、ＣＣＤ撮像素子を備えたカメラを含んで構成される。撮像部１２を用いて検出波送受信部２０の監視空間（視野範囲）の全体又は一部を撮像する。撮像部１２で取得される画像は、静止画、動画を問わず、両方を取得してもよい。理想的には、撮像部１２により得られる画像の画角が検出波送受信部２０の視野範囲よりも広いことが好適である。なお、ＣＣＤ撮像素子の代わりにＣＭＯＳ撮像素子等の光電変換素子を用いることもできる。

また、撮像部１２の光軸（カメラから画像の中心となる場所まで伸びる軸）と、検出波送受信部２０の監視可能範囲（走査範囲）の中心軸とはおおよそ一致していることが好ましい。図２に示すように、撮像部１２と検出波送受信部２０とを「はめあい」となる構造とすることによって、撮像部１２の光軸と検出波送受信部２０の中心軸とを略一致させて設置する。

設定装置１４は、入出力インターフェース３０、検出範囲算出部３２、記憶部３４、入力部３６及び表示部３８を含んで構成される。設定装置１４は、撮像部１２において撮像された監視空間の画像を受信し、その画像をユーザに呈示したうえで画像上の画像指定点の入力をユーザから受ける。そして、画像指定点に基づいて監視空間における指定領域を算出し、指定領域及びその属性を監視装置１０に登録する。

入出力インターフェース３０は、監視装置１０及び撮像部１２に接続可能なインターフェースを備える。入出力インターフェース３０は、撮像部１２で撮像された画像信号を受けて、画像信号に対してアナログ／デジタル変換等の処理を施すと共に、表示部３８で表示可能な形式（例えば、ｊｐｅｇ形式の画像）に変換して出力する。また、入力部３６から画像指定点の情報を受けて検出範囲算出部３２へ出力する。また、物体検出処理部２２又は検出範囲算出部３２の処理結果に応じて、撮像された画像や警告を示す情報等を表示部３８に表示させる。

検出範囲算出部３２は、ユーザにより指定された画像指定点を取得して、画像指定点に基づいて監視空間内における指定領域を求める。例えば、画像指定点で特定される画像上の領域を監視装置１０からの距離及び角度（水平角度範囲と垂直角度範囲）で表される極座標上の指定領域に変換する。検出範囲算出部３２における処理の詳細については後述する。

また、記憶部３４に検出波送受信部２０の監視空間（視野範囲）を示す情報を予め記憶させておくことによって、指定領域が監視空間に含まれているか否かを事前に判定することもできる。指定領域が監視空間を超えている場合には、表示部３８に警告を呈示する。また、監視空間を超えている指定領域を表示部３８に撮像画像上に重ね合わせて表示させてもよい。

記憶部３４は、半導体メモリを含んで構成される。記憶部３４は、入出力インターフェース３０を介して撮像部１２から受信された画像情報を格納及び保持する。なお、記憶部３４は、ハードディスク装置、光ディスク装置等の記憶手段を含んで構成してもよい。

入力部３６は、マウス及びキーボードを含んで構成される。入力部３６は、表示部３８に表示された撮像画像を確認しつつ、ユーザが画像上の点を画像指定点として指定するために用いられる。また、指定領域の属性を入力するために用いられる。なお、入力部３６は、タッチペン等のポインティングデバイス、キーボード以外の文字入力デバイスにより構成してもよい。

表示部３８は、液晶ディスプレイ等の画像表示手段を含んで構成される。表示部３８は、入出力インターフェース３０から画像信号を受けて、ユーザが視覚的に確認可能な形態で画像を表示する。また、物体検出処理部２２での監視対象の検出結果に応じて入出力インターフェース３０を介して物体検出処理部２２からの制御信号を受けて、表示部３８に撮像画像や警告を示す情報等を表示する。

次に、本実施の形態における監視システム１００を用いて画像指定点の指定及び指定領域の算出を行う処理について説明する。ここでの処理は、図３に示すフローチャートに沿って実行される。

ステップＳ１０では、監視装置１０、撮像部１２及び設定装置１４のセッティングが行われる。監視しようとする空間にマイクロ波の送受信方向が向けられて検出波送受信部２０が設置される。さらに、撮像部１２の光軸（カメラから画像の中心となる場所まで伸びる軸）と、検出波送受信部２０の監視可能範囲（走査範囲）の中心軸とが略一致するように撮像部１２が設置される。このとき、図２に示したように、撮像部１２と検出波送受信部２０とを「はめあい」の構造とすることによって、互いの相対的位置を規定しつつ撮像部１２と検出波送受信部２０とを容易に設置することができる。

本実施の形態では、図４及び図５に示すように、基準面となる床面から高さｈ、及び、検出波送受信部２０の中心軸及び撮像部の光軸が基準面（床面）に向けて俯角ρをもって検出波送受信部２０及び撮像部１２が設置される。

また、監視装置１０の物体検出処理部２２と設定装置１４の入出力インターフェース３０とが情報伝達可能に接続される。さらに、設定装置１４の検出範囲算出部３２と監視装置１０の記憶部２４とが情報伝達可能に接続される。

ステップＳ１２では、撮像部１２を用いて撮像が行われる。ステップＳ１０において設置された撮像部１２により監視装置１０の監視可能な空間を含む画像が撮像され、その画像が入出力インターフェース３０を介して検出範囲算出部３２及び記憶部３４へ送信される。例えば、家屋への侵入者を監視しようとする場合、家屋を取り囲む壁の上方の空間を検出処理で参照される指定領域とすることが好ましい。また、美術館において、前方を行き交う人を監視対象から排除しつつ、高い台座に載せられた彫刻や壁に掛けられている絵画の盗難を検出しようとする場合、監視対象となる彫刻又は絵画が置かれる空間を検出処理で参照される指定領域とすることが好ましい。

また、後述するステップＳ１４において、基準面（例えば、床面等）を示す画像上の画像指定点を指定する際にユーザに対して画像上の目印となるように、検出処理で参照される指定領域の基準点から基準面（床面）に対して垂線を下ろして基準面（床面）と垂線との交点である接地点にマーカーを配置して撮像を行うことが好適である。マーカーは、接地点の位置が画像上で特定できるものであればよく、例えば、床面自体の模様や撮像空間に置かれた設置物の相対的な位置関係から特定が可能であれば特別にマーカーを配置する必要はない。

入出力インターフェース３０では、受信された画像信号に対してアナログ／デジタル変換及びフォーマット変換等の処理を施したうえで検出範囲算出部３２及び記憶部３４へ画像信号を送信する。

記憶部３４は、取得された画像信号を格納及び保持する。このとき、設定装置１４にシステム時計を搭載させておき、撮像部１２により画像が撮像された時刻に対応付けて画像信号を格納及び保持させる。

ステップＳ１４では、画像上の画像指定点の指定が受け付けられる。ユーザは、入力部３６を用いて、指定領域自体を示す複数の画像指定点、及び、基準面（床面等）と指定領域との相対的な位置関係を示す画像指定点を表示部３８に表示された撮像画像上において指定する。具体的には、指定領域自体の基準点、幅、奥行き、高さにそれぞれ相当する４つの画像指定点、及び、指定領域の基準点と基準面上の接地点との距離を示す１つの画像指定点、の少なくとも５つの画像指定点を指定する。この指定処理は、図６に示すサブルーチンに沿って実行される。

ステップＳ１４−１では、表示部３８の画面上にステップＳ１２で取得された画像が表示される。撮像時刻を参照して記憶部３４に保存されている画像の中から最新の画像が読み出され、ユーザが視認できるような態様で表示部３８にその画像を表示させる。さらに、表示された画像上において接地点となる画像指定点の指定を促すメッセージを表示部３８に表示させる。

ステップＳ１４−２では、ステップＳ１４−１で表示されたメッセージに促されたユーザは、表示部３８に表示された画像を確認しつつ、ポインティングデバイス等の入力部３６を用いて接地点を示す画像上の点を入力する。これによって、図７（ａ）に示すように、接地点に対応する画面上の画像指定点の２次元座標（ａ，ｊ）が取得される。接地点は、画像上において第１の画像指定点の２次元座標（ａ，ｊ）で特定される。第１の画像指定点の２次元座標（ａ，ｊ）が取得されるとステップＳ１４−３に処理を移行させる。

このとき、ステップＳ１２において、基準面（床面）上の接地点にマーカーを配置して画像を撮像していれば、ユーザは接地点に対応する画面上の画像指定点を容易に指定することができる。

ステップＳ１４−３では、検出処理で参照される指定領域自体を特定する画像上の画像指定点を入力するようにユーザに促すメッセージを表示部３８に表示させる。このとき、図７（ａ）に示すように、表示部３８の画面上にステップＳ１２で取得された画像とステップＳ１４−２で取得された第１の画像指定点を示す画像とを重ね合わせて表示させる。これによって、ユーザは既に指定された画像指定点と次に指定する画像指定点との相対的な位置関係を確認しつつ、画像指定点の指定を容易に行うことができる。

ステップＳ１４−４では、指定領域自体を示す画像指定点が指定される。ステップＳ１４−３で表示されたメッセージに促されたユーザは、表示部３８に表示された画像を確認しつつ、入力部３６を用いて指定領域自体を示す画像上の領域を特定する画像指定点を入力する。指定領域自体を示す画像上の画像指定点が指定されるとステップＳ１４−５に処理を移行させる。

具体的には、第１に、図７（ｂ）に示すように、指定領域の基準点を示す画像指定点及び指定領域の幅を示す画像指定点が指定される。これによって、指定領域の基準点を示す画像指定点の２次元座標（ａ，ｂ）及び指定領域の幅を示す画像指定点の２次元座標（ｃ，ｂ）が取得される。第２に、図７（ｃ）に示すように、検出処理で参照される指定領域の奥行きを示す画像指定点が指定される。これによって、指定領域の奥行きを示す画像指定点の２次元座標（ｅ，ｇ）が取得される。第３に、図７（ｄ）に示すように、検出処理で参照される指定領域の高さを示す画像指定点が指定される。これによって、指定領域の高さを示す画像指定点の２次元座標（ａ，ｄ）が取得される。すなわち、検出処理で参照される指定領域自体は画像上の４つの画像指定点で特定され、各画像指定点の２次元座標（ａ，ｂ），（ｃ，ｂ），（ｅ，ｇ），（ａ，ｄ）が取得される。また、指定領域と基準面との距離は２つの画像指定点の２次元座標（ａ，ｊ），（ａ，ｂ）で特定される。

なお、ここで示した手順は一例であり、これに限定されるものではない。例えば、ステップＳ１４−２における接地点の指定処理とステップＳ１４−４における指定領域自体の指定処理とを入れ替えてもよい。この場合、指定領域自体を特定する画像指定点の２次元座標（ａ，ｂ），（ｃ，ｂ），（ｅ，ｇ），（ａ，ｄ）が取得された時点において、２次元座標（ａ，ｂ），（ｃ，ｂ），（ｅ，ｇ），（ａ，ｄ）に基づいて接地点となり得る空間を求め、その空間に相当する画像上の領域を演算により求めて表示部３８の画面上に画像と共に呈示させることが好適である。これにより、ユーザは接地点を示す画像指定点を容易に指定することができる。

ステップＳ１４−５では、指定領域の属性の入力を促すメッセージを表示部３８に表示させ、指定領域に対する属性の情報をユーザから取得する。指定領域の属性とは、監視対象の検出処理を行う際に各指定領域をどのように扱うかを示すパラメータを意味する。例えば、検出処理で参照される指定領域の各々を、監視対象が指定領域に含まれたら直ちに警報を出力する重点監視範囲（第１範囲），監視対象が指定領域に所定時間以上含まれたら警報を出力する一般監視範囲（第２範囲），後述の重点非監視範囲の近傍である一般非監視範囲（第３範囲），監視対象が指定領域に含まれても警報を出力しない重点非監視範囲（第４範囲）の４段階に分類し、入力部３６を用いてユーザに各空間の属性を入力させる。各空間に対する画像上の２次元座標情報及び属性は関連付けられて記憶部３４に格納及び保持される。

なお、本実施の形態では、総ての指定領域についてユーザから属性情報を取得するものとしたが、これに限定されるものではなく、少なくとも１つの属性を自動的に決定してもよい。例えば、設定装置１４の記憶部３４に指定領域の位置，形状，大きさ、又は、それらの組み合わせに対応付けて属性の決定条件を登録しておき、ユーザから指定された指定領域が満たす条件に応じて各指定領域に対する属性を自動的に決定することができる。

例えば、重点監視範囲（第１範囲）とする指定領域についてのみ画像指定点をユーザに指定させ、ステップＳ１６において重点監視範囲（第１範囲）となる指定領域から所定の距離Ｒ１より近接する空間を一般監視範囲（第２範囲）となる指定領域とし、重点監視範囲（第１範囲）となる指定領域から所定の距離Ｒ１以上離れて距離Ｒ２より近接している空間を一般非監視範囲（第３範囲）となる指定領域とし、重点監視範囲（第１範囲）となる指定領域から所定の距離Ｒ２以上離れた空間を重点非監視範囲（第４範囲）となる指定領域とすることができる。

また、属性は４つに限定されるものではない。また、各空間を複数の異なる種類の属性の組み合わせで分類してもよい。これによって、監視対象の検出処理を属性又はそれらの組み合わせに応じた処理とすることができる。

ステップＳ１４−６では、総ての指定領域についてユーザから画像指定点の入力が終了したか否かが判断される。表示部３８の画面上に、さらに指定領域の指定を行うか否かをユーザに伺うメッセージを表示させる。ユーザは、入力部３６を用いて、総ての指定領域について指定が終了したか否かを入力する。総ての指定領域について指定が終了している場合にはメインルーチンのステップＳ１６へ処理を移行させ、総ての空間について指定が終了していない場合にはステップＳ１４−１へ処理を戻す。

ステップＳ１６では、画像上で指定された画像指定点の２次元座標に基づいて指定領域を特定する実空間における点の３次元座標が求められる。各指定点の実空間での座標を直交座標形式で表したものを（Ｘ，Ｙ，Ｚ）とする。実空間での直交座標とは、図４及び図５に示すように、レンズ中心Ｌ₀を通る垂線をｚ軸とし、床面上に、ｘ軸とｙ軸を仮想的に定義した座標系の座標である。

まず、接地点を示す第１の画像指定点の２次元座標（ａ，ｊ）に基づいて基準面上（床面上）の接地点の３次元座標（Ｘ，Ｙ，０）が算出される。画像中央を原点とすると、図４及び図５に示すように、接地点の３次元座標（Ｘ，Ｙ，０）は第１の画像指定点の２次元座標（ａ，ｊ）を用いて数式（１）及び（２）によって求められる。

指定領域の基準点は接地点から鉛直上に位置する。したがって、図８に示すように、第２の画像指定点の２次元座標（ａ，ｂ）に対応する第２の点の３次元座標（Ｘ，Ｙ，Ｚ）は数式（１）〜（３）によって求められる。

ここで、指定領域の幅を示す第３の画像指定点の２次元座標（ｃ，ｂ）と指定領域の奥行きを示す第４の画像指定点の２次元座標（ｅ，ｇ）に対応する第３の点の３次元座標（ｒ，Ｙ，Ｚ）及び第４の点の３次元座標（ｔ_x，ｔ_y，Ｚ）は、第２の点の３次元座標（Ｘ，Ｙ，Ｚ）と同じ高さに位置する。したがって、図８及び図９に示すように、第３の画像指定点の２次元座標（ｃ，ｂ）に対応する第３の点の３次元座標（ｒ，Ｙ，Ｚ）及び第４の画像指定点の２次元座標（ｅ，ｇ）に対応する第４の点の３次元座標（ｔ_x，ｔ_y，Ｚ）は数式（４）〜（６）によって求められる。

また、指定領域の高さを示す第５の画像指定点の２次元座標（ａ，ｄ）に対応する第５の点の３次元座標（Ｘ，Ｙ，ｓ）は、第１の３次元座標（Ｘ，Ｙ，０）及び第２の３次元座標（Ｘ，Ｙ，Ｚ）と鉛直方向に一直線上にある。したがって、第５の画像指定点の２次元座標（ａ，ｄ）に対応する第５の点の３次元座標（Ｘ，Ｙ，ｓ）は数式（７）によって求められる。

ここで、ρは実空間における撮像部１２の基準面（床面）に対する俯角、及び、ｆは画像上の中心点Ｓ₀から撮像部１２のレンズ中心Ｌ₀までの距離、ｈは実空間における基準面（床面）に対するレンズ中心Ｌ₀の高さ、である。なお、撮像画像は任意の縮尺率又は倍率で縮小又は拡大することができる。したがって、撮像画像を縮小又は拡大した場合、縮小又は拡大された画像が撮像部１２によって実空間におけるスクリーン５０に撮像されたものとしたときのスクリーン５０上の中心点Ｓ₀と撮像部１２のレンズ中心Ｌ₀までの見かけ上の距離がｆとなる。

以上のように、指定領域の幅ｘ，奥行きｙ，高さｚはそれぞれ数式（８）〜（１０）を用いて算出することができる。

なお、数式（４）をみると、点の実空間上の高さＺが既知であれば、画像上の点の座標（この場合は、（ｃ，ｂ））から実空間上のｘ座標を算出できるということがわかる。したがって、Ｚは既に数式（３）で算出しているので、点（ａ，ｂ）について、実空間上のｘ座標Ｘは、数式（１）を用いずに

と書き直すこともできる。この数式を用いて数式（８）を導いている。

また、検出波送受信部２０からの距離，水平角度，垂直角度のように極座標によって監視対象の位置を検出する監視装置を用いる場合、検出波送受信部２０からの距離Ｒ、水平角度θ及び垂直角φで指定領域を表すことが好ましい。この場合、数式（１１）〜（１３）を用いて直交座標系で表された指定領域の座標を極座標系で表された指定領域の座標に変換することができる。

ステップＳ１８では、算出された指定領域が監視装置１０で監視可能な範囲に含まれているか否かが判定される。検出範囲算出部３２は、監視装置１０の記憶部２４に格納されている検出波送受信部２０の視野範囲の情報を読み出し、ステップＳ１６での算出処理により得られた指定領域が視野範囲（監視可能な空間範囲）に含まれているか否かを判定する。総ての指定領域が監視装置１０の視野範囲に含まれていればステップＳ２０へ処理を移行させる。一方、少なくとも１つの指定領域が監視装置１０の視野範囲に含まれていなければステップＳ１２に処理を戻す。この場合、表示部３８に警告を呈示させたり、監視可能な空間を超えて指定されている指定領域を表示部３８に表示されている画像上に重ね合わせて表示させたりすることも好適である。

ステップＳ２０では、監視装置１０の記憶部２４に指定領域及び属性が格納及び保持される。設定装置１４の検出範囲算出部３２から監視装置１０の記憶部２４に対して各指定領域を特定するための３次元座標と属性とが送信され、記憶部２４に３次元座標と属性とが指定領域毎に対応付けられて記憶される。

本実施の形態における監視装置１０による監視対象の検出処理について説明する。以下では、監視対象を「人」とした場合を例にとって説明する。例えば、監視装置１０を家の軒下に向けて設置して、壁を乗り越えてくる侵入者を検出する場合に相当する。また、各指定領域は重点監視範囲（第１範囲），一般監視範囲（第２範囲），一般非監視範囲（第３範囲），重点非監視範囲（第４範囲）のいずれか１つの属性に指定されているものとする。監視対象の検出処理は、図１０に示すフローチャートに沿って実行される。

ステップＳ３０では、検出波送受信部２０の受信信号から監視可能空間に存在する物体の位置情報を取得する。本実施の形態では、物体検出処理部２２は、検出波送受信部２０の受信信号を受けて、２周波ＣＷモノパルス方式により受信信号に含まれるドップラー成分とアンテナ間の強度差，位相差に基づいて監視空間に存在する物体までの距離や物体に対する角度（水平角度及び垂直角度）等の位置情報、物体の大きさ，形状，移動速度等の特徴量を得る。

ステップＳ３２では、検出された物体が人であるか否かが判定される。物体検出処理部２２は、ステップＳ３０において検出された物体の各々について抽出された特徴量（大きさ、形状、移動速度等）が「人らしさ」を表しているか否かを調査する。検出物体が監視対象であるか否かの判定処理には既存の技術を適用することができる。検出波送受信部２０の監視空間内で検出された物体のうち少なくとも１つが人であると判定された場合にはステップＳ３４に処理を移行させ、そうでない場合にはステップＳ３０に処理を戻す。

ステップＳ３４では、監視対象に対して警報を出力するか否かを判断するための評価値Ｖを設定する。物体検出処理部２２は、検出された物体と指定領域の属性との関係に基づいて評価値Ｖを設定する。このステップＳ３４での処理は、図１１のフローチャートに示すように、サブルーチン化されている。

ステップＳ３４−１では、人と判定された監視対象の位置が重点非監視範囲以外であるか否かが判定される。物体検出処理部２２は、人と判定された監視対象の位置が重点監視範囲又は一般監視範囲又は一般非監視範囲に存在する場合にはステップＳ３４−２に処理を移行させ、そうでない場合にはメインルーチンのステップＳ３０に処理を戻す。

ステップＳ３４−２では、タイマーが起動中か否かが判定される。物体検出処理部２２は、タイマーが起動中である場合にはステップＳ３４−４に処理を移行させ、タイマーが起動中でない場合にはステップＳ３４−３においてタイマーを起動させた後にステップＳ３４−４に処理を移行させる。なお、タイマーは物体検出処理部２２に予め内蔵しておくことが好ましい。また、タイマーは起動から所定時間だけ経過すると自動的にリセットされる。

ステップＳ３４−４では、人と判定された監視対象の位置が重点監視範囲に存在するか否かが判定される。物体検出処理部２２は、人と判定された監視対象が重点監視範囲に存在する場合にはステップＳ３４−５に処理を移行させて評価値Ｖを閾値Ｖ_th以上の値に設定し、処理をメインルーチンに戻す。一方、監視対象が重点監視範囲に存在しない場合、物体検出処理部２２はステップＳ３４−６に処理を移行させる。

ステップＳ３４−６では、監視対象の位置が一般監視範囲に存在するか否かが判定される。物体検出処理部２２は、監視対象が一般監視範囲に存在する場合にはステップＳ３４−７に処理を移行させて評価値Ｖに値αを加算し、さらに処理をステップＳ３４−１０に移行させる。値αは、閾値Ｖ_thよりも小さい値とする。一方、監視対象が一般監視範囲に存在しない場合、物体検出処理部２２はステップＳ３４−８に処理を移行させる。

ステップＳ３４−８では評価値Ｖに値βを加算し、処理をステップＳ３４−９に移行させる。ただし、値β＜値αとすることが好適である。

ステップＳ３４−９では、監視対象の位置が一般非監視範囲に所定時間Ｔ_thよりも長く留まっているか否かが判定される。監視対象の滞在時間はステップＳ３４でセットしたタイマーによって知ることができる。監視対象の位置が一般非監視範囲に所定時間Ｔ_thよりも長く留まっている場合、監視対象は人ではない物体、例えば植栽の揺れを検出している可能性が高いので、その物体は監視対象から外してもよい物体であると考えられる。したがって、物体検出処理部２２は、ステップＳ３４−１１に処理を移行させて評価値Ｖから値δを減算し、処理をメインルーチンに戻す。値δは、閾値Ｖ_thよりも小さな値とするのが好適である。一方、監視対象の位置が一般非監視範囲に留まっている時間が所定時間Ｔ_th以下である場合、物体検出処理部２２はステップＳ３４−１０に処理を移行させる。

ステップＳ３４−１０では、監視対象の位置が重点監視範囲に接近しつつある
か否かが判定される。物体検出処理部２２は、監視対象の実空間内における移動速度に基づいて、監視対象の位置が重点監視範囲に接近しているか否かを判断する。監視対象の位置が重点監視範囲に接近しつつある場合、物体検出処理部２２は、ステップＳ３４−１２に処理を移行させて評価値Ｖに値εを加算し、処理をメインルーチンに戻す。値εは、閾値Ｖ_thよりも小さな値とするのが好適である。一方、監視対象の位置が重点監視範囲に接近していない場合、物体検出処理部２２は処理をメインルーチンに戻す。

このようにして、監視対象に対する評価値Ｖが設定される。この評価値Ｖによって警報を発報すべきか否かを判定することができる。また、指定領域を複数の属性に分類することによって、各指定領域の属性に応じて評価に重み付けをすることができる。また、各指定領域の属性に関連付けて監視対象の滞留時間や監視対象の移動方向、移動速度に応じた評価を行うことができる。

なお、監視空間に人と判定された監視対象が複数存在する場合、それぞれについて個別の評価値Ｖを設定することが好適である。この場合、以下の処理において、監視対象毎の評価値Ｖに基づいて警報を発報するか否かを判定する。また、監視空間に人と判定された監視対象が複数存在する場合、総ての監視対象に対して１つの評価値Ｖ_allを設定してもよい。この場合、例えば、総ての監視対象に対する評価値Ｖの和を全体の評価値Ｖ_allとする。以下の処理では、評価値Ｖ_allに基づいて警報を発報するか否かを判定する。

ステップＳ３６では、監視対象に対して警報を出力するか否かが判定される。物体検出処理部２２は、評価値Ｖが所定の閾値Ｖ_th以上であればステップＳ３８に処理を移行させて警報を出力させる。一方、評価値Ｖが閾値Ｖ_thより小さければステップＳ４０に処理を移行させる。

ステップＳ３８では、警報が出力される。物体検出処理部２２は、出力部２６に対して警報出力制御信号を出力する。出力部２６は、警報出力制御信号を受けると、例えば、インターネット等の通信網を介して外部の監視室に設置されたコンピュータに警報信号を出力する。

ステップＳ４０では、タイマーが所定の経過時間Ｔ_up以上となっているか否かが判定される。タイマーが所定の経過時間Ｔ_up以上となっている場合、物体検出処理部２２は、ステップＳ４２においてタイマー及び評価値Ｖをリセットした後にステップＳ３０に処理を戻す。これによって、一方、タイマーが所定の経過時間Ｔ_upまで達していない場合、物体検出処理部２２は、そのままステップＳ３０に処理を戻す。

以上のように、本実施の形態によれば、監視空間を撮像した画像上において指定された画像指定点に基づいて監視処理において参照される指定領域を求め、指定領域に基づいて監視対象に対する監視を行うことができる。特に、画像上において複数の画像指定点を指定するだけで監視空間における指定領域を特定できるのでユーザの負担を大きく軽減することができる。

なお、本発明の監視対象は侵入者等の人に限定されるものではなく、例えば、高い台座に載せられた彫刻の存在、美術館の壁に掛けられている絵画の存在等を検出する用途にも用いることができる。この場合には、監視領域に監視対象が存在しなくなった場合に警報を出力する。

また、本実施の形態では、指定領域が直方体の空間である例を説明したが、これに限定されるものではない。指定領域の基準点と接地点とが鉛直線上にあれば本発明の技術的思想を適用することができる。すなわち、指定領域の基準点に対応する画像上の画像指定点と接地点に対応する画像上の画像指定点とが画面上で指定されれば、監視空間における指定領域の底面と基準面との高さの差を算出することができる。また、指定領域の底面を特定する点と指定領域の上面を特定する点とが鉛直線上にあれば指定領域全体を特定することができる。すなわち、指定領域の底面を特定する点に対応する画像上の画像指定点と指定領域の上面を特定する点に対応する画像上の画像指定点とが画面上で指定されれば、監視空間における指定領域の底面と上面との高さの差を算出することができる。

例えば、画像上の画像指定点の２次元座標（ａ，ｂ），（ｃ，ｂ），（ｅ，ｇ），（ａ，ｄ）をそれぞれ頂点とする三角錐の空間を指定領域として処理することができる。

また、指定領域の底面の高さを特定する画像上の画像指定点の２次元座標（ａ，ｂ）と指定領域の上面の高さを特定する画像上の画像指定点の２次元座標（ａ，ｄ）が決定されれば、指定領域の底面又は上面を既定の形状であるとして処理することができる。例えば、直方体の指定領域の幅又は奥行きを既定値であるとして処理することができる。

具体例としては、監視対象が絵画や旗等の奥行きが小さい物体であり、ある程度の検出誤差が許容できる場合、指定領域を接地点、基準点、幅、高さの４つの画像指定点で特定してもよい。この場合、指定領域を特定するための奥行きは予め定められた値とする。

また、さらに複雑な形状の指定領域を指定することもできる。接地点に対応する画像指定点の２次元座標（ａ，ｊ）と指定領域の底面の高さを特定する点に対応する画像上の画像指定点の２次元座標（ａ，ｂ）とを指定した後、指定領域の底面の形状を特定する点に対応する総ての画像指定点を指定する。次に、指定領域の上面の高さを特定する点に対応する画像上の画像指定点の２次元座標（ａ，ｄ）を指定した後、指定領域の上面の形状を特定する点に対応する総ての画像指定点を指定する。さらに、指定領域の底面の形状を特定する点に対応する画像指定点と指定領域の上面の形状を特定する点に対応する画像指定点との対応を指定する。例えば、指定領域の底面の形状を特定する点に対応するある画像指定点をポインティングデバイス等を用いてクリックすると、その画像指定点とそれに対応し得る指定領域の上面の形状を特定する画像指定点を結ぶ線分の総てを表示部３８に表示させる。複数の線分が表示された場合、ユーザは、ポインティングデバイス等を用いていずれか１つの線分をクリックすると指定領域の底面の形状を特定する点に対応する画像指定点と指定領域の上面の形状を特定する点に対応する画像指定点とが対応付けられる。これらの対応に基づいて、指定領域の底面と上面とが基準面に平行な面内にあるものとして指定領域を特定する点の３次元座標を算出することができる。

さらに、既に指定された指定領域の上面を新たな指定領域の底面とみなして、さらに新たな指定領域の上面を特定する画像指定点を指定させることによって複雑な任意の形状の指定領域を指定することもできる。

なお、指定領域の底面の形状を特定する点に対応する画像指定点と指定領域の上面の形状を特定する点に対応する画像指定点との対応付けが不正確であり、指定領域が多面体を構成しない場合には表示部３８に警告を表示させることも好適である。

本発明の実施の形態における監視システムの構成を示すブロック図である。本発明の実施の形態における監視装置と撮像装置の設置例を示す図である。本発明の実施の形態における指定領域の設定方法を示すフローチャートである。本発明の実施の形態における接地点の３次元座標と画像指定点の２次元座標との関係を説明する図である。本発明の実施の形態における接地点の３次元座標と画像指定点の２次元座標との関係を説明する図である。本発明の実施の形態における指定領域の指定方法を示すフローチャートである。本発明の実施の形態における指定領域の指定方法を説明する図である。本発明の実施の形態における指定領域の３次元座標と画像指定点の２次元座標との関係を説明する図である。本発明の実施の形態における指定領域の３次元座標と画像指定点の２次元座標との関係を説明する図である。本発明の実施の形態における物体の検出方法を示すフローチャートである。本発明の実施の形態における属性に基づいた物体の検出方法を示すフローチャートである。

符号の説明

１０監視装置、１２撮像部、１４設定装置、２０検出波送受信部、２２出力部、２２物体検出処理部、２４記憶部、２６出力部、３０入出力インターフェース、３２検出範囲算出部、３４記憶部、３６入力部、３８表示部、１００監視システム。

Claims

監視装置の監視空間の全部又は一部を撮像した画像および当該画像上における２次元座標で表現された画像指定点の指定を取得する入力インターフェースと、
前記画像上における複数の画像指定点の指定を受けて、前記複数の画像指定点の前記画像上における２次元座標から、前記監視装置にて物体の検出処理を実施するために指定領域を特定する３次元座標である指定領域座標を算出する検出範囲算出部と、
前記監視空間の物体の位置を３次元的に測定する前記監視装置に接続可能であり、前記指定領域を前記監視装置に出力する出力インターフェースと、
を備える設定装置であって、
前記検出範囲算出部は、
監視空間の水平基準面上を指定した第１の画像指定点の入力を受けて接地点とし、当該接地点の鉛直線上に指定された第２の画像指定点の入力を受けて基準点とし、当該基準点との相対的な位置関係を持つ画像指定点の入力を受けて前記指定領域を３次元座標にて画定することを特徴とする設定装置。
請求項１に記載の設定装置において、
前記画像は、その中心位置が前記監視装置の監視空間の中心軸と略一致していることを特徴とする設定装置。
請求項１又は２に記載の設定装置において、
前記画像をユーザに呈示する表示部と、
前記表示部に前記画像を表示させつつ、前記画像上における複数の画像指定点の指定をユーザから受け付ける入力部と、
を備えることを特徴とする設定装置。
監視空間に存在する物体の３次元的な位置を測定する監視装置を備え、
請求項１〜３のいずれか１つに記載の設定装置を用いて設定された前記指定領域に基づいて監視対象を検出することを特徴とする監視システム。