JP4846203B2

JP4846203B2 - 画像領域設定装置及び画像領域設定方法

Info

Publication number: JP4846203B2
Application number: JP2004086257A
Authority: JP
Inventors: 雄飛佐々木
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-03-24
Filing date: 2004-03-24
Publication date: 2011-12-28
Anticipated expiration: 2024-03-24
Also published as: JP2005277640A

Description

本発明は、主として画像により侵入者等の発見を行う監視システムに用いられ、撮影によって得られる画像において、動き検出領域を設定する画像領域設定装置及び画像領域設定方法に関する。

従来、侵入者等の発見を可能とする監視システムは、カメラが撮影することによって得られた画像を他所に伝達する。他所にいる監視者は、伝達された画像の目視を行い、侵入者等の発見を行う。しかし、監視者による目視では、人手を要することになるため、この人手を節約するために、自動的に画像内の動きを検出する機能が提案されている。

動き検出としては、現時点での画像と直前の撮影により得られた画像とを比較し、相違がある場合に動きがあったと判断する方法と、あらかじめ異常のない状態の画像（以下、「基準画像」と称する）を記録しておき、現時点での画像と基準画像とを比較し、相違がある場合に動きがあったと判断する方法とがある。

ところで、動き検出においては、必ずしも画像全体の動きでなく、一部の領域における動きのみを検出したいとの要望がある。例えば、ゲートからの侵入者の監視の場合には、ゲートから進入する者だけが検出されればよく、その他の通行人等は動きがあったとしても検出されない方が望ましい。このため、作業者が画像内において動きを検出すべき領域（動き検出領域）を設定可能な動き検出機能が提案されている（例えば、特許文献１参照）。

実空間における動き検出領域の一例を図１６に示し、撮影によって得られる画像内における動き検出領域の一例を図１７に示す。図１６に示すカメラ４０２の撮影によって図１７に示す画像４０４が得られる場合、作業者が画像４０４内の長方形領域４０５が動き検出領域として設定すると、この長方形領域４０５は、実空間においてはカメラ４０２を頂点とする錐状領域４０３に対応付けられる。

また、従来の監視システムでは、撮影範囲が固定されたカメラを用いることが一般的であるために死角が多くなり、この死角を解消するためには多くのカメラを使用する必要がありコストが増加するという問題があった。このため、昨今の無線通信技術と、ロボットに代表される移動体技術とを用いた移動体を利用した画像監視機能が提案されている（例えば、特許文献２参照）。移動体にカメラを搭載することにより、撮影範囲が広がり、死角を解消することが可能となる。

しかし、このようなカメラの撮影範囲が変化する監視システムでは、前述の動き検出の手法を用いることが困難である。具体的には、現時点での画像と直前の撮影によって得られる画像とを比較する方法では、画像の変化はカメラの移動によっても生じるため、両者の比較により動きを検出することはできない。一方、現時点での画像と基準画像とを比較する方法では、撮影範囲の変化に応じて複数の基準画像を設定する（例えば、特許文献３参照）。
特開２０００−３４８０号公報特開平８−７１８６号公報特開２００２−１５８９９９号公報

しかしながら、従来の動き検出の手法において、撮影範囲が変化する場合、撮影範囲の異なる個々の基準画像毎に動き検出領域を設定する必要があり、作業者の負担が大きいという問題があった。

本発明は、従来の問題を解決するためになされたもので、撮影手段が移動することにより撮影範囲が変化する場合においても、動き検出領域を簡易に設定可能な画像領域設定装置及び画像領域設定方法を提供することを目的とする。

本発明の画像領域設定装置は、撮影手段が移動しながら撮影範囲を変化させつつ撮影して得られた画像内において、実空間における３次元の動き検出領域を２次元の動き検出領域として設定する画像領域設定装置であって、前記撮影手段が撮影して得られた第１の画像内の２次元の第１の動き検出領域と、指定された前方奥行と、指定された後方奥行あるいは計測された後方奥行のいずれか一方とにより、前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に実空間における３次元の第１の動き検出領域を設定すると共に、前記撮影手段が移動して撮影して得られた第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像の前記撮像手段の実空間の撮影範囲内に前記３次元の第１の動き検出領域に対応する３次元の第２の動き検出領域を設定する動き検出領域設定手段と、前記３次元の第２の動き検出領域の３次元座標を前記第２の画像の２次元座標に変換して前記第２の画像における２次元の第２の動き検出領域を算出する検出領域算出手段とを有する構成となる。

この構成により、撮影手段の撮影により得られたいずれかの画像を第１の画像とし、この第１の画像を撮影した撮影手段の位置と、第１の画像以外の第２の画像を撮影した撮影手段の位置との関連性に基づいて、第２の画像を撮影する際の視野範囲内に、第１の画像の画像を撮影する際の視野内に設定された３次元の第１の動き検出領域に対応する３次元の第２の動き検出領域が設定される。そして、３次元の第２の動き検出領域を元にして第２の画像内に２次元の動き検出領域が算出される。このため、撮影範囲が変化する場合においても、人手を介することなく、第２の画像内に、第２の動き検出領域を設定することができる。

また、本発明の画像領域設定装置は、前記動き検出領域設定手段は、前記第２の画像の前記撮影手段の撮影範囲内に前記３次元の第１の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、前記３次元の第１の動き検出領域に対応する領域を前記３次元の第２の動き検出領域として設定する構成とすることができる。

この構成により、必要に応じた２次元の第２の動き検出領域の設定を適切に行うことが可能となる。

また、本発明の画像領域設定装置は、前記第１の画像の前記撮影手段の撮影位置および前記第２の画像の前記撮影手段の撮影位置は、前記第１の画像および第２の画像が得られた際の前記撮影手段の位置情報及び姿勢情報とに基づいて、前記第２の動き検出領域を設定する構成とすることができる。

この構成により、第１の画像が得られた際の撮影手段の位置情報及び姿勢情報と、第２の画像が得られた際の撮影手段の位置情報及び姿勢情報とに基づいて、第１の画像及び第２の画像の撮影範囲を把握し、第２の動き検出領域の設定を適切に行うことが可能となる。

また、本発明の画像領域設定装置は、前記動き検出領域設定手段は、前記第１の画像を撮影した際の前記撮影手段の位置と前記第１の画像における平面領域を撮影した際の前記平面領域に対応する実空間の領域とによって構成される錘状の領域と前記撮像手段の撮影位置から前記第１の画像を撮影した際の前方奥行および後方奥行きとによって前記３次元の第１の動き検出領域を設定することができる。

この構成により、第１の画像における平面領域と奥行とに関する情報を用いて第２の動き検出領域を適切に設定することが可能となる。

また、本発明の画像領域設定装置は、前記動き検出領域設定手段は、前記撮像手段の撮影位置に対する位置が既知の基準点を利用して前記前方奥行及び前記後方奥行を把握する構成とすることができる。

この構成により、第１の画像における所定位置とその所定位置からの所定の距離とを用いて球状の第２の動き検出領域を適切に設定することが可能となる。

また、本発明の画像領域設定装置は、前記動き検出領域設定手段は、複数の前記３次元の第１の動き検出領域を設定すると共に、複数の前記３次元の第１の動き検出領域の各々に対応する複数の前記３次元の第２の動き検出領域を設定する構成とすることができる。

また、本発明の画像領域設定装置は、前記動き検出領域設定手段は、前記３次元の第１の動き検出領域の各々に優先度を設定し、前記動き検出領域設定手段は、前記３次元の第２の動き検出領域の各々に優先度を設定する構成とすることができる。

また、本発明の画像領域設定装置は、前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に動きを検出すべきでない３次元の第１の動き非検出領域を設定すると共に、前記第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像を撮影する際の前記撮像手段の撮影範囲内に前記３次元の第１の動き非検出領域に対応する動きを検出すべきでない３次元の第２の動き非検出領域を設定する動き検出領域設定手段とを有する構成とすることができる。

また、本発明の画像領域設定方法は、撮影手段が移動しながら撮影範囲を変化させつつ撮影して得られた画像内において、実空間における３次元の動き検出領域を２次元の動き検出領域として設定する画像領域設定方法であって、
前記撮影手段が撮影して得られた第１の画像内の２次元の第１の動き検出領域と、指定された前方奥行と、指定された後方奥行あるいは計測された後方奥行のいずれか一方とにより、前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に実空間における３次元の第１の動き検出領域を設定すると共に、
前記撮影手段が移動して撮影して得られた第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像の前記撮像手段の実空間の撮影範囲内に前記３次元の第１の動き検出領域に対応する３次元の第２の動き検出領域を設定する動き検出領域設定ステップと、前記３次元の第２の動き検出領域の３次元座標を前記第２の画像の２次元座標に変換して前記第２の画像における２次元の動き検出領域を算出する検出領域算出ステップとを有する構成となる。

また、本発明の画像領域設定方法は、前記動き検出領域設定ステップが、前記第２の画像の前記撮影手段の撮影範囲内に前記３次元の第１の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、前記３次元の第１の動き検出領域に対応する領域を前記３次元の第２の動き検出領域として設定する構成とすることができる。

また、本発明の画像領域設定方法は、前記第１の画像の前記撮影手段の撮影位置および前記第２の画像の前記撮影手段の撮影位置は、前記第１の画像および第２の画像が得られた際の前記撮影手段の位置情報及び姿勢情報である構成とすることができる。

また、本発明の画像領域設定方法は、前記動き検出領域設定ステップは、前記第１の画像を撮影した際の前記撮影手段の位置と前記第１の画像における平面領域を撮影した際の前記平面領域に対応する実空間の領域とによって構成される錘状の領域と前記撮像手段の撮影位置から前記第１の画像を撮影した際の前方奥行および後方奥行きとによって前記３次元の第１の動き検出領域を設定する構成とすることができる。

また、本発明の画像領域設定方法は、前記動き検出領域設定ステップは、複数の前記３次元の第１の動き検出領域を設定すると共に、複数の前記３次元の第１の動き検出領域の各々に対応する複数の前記３次元の第２の動き検出領域を設定する構成とすることができる。

また、本発明の画像領域設定方法は、前記動き検出領域設定ステップは、前記３次元の第１の動き検出領域の各々に優先度を設定し、前記動き検出領域設定ステップは、前記３次元の第２の動き検出領域の各々に優先度を設定する構成とすることができる。

また、本発明の画像領域設定方法は、前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に動きを検出すべきでない３次元の第１の動き非検出領域を設定と共に、前記第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像を撮影する際の前記撮像手段の撮影範囲内に前記３次元の第１の動き非検出領域に対応する動きを検出すべきでない３次元の第２の動き非検出領域を設定する動き検出領域設定ステップとを有する構成とすることができる。

本発明は、撮影範囲が変化する場合においても、人手を介することなく、第２の画像内に、動き検出領域としての第２の動き検出領域を設定することができる。

以下、本発明の実施の形態の監視システムについて、図面を用いて説明する。

本発明の実施の形態における監視システムが監視に用いる画像を撮影する移動ロボットの動作の一例を図１に示す。図１に示す移動ロボット３００は、位置３０２ａ、３０２ｂ、３０２ｃ及び３０２ｄへ移動しつつ、これらの位置で内蔵する撮像部（図示せず）により撮影を行う。移動ロボット３００の撮影によって得られる画像の一例を図２に示す。図２において、画像３０８ａは位置３０２ａにおける移動ロボット３００の撮影によって得られる画像、画像３０８ｂは位置３０２ｂにおける移動ロボット３００の撮影によって得られる画像、画像３０８ｃは位置３０２ｃにおける移動ロボット３００の撮影によって得られる画像、画像３０８ｄは位置３０２ｄにおける移動ロボット３００の撮影によって得られる画像である。

監視システムのブロック図を図３に示す。図３に示す監視システムは、移動ロボット３００の動作に関する情報（シーケンス情報）を管理するシーケンサ１０１と、シーケンス情報に従って移動ロボット３００の動作を制御する動作制御部１０２と、移動ロボット３００内の撮像部３０１の撮影によって得られた画像の中から基準画像を選択する基準画像選択部１０３と、選択された基準画像に関する情報（基準画像情報）を取得、管理する基準画像情報管理部１０４と、基準画像を記録する基準画像記録部１０５と、基準画像を表示する基準画像表示部１０６と、基準画像内に動きを検出すべき領域である動き検出領域を設定するための作業者の操作指示を入力する基準画像領域入力部１０７と、動き検出領域を数値化する検出領域算出部１０８と、数値化された動き検出領域を記録する検出領域記録部１０９と、基準画像と撮像部３０１によって随時撮影が行われることによって得られる画像（監視画像）とを比較する画像比較部１１０と、動き検出領域における画像の変化を抽出する検出領域抽出部１１１と、画像の変化が抽出された場合に警告を発生させる警告発生部１１２とを有する。

これらのうち、基準画像の動き領域を設定する画像領域設定装置は、基準画像選択部１０３、基準画像情報管理部１０４、基準画像記録部１０５、基準画像表示部１０６、検出領域入力部１０７、検出領域算出部１０８及び検出領域記録部１０９によって構成される。

以上のように構成された画像領域設定装置について、動作を説明する。画像領域設定装置の動作のフローチャートを図４に示す。

基準画像選択部１０３は、作業者が移動ロボット３００内の撮像部３０１によって随時撮影が行われることにより得られる画像の中から基準画像を選択するための操作を行ったか否かを判定する（Ｓ１０１）。基準画像の選択操作が行われた場合、基準画像選択部１０３は、その操作に応じて基準画像を選択し、基準画像情報管理部１０４へ出力する（Ｓ１０２）。

基準画像情報管理部１０４は、選択された基準画像が得られた時の移動ロボット３００のシーケンス情報をシーケンサ１０１から取得し、基準画像情報として管理する。

基準画像情報の一例を図５に示す。前述のＳ１０２における基準画像の選択が繰り返されることによって、基準画像情報管理部１０４は、図５に示すように複数の基準画像の各々に対応する基準画像情報を管理することになる。図５（ａ）に示す基準画像情報は、選択された各基準画像を特定するための画像番号と、その基準画像が撮影された時刻とが対応付けられている。なお、撮影時刻は、実時刻であってもよく、移動ロボット３００内の撮像部３０１が撮影を開始してからの経過時間を示す時刻であっても良い。一方、図５（ｂ）に示す基準画像情報は、選択された各基準画像を特定するための画像番号と、その基準画像が得られた時の移動ロボット３００の位置及び姿勢とが対応付けられている。この移動ロボット３００の位置及び姿勢により、各基準画像の撮影範囲が特定され、この基準画像内に設定される動き検出領域を他の基準画像へ投影させることが可能となる。なお、撮像部３０１が移動ロボット３００の他の部分から独立して動作可能であり、移動ロボット３００の位置及び姿勢のみでは、基準画像の撮影範囲が特定されない場合には、更に基準画像情報として撮像部３０１の撮影方向に関する情報（例えば視角パラメータ）が含まれるようにしても良い。

また、基準画像情報管理部１０４は、選択された基準画像を基準画像記録部１０５へ出力する。基準画像記録部１０５は、入力した基準画像を記録するとともに、基準画像表示部１０６へ出力する。基準画像表示部１０６は、入力した基準画像を表示する。

再び図４に戻って説明する。Ｓ１０２における基準画像の選択の後、基準画像選択部１０３は、作業者によって基準画像を再選択するための操作が行われたか否かを判定する（Ｓ１０３）。基準画像の再選択操作が行われた場合には、基準画像選択部１０３による基準画像の選択（Ｓ１０２）以降の動作が繰り返される。

一方、基準画像の再選択操作が行われなかった場合、検出領域入力部１０７は、作業者が選択された基準画像において動きを検出すべき領域である第１の動き検出領域を設定するための操作を行ったか否かを判定する。動き検出領域の設定操作が行われなかった場合、基準画像選択部１０３による基準画像再選択の操作が行われたか否かの判定（Ｓ１０３）以降の動作が繰り返される。

一方、動き検出領域の設定操作が行われた場合、検出領域入力部１０７は、検出領域算出部１０８へその操作に関する情報を出力する。検出領域算出部１０８は、この操作に関する情報と、基準画像情報管理部１０４から取得した基準画像情報とに基づいて、基準画像内に第１の動き検出領域を設定する（Ｓ１０５）。以下、第１の動き検出領域が設定された基準画像を第１の基準画像と称する。

具体的には、検出領域算出部１０８は、基準画像情報管理部１０４から取得した基準画像情報に基づいて、第１の基準画像の撮影範囲を認識し、更に、作業者による動き検出領域の設定操作に関する情報に基づいて、実空間における第１の動き検出領域のデータ（例えば座標）や、第１の基準画像における第１の動き検出領域のデータ（例えば座標）を算出することにより、第１の動き検出領域を設定する。算出された第１の動き検出領域のデータは、第１の基準画像に関する情報と対応付けられて検出領域記録部１０９に記録される。

実空間における第１の動き検出領域の一例を図６に示し、基準画像における第１の動き検出領域の一例を図７に示す。図７に示す基準画像３２１が第１の基準画像とされた場合、作業者が第１の動き検出領域を設定するために、基準画像３２１において点３２３ａ、点３２３ｂ、点３２３ｃ及び点３２３ｄを選択して平面領域３２３を指定するとともに、基準画像３２１とともに表示される奥行入力欄において前方奥行及び後方奥行を指定すると、検出領域算出部１０８は、図６に示すように、実空間においては、移動ロボット３００の撮影時の位置を頂点とし、平面領域３２３に対応する平面を底面とする錐状の領域３１２が前方奥行３１５及び後方奥行３１４によって切断されることによって形成される錐台状の領域３１０を第１の動き検出領域として設定する。ここで、平面領域３２３に対応する平面は、移動ロボット３００から前方奥行３１５だけ離れた位置の平面に対応する。

再び図４に戻って説明する。Ｓ１０５において第１の動き検出領域が設定された後、検出領域算出部１０８は、第１の基準画像以外の基準画像（第２の基準画像）において空間領域変換を行い（Ｓ１０６）、更に、第１の基準画像に関連する第２の基準画像が存在するか否かを判定する（Ｓ１０７）。具体的には、Ｓ１０６及びＳ１０７において、検出領域算出部１０８は、基準画像情報管理部１０４から基準画像情報を取得し、この基準画像情報に基づいて、第１の基準画像の撮影範囲と第２の基準画像の撮影範囲を認識する。更に、検出領域算出部１０８は、Ｓ１０５において算出した第１の動き検出領域のデータを用いて、この第１の動き検出領域の全体又は一部を含む第２の基準画像が存在するか否かを判定する。そして、第１の動き検出領域の全体又は一部を含む第２の基準画像が存在する場合には、検出領域算出部１０８は、その第２の基準画像を、第１の基準画像に関連する第２の基準画像と判断する。

第１の基準画像に関連する第２の基準画像が存在しない場合には、一連の動作が終了する。一方、第１の基準画像に関連する第２の基準画像が存在する場合には、検出領域算出部１０８は、その第２の基準画像内に、第１の動き検出領域に対応する動き検出領域（第２の動き検出領域）を設定する。

検出領域算出部１０８によって算出される基準画像における動き検出領域のデータの一例を図８及び図９に示す。

図８では、各基準画像を特定するための画像番号、その基準画像に出現する動き検出領域を特定するための検出領域番号、及び、その基準画像における動き検出領域の２次元座標とが対応付けられている。例えば、画像番号Ｎ＋２の基準画像が第１の基準画像とされるとともに、画像番号Ｎ及びＮ＋１の基準画像が第２の基準画像とされ、第１の基準画像において検出領域番号１及び２の動き検出領域が設定された場合を考える。この場合、検出領域番号１の動き検出領域が画像番号Ｎ及びＮ＋１の基準画像にも出現する一方、検出領域番号２の動き検出領域が画像番号Ｎ及びＮ＋１の基準画像に出現しない場合には、検出領域算出部１０８によって算出される基準画像における動き検出領域のデータは、図８に示すものとなる。

一方、図９では、図９（ａ）において、各基準画像を特定するための画像番号と、その基準画像に出現する動き検出領域を特定するための検出領域番号とが対応付けられており、図９（ｂ）において、各動き検出領域を特定するための検出領域番号と、その動き検出領域の実空間における３次元座標とが対応付けられている。この場合、検出領域算出部１０８は、動き検出領域の実空間における３次元座標を、更に、各基準画像における２次元座標に変換する。

各基準画像における動き検出領域の一例を図１０に示す。図１０において、基準画像３３１ａは図１の位置３０２ａにおける移動ロボット３００の撮影により得られる画像、基準画像３３１ｂは図１の位置３０２ｂにおける移動ロボット３００の撮影により得られる画像、基準画像３３１ｃは図１の位置３０２ｃにおける移動ロボット３００の撮影により得られる画像、基準画像３３１ｄは図１の位置３０２ｄにおける移動ロボット３００の撮影により得られる画像である。これらの各基準画像の内、基準画像３３１ｂが第１の基準画像であり、基準画像３３１ａ、基準画像３３１ｃ及び基準画像３３１ｄが第２の基準画像である場合、第１の基準画像３３１ｂにおいて設定された動き検出領域３３０ｂは、第２の基準画像３３１ａにおいては動き検出領域３３０ａとして設定され、第２の基準画像３３１ｃにおいては動き検出領域３３０ｃとして設定され、第２の基準画像３３１ｄにおいては動き検出領域３３０ｄとして設定される。

第２の基準画像における第２の動き検出領域の設定後は、検出領域算出部１０８による空間領域変換（Ｓ１０６）以降の動作が繰り返される。

このような基準画像における動き検出領域の設定後、その動き検出領域に侵入者等が存在するか否かについての監視が可能となる。すなわち、画像比較部１１０は、移動ロボット３００内の撮像部３０１によって随時撮影が行われることによって得られる監視画像を入力するとともに、シーケンサ１０１におけるシーケンス情報に基づいて、その監視画像と同一の撮影範囲の撮影により得られた基準画像を基準画像記録部１０５から取得する。更に、画像比較部１１０は、入力した監視画像と取得した基準画像とを比較し、画像の変化を比較結果として検出領域抽出部１１１へ出力する。検出領域抽出部１１１は、この比較結果を入力するとともに、検出領域記録部１０９に記録された動き検出領域のデータを、検出領域算出部１０８を介して取得し、動き検出領域における画像の変化を抽出する。警告発生部１１２は、検出領域抽出部１１１により画像の変化が抽出された場合に警告を発生させる。なお、検出領域抽出部１１１により画像の変化が抽出された場合には、警告発生部１１２は、警告の発生以外に、何らかの処理を行うためのトリガを発生させるようにしても良い。

このように本実施の形態では、画像領域設定装置は、移動ロボット３００内の撮像部３０１が、移動ロボット３００の移動に伴って撮影範囲を変化させながら撮影を行う場合に、撮影によって得られた基準画像のいずれかである第１の基準画像内に、作業者の操作に応じた第１の動き検出領域を設定し、他の基準画像である第２の基準画像内には、第１の基準画像及び第２の基準画像が撮影された際の移動ロボット３００の位置及び姿勢や、第１の基準画像と第１の動き検出領域との対応関係に基づく第１の基準画像との関連性に応じて、第２の動き検出領域を設定する。このため、撮影範囲が変化する場合においても、第１の基準画像内に第１の動き検出領域が設定されれば、人手を介することなく、第２の基準画像内に、その第１の動き検出領域を投影させた第２の動き検出領域を設定することができる。

また、画像領域設定装置は、第２の基準画像内に第１の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、第２の動き検出領域を設定しており、必要に応じた適切な動き検出領域の設定が可能となる。更に、画像領域設定装置は、第１の基準画像における平面領域と前方及び後方の奥行とによって形成される３次元空間領域としての第１の動き検出領域を設定しており、これら平面領域と前方及び後方の奥行と関する情報を用いて３次元空間領域としての第２の動き検出領域を適切に設定することができる。

なお、前述の実施の形態では、画像比較部１１０が基準画像と監視画像との比較を行い、その後、検出領域抽出部１１１が動き検出領域における画像の変化を抽出したが、先に基準画像における動き検出領域と、監視画像における動き検出領域に対応する領域とが抽出され、これら抽出された領域の画像同士が比較されるようにしても良い。

また、シーケンサ１０１及び動作制御部１０２は、移動ロボット３００内に構成されるようにしても良い。この場合、画像情報管理部１０４は、無線通信等によりシーケンサ１０１からのシーケンス情報を取得する。

また、前述の実施の形態では、検出領域算出部１０８は、図６に示すように、移動ロボット３００の撮影時の位置を頂点とし、図７の平面領域３２３に対応する平面を底面とする錐状の領域３１２が前方奥行３１５及び後方奥行３１４によって切断されることによって形成される錐台状の領域３１０を第１の動き検出領域として設定したが、図１１に示すように、図７の平面領域３２３に対応する平面を前方奥行３１５の位置における底面とし、後方奥行３１４の位置までの奥行を有する直方体状の第１の動き検出領域３４０が設定されるようにしても良い。また、検出領域算出部１０８は、図１２に示すように移動ロボットから奥行３５８の位置を中心３５６とし、径３５７を有する球状の第１の動き検出領域３５５を設定するようにしても良い。更には、検出領域算出部１０８は、図１３に示すように、奥行３６９の位置に平面状の第１の動き検出領域３６８を設定するようにしても良い。

また、検出領域算出部１０８は、複数の基準画像を用いて、立体視手法により特徴点の奥行を計測するとともに、この特徴点を基準点として計測結果とともに基準画像表示部１０６に表示し、作業者による基準点の選択に応じた奥行を算出するようにしても良い。例えば、検出領域算出部１０８は、図１４において基準点Ａ乃至Ｅまでの奥行を計測し、図１５に示すように基準画像２７９とともに表示される奥行入力欄において基準点の指定を可能とする。

また、作業者による動き検出領域の設定操作において指定される平面領域は、四角形に限定されるものではなく、他の形状であっても良い。更には、作業者による動き検出領域の設定操作において指定される平面領域は、作業者によって指定される複数の小領域の集合であっても良い。また、作業者が２点を指定することにより、その２点間の線分を対角線とする正方形あるいは長方形が平面領域として指定されるようにしても良い。あるいは、基準画像における輝度や色の相違から導出される輪郭線で囲まれた領域や、撮影時刻の異なる２つの基準画像の差分に基づいて抽出されるオブジェクトが平面領域の指定単位となるようにしても良い。

また、検出領域算出部１０８は、動き検出領域の設定と同様の手順により、基準画像内に動きを検出すべきでない領域としての動き非検出領域（マスク領域）を設定するようにしても良い。この場合、検出領域抽出部１１１はマスク領域における画像の変化を抽出しないようにする。

また、第１の基準画像内に複数の第１の動き検出領域が設定され、それに伴って第２の基準画像内に複数の第２の動き検出領域が設定される場合には、警告発生部１１２は、どの動き検出領域において画像の変化が生じたかを判別可能であるような警告や何らかの処理を行うためのトリガを発生させるようにしても良い。

また、複数の第１の動き検出領域が第１の基準画像内に設定される場合や、複数の第２の動き検出領域が第２の基準画像内に設定される場合には、検出領域算出部１０８は、動き検出領域の各々に優先度を設定するようにしても良い。この場合、優先度は、作業者の操作指示に応じて設定されても良い。あるいは、優先度は、移動ロボット３００に近い側の動き検出領域ほど優先度が高くなるように設定されても良く、立体視手法により算出される奥行が小さい動き検出領域ほど優先度が高くなるように設定されても良い。優先度に関する情報は、動き検出領域のデータとして検出領域記録部１０９に記録される。そして、動き検出の際には、検出領域抽出部１１１は、各動き検出領域における画像の変化とともに、その動き検出領域の優先度を警告発生部１１２へ通知し、警告発生部１１２は、優先度に応じた警告や何らかの処理を行うためのトリガを発生させるようにしても良い。

また、警告発生部１１２は、複数の動き検出領域が重なる部分において画像の変化が生じた場合、それぞれの動き検出領域に対応する警告や何らかの処理を行うためのトリガを発生させるようにしても良い。

以上のように、本発明にかかる画像領域設定装置及び画像領域設定方法は、撮影手段が移動することにより撮影範囲が変化する場合においても、動き検出領域を簡易に設定可能であるという効果を有し、画像により侵入者等の発見を行う監視システムに用いられ、撮影によって得られる画像において、動き検出領域を設定する画像領域設定装置及び画像領域設定方法として有用である。

移動ロボットの動作の一例を示す図移動ロボットの撮影により得られる画像の一例を示す図画像領域設定装置を内蔵する監視システムのブロック図画像領域設定装置の動作のフローチャート基準画像情報の一例を示す図実空間における第１の動き検出領域の第１の例を示す図図６に対応する基準画像における第１の動き検出領域の一例を示す図基準画像における動き検出領域のデータの一例を示す図基準画像における動き検出領域のデータの他の例を示す図各基準画像における動き検出領域の一例を示す図実空間における第１の動き検出領域の第２の例を示す図実空間における第１の動き検出領域の第３の例を示す図実空間における第１の動き検出領域の第４の例を示す図実空間における基準点の一例を示す図図１４に対応する基準画像における基準点の一例を示す図従来の監視システムが用いられる場合の実空間における動き検出領域の一例を示す図従来の監視システムが用いられる場合の画像内における動き検出領域の一例を示す図

符号の説明

１０１シーケンサ
１０２動作制御部
１０３基準画像選択部
１０４基準画像情報管理部
１０５基準画像記録部
１０６基準画像表示部
１０７検出領域入力部
１０８検出領域算出部
１０９検出領域記録部
１１０画像比較部
１１１検出領域抽出部
１１２警告発生部
３００移動ロボット
３０１撮像部

Claims

撮影手段が移動しながら撮影範囲を変化させつつ撮影して得られた画像内において、実空間における３次元の動き検出領域を２次元の動き検出領域として設定する画像領域設定装置であって、
前記撮影手段が撮影して得られた第１の画像内の２次元の第１の動き検出領域と、指定された前方奥行と、指定された後方奥行あるいは計測された後方奥行のいずれか一方とにより、前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に実空間における３次元の第１の動き検出領域を設定すると共に、
前記撮影手段が移動して撮影して得られた第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像の前記撮像手段の実空間の撮影範囲内に前記３次元の第１の動き検出領域に対応する３次元の第２の動き検出領域を設定する動き検出領域設定手段と、
前記３次元の第２の動き検出領域の３次元座標を前記第２の画像の２次元座標に変換して前記第２の画像における２次元の第２の動き検出領域を算出する検出領域算出手段とを有することを特徴とする画像領域設定装置。
前記動き検出領域設定手段は、前記第２の画像の前記撮影手段の撮影範囲内に前記３次元の第１の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、前記３次元の第１の動き検出領域に対応する領域を前記３次元の第２の動き検出領域として設定することを特徴とする請求項１記載の画像領域設定装置。
前記第１の画像の前記撮影手段の撮影位置および前記第２の画像の前記撮影手段の撮影位置は、前記第１の画像および第２の画像が得られた際の前記撮影手段の位置情報及び姿勢情報であることを特徴とする請求項１あるいは２のいずれかに記載の画像領域設定装置。
前記動き検出領域設定手段は、前記第１の画像を撮影した際の前記撮影手段の位置と前記第１の画像における平面領域を撮影した際の前記平面領域に対応する実空間の領域とによって構成される錘状の領域と前記撮像手段の撮影位置から前記第１の画像を撮影した際の前方奥行および後方奥行きとによって前記３次元の第１の動き検出領域を設定することを特徴とする請求項３記載の画像領域設定装置。
前記動き検出領域設定手段は、前記撮像手段の撮影位置に対する位置が既知の基準点を利用して前記前方奥行及び前記後方奥行を把握することを特徴とする請求項４記載の画像領域設定装置。
前記動き検出領域設定手段は、複数の前記３次元の第１の動き検出領域を設定すると共に、
複数の前記３次元の第１の動き検出領域の各々に対応する複数の前記３次元の第２の動き検出領域を設定することを特徴とする請求項１乃至５のいずれかに記載の画像領域設定装置。
前記動き検出領域設定手段は、前記３次元の第１の動き検出領域の各々に優先度を設定し、
前記動き検出領域設定手段は、前記３次元の第２の動き検出領域の各々に優先度を設定することを特徴とする請求項６記載の画像領域設定装置。
前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に動きを検出すべきでない３次元の第１の動き非検出領域を設定すると共に、
前記第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像を撮影する際の前記撮像手段の撮影範囲内に前記３次元の第１の動き非検出領域に対応する動きを検出すべきでない３次元の第２の動き非検出領域を設定する動き検出領域設定手段とを有することを特徴とする請求項１乃至７のいずれか記載の画像領域設定装置。
撮影手段が移動しながら撮影範囲を変化させつつ撮影して得られた画像内において、実空間における３次元の動き検出領域を２次元の動き検出領域として設定する画像領域設定方法であって、
前記撮影手段が撮影して得られた第１の画像内の２次元の第１の動き検出領域と、指定された前方奥行と、指定された後方奥行あるいは計測された後方奥行のいずれか一方とにより、前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に実空間における３次元の第１の動き検出領域を設定すると共に、
前記撮影手段が移動して撮影して得られた第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像の前記撮像手段の実空間の撮影範囲内に前記３次元の第１の動き検出領域に対応する３次元の第２の動き検出領域を設定する動き検出領域設定ステップと、前記３次元の第２の動き検出領域の３次元座標を前記第２の画像の２次元座標に変換して前記第２の画像における２次元の動き検出領域を算出する検出領域算出ステップとを有することを特徴とする画像領域設定方法。
前記動き検出領域設定ステップは、前記第２の画像の前記撮影手段の撮影範囲内に前記３次元の第１の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、前記３次元の第１の動き検出領域に対応する領域を前記３次元の第２の動き検出領域として設定することを特徴とする請求項９記載の画像領域設定方法。
前記第１の画像の前記撮影手段の撮影位置および前記第２の画像の前記撮影手段の撮影位置は、前記第１の画像および第２の画像が得られた際の前記撮影手段の位置情報及び姿勢情報であることを特徴とする請求項９あるいは１０のいずれかに記載の画像領域設定方法。
前記動き検出領域設定ステップは、前記第１の画像を撮影した際の前記撮影手段の位置と前記第１の画像における平面領域を撮影した際の前記平面領域に対応する実空間の領域とによって構成される錘状の領域と前記撮像手段の撮影位置から前記第１の画像を撮影した際の前方奥行および後方奥行きとによって前記３次元の第１の動き検出領域を設定することを特徴とする請求項１１記載の画像領域設定方法。
前記動き検出領域設定ステップは、複数の前記３次元の第１の動き検出領域を設定すると共に、
複数の前記３次元の第１の動き検出領域の各々に対応する複数の前記３次元の第２の動き検出領域を設定することを特徴とする請求項９乃至１２のいずれか記載の画像領域設定方法。
前記動き検出領域設定ステップは、前記３次元の第１の動き検出領域の各々に優先度を設定し、
前記動き検出領域設定ステップは、前記３次元の第２の動き検出領域の各々に優先度を設定することを特徴とする請求項１３記載の画像領域設定方法。
前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に動きを検出すべきでない３次元の第１の動き非検出領域を設定と共に、
前記第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像を撮影する際の前記撮像手段の撮影範囲内に前記３次元の第１の動き非検出領域に対応する動きを検出すべきでない３次元の第２の動き非検出領域を設定する動き検出領域設定ステップとを有することを特徴とする請求項９乃至１４のいずれか記載の画像領域設定方法。