JP4846203B2 - Image area setting apparatus and image area setting method - Google Patents

Image area setting apparatus and image area setting method Download PDF

Info

Publication number
JP4846203B2
JP4846203B2 JP2004086257A JP2004086257A JP4846203B2 JP 4846203 B2 JP4846203 B2 JP 4846203B2 JP 2004086257 A JP2004086257 A JP 2004086257A JP 2004086257 A JP2004086257 A JP 2004086257A JP 4846203 B2 JP4846203 B2 JP 4846203B2
Authority
JP
Japan
Prior art keywords
image
motion detection
dimensional
detection area
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004086257A
Other languages
Japanese (ja)
Other versions
JP2005277640A (en
Inventor
雄飛 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2004086257A priority Critical patent/JP4846203B2/en
Publication of JP2005277640A publication Critical patent/JP2005277640A/en
Application granted granted Critical
Publication of JP4846203B2 publication Critical patent/JP4846203B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、主として画像により侵入者等の発見を行う監視システムに用いられ、撮影によって得られる画像において、動き検出領域を設定する画像領域設定装置及び画像領域設定方法に関する。   The present invention relates to an image region setting apparatus and an image region setting method for setting a motion detection region in an image obtained mainly by use in a monitoring system that detects an intruder or the like by using an image.

従来、侵入者等の発見を可能とする監視システムは、カメラが撮影することによって得られた画像を他所に伝達する。他所にいる監視者は、伝達された画像の目視を行い、侵入者等の発見を行う。しかし、監視者による目視では、人手を要することになるため、この人手を節約するために、自動的に画像内の動きを検出する機能が提案されている。   2. Description of the Related Art Conventionally, a monitoring system that enables discovery of an intruder or the like transmits an image obtained by a camera to other places. A monitor in another place looks at the transmitted image and finds an intruder or the like. However, since visual inspection by a supervisor requires human labor, a function for automatically detecting motion in an image has been proposed in order to save the human labor.

動き検出としては、現時点での画像と直前の撮影により得られた画像とを比較し、相違がある場合に動きがあったと判断する方法と、あらかじめ異常のない状態の画像（以下、「基準画像」と称する）を記録しておき、現時点での画像と基準画像とを比較し、相違がある場合に動きがあったと判断する方法とがある。   For motion detection, a comparison is made between the current image and the image obtained by the previous shooting, and when there is a difference, it is determined that there is a motion, and an image with no abnormality in advance (hereinafter referred to as “reference image”). Is recorded), the current image and the reference image are compared, and if there is a difference, it is determined that there is a movement.

ところで、動き検出においては、必ずしも画像全体の動きでなく、一部の領域における動きのみを検出したいとの要望がある。例えば、ゲートからの侵入者の監視の場合には、ゲートから進入する者だけが検出されればよく、その他の通行人等は動きがあったとしても検出されない方が望ましい。このため、作業者が画像内において動きを検出すべき領域（動き検出領域）を設定可能な動き検出機能が提案されている（例えば、特許文献１参照）。   By the way, in motion detection, there is a demand to detect only motion in a partial area, not necessarily motion of the entire image. For example, in the case of monitoring an intruder from a gate, only a person entering from the gate needs to be detected, and it is desirable that other passersby are not detected even if there is movement. For this reason, a motion detection function has been proposed in which an operator can set a region (motion detection region) in which motion should be detected in an image (see, for example, Patent Document 1).

実空間における動き検出領域の一例を図１６に示し、撮影によって得られる画像内における動き検出領域の一例を図１７に示す。図１６に示すカメラ４０２の撮影によって図１７に示す画像４０４が得られる場合、作業者が画像４０４内の長方形領域４０５が動き検出領域として設定すると、この長方形領域４０５は、実空間においてはカメラ４０２を頂点とする錐状領域４０３に対応付けられる。   An example of the motion detection area in the real space is shown in FIG. 16, and an example of the motion detection area in the image obtained by photographing is shown in FIG. When the image 404 shown in FIG. 17 is obtained by photographing with the camera 402 shown in FIG. 16, when the operator sets the rectangular area 405 in the image 404 as the motion detection area, the rectangular area 405 is not displayed in the real space. Is associated with a cone-shaped area 403 having a vertex as a vertex.

また、従来の監視システムでは、撮影範囲が固定されたカメラを用いることが一般的であるために死角が多くなり、この死角を解消するためには多くのカメラを使用する必要がありコストが増加するという問題があった。このため、昨今の無線通信技術と、ロボットに代表される移動体技術とを用いた移動体を利用した画像監視機能が提案されている（例えば、特許文献２参照）。移動体にカメラを搭載することにより、撮影範囲が広がり、死角を解消することが可能となる。   In addition, in conventional surveillance systems, it is common to use a camera with a fixed shooting range, so there are many blind spots. To eliminate this blind spot, it is necessary to use many cameras and the cost increases. There was a problem to do. For this reason, an image monitoring function using a moving body using a recent wireless communication technique and a moving body technique represented by a robot has been proposed (for example, see Patent Document 2). By mounting the camera on the moving body, the shooting range is widened, and the blind spot can be eliminated.

しかし、このようなカメラの撮影範囲が変化する監視システムでは、前述の動き検出の手法を用いることが困難である。具体的には、現時点での画像と直前の撮影によって得られる画像とを比較する方法では、画像の変化はカメラの移動によっても生じるため、両者の比較により動きを検出することはできない。一方、現時点での画像と基準画像とを比較する方法では、撮影範囲の変化に応じて複数の基準画像を設定する（例えば、特許文献３参照）。
特開２０００−３４８０号公報 特開平８−７１８６号公報 特開２００２−１５８９９９号公報 However, it is difficult to use the above-described motion detection method in such a monitoring system in which the shooting range of the camera changes. Specifically, in the method of comparing the current image with the image obtained by the previous shooting, the change in the image is also caused by the movement of the camera, and therefore the motion cannot be detected by comparing the two. On the other hand, in the method of comparing the current image with the reference image, a plurality of reference images are set according to the change in the shooting range (see, for example, Patent Document 3).
JP 2000-3480 A JP-A-8-7186 JP 2002-158999 A

しかしながら、従来の動き検出の手法において、撮影範囲が変化する場合、撮影範囲の異なる個々の基準画像毎に動き検出領域を設定する必要があり、作業者の負担が大きいという問題があった。   However, in the conventional motion detection method, when the shooting range changes, it is necessary to set a motion detection region for each reference image having a different shooting range, and there is a problem that the burden on the operator is heavy.

本発明は、従来の問題を解決するためになされたもので、撮影手段が移動することにより撮影範囲が変化する場合においても、動き検出領域を簡易に設定可能な画像領域設定装置及び画像領域設定方法を提供することを目的とする。   The present invention has been made to solve the conventional problems, and an image area setting device and an image area setting capable of easily setting a motion detection area even when an imaging range changes due to movement of an imaging unit. It aims to provide a method.

本発明の画像領域設定装置は、撮影手段が移動しながら撮影範囲を変化させつつ撮影して得られた画像内において、実空間における３次元の動き検出領域を２次元の動き検出領域として設定する画像領域設定装置であって、前記撮影手段が撮影して得られた第１の画像内の２次元の第１の動き検出領域と、指定された前方奥行と、指定された後方奥行あるいは計測された後方奥行のいずれか一方とにより、前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に実空間における３次元の第１の動き検出領域を設定すると共に、 前記撮影手段が移動して撮影して得られた第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像の前記撮像手段の実空間の撮影範囲内に前記３次元の第１の動き検出領域に対応する３次元の第２の動き検出領域を設定する動き検出領域設定手段と、前記３次元の第２の動き検出領域の３次元座標を前記第２の画像の２次元座標に変換して前記第２の画像における２次元の第２の動き検出領域を算出する検出領域算出手段とを有する構成となる。 Image area setting apparatus of the present invention, imaging means in the image obtained by photographing while changing the imaging range by moving, setting a three-dimensional motion detection area in the real space as the two-dimensional motion detection area An image area setting device, wherein a two-dimensional first motion detection area in a first image obtained by photographing by the photographing means, a designated front depth, and a designated rear depth or measured. The three-dimensional first motion detection area in the real space is set within the shooting range of the imaging unit when shooting the first image by any one of the rear depths, and the imaging unit moves Based on the relationship between the shooting position of the imaging means when shooting the second image obtained by shooting and the shooting position of the imaging means when shooting the first image, 2 of the image pickup means A motion detection area setting means for setting a three-dimensional second motion detection area corresponding to the three-dimensional first motion detection area within a photographing range of space; and 3 of the three-dimensional second motion detection area. Detection area calculating means for converting a two-dimensional coordinate of the second image into a two-dimensional coordinate of the second image and calculating a two-dimensional second motion detection area in the second image.

この構成により、撮影手段の撮影により得られたいずれかの画像を第１の画像とし、この第１の画像を撮影した撮影手段の位置と、第１の画像以外の第２の画像を撮影した撮影手段の位置との関連性に基づいて、第２の画像を撮影する際の視野範囲内に、第１の画像の画像を撮影する際の視野内に設定された３次元の第１の動き検出領域に対応する３次元の第２の動き検出領域が設定される。そして、３次元の第２の動き検出領域を元にして第２の画像内に２次元の動き検出領域が算出される。このため、撮影範囲が変化する場合においても、人手を介することなく、第２の画像内に、第２の動き検出領域を設定することができる。   With this configuration, any image obtained by photographing by the photographing unit is set as the first image, and the position of the photographing unit that has photographed the first image and the second image other than the first image are photographed. Based on the relationship with the position of the imaging means, the three-dimensional first movement set within the field of view when capturing the first image within the field of view when capturing the second image. A three-dimensional second motion detection area corresponding to the detection area is set. A two-dimensional motion detection area is calculated in the second image based on the three-dimensional second motion detection area. For this reason, even when the shooting range changes, the second motion detection region can be set in the second image without manual intervention.

また、本発明の画像領域設定装置は、前記動き検出領域設定手段は、前記第２の画像の前記撮影手段の撮影範囲内に前記３次元の第１の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、前記３次元の第１の動き検出領域に対応する領域を前記３次元の第２の動き検出領域として設定する構成とすることができる。 Further, the image area setting apparatus of the present invention, before kidou-out detection area setting means, a region corresponding to the first motion detection area of the three-dimensional in the photographing range of the photographing means of the second image It is possible to determine whether or not it is included, and when included, an area corresponding to the three-dimensional first motion detection area is set as the three-dimensional second motion detection area.

この構成により、必要に応じた２次元の第２の動き検出領域の設定を適切に行うことが可能となる。   With this configuration, it is possible to appropriately set the two-dimensional second motion detection area as necessary.

また、本発明の画像領域設定装置は、前記第１の画像の前記撮影手段の撮影位置および前記第２の画像の前記撮影手段の撮影位置は、前記第１の画像および第２の画像が得られた際の前記撮影手段の位置情報及び姿勢情報とに基づいて、前記第２の動き検出領域を設定する構成とすることができる。     In the image area setting device of the present invention, the first image and the second image are obtained as the photographing position of the photographing means of the first image and the photographing position of the photographing means of the second image. The second motion detection area can be set on the basis of the position information and the posture information of the photographing unit at the time.

この構成により、第１の画像が得られた際の撮影手段の位置情報及び姿勢情報と、第２の画像が得られた際の撮影手段の位置情報及び姿勢情報とに基づいて、第１の画像及び第２の画像の撮影範囲を把握し、第２の動き検出領域の設定を適切に行うことが可能となる。   With this configuration, based on the position information and posture information of the photographing unit when the first image is obtained, and the position information and posture information of the photographing unit when the second image is obtained, It is possible to grasp the shooting ranges of the image and the second image and appropriately set the second motion detection area.

また、本発明の画像領域設定装置は、前記動き検出領域設定手段は、前記第１の画像を撮影した際の前記撮影手段の位置と前記第１の画像における平面領域を撮影した際の前記平面領域に対応する実空間の領域とによって構成される錘状の領域と前記撮像手段の撮影位置から前記第１の画像を撮影した際の前方奥行および後方奥行きとによって前記３次元の第１の動き検出領域を設定することができる。 In the image region setting device of the present invention, the motion detection region setting unit may be configured such that the position of the photographing unit when the first image is photographed and the plane when the planar region in the first image is photographed. The three-dimensional first movement based on a weight-like area constituted by a real space area corresponding to the area and a front depth and a rear depth when the first image is shot from the shooting position of the imaging means. A detection area can be set.

この構成により、第１の画像における平面領域と奥行とに関する情報を用いて第２の動き検出領域を適切に設定することが可能となる。   With this configuration, it is possible to appropriately set the second motion detection region using information regarding the planar region and the depth in the first image.

また、本発明の画像領域設定装置は、前記動き検出領域設定手段は、前記撮像手段の撮影位置に対する位置が既知の基準点を利用して前記前方奥行及び前記後方奥行を把握する構成とすることができる。 In the image region setting device of the present invention, the motion detection region setting unit may be configured to grasp the front depth and the rear depth using a reference point whose position relative to the shooting position of the imaging unit is known. Can do.

この構成により、第１の画像における所定位置とその所定位置からの所定の距離とを用いて球状の第２の動き検出領域を適切に設定することが可能となる。   With this configuration, it is possible to appropriately set the spherical second motion detection region using a predetermined position in the first image and a predetermined distance from the predetermined position.

また、本発明の画像領域設定装置は、前記動き検出領域設定手段は、複数の前記３次元の第１の動き検出領域を設定すると共に、複数の前記３次元の第１の動き検出領域の各々に対応する複数の前記３次元の第２の動き検出領域を設定する構成とすることができる。 In the image region setting device of the present invention, the motion detection region setting means sets a plurality of the three-dimensional first motion detection regions, and each of the plurality of the three-dimensional first motion detection regions. A plurality of the three-dimensional second motion detection areas corresponding to the above can be set.

また、本発明の画像領域設定装置は、前記動き検出領域設定手段は、前記３次元の第１の動き検出領域の各々に優先度を設定し、前記動き検出領域設定手段は、前記３次元の第２の動き検出領域の各々に優先度を設定する構成とすることができる。 Further, the image area setting apparatus of the present invention, before kidou-out detection area setting means sets a priority to each of the first motion detection area of the three-dimensional, the motion detection area setting unit, the 3 It can be set as the structure which sets a priority to each of the 2nd motion detection area of a dimension.

また、本発明の画像領域設定装置は、前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に動きを検出すべきでない３次元の第１の動き非検出領域を設定すると共に、前記第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像を撮影する際の前記撮像手段の撮影範囲内に前記３次元の第１の動き非検出領域に対応する動きを検出すべきでない３次元の第２の動き非検出領域を設定する動き検出領域設定手段とを有する構成とすることができる。   The image region setting device of the present invention sets a three-dimensional first motion non-detection region in which motion should not be detected within the photographing range of the imaging means when photographing the first image, When shooting the second image based on the relationship between the shooting position of the imaging means when shooting the second image and the shooting position of the imaging means when shooting the first image Motion detection area setting means for setting a three-dimensional second motion non-detection area that should not detect a motion corresponding to the three-dimensional first motion non-detection area within the imaging range of the imaging means. It can be configured.

また、本発明の画像領域設定方法は、撮影手段が移動しながら撮影範囲を変化させつつ撮影して得られた画像内において、実空間における３次元の動き検出領域を２次元の動き検出領域として設定する画像領域設定方法であって、
前記撮影手段が撮影して得られた第１の画像内の２次元の第１の動き検出領域と、指定された前方奥行と、指定された後方奥行あるいは計測された後方奥行のいずれか一方とにより、前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に実空間における３次元の第１の動き検出領域を設定すると共に、
前記撮影手段が移動して撮影して得られた第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像の前記撮像手段の実空間の撮影範囲内に前記３次元の第１の動き検出領域に対応する３次元の第２の動き検出領域を設定する動き検出領域設定ステップと、前記３次元の第２の動き検出領域の３次元座標を前記第２の画像の２次元座標に変換して前記第２の画像における２次元の動き検出領域を算出する検出領域算出ステップとを有する構成となる。 Further, the image area setting method of the present invention, in the resulting image shooting means shooting while changing the imaging range while moving, three-dimensional motion detection area in the real space as the two-dimensional motion detection area An image area setting method to be set,
A two-dimensional first motion detection area in the first image obtained by photographing by the photographing means, a designated front depth, and either a designated rear depth or a measured rear depth. By setting a first three-dimensional motion detection area in real space within the shooting range of the imaging means when shooting the first image,
The relationship between the shooting position of the imaging means when shooting the second image obtained by moving the shooting means and the shooting position of the imaging means when shooting the first image Based on this, a motion detection region setting step for setting a three-dimensional second motion detection region corresponding to the three-dimensional first motion detection region within the real space photographing range of the imaging means of the second image. And a detection area calculation step of calculating a two-dimensional motion detection area in the second image by converting the three-dimensional coordinates of the three-dimensional second motion detection area into the two-dimensional coordinates of the second image. It becomes the composition which has.

また、本発明の画像領域設定方法は、前記動き検出領域設定ステップが、前記第２の画像の前記撮影手段の撮影範囲内に前記３次元の第１の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、前記３次元の第１の動き検出領域に対応する領域を前記３次元の第２の動き検出領域として設定する構成とすることができる。   In the image region setting method of the present invention, the motion detection region setting step includes a region corresponding to the three-dimensional first motion detection region within a shooting range of the shooting unit of the second image. If it is included, an area corresponding to the three-dimensional first motion detection area may be set as the three-dimensional second motion detection area.

また、本発明の画像領域設定方法は、前記第１の画像の前記撮影手段の撮影位置および前記第２の画像の前記撮影手段の撮影位置は、前記第１の画像および第２の画像が得られた際の前記撮影手段の位置情報及び姿勢情報である構成とすることができる。   In the image region setting method of the present invention, the first image and the second image are obtained as the photographing position of the photographing means of the first image and the photographing position of the photographing means of the second image. The position information and the posture information of the photographing unit at the time when the image is taken can be used.

また、本発明の画像領域設定方法は、前記動き検出領域設定ステップは、前記第１の画像を撮影した際の前記撮影手段の位置と前記第１の画像における平面領域を撮影した際の前記平面領域に対応する実空間の領域とによって構成される錘状の領域と前記撮像手段の撮影位置から前記第１の画像を撮影した際の前方奥行および後方奥行きとによって前記３次元の第１の動き検出領域を設定する構成とすることができる。     Further, in the image region setting method of the present invention, the motion detection region setting step includes the position of the photographing unit when the first image is photographed and the plane when the planar region in the first image is photographed. The three-dimensional first movement based on a weight-like area constituted by a real space area corresponding to the area and a front depth and a rear depth when the first image is shot from the shooting position of the imaging means. It can be set as the structure which sets a detection area | region.

また、本発明の画像領域設定方法は、前記動き検出領域設定ステップは、複数の前記３次元の第１の動き検出領域を設定すると共に、複数の前記３次元の第１の動き検出領域の各々に対応する複数の前記３次元の第２の動き検出領域を設定する構成とすることができる。   In the image region setting method of the present invention, the motion detection region setting step sets a plurality of the three-dimensional first motion detection regions, and each of the plurality of the three-dimensional first motion detection regions. A plurality of the three-dimensional second motion detection areas corresponding to the above can be set.

また、本発明の画像領域設定方法は、前記動き検出領域設定ステップは、前記３次元の第１の動き検出領域の各々に優先度を設定し、前記動き検出領域設定ステップは、前記３次元の第２の動き検出領域の各々に優先度を設定する構成とすることができる。   In the image region setting method of the present invention, the motion detection region setting step sets a priority for each of the three-dimensional first motion detection regions, and the motion detection region setting step includes the three-dimensional It can be set as the structure which sets a priority to each of a 2nd motion detection area | region.

また、本発明の画像領域設定方法は、前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に動きを検出すべきでない３次元の第１の動き非検出領域を設定と共に、 前記第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像を撮影する際の前記撮像手段の撮影範囲内に前記３次元の第１の動き非検出領域に対応する動きを検出すべきでない３次元の第２の動き非検出領域を設定する動き検出領域設定ステップとを有する構成とすることができる。


The image region setting method of the present invention may further include setting a three-dimensional first motion non-detection region in which motion should not be detected within the imaging range of the imaging unit when capturing the first image, Based on the relevance between the shooting position of the imaging means when shooting the second image and the shooting position of the imaging means when shooting the first image, A motion detection region setting step for setting a three-dimensional second motion non-detection region in which motion corresponding to the three-dimensional first motion non-detection region should not be detected within the photographing range of the imaging means. It can be.


本発明は、撮影範囲が変化する場合においても、人手を介することなく、第２の画像内に、動き検出領域としての第２の動き検出領域を設定することができる。   According to the present invention, even when the shooting range changes, the second motion detection area as the motion detection area can be set in the second image without manual intervention.

以下、本発明の実施の形態の監視システムについて、図面を用いて説明する。   Hereinafter, a monitoring system according to an embodiment of the present invention will be described with reference to the drawings.

本発明の実施の形態における監視システムが監視に用いる画像を撮影する移動ロボットの動作の一例を図１に示す。図１に示す移動ロボット３００は、位置３０２ａ、３０２ｂ、３０２ｃ及び３０２ｄへ移動しつつ、これらの位置で内蔵する撮像部（図示せず）により撮影を行う。移動ロボット３００の撮影によって得られる画像の一例を図２に示す。図２において、画像３０８ａは位置３０２ａにおける移動ロボット３００の撮影によって得られる画像、画像３０８ｂは位置３０２ｂにおける移動ロボット３００の撮影によって得られる画像、画像３０８ｃは位置３０２ｃにおける移動ロボット３００の撮影によって得られる画像、画像３０８ｄは位置３０２ｄにおける移動ロボット３００の撮影によって得られる画像である。   An example of the operation of the mobile robot that captures an image used for monitoring by the monitoring system according to the embodiment of the present invention is shown in FIG. The mobile robot 300 shown in FIG. 1 moves to positions 302a, 302b, 302c, and 302d, and performs imaging using an imaging unit (not shown) built in these positions. An example of an image obtained by shooting by the mobile robot 300 is shown in FIG. In FIG. 2, an image 308a is obtained by photographing the mobile robot 300 at the position 302a, an image 308b is obtained by photographing the mobile robot 300 at the position 302b, and an image 308c is obtained by photographing the mobile robot 300 at the position 302c. The image 308d is an image obtained by photographing the mobile robot 300 at the position 302d.

監視システムのブロック図を図３に示す。図３に示す監視システムは、移動ロボット３００の動作に関する情報（シーケンス情報）を管理するシーケンサ１０１と、シーケンス情報に従って移動ロボット３００の動作を制御する動作制御部１０２と、移動ロボット３００内の撮像部３０１の撮影によって得られた画像の中から基準画像を選択する基準画像選択部１０３と、選択された基準画像に関する情報（基準画像情報）を取得、管理する基準画像情報管理部１０４と、基準画像を記録する基準画像記録部１０５と、基準画像を表示する基準画像表示部１０６と、基準画像内に動きを検出すべき領域である動き検出領域を設定するための作業者の操作指示を入力する基準画像領域入力部１０７と、動き検出領域を数値化する検出領域算出部１０８と、数値化された動き検出領域を記録する検出領域記録部１０９と、基準画像と撮像部３０１によって随時撮影が行われることによって得られる画像（監視画像）とを比較する画像比較部１１０と、動き検出領域における画像の変化を抽出する検出領域抽出部１１１と、画像の変化が抽出された場合に警告を発生させる警告発生部１１２とを有する。   A block diagram of the monitoring system is shown in FIG. The monitoring system shown in FIG. 3 includes a sequencer 101 that manages information (sequence information) related to the operation of the mobile robot 300, an operation control unit 102 that controls the operation of the mobile robot 300 according to the sequence information, and an imaging unit in the mobile robot 300. A reference image selection unit 103 that selects a reference image from images obtained by photographing 301, a reference image information management unit 104 that acquires and manages information (reference image information) related to the selected reference image, and a reference image A reference image recording unit 105 that records a reference image, a reference image display unit 106 that displays a reference image, and an operator's operation instruction for setting a motion detection region that is a region in which motion should be detected in the reference image. A reference image area input unit 107, a detection area calculation unit 108 that digitizes the motion detection area, and a digitized motion detection area. A detection area recording unit 109 for performing comparison, an image comparison unit 110 for comparing a reference image and an image (monitoring image) obtained by performing shooting at any time by the imaging unit 301, and detection for extracting an image change in the motion detection region. An area extracting unit 111 and a warning generating unit 112 that generates a warning when an image change is extracted are included.

これらのうち、基準画像の動き領域を設定する画像領域設定装置は、基準画像選択部１０３、基準画像情報管理部１０４、基準画像記録部１０５、基準画像表示部１０６、検出領域入力部１０７、検出領域算出部１０８及び検出領域記録部１０９によって構成される。   Among these, the image area setting device that sets the movement area of the reference image includes a reference image selection unit 103, a reference image information management unit 104, a reference image recording unit 105, a reference image display unit 106, a detection region input unit 107, and a detection. The area calculation unit 108 and the detection area recording unit 109 are configured.

以上のように構成された画像領域設定装置について、動作を説明する。画像領域設定装置の動作のフローチャートを図４に示す。   The operation of the image area setting apparatus configured as described above will be described. A flowchart of the operation of the image area setting apparatus is shown in FIG.

基準画像選択部１０３は、作業者が移動ロボット３００内の撮像部３０１によって随時撮影が行われることにより得られる画像の中から基準画像を選択するための操作を行ったか否かを判定する（Ｓ１０１）。基準画像の選択操作が行われた場合、基準画像選択部１０３は、その操作に応じて基準画像を選択し、基準画像情報管理部１０４へ出力する（Ｓ１０２）。   The reference image selection unit 103 determines whether or not the operator has performed an operation for selecting a reference image from images obtained by the imaging unit 301 in the mobile robot 300 being photographed as needed (S101). ). When a reference image selection operation is performed, the reference image selection unit 103 selects a reference image according to the operation and outputs the selected reference image to the reference image information management unit 104 (S102).

基準画像情報管理部１０４は、選択された基準画像が得られた時の移動ロボット３００のシーケンス情報をシーケンサ１０１から取得し、基準画像情報として管理する。   The reference image information management unit 104 acquires the sequence information of the mobile robot 300 when the selected reference image is obtained from the sequencer 101 and manages it as reference image information.

基準画像情報の一例を図５に示す。前述のＳ１０２における基準画像の選択が繰り返されることによって、基準画像情報管理部１０４は、図５に示すように複数の基準画像の各々に対応する基準画像情報を管理することになる。図５（ａ）に示す基準画像情報は、選択された各基準画像を特定するための画像番号と、その基準画像が撮影された時刻とが対応付けられている。なお、撮影時刻は、実時刻であってもよく、移動ロボット３００内の撮像部３０１が撮影を開始してからの経過時間を示す時刻であっても良い。一方、図５（ｂ）に示す基準画像情報は、選択された各基準画像を特定するための画像番号と、その基準画像が得られた時の移動ロボット３００の位置及び姿勢とが対応付けられている。この移動ロボット３００の位置及び姿勢により、各基準画像の撮影範囲が特定され、この基準画像内に設定される動き検出領域を他の基準画像へ投影させることが可能となる。なお、撮像部３０１が移動ロボット３００の他の部分から独立して動作可能であり、移動ロボット３００の位置及び姿勢のみでは、基準画像の撮影範囲が特定されない場合には、更に基準画像情報として撮像部３０１の撮影方向に関する情報（例えば視角パラメータ）が含まれるようにしても良い。   An example of the reference image information is shown in FIG. By repeating the selection of the reference image in S102 described above, the reference image information management unit 104 manages reference image information corresponding to each of a plurality of reference images as shown in FIG. In the reference image information shown in FIG. 5A, an image number for specifying each selected reference image is associated with the time when the reference image was captured. Note that the shooting time may be an actual time or a time indicating an elapsed time since the imaging unit 301 in the mobile robot 300 started shooting. On the other hand, the reference image information shown in FIG. 5B associates the image number for specifying each selected reference image with the position and posture of the mobile robot 300 when the reference image is obtained. ing. The shooting range of each reference image is specified by the position and orientation of the mobile robot 300, and the motion detection area set in the reference image can be projected onto another reference image. Note that if the imaging unit 301 can operate independently from the other parts of the mobile robot 300 and the imaging range of the reference image is not specified only by the position and orientation of the mobile robot 300, the imaging is further performed as reference image information. Information regarding the shooting direction of the unit 301 (for example, viewing angle parameters) may be included.

また、基準画像情報管理部１０４は、選択された基準画像を基準画像記録部１０５へ出力する。基準画像記録部１０５は、入力した基準画像を記録するとともに、基準画像表示部１０６へ出力する。基準画像表示部１０６は、入力した基準画像を表示する。   Further, the reference image information management unit 104 outputs the selected reference image to the reference image recording unit 105. The reference image recording unit 105 records the input reference image and outputs it to the reference image display unit 106. The reference image display unit 106 displays the input reference image.

再び図４に戻って説明する。Ｓ１０２における基準画像の選択の後、基準画像選択部１０３は、作業者によって基準画像を再選択するための操作が行われたか否かを判定する（Ｓ１０３）。基準画像の再選択操作が行われた場合には、基準画像選択部１０３による基準画像の選択（Ｓ１０２）以降の動作が繰り返される。   Returning to FIG. 4, the description will be continued. After the selection of the reference image in S102, the reference image selection unit 103 determines whether an operation for reselecting the reference image has been performed by the operator (S103). When the reference image reselection operation is performed, the operations after the selection of the reference image (S102) by the reference image selection unit 103 are repeated.

一方、基準画像の再選択操作が行われなかった場合、検出領域入力部１０７は、作業者が選択された基準画像において動きを検出すべき領域である第１の動き検出領域を設定するための操作を行ったか否かを判定する。動き検出領域の設定操作が行われなかった場合、基準画像選択部１０３による基準画像再選択の操作が行われたか否かの判定（Ｓ１０３）以降の動作が繰り返される。   On the other hand, when the re-selection operation of the reference image is not performed, the detection area input unit 107 sets a first motion detection area that is an area in which motion should be detected in the reference image selected by the operator. It is determined whether or not an operation has been performed. When the operation for setting the motion detection area is not performed, the operation after the determination (S103) on whether or not the operation for reselecting the reference image by the reference image selection unit 103 is performed is repeated.

一方、動き検出領域の設定操作が行われた場合、検出領域入力部１０７は、検出領域算出部１０８へその操作に関する情報を出力する。検出領域算出部１０８は、この操作に関する情報と、基準画像情報管理部１０４から取得した基準画像情報とに基づいて、基準画像内に第１の動き検出領域を設定する（Ｓ１０５）。以下、第１の動き検出領域が設定された基準画像を第１の基準画像と称する。   On the other hand, when a motion detection region setting operation is performed, the detection region input unit 107 outputs information regarding the operation to the detection region calculation unit 108. The detection area calculation unit 108 sets a first motion detection area in the reference image based on the information related to this operation and the reference image information acquired from the reference image information management unit 104 (S105). Hereinafter, the reference image in which the first motion detection area is set is referred to as a first reference image.

具体的には、検出領域算出部１０８は、基準画像情報管理部１０４から取得した基準画像情報に基づいて、第１の基準画像の撮影範囲を認識し、更に、作業者による動き検出領域の設定操作に関する情報に基づいて、実空間における第１の動き検出領域のデータ（例えば座標）や、第１の基準画像における第１の動き検出領域のデータ（例えば座標）を算出することにより、第１の動き検出領域を設定する。算出された第１の動き検出領域のデータは、第１の基準画像に関する情報と対応付けられて検出領域記録部１０９に記録される。   Specifically, the detection area calculation unit 108 recognizes the shooting range of the first reference image based on the reference image information acquired from the reference image information management unit 104, and further sets the motion detection area by the operator. Based on the information regarding the operation, the first motion detection area data (for example, coordinates) in the real space and the first motion detection area data (for example, coordinates) in the first reference image are calculated to obtain the first Set the motion detection area. The calculated data of the first motion detection area is recorded in the detection area recording unit 109 in association with the information related to the first reference image.

実空間における第１の動き検出領域の一例を図６に示し、基準画像における第１の動き検出領域の一例を図７に示す。図７に示す基準画像３２１が第１の基準画像とされた場合、作業者が第１の動き検出領域を設定するために、基準画像３２１において点３２３ａ、点３２３ｂ、点３２３ｃ及び点３２３ｄを選択して平面領域３２３を指定するとともに、基準画像３２１とともに表示される奥行入力欄において前方奥行及び後方奥行を指定すると、検出領域算出部１０８は、図６に示すように、実空間においては、移動ロボット３００の撮影時の位置を頂点とし、平面領域３２３に対応する平面を底面とする錐状の領域３１２が前方奥行３１５及び後方奥行３１４によって切断されることによって形成される錐台状の領域３１０を第１の動き検出領域として設定する。ここで、平面領域３２３に対応する平面は、移動ロボット３００から前方奥行３１５だけ離れた位置の平面に対応する。   An example of the first motion detection area in the real space is shown in FIG. 6, and an example of the first motion detection area in the reference image is shown in FIG. When the reference image 321 shown in FIG. 7 is the first reference image, the operator selects the point 323a, the point 323b, the point 323c, and the point 323d in the reference image 321 in order to set the first motion detection area. When the plane area 323 is designated and the front depth and the rear depth are designated in the depth input field displayed together with the reference image 321, the detection area calculation unit 108 moves in the real space as shown in FIG. A frustum-shaped region 310 formed by cutting a cone-shaped region 312 having a vertex at the shooting position of the robot 300 and a bottom surface corresponding to the plane region 323 by a front depth 315 and a rear depth 314. Is set as the first motion detection region. Here, the plane corresponding to the plane area 323 corresponds to the plane at a position away from the mobile robot 300 by the front depth 315.

再び図４に戻って説明する。Ｓ１０５において第１の動き検出領域が設定された後、検出領域算出部１０８は、第１の基準画像以外の基準画像（第２の基準画像）において空間領域変換を行い（Ｓ１０６）、更に、第１の基準画像に関連する第２の基準画像が存在するか否かを判定する（Ｓ１０７）。具体的には、Ｓ１０６及びＳ１０７において、検出領域算出部１０８は、基準画像情報管理部１０４から基準画像情報を取得し、この基準画像情報に基づいて、第１の基準画像の撮影範囲と第２の基準画像の撮影範囲を認識する。更に、検出領域算出部１０８は、Ｓ１０５において算出した第１の動き検出領域のデータを用いて、この第１の動き検出領域の全体又は一部を含む第２の基準画像が存在するか否かを判定する。そして、第１の動き検出領域の全体又は一部を含む第２の基準画像が存在する場合には、検出領域算出部１０８は、その第２の基準画像を、第１の基準画像に関連する第２の基準画像と判断する。   Returning to FIG. 4, the description will be continued. After the first motion detection region is set in S105, the detection region calculation unit 108 performs spatial region conversion on a reference image (second reference image) other than the first reference image (S106). It is determined whether there is a second reference image related to the one reference image (S107). Specifically, in S106 and S107, the detection area calculation unit 108 acquires reference image information from the reference image information management unit 104, and based on this reference image information, the shooting range of the first reference image and the second The imaging range of the reference image is recognized. Furthermore, the detection area calculation unit 108 uses the data of the first motion detection area calculated in S105 to determine whether or not there is a second reference image including all or part of the first motion detection area. Determine. When there is a second reference image that includes the entire or part of the first motion detection area, the detection area calculation unit 108 relates the second reference image to the first reference image. The second reference image is determined.

第１の基準画像に関連する第２の基準画像が存在しない場合には、一連の動作が終了する。一方、第１の基準画像に関連する第２の基準画像が存在する場合には、検出領域算出部１０８は、その第２の基準画像内に、第１の動き検出領域に対応する動き検出領域（第２の動き検出領域）を設定する。   If there is no second reference image related to the first reference image, the series of operations ends. On the other hand, when there is a second reference image related to the first reference image, the detection area calculation unit 108 includes a motion detection area corresponding to the first motion detection area in the second reference image. (Second motion detection area) is set.

検出領域算出部１０８によって算出される基準画像における動き検出領域のデータの一例を図８及び図９に示す。   Examples of motion detection area data in the reference image calculated by the detection area calculation unit 108 are shown in FIGS.

図８では、各基準画像を特定するための画像番号、その基準画像に出現する動き検出領域を特定するための検出領域番号、及び、その基準画像における動き検出領域の２次元座標とが対応付けられている。例えば、画像番号Ｎ＋２の基準画像が第１の基準画像とされるとともに、画像番号Ｎ及びＮ＋１の基準画像が第２の基準画像とされ、第１の基準画像において検出領域番号１及び２の動き検出領域が設定された場合を考える。この場合、検出領域番号１の動き検出領域が画像番号Ｎ及びＮ＋１の基準画像にも出現する一方、検出領域番号２の動き検出領域が画像番号Ｎ及びＮ＋１の基準画像に出現しない場合には、検出領域算出部１０８によって算出される基準画像における動き検出領域のデータは、図８に示すものとなる。   In FIG. 8, the image number for specifying each reference image, the detection region number for specifying the motion detection region appearing in the reference image, and the two-dimensional coordinates of the motion detection region in the reference image are associated with each other. It has been. For example, the reference image with the image number N + 2 is set as the first reference image, and the reference images with the image numbers N and N + 1 are set as the second reference image. The movements of the detection area numbers 1 and 2 in the first reference image. Consider the case where a detection area is set. In this case, when the motion detection area with the detection area number 1 also appears in the reference images with the image numbers N and N + 1, while the motion detection area with the detection area number 2 does not appear in the reference images with the image numbers N and N + 1, The data of the motion detection area in the reference image calculated by the detection area calculation unit 108 is as shown in FIG.

一方、図９では、図９（ａ）において、各基準画像を特定するための画像番号と、その基準画像に出現する動き検出領域を特定するための検出領域番号とが対応付けられており、図９（ｂ）において、各動き検出領域を特定するための検出領域番号と、その動き検出領域の実空間における３次元座標とが対応付けられている。この場合、検出領域算出部１０８は、動き検出領域の実空間における３次元座標を、更に、各基準画像における２次元座標に変換する。   On the other hand, in FIG. 9, in FIG. 9A, an image number for specifying each reference image is associated with a detection area number for specifying a motion detection area appearing in the reference image. In FIG. 9B, the detection area number for specifying each motion detection area is associated with the three-dimensional coordinates in the real space of the motion detection area. In this case, the detection area calculation unit 108 further converts the three-dimensional coordinates in the real space of the motion detection area into two-dimensional coordinates in each reference image.

各基準画像における動き検出領域の一例を図１０に示す。図１０において、基準画像３３１ａは図１の位置３０２ａにおける移動ロボット３００の撮影により得られる画像、基準画像３３１ｂは図１の位置３０２ｂにおける移動ロボット３００の撮影により得られる画像、基準画像３３１ｃは図１の位置３０２ｃにおける移動ロボット３００の撮影により得られる画像、基準画像３３１ｄは図１の位置３０２ｄにおける移動ロボット３００の撮影により得られる画像である。これらの各基準画像の内、基準画像３３１ｂが第１の基準画像であり、基準画像３３１ａ、基準画像３３１ｃ及び基準画像３３１ｄが第２の基準画像である場合、第１の基準画像３３１ｂにおいて設定された動き検出領域３３０ｂは、第２の基準画像３３１ａにおいては動き検出領域３３０ａとして設定され、第２の基準画像３３１ｃにおいては動き検出領域３３０ｃとして設定され、第２の基準画像３３１ｄにおいては動き検出領域３３０ｄとして設定される。   An example of the motion detection area in each reference image is shown in FIG. 10, the reference image 331a is an image obtained by photographing the mobile robot 300 at the position 302a in FIG. 1, the reference image 331b is an image obtained by photographing the mobile robot 300 at the position 302b in FIG. 1, and the reference image 331c is FIG. The image obtained by photographing the mobile robot 300 at the position 302c and the reference image 331d are images obtained by photographing the mobile robot 300 at the position 302d in FIG. Among these reference images, when the reference image 331b is the first reference image and the reference image 331a, the reference image 331c, and the reference image 331d are the second reference images, they are set in the first reference image 331b. The motion detection area 330b is set as the motion detection area 330a in the second reference image 331a, is set as the motion detection area 330c in the second reference image 331c, and is the motion detection area in the second reference image 331d. 330d is set.

第２の基準画像における第２の動き検出領域の設定後は、検出領域算出部１０８による空間領域変換（Ｓ１０６）以降の動作が繰り返される。   After the setting of the second motion detection region in the second reference image, the operations after the spatial region conversion (S106) by the detection region calculation unit 108 are repeated.

このような基準画像における動き検出領域の設定後、その動き検出領域に侵入者等が存在するか否かについての監視が可能となる。すなわち、画像比較部１１０は、移動ロボット３００内の撮像部３０１によって随時撮影が行われることによって得られる監視画像を入力するとともに、シーケンサ１０１におけるシーケンス情報に基づいて、その監視画像と同一の撮影範囲の撮影により得られた基準画像を基準画像記録部１０５から取得する。更に、画像比較部１１０は、入力した監視画像と取得した基準画像とを比較し、画像の変化を比較結果として検出領域抽出部１１１へ出力する。検出領域抽出部１１１は、この比較結果を入力するとともに、検出領域記録部１０９に記録された動き検出領域のデータを、検出領域算出部１０８を介して取得し、動き検出領域における画像の変化を抽出する。警告発生部１１２は、検出領域抽出部１１１により画像の変化が抽出された場合に警告を発生させる。なお、検出領域抽出部１１１により画像の変化が抽出された場合には、警告発生部１１２は、警告の発生以外に、何らかの処理を行うためのトリガを発生させるようにしても良い。   After setting the motion detection area in such a reference image, it is possible to monitor whether or not an intruder exists in the motion detection area. That is, the image comparison unit 110 inputs a monitoring image obtained by performing shooting at any time by the imaging unit 301 in the mobile robot 300, and based on the sequence information in the sequencer 101, the same shooting range as the monitoring image. A reference image obtained by shooting is acquired from the reference image recording unit 105. Further, the image comparison unit 110 compares the input monitoring image with the acquired reference image, and outputs the image change to the detection region extraction unit 111 as a comparison result. The detection area extraction unit 111 inputs the comparison result, acquires the data of the motion detection area recorded in the detection area recording unit 109 via the detection area calculation unit 108, and changes the image in the motion detection area. Extract. The warning generation unit 112 generates a warning when a change in the image is extracted by the detection area extraction unit 111. In addition, when the change of the image is extracted by the detection region extraction unit 111, the warning generation unit 112 may generate a trigger for performing some processing other than the generation of the warning.

このように本実施の形態では、画像領域設定装置は、移動ロボット３００内の撮像部３０１が、移動ロボット３００の移動に伴って撮影範囲を変化させながら撮影を行う場合に、撮影によって得られた基準画像のいずれかである第１の基準画像内に、作業者の操作に応じた第１の動き検出領域を設定し、他の基準画像である第２の基準画像内には、第１の基準画像及び第２の基準画像が撮影された際の移動ロボット３００の位置及び姿勢や、第１の基準画像と第１の動き検出領域との対応関係に基づく第１の基準画像との関連性に応じて、第２の動き検出領域を設定する。このため、撮影範囲が変化する場合においても、第１の基準画像内に第１の動き検出領域が設定されれば、人手を介することなく、第２の基準画像内に、その第１の動き検出領域を投影させた第２の動き検出領域を設定することができる。   As described above, in the present embodiment, the image area setting device is obtained by shooting when the imaging unit 301 in the mobile robot 300 performs shooting while changing the shooting range as the mobile robot 300 moves. A first motion detection area corresponding to the operator's operation is set in the first reference image which is one of the reference images, and the first reference image which is another reference image is set in the first reference image. The position and orientation of the mobile robot 300 when the reference image and the second reference image are taken, and the relevance of the first reference image based on the correspondence between the first reference image and the first motion detection area. Accordingly, the second motion detection area is set. For this reason, even when the shooting range changes, if the first motion detection region is set in the first reference image, the first motion is not detected in the second reference image without manual intervention. A second motion detection area on which the detection area is projected can be set.

また、画像領域設定装置は、第２の基準画像内に第１の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、第２の動き検出領域を設定しており、必要に応じた適切な動き検出領域の設定が可能となる。更に、画像領域設定装置は、第１の基準画像における平面領域と前方及び後方の奥行とによって形成される３次元空間領域としての第１の動き検出領域を設定しており、これら平面領域と前方及び後方の奥行と関する情報を用いて３次元空間領域としての第２の動き検出領域を適切に設定することができる。   Further, the image area setting device determines whether or not an area corresponding to the first motion detection area is included in the second reference image, and if included, sets the second motion detection area. Therefore, it is possible to set an appropriate motion detection area as required. Further, the image area setting device sets a first motion detection area as a three-dimensional space area formed by the planar area and the depths of the front and rear in the first reference image. And the 2nd motion detection area | region as a three-dimensional space area | region can be set appropriately using the information regarding depth of back and back.

なお、前述の実施の形態では、画像比較部１１０が基準画像と監視画像との比較を行い、その後、検出領域抽出部１１１が動き検出領域における画像の変化を抽出したが、先に基準画像における動き検出領域と、監視画像における動き検出領域に対応する領域とが抽出され、これら抽出された領域の画像同士が比較されるようにしても良い。   In the above-described embodiment, the image comparison unit 110 compares the reference image with the monitoring image, and then the detection region extraction unit 111 extracts the change in the image in the motion detection region. The motion detection area and the area corresponding to the motion detection area in the monitoring image may be extracted, and the images of these extracted areas may be compared with each other.

また、シーケンサ１０１及び動作制御部１０２は、移動ロボット３００内に構成されるようにしても良い。この場合、画像情報管理部１０４は、無線通信等によりシーケンサ１０１からのシーケンス情報を取得する。   Further, the sequencer 101 and the operation control unit 102 may be configured in the mobile robot 300. In this case, the image information management unit 104 acquires sequence information from the sequencer 101 by wireless communication or the like.

また、前述の実施の形態では、検出領域算出部１０８は、図６に示すように、移動ロボット３００の撮影時の位置を頂点とし、図７の平面領域３２３に対応する平面を底面とする錐状の領域３１２が前方奥行３１５及び後方奥行３１４によって切断されることによって形成される錐台状の領域３１０を第１の動き検出領域として設定したが、図１１に示すように、図７の平面領域３２３に対応する平面を前方奥行３１５の位置における底面とし、後方奥行３１４の位置までの奥行を有する直方体状の第１の動き検出領域３４０が設定されるようにしても良い。また、検出領域算出部１０８は、図１２に示すように移動ロボットから奥行３５８の位置を中心３５６とし、径３５７を有する球状の第１の動き検出領域３５５を設定するようにしても良い。更には、検出領域算出部１０８は、図１３に示すように、奥行３６９の位置に平面状の第１の動き検出領域３６８を設定するようにしても良い。   Further, in the above-described embodiment, as shown in FIG. 6, the detection area calculation unit 108 has a cone whose top is the position corresponding to the plane area 323 in FIG. The frustum-shaped region 310 formed by cutting the region 312 by the front depth 315 and the rear depth 314 is set as the first motion detection region. As shown in FIG. A flat surface corresponding to the region 323 may be set as a bottom surface at the position of the front depth 315, and the rectangular parallelepiped first motion detection region 340 having a depth up to the position of the rear depth 314 may be set. Further, as shown in FIG. 12, the detection region calculation unit 108 may set a spherical first motion detection region 355 having a diameter 357 with the position of the depth 358 from the mobile robot as the center 356. Furthermore, as shown in FIG. 13, the detection area calculation unit 108 may set a planar first motion detection area 368 at the position of the depth 369.

また、検出領域算出部１０８は、複数の基準画像を用いて、立体視手法により特徴点の奥行を計測するとともに、この特徴点を基準点として計測結果とともに基準画像表示部１０６に表示し、作業者による基準点の選択に応じた奥行を算出するようにしても良い。例えば、検出領域算出部１０８は、図１４において基準点Ａ乃至Ｅまでの奥行を計測し、図１５に示すように基準画像２７９とともに表示される奥行入力欄において基準点の指定を可能とする。   In addition, the detection area calculation unit 108 measures the depth of a feature point by a stereoscopic method using a plurality of reference images, displays the feature point as a reference point on the reference image display unit 106 together with a measurement result, The depth corresponding to the selection of the reference point by the person may be calculated. For example, the detection area calculation unit 108 measures the depth from the reference points A to E in FIG. 14, and enables the specification of the reference point in the depth input field displayed together with the reference image 279 as shown in FIG.

また、作業者による動き検出領域の設定操作において指定される平面領域は、四角形に限定されるものではなく、他の形状であっても良い。更には、作業者による動き検出領域の設定操作において指定される平面領域は、作業者によって指定される複数の小領域の集合であっても良い。また、作業者が２点を指定することにより、その２点間の線分を対角線とする正方形あるいは長方形が平面領域として指定されるようにしても良い。あるいは、基準画像における輝度や色の相違から導出される輪郭線で囲まれた領域や、撮影時刻の異なる２つの基準画像の差分に基づいて抽出されるオブジェクトが平面領域の指定単位となるようにしても良い。   Further, the plane area specified in the operation for setting the motion detection area by the operator is not limited to a quadrangle, and may be another shape. Furthermore, the plane area specified in the operation for setting the motion detection area by the worker may be a set of a plurality of small areas specified by the worker. In addition, when the operator designates two points, a square or a rectangle having a line segment between the two points as a diagonal line may be designated as a plane region. Alternatively, an area surrounded by a contour line derived from a difference in luminance or color in the reference image or an object extracted based on a difference between two reference images having different shooting times may be a designated unit of the plane area. May be.

また、検出領域算出部１０８は、動き検出領域の設定と同様の手順により、基準画像内に動きを検出すべきでない領域としての動き非検出領域（マスク領域）を設定するようにしても良い。この場合、検出領域抽出部１１１はマスク領域における画像の変化を抽出しないようにする。   Further, the detection area calculation unit 108 may set a motion non-detection area (mask area) as an area where motion should not be detected in the reference image by the same procedure as the setting of the motion detection area. In this case, the detection area extraction unit 111 does not extract image changes in the mask area.

また、第１の基準画像内に複数の第１の動き検出領域が設定され、それに伴って第２の基準画像内に複数の第２の動き検出領域が設定される場合には、警告発生部１１２は、どの動き検出領域において画像の変化が生じたかを判別可能であるような警告や何らかの処理を行うためのトリガを発生させるようにしても良い。   Further, when a plurality of first motion detection areas are set in the first reference image, and a plurality of second motion detection areas are set in the second reference image accordingly, a warning generation unit In 112, a warning for enabling determination of which motion detection region has undergone the image change or a trigger for performing some processing may be generated.

また、複数の第１の動き検出領域が第１の基準画像内に設定される場合や、複数の第２の動き検出領域が第２の基準画像内に設定される場合には、検出領域算出部１０８は、動き検出領域の各々に優先度を設定するようにしても良い。この場合、優先度は、作業者の操作指示に応じて設定されても良い。あるいは、優先度は、移動ロボット３００に近い側の動き検出領域ほど優先度が高くなるように設定されても良く、立体視手法により算出される奥行が小さい動き検出領域ほど優先度が高くなるように設定されても良い。優先度に関する情報は、動き検出領域のデータとして検出領域記録部１０９に記録される。そして、動き検出の際には、検出領域抽出部１１１は、各動き検出領域における画像の変化とともに、その動き検出領域の優先度を警告発生部１１２へ通知し、警告発生部１１２は、優先度に応じた警告や何らかの処理を行うためのトリガを発生させるようにしても良い。   In addition, when a plurality of first motion detection areas are set in the first reference image, or when a plurality of second motion detection areas are set in the second reference image, the detection area calculation is performed. The unit 108 may set a priority for each motion detection area. In this case, the priority may be set according to the operator's operation instruction. Alternatively, the priority may be set such that the priority is higher in the motion detection area closer to the mobile robot 300, and the priority is higher in the motion detection area having a smaller depth calculated by the stereoscopic method. May be set. Information about the priority is recorded in the detection area recording unit 109 as motion detection area data. At the time of motion detection, the detection area extraction unit 111 notifies the warning generation unit 112 of the priority of the motion detection area together with the image change in each motion detection area. A warning or a trigger for performing some processing may be generated in accordance with the above.

また、警告発生部１１２は、複数の動き検出領域が重なる部分において画像の変化が生じた場合、それぞれの動き検出領域に対応する警告や何らかの処理を行うためのトリガを発生させるようにしても良い。   Further, when an image change occurs in a portion where a plurality of motion detection areas overlap, the warning generation unit 112 may generate a warning corresponding to each motion detection area or a trigger for performing some processing. .

以上のように、本発明にかかる画像領域設定装置及び画像領域設定方法は、撮影手段が移動することにより撮影範囲が変化する場合においても、動き検出領域を簡易に設定可能であるという効果を有し、画像により侵入者等の発見を行う監視システムに用いられ、撮影によって得られる画像において、動き検出領域を設定する画像領域設定装置及び画像領域設定方法として有用である。   As described above, the image area setting device and the image area setting method according to the present invention have the effect that the motion detection area can be easily set even when the shooting range changes as the shooting means moves. It is useful for an image area setting apparatus and an image area setting method for setting a motion detection area in an image obtained by photographing, which is used in a monitoring system that detects an intruder or the like by an image.

移動ロボットの動作の一例を示す図The figure which shows an example of operation of a mobile robot 移動ロボットの撮影により得られる画像の一例を示す図The figure which shows an example of the image obtained by imaging | photography of a mobile robot 画像領域設定装置を内蔵する監視システムのブロック図Block diagram of surveillance system with built-in image area setting device 画像領域設定装置の動作のフローチャートFlow chart of operation of image area setting device 基準画像情報の一例を示す図The figure which shows an example of reference | standard image information 実空間における第１の動き検出領域の第１の例を示す図The figure which shows the 1st example of the 1st motion detection area | region in real space. 図６に対応する基準画像における第１の動き検出領域の一例を示す図The figure which shows an example of the 1st motion detection area | region in the reference | standard image corresponding to FIG. 基準画像における動き検出領域のデータの一例を示す図The figure which shows an example of the data of the motion detection area | region in a reference | standard image 基準画像における動き検出領域のデータの他の例を示す図The figure which shows the other example of the data of the motion detection area | region in a reference | standard image 各基準画像における動き検出領域の一例を示す図The figure which shows an example of the motion detection area | region in each reference | standard image 実空間における第１の動き検出領域の第２の例を示す図The figure which shows the 2nd example of the 1st motion detection area | region in real space. 実空間における第１の動き検出領域の第３の例を示す図The figure which shows the 3rd example of the 1st motion detection area | region in real space. 実空間における第１の動き検出領域の第４の例を示す図The figure which shows the 4th example of the 1st motion detection area | region in real space. 実空間における基準点の一例を示す図Diagram showing an example of a reference point in real space 図１４に対応する基準画像における基準点の一例を示す図The figure which shows an example of the reference | standard point in the reference | standard image corresponding to FIG. 従来の監視システムが用いられる場合の実空間における動き検出領域の一例を示す図The figure which shows an example of the motion detection area | region in the real space when the conventional monitoring system is used 従来の監視システムが用いられる場合の画像内における動き検出領域の一例を示す図The figure which shows an example of the motion detection area | region in the image when the conventional monitoring system is used

符号の説明Explanation of symbols

１０１ シーケンサ
１０２ 動作制御部
１０３ 基準画像選択部
１０４ 基準画像情報管理部
１０５ 基準画像記録部
１０６ 基準画像表示部
１０７ 検出領域入力部
１０８ 検出領域算出部
１０９ 検出領域記録部
１１０ 画像比較部
１１１ 検出領域抽出部
１１２ 警告発生部
３００ 移動ロボット
３０１ 撮像部 DESCRIPTION OF SYMBOLS 101 Sequencer 102 Operation control part 103 Reference | standard image selection part 104 Reference | standard image information management part 105 Reference | standard image recording part 106 Reference | standard image display part 107 Detection area input part 108 Detection area calculation part 109 Detection area recording part 110 Image comparison part 111 Detection area extraction Unit 112 warning generation unit 300 mobile robot 301 imaging unit

Claims (15)

撮影手段が移動しながら撮影範囲を変化させつつ撮影して得られた画像内において、実空間における３次元の動き検出領域を２次元の動き検出領域として設定する画像領域設定装置であって、
前記撮影手段が撮影して得られた第１の画像内の２次元の第１の動き検出領域と、指定された前方奥行と、指定された後方奥行あるいは計測された後方奥行のいずれか一方とにより、前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に実空間における３次元の第１の動き検出領域を設定すると共に、
前記撮影手段が移動して撮影して得られた第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像の前記撮像手段の実空間の撮影範囲内に前記３次元の第１の動き検出領域に対応する３次元の第２の動き検出領域を設定する動き検出領域設定手段と、
前記３次元の第２の動き検出領域の３次元座標を前記第２の画像の２次元座標に変換して前記第２の画像における２次元の第２の動き検出領域を算出する検出領域算出手段とを有することを特徴とする画像領域設定装置。 In the imaging unit is obtained by photographing while changing the imaging range while moving image, an image region setting device for setting a three-dimensional motion detection area in the real space as the two-dimensional motion detection area,
A two-dimensional first motion detection area in the first image obtained by photographing by the photographing means, a designated front depth, and either a designated rear depth or a measured rear depth. By setting a first three-dimensional motion detection area in real space within the shooting range of the imaging means when shooting the first image,
The relationship between the shooting position of the imaging means when shooting the second image obtained by moving the shooting means and the shooting position of the imaging means when shooting the first image Based on this, the motion detection area setting means for setting a three-dimensional second motion detection area corresponding to the three-dimensional first motion detection area within the real space shooting range of the imaging means for the second image. When,
Detection area calculation means for calculating the two-dimensional second motion detection area in the second image by converting the three-dimensional coordinates of the three-dimensional second motion detection area into the two-dimensional coordinates of the second image. An image area setting device comprising: 前記動き検出領域設定手段は、前記第２の画像の前記撮影手段の撮影範囲内に前記３次元の第１の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、前記３次元の第１の動き検出領域に対応する領域を前記３次元の第２の動き検出領域として設定することを特徴とする請求項１記載の画像領域設定装置。 The motion detection area setting means determines whether or not an area corresponding to the three-dimensional first motion detection area is included in the imaging range of the imaging means of the second image. 2. The image area setting device according to claim 1, wherein an area corresponding to the three-dimensional first motion detection area is set as the three-dimensional second motion detection area. 前記第１の画像の前記撮影手段の撮影位置および前記第２の画像の前記撮影手段の撮影位置は、前記第１の画像および第２の画像が得られた際の前記撮影手段の位置情報及び姿勢情報であることを特徴とする請求項１あるいは２のいずれかに記載の画像領域設定装置。 The photographing position of the photographing means of the first image and the photographing position of the photographing means of the second image are the positional information of the photographing means when the first image and the second image are obtained, and The image area setting device according to claim 1, wherein the image area setting device is posture information. 前記動き検出領域設定手段は、前記第１の画像を撮影した際の前記撮影手段の位置と前記第１の画像における平面領域を撮影した際の前記平面領域に対応する実空間の領域とによって構成される錘状の領域と前記撮像手段の撮影位置から前記第１の画像を撮影した際の前方奥行および後方奥行きとによって前記３次元の第１の動き検出領域を設定することを特徴とする請求項３記載の画像領域設定装置。 The motion detection area setting means includes a position of the photographing means when the first image is photographed and a real space area corresponding to the planar area when the planar area in the first image is photographed. The three-dimensional first motion detection region is set according to a forward-shaped depth and a rear depth when the first image is captured from a weight-shaped region to be captured and a capturing position of the imaging unit. Item 4. The image area setting device according to Item 3. 前記動き検出領域設定手段は、前記撮像手段の撮影位置に対する位置が既知の基準点を利用して前記前方奥行及び前記後方奥行を把握することを特徴とする請求項４記載の画像領域設定装置。 5. The image region setting device according to claim 4, wherein the motion detection region setting unit grasps the front depth and the rear depth by using a reference point whose position with respect to the photographing position of the imaging unit is known. 前記動き検出領域設定手段は、複数の前記３次元の第１の動き検出領域を設定すると共に、
複数の前記３次元の第１の動き検出領域の各々に対応する複数の前記３次元の第２の動き検出領域を設定することを特徴とする請求項１乃至５のいずれかに記載の画像領域設定装置。 The motion detection area setting means sets a plurality of the three-dimensional first motion detection areas,
6. The image region according to claim 1, wherein a plurality of the three-dimensional second motion detection regions corresponding to each of the plurality of the three-dimensional first motion detection regions are set. Setting device. 前記動き検出領域設定手段は、前記３次元の第１の動き検出領域の各々に優先度を設定し、
前記動き検出領域設定手段は、前記３次元の第２の動き検出領域の各々に優先度を設定することを特徴とする請求項６記載の画像領域設定装置。 The motion detection area setting means sets a priority for each of the three-dimensional first motion detection areas,
7. The image region setting device according to claim 6, wherein the motion detection region setting means sets a priority for each of the three-dimensional second motion detection regions. 前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に動きを検出すべきでない３次元の第１の動き非検出領域を設定すると共に、
前記第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像を撮影する際の前記撮像手段の撮影範囲内に前記３次元の第１の動き非検出領域に対応する動きを検出すべきでない３次元の第２の動き非検出領域を設定する動き検出領域設定手段とを有することを特徴とする請求項１乃至７のいずれか記載の画像領域設定装置。 While setting a three-dimensional first motion non-detection area where motion should not be detected within the imaging range of the imaging means when capturing the first image,
When shooting the second image based on the relationship between the shooting position of the imaging means when shooting the second image and the shooting position of the imaging means when shooting the first image Motion detection area setting means for setting a three-dimensional second motion non-detection area that should not detect a motion corresponding to the three-dimensional first motion non-detection area within the imaging range of the imaging means. 8. The image area setting device according to claim 1, wherein 撮影手段が移動しながら撮影範囲を変化させつつ撮影して得られた画像内において、実空間における３次元の動き検出領域を２次元の動き検出領域として設定する画像領域設定方法であって、
前記撮影手段が撮影して得られた第１の画像内の２次元の第１の動き検出領域と、指定された前方奥行と、指定された後方奥行あるいは計測された後方奥行のいずれか一方とにより、前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に実空間における３次元の第１の動き検出領域を設定すると共に、
前記撮影手段が移動して撮影して得られた第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像の前記撮像手段の実空間の撮影範囲内に前記３次元の第１の動き検出領域に対応する３次元の第２の動き検出領域を設定する動き検出領域設定ステップと、前記３次元の第２の動き検出領域の３次元座標を前記第２の画像の２次元座標に変換して前記第２の画像における２次元の動き検出領域を算出する検出領域算出ステップとを有することを特徴とする画像領域設定方法。 An image region setting method for setting a three-dimensional motion detection region in real space as a two-dimensional motion detection region in an image obtained by photographing while changing the photographing range while the photographing means moves,
A two-dimensional first motion detection area in the first image obtained by photographing by the photographing means, a designated front depth, and either a designated rear depth or a measured rear depth. By setting a first three-dimensional motion detection area in real space within the shooting range of the imaging means when shooting the first image,
The relationship between the shooting position of the imaging means when shooting the second image obtained by moving the shooting means and the shooting position of the imaging means when shooting the first image Based on this, a motion detection region setting step for setting a three-dimensional second motion detection region corresponding to the three-dimensional first motion detection region within the real space photographing range of the imaging means of the second image. And a detection area calculation step of calculating a two-dimensional motion detection area in the second image by converting the three-dimensional coordinates of the three-dimensional second motion detection area into the two-dimensional coordinates of the second image. An image region setting method characterized by comprising: 前記動き検出領域設定ステップは、前記第２の画像の前記撮影手段の撮影範囲内に前記３次元の第１の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、前記３次元の第１の動き検出領域に対応する領域を前記３次元の第２の動き検出領域として設定することを特徴とする請求項９記載の画像領域設定方法。 The motion detection area setting step determines whether or not an area corresponding to the three-dimensional first motion detection area is included in the imaging range of the imaging unit of the second image. 10. The image region setting method according to claim 9, wherein a region corresponding to the three-dimensional first motion detection region is set as the three-dimensional second motion detection region. 前記第１の画像の前記撮影手段の撮影位置および前記第２の画像の前記撮影手段の撮影位置は、前記第１の画像および第２の画像が得られた際の前記撮影手段の位置情報及び姿勢情報であることを特徴とする請求項９あるいは１０のいずれかに記載の画像領域設定方法。 The photographing position of the photographing means of the first image and the photographing position of the photographing means of the second image are the positional information of the photographing means when the first image and the second image are obtained, and The image region setting method according to claim 9, wherein the image region setting method is posture information. 前記動き検出領域設定ステップは、前記第１の画像を撮影した際の前記撮影手段の位置と前記第１の画像における平面領域を撮影した際の前記平面領域に対応する実空間の領域とによって構成される錘状の領域と前記撮像手段の撮影位置から前記第１の画像を撮影した際の前方奥行および後方奥行きとによって前記３次元の第１の動き検出領域を設定することを特徴とする請求項１１記載の画像領域設定方法。 The motion detection area setting step includes a position of the photographing unit when the first image is photographed and a real space area corresponding to the planar area when the planar area in the first image is photographed. The three-dimensional first motion detection region is set according to a forward-shaped depth and a rear depth when the first image is captured from a weight-shaped region to be captured and a capturing position of the imaging unit. Item 12. The image region setting method according to Item 11. 前記動き検出領域設定ステップは、複数の前記３次元の第１の動き検出領域を設定すると共に、
複数の前記３次元の第１の動き検出領域の各々に対応する複数の前記３次元の第２の動き検出領域を設定することを特徴とする請求項９乃至１２のいずれか記載の画像領域設定方法。 The motion detection area setting step sets a plurality of the three-dimensional first motion detection areas,
The image region setting according to any one of claims 9 to 12, wherein a plurality of the three-dimensional second motion detection regions corresponding to each of the plurality of the three-dimensional first motion detection regions are set. Method. 前記動き検出領域設定ステップは、前記３次元の第１の動き検出領域の各々に優先度を設定し、
前記動き検出領域設定ステップは、前記３次元の第２の動き検出領域の各々に優先度を設定することを特徴とする請求項１３記載の画像領域設定方法。 The motion detection area setting step sets a priority for each of the three-dimensional first motion detection areas,
14. The image region setting method according to claim 13, wherein in the motion detection region setting step, a priority is set for each of the three-dimensional second motion detection regions. 前記第１の画像を撮影する際の前記撮像手段の撮影範囲内に動きを検出すべきでない３次元の第１の動き非検出領域を設定と共に、
前記第２の画像を撮影する際の前記撮像手段の撮影位置と前記第１の画像を撮影する際の前記撮像手段の撮影位置との関連性に基づいて、前記第２の画像を撮影する際の前記撮像手段の撮影範囲内に前記３次元の第１の動き非検出領域に対応する動きを検出すべきでない３次元の第２の動き非検出領域を設定する動き検出領域設定ステップとを有することを特徴とする請求項９乃至１４のいずれか記載の画像領域設定方法。 In addition to setting a three-dimensional first motion non-detection area where motion should not be detected within the imaging range of the imaging means when capturing the first image,
When shooting the second image based on the relationship between the shooting position of the imaging means when shooting the second image and the shooting position of the imaging means when shooting the first image A motion detection region setting step for setting a three-dimensional second motion non-detection region in which motion corresponding to the three-dimensional first motion non-detection region should not be detected within the photographing range of the imaging means. 15. The image region setting method according to claim 9, wherein the image region setting method is any one of claims 9 to 14.
JP2004086257A 2004-03-24 2004-03-24 Image area setting apparatus and image area setting method Expired - Fee Related JP4846203B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004086257A JP4846203B2 (en) 2004-03-24 2004-03-24 Image area setting apparatus and image area setting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004086257A JP4846203B2 (en) 2004-03-24 2004-03-24 Image area setting apparatus and image area setting method

Publications (2)

Publication Number Publication Date
JP2005277640A JP2005277640A (en) 2005-10-06
JP4846203B2 true JP4846203B2 (en) 2011-12-28

Family

ID=35176853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004086257A Expired - Fee Related JP4846203B2 (en) 2004-03-24 2004-03-24 Image area setting apparatus and image area setting method

Country Status (1)

Country Link
JP (1) JP4846203B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4706573B2 (en) * 2006-06-29 2011-06-22 日本ビクター株式会社 Motion detection device and motion detection method
WO2019093371A1 (en) * 2017-11-09 2019-05-16 コニカミノルタ株式会社 Object detecting system and object detecting program
CN114453283B (en) * 2021-12-17 2022-12-09 珠海市奥德维科技有限公司 Air blowing discharging monitoring method for sorting machine

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2999476B2 (en) * 1988-08-26 2000-01-17 松下電工株式会社 Intruder detection device
JPH0635443A (en) * 1992-07-15 1994-02-10 N T T Data Tsushin Kk Monitor device
JP3388087B2 (en) * 1996-04-18 2003-03-17 松下電器産業株式会社 Object detection device
JPH1079934A (en) * 1996-09-02 1998-03-24 Nippon Koei Co Ltd Method for monitoring intrusion in monitoring area and its device
JP2000057376A (en) * 1998-08-11 2000-02-25 Gen Tec:Kk Method for generating new viewpoint image
JP3722653B2 (en) * 1999-08-31 2005-11-30 松下電器産業株式会社 Surveillance camera device and display method of surveillance camera
JP4140159B2 (en) * 2000-01-19 2008-08-27 株式会社明電舎 Surveillance camera monitoring area setting apparatus and method
JP3704706B2 (en) * 2002-03-13 2005-10-12 オムロン株式会社 3D monitoring device

Also Published As

Publication number Publication date
JP2005277640A (en) 2005-10-06

Similar Documents

Publication Publication Date Title
JP5586765B2 (en) Camera calibration result verification apparatus and method
JP3905116B2 (en) Detection area adjustment device
KR102111935B1 (en) Display control apparatus, display control method, and program
CN110910460B (en) Method and device for acquiring position information and calibration equipment
JP2013535896A (en) Security camera tracking and monitoring system and method using thermal image coordinates
WO2017163688A1 (en) Monitoring system and monitoring method
JP4418805B2 (en) Detection area adjustment device
JP2016177640A (en) Video monitoring system
JP2009273006A (en) Monitoring apparatus and monitor system
JP2017138947A (en) Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program
JP5101429B2 (en) Image monitoring device
JPWO2017187694A1 (en) Attention area image generation device
JP2016197797A (en) Image processing apparatus, image processing method, and image processing system
TWI471825B (en) System and method for managing security of a roof
JP4227037B2 (en) Imaging system and calibration method
JP4846203B2 (en) Image area setting apparatus and image area setting method
JP6104066B2 (en) Image processing apparatus and image processing method
WO2005088962A1 (en) Tracking device and motion capture device
JP6581280B1 (en) Monitoring device, monitoring system, monitoring method, monitoring program
JP2006033188A (en) Supervisory apparatus and supervisory method
JP2007104223A (en) Camera for system, monitoring system, and monitoring method
JP2020088840A (en) Monitoring device, monitoring system, monitoring method, and monitoring program
JP3875199B2 (en) Imaging device
CN115526897A (en) Flame positioning method and system for fire-fighting robot of extra-high voltage converter station
JP7437930B2 (en) Mobile objects and imaging systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070323

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090715

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090818

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091116

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091201

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100409

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111012

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees