JP4572190B2 - Object detection device - Google Patents
Object detection device Download PDFInfo
- Publication number
- JP4572190B2 JP4572190B2 JP2006337453A JP2006337453A JP4572190B2 JP 4572190 B2 JP4572190 B2 JP 4572190B2 JP 2006337453 A JP2006337453 A JP 2006337453A JP 2006337453 A JP2006337453 A JP 2006337453A JP 4572190 B2 JP4572190 B2 JP 4572190B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- change
- detected
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、例えば、撮像装置を用いた物体検出装置に関し、特に、撮像視野内の侵入物体を監視するために撮像装置から入力される画像信号から検出すべき対象物体を検出する物体検出装置や物体検出方法に関する。 The present invention relates to, for example, an object detection device using an imaging device, and more particularly to an object detection device that detects a target object to be detected from an image signal input from the imaging device in order to monitor an intruding object in an imaging field of view. The present invention relates to an object detection method.
例えば、テレビジョンカメラ(TVカメラ) 等の撮像装置を用いて、物体を監視することが行われている。また、有人監視ではなく、装置或いはシステムが自動的に監視を行う技術が検討等されている。
一例として、差分法を用いた監視では、TVカメラ等から得られる画像と基準となる背景画像との輝度(或いは、画素値)の差分を検出し、当該検出値が所定の閾値(しきい値)と比べて大きい変化領域に物体が存在する或いはその可能性があるとして監視を行う。
また、物体の検出条件として、例えば、マスク領域に関する条件や、大きさ判定に関する条件や、警戒領域に関する条件などが用いられる。
For example, an object is monitored using an imaging device such as a television camera (TV camera). In addition, a technique in which an apparatus or a system automatically monitors instead of manned monitoring is being studied.
As an example, in monitoring using a difference method, a difference in luminance (or pixel value) between an image obtained from a TV camera or the like and a reference background image is detected, and the detected value is a predetermined threshold value (threshold value). Monitoring is performed on the assumption that an object exists or is likely to be present in a large change area compared to (1).
Further, as the object detection condition, for example, a condition related to a mask area, a condition related to size determination, a condition related to a warning area, or the like is used.
しかしながら、従来の物体検出装置や物体検出方法では、例えば、TVカメラの光軸方向や画角が変化したような場合には、物体の検出条件を変更しなければならないといった問題があり、このような変更をしないと、正確な物体検出が行われなくなってしまうといった問題があった。
本発明は、このような従来の事情に鑑み為されたもので、例えば、TVカメラの光軸方向や画角が変化したような場合においても、正確な物体検出を行うことができる物体検出装置や物体検出方法を提供することを目的とする。
However, the conventional object detection apparatus and object detection method have a problem that, for example, when the optical axis direction and the angle of view of the TV camera change, the object detection condition must be changed. If no change is made, there is a problem that accurate object detection cannot be performed.
The present invention has been made in view of such a conventional situation. For example, even when the optical axis direction or the angle of view of a TV camera changes, an object detection apparatus capable of performing accurate object detection. And an object detection method.
上記目的を達成するため、本発明に係る物体検出装置では、次のようにして、物体検出対象となる画像に含まれる物体の画像を検出する。
すなわち、物体検出対象画像視野変化検出手段が、物体検出対象となる画像の視野に関する変化を検出する。検出条件設定手段が、物体検出対象画像視野変化検出手段により検出される変化に基づいて、物体の画像を検出するために使用される検出条件を設定する。物体画像検出手段が、検出条件設定手段により設定される検出条件を使用して、物体検出対象となる画像に含まれる物体の画像を検出する。
従って、物体検出対象となる画像の視野に関する変化に基づいて設定される検出条件を使用して当該画像に含まれる物体の画像が検出されるため、例えば、物体検出対象となる画像の視野に関する変化が生じるような場合においても、正確な物体検出を行うことができる。
ここで、物体検出対象となる画像や、物体や、物体検出対象となる画像の視野に関する変化や、検出条件としては、それぞれ、種々なものが用いられてもよい。
また、物体検出対象となる画像について視野に関する変化が生じた場合に、検出条件設定手段により検出条件を設定する仕方としては、種々な仕方が用いられてもよく、例えば、当該変化に対応して検出条件の方を補正するような仕方が用いられてもよく、或いは、当該変化に対応して物体検出対象となる画像の方を補正するような仕方が用いられてもよく、或いは、これら両方を補正するような仕方が用いられてもよい。
In order to achieve the above object, the object detection apparatus according to the present invention detects an image of an object included in an image to be detected as follows.
That is, the object detection target image visual field change detection means detects a change related to the visual field of the image to be detected. The detection condition setting means sets a detection condition used for detecting the image of the object based on the change detected by the object detection target image visual field change detection means. The object image detection unit detects an image of the object included in the image that is the object detection target using the detection condition set by the detection condition setting unit.
Therefore, since the image of the object included in the image is detected using the detection condition set based on the change regarding the field of view of the image that is the object detection target, for example, the change regarding the field of view of the image that is the object detection target Even in such a case, accurate object detection can be performed.
Here, various images may be used as the image to be detected, the object, the change in the field of view of the image to be detected, and the detection condition.
In addition, when a change in the field of view occurs in the image that is the object detection target, various methods may be used as a method for setting the detection condition by the detection condition setting unit. For example, in response to the change, A method of correcting the detection condition may be used, or a method of correcting the image to be detected by the object corresponding to the change may be used, or both. A method may be used that corrects.
本発明に係る物体検出装置では、一構成例として、物体検出対象画像視野変化検出手段は、物体検出対象となる画像の視野に関する変化として、画像を撮像する装置(画像撮像装置)の光軸方向の変化と、画像を撮像する装置の画角の変化の一方又は両方を検出する。
従って、例えば、画像を撮像する装置の光軸方向や画角が変化したような場合においても、正確な物体検出を行うことができる。
ここで、画像を撮像する装置としては、種々な装置が用いられてもよく、例えば、TVカメラなどを用いることができる。
また、画像を撮像する装置の光軸方向の変化としては、例えば、水平方向の変化や、垂直方向の変化が用いられる。一例として、水平方向をX軸方向とし、垂直方向をY軸方向とすると、光軸方向の変化の量をX軸方向の座標のずれ及びY軸方向の座標のずれにより表すことができる。
また、画像を撮像する装置の画角の変化としては、例えば、水平方向の変化や、垂直方向の変化が用いられる。一例として、水平方向をX軸方向とし、垂直方向をY軸方向とすると、画角の変化の量をX 軸方向の座標の広がり或いは狭まり及びY軸方向の座標の広がり或いは狭まりにより表すことができ、或いは、X軸方向の角度及びY軸方向の角度により表すことができる。
また、画像を撮像する装置の光軸方向の変化や画角の変化は、例えば、人や装置による操作や制御により発生する場合があり、また、例えば、風などの屋外環境或いは屋内環境により発生する場合がある。
In the object detection device according to the present invention, as one configuration example, the object detection target image visual field change detection means is an optical axis direction of a device that captures an image (image imaging device) as a change related to the visual field of the image to be detected. And / or a change in the angle of view of the device that captures an image.
Therefore, for example, accurate object detection can be performed even when the optical axis direction or the angle of view of the device that captures an image changes.
Here, various apparatuses may be used as an apparatus for capturing an image, and for example, a TV camera or the like can be used.
In addition, as a change in the optical axis direction of the apparatus that captures an image, for example, a change in the horizontal direction or a change in the vertical direction is used. As an example, assuming that the horizontal direction is the X-axis direction and the vertical direction is the Y-axis direction, the amount of change in the optical axis direction can be expressed by a shift in coordinates in the X-axis direction and a shift in coordinates in the Y-axis direction.
In addition, as the change in the angle of view of the device that captures an image, for example, a change in the horizontal direction or a change in the vertical direction is used. As an example, if the horizontal direction is the X-axis direction and the vertical direction is the Y-axis direction, the amount of change in the angle of view can be expressed by the spread or narrowing of the coordinates in the X-axis direction and the spread or narrowing of the coordinates in the Y-axis direction. Alternatively, it can be expressed by an angle in the X-axis direction and an angle in the Y-axis direction.
In addition, a change in the optical axis direction and a change in the angle of view of an apparatus that captures an image may occur due to operation or control by a person or an apparatus, for example, and may occur due to an outdoor environment or an indoor environment such as a wind. There is a case.
本発明に係る物体検出装置では、一構成例として、物体検出対象となる画像と比べて広い画像について、物体の画像を検出するために使用される検出条件を設定するための基準となる検出条件( 基準検出条件)が設定される。そして、検出条件設定手段は、当該基準となる検出条件及び物体検出対象画像視野変化検出手段により検出される変化に基づいて、物体の画像を検出するために使用される検出条件を設定する。
従って、物体検出対象となる画像と比べて広い画像について設定された基準検出条件に基づいて検出条件が設定されるため、例えば、物体検出対象となる画像の視野に関する変化が生じたような場合においても、適切な検出条件を設定することができ、物体の画像を適切に検出することができる。
ここで、物体検出対象となる画像と比べて広い画像としては、種々な画像が用いられてもよく、例えば、物体検出対象となる画像の視野(例えば、フレーム)と比べて広い視野(例えば、フレーム)を有する画像を用いることができ、例えば、物体検出対象となる画像を全て内部に包含するような画像を用いることができる。
また、基準となる検出条件としては、種々なものが用いられてもよい。
また、基準となる検出条件としては、例えば、物体検出対象となる画像と比べて広い画像において、同様な役割を有する複数の基準検出条件を広範囲に分散して設定することが可能である。この場合、同様な役割を有する複数の基準検出条件が広範囲に分散されることにより、物体検出対象となる画像の視野に関する変化があった場合においても、当該変化後における物体検出対象となる画像に同様な役割を有する複数の基準検出条件のうちの1以上が含まれることが多くなる。
また、基準となる検出条件としては、例えば、可変に或いは予め固定的に装置に設定され、或いは、可変に或いは予め固定的に人により設定され、例えば、メモリなどに記憶される。
In the object detection apparatus according to the present invention, as one configuration example, a detection condition serving as a reference for setting a detection condition used to detect an image of an object with respect to an image wider than an image that is an object detection target. (Reference detection condition) is set. Then, the detection condition setting means sets a detection condition used for detecting the image of the object based on the reference detection condition and the change detected by the object detection target image visual field change detection means.
Therefore, since the detection condition is set based on the reference detection condition set for a wider image than the image that is the object detection target, for example, in the case where a change in the field of view of the image that is the object detection target occurs In addition, an appropriate detection condition can be set, and an image of the object can be detected appropriately.
Here, various images may be used as an image that is wider than the image that is the object detection target. For example, a wider field of view (for example, a frame) than the field of view of the image that is the object detection target (for example, the frame) An image having a frame) can be used. For example, an image that includes all images to be detected by the object can be used.
Various detection conditions may be used as a reference.
In addition, as a reference detection condition, for example, a plurality of reference detection conditions having the same role can be set in a wide range in an image wider than an image to be detected by an object. In this case, a plurality of reference detection conditions having the same role are dispersed over a wide range, so that even when there is a change in the field of view of the image to be detected, the image to be detected by the object is changed. Often, one or more of a plurality of reference detection conditions having similar roles are included.
The reference detection condition is, for example, variably or fixedly set in the apparatus in advance, or variably or fixedly set in advance by a person, and stored in, for example, a memory.
以下で、更に、本発明に係る構成例を示す。
例えば、物体検出対象となる画像と比べて広い画像は、監視領域画像として設定され、一例として、複数の画像を合成して生成される。また、複数の画像は、例えば、TVカメラなどの撮像手段により撮像されて取得される。
一構成例として、検出条件として、テンプレート、基準となる背景画像(基準背景画像)、マスク領域、警戒領域、大きさ情報、速度情報のうちの1以上が用いられる。
一構成例として、物体検出対象となる画像と比べて広い画像において、複数のテンプレートが例えば互いに離隔させられて(つまり、分散されて)設定される。
一構成例として、物体検出対象となる画像と比べて広い画像から、物体検出対象となる画像に対する基準背景画像を抽出する。
Below, the structural example which concerns on this invention is shown further.
For example, an image that is wider than the image that is the object detection target is set as a monitoring area image, and is generated by combining a plurality of images as an example. Further, the plurality of images are acquired by being imaged by an imaging means such as a TV camera, for example.
As one configuration example, one or more of a template, a reference background image (reference background image), a mask area, a warning area, size information, and speed information are used as detection conditions.
As an example of the configuration, a plurality of templates are set to be separated from each other (that is, distributed), for example, in an image wider than the image to be detected by the object.
As one configuration example, a reference background image for an image to be detected by an object is extracted from an image wider than the image to be detected by an object.
一構成例として、テンプレートのマッチングにより、光軸方向の変化の量を検出する。例えば、物体検出対象となる画像の中から、基準背景画像中に設定された所定のテンプレートと輝度或いは画素値が一致或いは類似する部分を検出し、当該テンプレートと当該検出部分とのずれの量を検出する。そして、当該ずれの量を補正して、物体検出対象となる画像と基準背景画像などとの光軸方向変化によるずれを無くす。
一構成例として、画角変化前の焦点距離と画角変化後の焦点距離との比に基づいて、画角の変化の量(例えば、何倍であるかを表す値)を検出する。また、例えば、画角が操作されたことや、物体検出対象となる画像を撮像する撮像手段(例えば、カメラ)の画角が変化したことや、撮像手段の画角を変化させる画角変化手段(例えば、カメラ雲台や撮像レンズの制御)による画角変化が行われたことに応じて、画角の変化の量を検出する。そして、当該画角変化量を補正して、物体検出対象となる画像と基準背景画像などとの画角変化によるずれを無くす。
As one configuration example, the amount of change in the optical axis direction is detected by template matching. For example, a part having a luminance or pixel value that matches or is similar to a predetermined template set in the reference background image is detected from the image that is the object detection target, and the amount of deviation between the template and the detection part is determined. To detect. Then, the amount of deviation is corrected to eliminate the deviation due to the change in the optical axis direction between the object detection target image and the reference background image.
As an example of the configuration, the amount of change in the angle of view (for example, a value representing how many times) is detected based on the ratio of the focal length before the change in the angle of view and the focal length after the change in the angle of view. In addition, for example, an angle of view is operated, an angle of view of an imaging unit (for example, a camera) that captures an image that is an object detection target, or an angle of view changing unit that changes the angle of view of the imaging unit. The amount of change in the angle of view is detected in response to the change in the angle of view due to (for example, control of the camera pan head or imaging lens). Then, the amount of change in the angle of view is corrected to eliminate the shift due to the change in the angle of view between the image to be detected by the object and the reference background image.
一構成例として、物体検出対象となる画像の輝度或いは画素値と基準背景画像の輝度或いは画素値との差分を検出し、当該検出される差分が所定の閾値以上又は所定の閾値を超える部分を変化部分として検出する。このような変化部分は、移動や変化する物体の画像に相当する可能性があるとみなすことができる。
一構成例として、マスク領域では、画像の輝度或いは画素値の変化があっても、物体の画像が存在するものとして検出しない、つまり、物体の画像を検出しない。
一構成例として、警戒領域については、警戒領域内に一部又は全部が含まれる物体の画像が検出された場合と、他の領域に物体の画像が検出された場合とで、人や装置に対して物体検出を知らせるための報知の態様を異ならせる。
一構成例として、検出すべき物体の大きさの情報については、当該大きさの所定数倍の範囲内に全部が含まれる物体の画像を検出することとし、又は、当該大きさの所定数倍の範囲内に少なくとも一部が含まれる物体の画像を検出することとする。
一構成例として、検出すべき物体の移動速度の情報については、当該移動速度から決定される範囲内に全部が含まれる物体の画像を検出することとし、又は、当該移動速度から決定される範囲内に少なくとも一部が含まれる物体の画像を検出することとする。
As one configuration example, a difference between the luminance or pixel value of the image to be detected by the object and the luminance or pixel value of the reference background image is detected, and a portion where the detected difference is equal to or greater than a predetermined threshold or exceeds the predetermined threshold. Detect as a change part. Such a change portion can be regarded as being likely to correspond to an image of a moving or changing object.
As an example of the configuration, even if there is a change in the luminance or pixel value of the image in the mask area, the object image is not detected as being present, that is, the object image is not detected.
As one configuration example, for a warning area, when an image of an object that is partly or wholly included in the warning area is detected and when an image of an object is detected in another area, The notification mode for notifying the object detection is made different.
As an example of the configuration, for information on the size of an object to be detected, an image of an object that is entirely contained within a predetermined number of times the size is detected, or a predetermined number of times the size. It is assumed that an image of an object that includes at least a part within the range is detected.
As one configuration example, for the information on the moving speed of the object to be detected, an image of an object that is entirely included in the range determined from the moving speed is detected, or the range determined from the moving speed. It is assumed that an image of an object including at least a part thereof is detected.
一構成例として、物体画像検出手段は、物体検出対象となる画像に含まれる部分が、検出条件設定手段により設定される検出条件を満たすか否かを判定して、当該検出条件を満たすと判定した部分を、物体検出対象となる画像に含まれる物体の画像(物体の画像の部分)として検出する。
一構成例として、検出条件設定手段は、物体検出対象画像視野変化検出手段により検出される変化に基づいて、基準となる検出条件や、物体検出対象となる画像と比べて広い画像や、物体検出対象となる画像のうちの1以上を補正して、物体検出対象となる画像に対して、物体の画像を検出するために使用される検出条件を設定する。具体例として、検出条件設定手段は、物体検出対象画像視野変化検出手段により検出される変化を補償するように、基準となる検出条件の座標や、物体検出対象となる画像と比べて広い画像の座標や、物体検出対象となる画像の座標のうちの1以上を補正して、基準となる検出条件の座標と物体検出対象となる画像の座標とを合わせて、物体検出対象となる画像に対して検出条件を設定する。
As one configuration example, the object image detection unit determines whether or not a portion included in the image to be detected by the object satisfies the detection condition set by the detection condition setting unit, and determines that the detection condition is satisfied. The detected part is detected as an image of an object included in the image to be detected (object image part).
As one configuration example, the detection condition setting unit is configured to detect a reference detection condition based on a change detected by the object detection target image visual field change detection unit, an image wider than an object detection target image, or an object detection. One or more of the target images are corrected, and a detection condition used to detect the object image is set for the image to be detected. As a specific example, the detection condition setting means compensates for a change detected by the object detection target image visual field change detection means, and has a wider image than the coordinates of the reference detection condition or the image to be the object detection target. Correct one or more of the coordinates and coordinates of the image to be detected by the object, and match the coordinates of the detection condition to be the reference and the coordinates of the image to be detected by the object to the image to be detected by the object To set detection conditions.
以上説明したように、本発明に係る物体検出装置や物体検出方法によると、例えば物体検出対象となる画像と比べて広い画像について基準となる検出条件が設定され、そして、例えば光軸方向変化や画角変化といった物体検出対象となる画像の視野に関する変化を検出し、当該検出した変化に基づいて、例えばマスク領域や警戒領域などといった物体の画像を検出するために使用される検出条件を設定し、当該設定した検出条件を使用して、物体検出対象となる画像に含まれる物体の画像を検出するようにしたため、例えば、光軸方向変化や画角変化といった物体検出対象となる画像の視野に関する変化が生じるような場合においても、正確な物体検出を行うことができる。 As described above, according to the object detection apparatus and the object detection method according to the present invention, for example, a detection condition serving as a reference is set for a wide image compared to an image to be detected by an object, and for example, a change in optical axis direction or A change in the field of view of the image to be detected, such as a change in the angle of view, is detected, and based on the detected change, a detection condition used to detect an image of the object such as a mask area or a warning area is set. Since the image of the object included in the image that is the object detection target is detected using the set detection condition, for example, the field of view of the image that is the object detection target such as a change in the optical axis direction or a change in the angle of view. Even when a change occurs, accurate object detection can be performed.
本発明に係る実施例を図面を参照して説明する。
本実施例に係る物体検出装置や物体検出方法では、TVカメラの画角や光軸方向が変化した場合に、その変化を検出し、その変化に基づいて、マスク領域、警戒領域、検出すべき物体の大きさの情報、検出すべき物体の速度の情報といった、検出条件を修正する。これにより、本実施例に係る物体検出装置や物体検出方法では、TVカメラの画角を変える場合や、光軸方向が変化する場合においても、その変化量を自動的に検出して、検出条件を修正することで、信頼性が高い正確な物体検出を行うことができる。
Embodiments according to the present invention will be described with reference to the drawings.
In the object detection apparatus and the object detection method according to the present embodiment, when the angle of view or the optical axis direction of the TV camera changes, the change is detected, and based on the change, the mask area, the warning area, and the detection should be detected. The detection conditions such as the information on the size of the object and the information on the speed of the object to be detected are corrected. Thereby, in the object detection apparatus and the object detection method according to the present embodiment, even when the angle of view of the TV camera is changed or the optical axis direction is changed, the change amount is automatically detected, and the detection condition By correcting, accurate object detection with high reliability can be performed.
図1には、本実施例に係る物体検出装置(映像監視装置)のハードウエア構成の一例を示してある。
本実施例に係る物体検出装置は、撮像装置(TVカメラ)1と、処理装置2と、操作部3と、外部記憶装置4と、出力モニタ(監視モニタ)5と、警告灯6を備える。
撮像装置1は、撮像部11、電動旋回台(カメラ雲台)12、ズームレンズ(撮像レンズ)13から構成されている。
処理装置2は、画像入力部(画像入力I/F)21、雲台制御部(雲台制御I/F)22、レンズ制御部(レンズ制御I/F)23、操作入力部(操作入力I/F)24、画像メモリ25、小型処理装置であるMPU( Micro Processing Unit )26、ワークメモリ27、外部入出力部(外部入出力I/F)28、画像出力部(画像出力I/F)29、警報出力部( 警報出力I/F)30、データバス31から構成されている。
操作部3は、ジョイスティック41や、ボタン42、43を有している。
FIG. 1 shows an example of a hardware configuration of an object detection device (video monitoring device) according to the present embodiment.
The object detection apparatus according to the present embodiment includes an imaging device (TV camera) 1, a processing device 2, an operation unit 3, an external storage device 4, an output monitor (monitoring monitor) 5, and a warning lamp 6.
The imaging device 1 includes an imaging unit 11, an electric swivel base (camera pan head) 12, and a zoom lens (imaging lens) 13.
The processing device 2 includes an image input unit (image input I / F) 21, a pan head control unit (head control I / F) 22, a lens control unit (lens control I / F) 23, and an operation input unit (operation input I). / F) 24, image memory 25, MPU (Micro Processing Unit) 26 which is a small processing device, work memory 27, external input / output unit (external input / output I / F) 28, image output unit (image output I / F) 29, an alarm output unit (alarm output I / F) 30, and a data bus 31.
The operation unit 3 includes a joystick 41 and buttons 42 and 43.
撮像部11は画像入力部21と接続され、カメラ雲台12は雲台制御部22と接続され、撮像レンズ13はレンズ制御部23と接続され、操作部3は操作入力部4と接続され、外部記憶装置4は外部入出力部28と接続され、出力モニタ5は画像出力部29と接続され、警告灯6は警報出力部30と接続されている。また、画像入力部21、雲台制御部22、レンズ制御部23、操作入力部24、画像メモリ25、MPU26、ワークメモリ27、外部入出力部28、画像出力部29、及び警報出力部30は、データバス31と接続されている。
カメラ雲台12に搭載されて撮像レンズ13を備えた撮像部11(TVカメラ1)は、監視対象(視野範囲)を撮像する。撮像された映像信号は、画像入力部21からデータバス31を介して画像メモリ2 5 に蓄積される。外部記憶装置4に記録されるプログラムなどのデータは、外部入出力部28を介してワークメモリ27に読み込まれ、或いは逆に、ワークメモリ27から外部記憶装置4に保存される。MPU26は、外部記憶装置4に保存されていて装置実行時にワークメモリ27にロードされるプログラムに従って、ワークメモリ27内で画像メモリ25に蓄積された画像の解析を行う。MPU26は、処理結果に応じて、データバス31から、レンズ制御部23を介して撮像レンズ13を制御することや、雲台制御部22を介してカメラ雲台12を制御して撮像部11(TVカメラ1)の撮像視野を変えることや、画像出力部29を介して出力モニタ5へ例えば侵入物体の検出結果に関する画像を表示することや、警報出力部30を介して警告灯6を点灯することを行う。
なお、本例では、撮像装置1と処理装置2とが例えばケーブル等を介してすぐ近くに設置されている構成としたが、他の種々な配置が用いられてもよく、例えば、撮像装置1がネットワーク等を介して遠隔地にある処理装置2と接続されるような構成が用いられてもよい。
以下に示す各実施例では、上記図1に示した物体検出装置のハードウエア構成を例として、説明を行う。
The imaging unit 11 is connected to the image input unit 21, the camera platform 12 is connected to the camera platform control unit 22, the imaging lens 13 is connected to the lens control unit 23, the operation unit 3 is connected to the operation input unit 4, The external storage device 4 is connected to the external input / output unit 28, the output monitor 5 is connected to the image output unit 29, and the warning lamp 6 is connected to the alarm output unit 30. The image input unit 21, the pan head control unit 22, the lens control unit 23, the operation input unit 24, the image memory 25, the MPU 26, the work memory 27, the external input / output unit 28, the image output unit 29, and the alarm output unit 30 Are connected to the data bus 31.
An imaging unit 11 (TV camera 1) that is mounted on the camera platform 12 and includes an imaging lens 13 images a monitoring target (field-of-view range). The captured video signal is stored in the image memory 2 5 from the image input unit 21 via the data bus 31. Data such as a program recorded in the external storage device 4 is read into the work memory 27 via the external input / output unit 28, or conversely, stored in the external storage device 4 from the work memory 27. The MPU 26 analyzes the image stored in the image memory 25 in the work memory 27 in accordance with a program stored in the external storage device 4 and loaded into the work memory 27 when the apparatus is executed. The MPU 26 controls the imaging lens 13 from the data bus 31 via the lens control unit 23 according to the processing result, or controls the camera platform 12 via the camera platform control unit 22 to control the imaging unit 11 ( Changing the imaging field of view of the TV camera 1), displaying an image relating to, for example, an intruding object detection result on the output monitor 5 via the image output unit 29, and lighting the warning lamp 6 via the alarm output unit 30. Do things.
In this example, the imaging device 1 and the processing device 2 are installed in the immediate vicinity via a cable or the like, for example, but various other arrangements may be used. For example, the imaging device 1 May be connected to the processing apparatus 2 at a remote location via a network or the like.
In the following embodiments, description will be made by taking the hardware configuration of the object detection apparatus shown in FIG. 1 as an example.
本発明の第1実施例に係る物体検出装置及び物体検出方法を説明する。
図2は、本例に係る処理プロセスを説明するフローチャートである。
同図に示した処理プロセスは、例えば図11に示される差分法を応用した監視方式の処理プロセスと同様な動作が行われるステップS1(初期化処理)、ステップS2(画像入力処理)、ステップS5(差分処理)、ステップS6(二値化処理)、ステップS8(マスク処理)、ステップS9(ラベリング処理)、ステップS10(処理画像表示)、ステップS14(物体存在判定処理)、ステップS15(警報・モニタ表示処理)の処理手順に、所定のステップS3、S4、S7、S11、S12、S13の処理手順を追加したものとなっている。このため、本例では、図11に示される処理プロセスとは異なる処理手順(ステップS3、S4、S7、S11、S12、S13)について詳しく説明し、同様な処理手順については説明を省略或いは簡略化する。
An object detection apparatus and an object detection method according to the first embodiment of the present invention will be described.
FIG. 2 is a flowchart for explaining the processing process according to this example.
The processing process shown in FIG. 11 performs, for example, step S1 (initialization processing), step S2 (image input processing), and step S5 in which operations similar to those of the monitoring method processing process applying the difference method shown in FIG. 11 are performed. (Difference processing), step S6 (binarization processing), step S8 (mask processing), step S9 (labeling processing), step S10 (processed image display), step S14 (object presence determination processing), step S15 (alarm The processing procedure of predetermined steps S3, S4, S7, S11, S12, and S13 is added to the processing procedure of (monitor display processing). Therefore, in this example, a processing procedure (steps S3, S4, S7, S11, S12, and S13) different from the processing process shown in FIG. 11 will be described in detail, and description of similar processing procedures will be omitted or simplified. To do.
まず、初期化処理が行われ(ステップS1)、画像入力処理が行われる(ステップS2)。
次に、光軸方向変化量検出ステップでは、テンプレートマッチング法によってTVカメラ1の光軸方向の変化を検出する(ステップS3)。
図3を参照して、このような検出処理を説明する。
同図(A)は画像71においてテンプレートマッチングで使用するテンプレートの位置81を表しており、同図(B)はTVカメラ1の揺れなどによって光軸方向が変化した瞬間の画像72を表している。
まず、同図(A)に示されるように予め監視領域内にテンプレートの位置81を設定しておく。テンプレート位置81としては、例えば、建物の屋根やひさしなどのように、風などに揺れない部分を指定する。次に、基準背景画像のテンプレートの位置81の画像をテンプレート画像として、入力画像中でテンプレート画像と最も一致度が高い位置を検出する。一致度としては、例えば、正規化相関値r(Δx、Δy)を適用することができ、
これは式1で表される。
First, initialization processing is performed (step S1), and image input processing is performed (step S2).
Next, in the optical axis direction change detection step, a change in the optical axis direction of the TV camera 1 is detected by a template matching method (step S3).
Such detection processing will be described with reference to FIG.
FIG. 6A shows a position 81 of a template used for template matching in the image 71, and FIG. 6B shows an image 72 at the moment when the optical axis direction is changed due to shaking of the TV camera 1 or the like. .
First, a template position 81 is set in advance in the monitoring area as shown in FIG. As the template position 81, for example, a portion that is not shaken by the wind, such as a roof or eaves of a building, is designated. Next, using the image at the position 81 of the template of the reference background image as a template image, the position having the highest degree of coincidence with the template image in the input image is detected. As the degree of coincidence, for example, a normalized correlation value r (Δx, Δy) can be applied,
This is represented by Equation 1.
ここで、f(x、y)は入力画像を表し、g(x、y)はテンプレート画像(基準背景画像の部分画像)を表し、例えば画像の座標軸について画像の左上を原点(0、0)として、(x0、y0)はテンプレート位置81の左上の座標を表し、Dはテンプレート画像の大きさ(例えば、横50画素、縦40画素)を表す。正規化相関値r(Δx、Δy)は、「−1≦r(Δx、Δy)≦+1」の値を取り、入力画像とテンプレート画像とが完全に一致した場合には、“+1.0”となる。テンプレートマッチングの処理は、Δx、Δyを探索範囲(横Mx、縦My)内で走査した場合に、すなわち「−Mx≦Δx≦+Mx、−My≦Δy≦+My」と変化させた場合に、正規化相関値r(Δx、Δy)が最も大きくなる位置の変化量(Δx、Δy)を検出する処理である。
なお、探索範囲Mx、Myは、検出するTVカメラの光軸方向の変化の最大量を表し、実験的に求められ、例えば、Mx=50、My=50とする(例えば、非特許文献1参照。)。
図3(B)において、位置81は設定したテンプレートの位置であり、位置82はテンプレートマッチング法によって検出された位置である。すなわち、検出条件の設定時には位置81にあったテンプレート画像が、TVカメラ1の揺れなどによって光軸方向が変化して、位置82へ移動している。よって、テンプレートマッチング時に得られた一致度が最も大きくなる位置の変化量(Δx、Δy)が、TVカメラの光軸方向の変化量である。
Here, f (x, y) represents an input image, and g (x, y) represents a template image (partial image of the reference background image). For example, the upper left corner of the image with respect to the coordinate axis of the image is the origin (0, 0). (X0, y0) represents the upper left coordinates of the template position 81, and D represents the size of the template image (for example, horizontal 50 pixels, vertical 40 pixels). The normalized correlation value r (Δx, Δy) takes a value of “−1 ≦ r (Δx, Δy) ≦ + 1”, and “+1.0” when the input image and the template image completely match. It becomes. The template matching process is performed when Δx and Δy are scanned within the search range (horizontal Mx, vertical My), that is, when “−Mx ≦ Δx ≦ + Mx, −My ≦ Δy ≦ + My” is changed. This is a process for detecting the amount of change (Δx, Δy) at the position where the correlation value r (Δx, Δy) is the largest.
The search ranges Mx and My represent the maximum amount of change in the optical axis direction of the TV camera to be detected, and are experimentally obtained. For example, Mx = 50 and My = 50 (see, for example, Non-Patent Document 1). .)
In FIG. 3B, a position 81 is a set template position, and a position 82 is a position detected by the template matching method. That is, the template image at the position 81 at the time of setting the detection condition is moved to the position 82 with the optical axis direction being changed due to the shaking of the TV camera 1 or the like. Therefore, the change amount (Δx, Δy) of the position where the degree of matching obtained at the time of template matching becomes the maximum is the change amount in the optical axis direction of the TV camera.
次に、基準背景画像位置補正ステップでは、TVカメラ1の光軸方向の変化量(Δx、Δy)に基づいて、「g’(x、y)=g(x−Δx、y−Δy)」となる平行移動を行い、基準背景画像の入力画像に対する位置のずれを補正する(ステップS4)。ここで、g(x、y)は補正前の基準背景画像を表し、g’(x、y)は補正後の基準背景画像を表す。このような補正を行う理由は、本実施例では、入力画像の輝度の変化領域の検出に差分法を用いており、TVカメラ1の揺れなどによって光軸方向が変化すると入力画像と基準背景画像との位置のずれが生じ、そのまま差分処理を実行すると、位置ずれを起こした場所で大きな差分が生じてしまうためである。
次に、位置が補正された基準背景画像を用いて差分処理が行われ(ステップS5)、二値化処理が行われる(ステップS6)。
次に、マスク領域位置ずれ補正処理ステップでは、上記した基準背景画像位置補正ステップと同様に、TVカメラ1の光軸方向の変化によって生じた入力画像とマスク領域との位置のずれを補正する(ステップS7)。
例えば、マスク領域をm(x、y)とした場合、「m’(x、y)=m(x−Δx、y−Δy)」となる画像の平行移動を行い、位置のずれを補正する。ここで、m(x、y)は補正前のマスク領域を表し、m’(x、y)は補正後のマスク領域を表す。このようにすることで、TVカメラ1の光軸方向の変化が発生する場面においても、マスク領域を広めに設定することなく、マスク処理を実行することができる。
次に、位置が補正されたマスク領域を用いてマスク処理が行われ(ステップS8)、ラベリング処理が行われ(ステップS9)、処理画像表示処理が行われる(ステップS10)。
Next, in the reference background image position correcting step, “g ′ (x, y) = g (x−Δx, y−Δy)” based on the change amount (Δx, Δy) of the TV camera 1 in the optical axis direction. The position shift of the reference background image with respect to the input image is corrected (step S4). Here, g (x, y) represents a reference background image before correction, and g ′ (x, y) represents a reference background image after correction. In this embodiment, the reason for performing such correction is that the difference method is used to detect the luminance change region of the input image, and the input image and the reference background image when the optical axis direction changes due to shaking of the TV camera 1 or the like. If a difference process is executed as it is, a large difference will occur at the location where the position shift has occurred.
Next, difference processing is performed using the reference background image whose position has been corrected (step S5), and binarization processing is performed (step S6).
Next, in the mask area positional deviation correction processing step, the positional deviation between the input image and the mask area caused by the change in the optical axis direction of the TV camera 1 is corrected in the same manner as in the reference background image position correction step described above ( Step S7).
For example, when the mask region is m (x, y), the image is translated as “m ′ (x, y) = m (x−Δx, y−Δy)” to correct the positional deviation. . Here, m (x, y) represents a mask area before correction, and m ′ (x, y) represents a mask area after correction. By doing in this way, even in a scene where the change in the optical axis direction of the TV camera 1 occurs, the mask process can be executed without setting the mask area wider.
Next, mask processing is performed using the mask region whose position has been corrected (step S8), labeling processing is performed (step S9), and processed image display processing is performed (step S10).
次に、警戒領域補正ステップでは、警戒領域の位置をTVカメラ1の光軸方向の変化量(Δx、Δy)分だけ平行移動させる(ステップS11)。本例では、例えば図12に示される警戒領域201のように、警戒領域を矩形で設定しており左上の座標と右下の座標(つまり、対角の関係にある2 つの頂点の座標)により当該矩形を指定する。すなわち、補正前の警戒領域を「左上の座標(wx0、wy0)−右下の座標(wx1、wy1)」とした場合に、補正後の警戒領域を「左上の座標(wx0−Δx、wy0−Δy)−右下の座標(wx1−Δx、wy1−Δy)」とすることで、警戒領域の補正を行うことができる。
次に、大きさ条件算出ステップでは、例えば図1 3 を参照して説明されるような検出すべき物体の基準の大きさについて、補正を行う(ステップS12)。当該補正は、例えば式2及び式3において予め設定した基準物体の位置y1、y2に対して、「y1’=y1−Δy、y2’=y2−Δy」となる変換を行い、これにより得られた結果を「y1=y1’、y2=y’2」のようにy1、y2に代入して、式2及び式3に適用することで実行される。
次に、速度条件算出ステップでは、大きさ条件算出ステップによって得られた基準の大きさdx3、dy3に基づいて、例えば、dx3及びdy3の2/3の値を検出すべき物体の速度の情報とする。
次に、上記のようにして補正された物体の検出条件を用いて、物体が存在するか否かを判定し(ステップS14)、存在すると判定した場合には警報の出力やモニタの表示を行う(ステップS15)。
Next, in the warning area correction step, the position of the warning area is translated by an amount of change (Δx, Δy) in the optical axis direction of the TV camera 1 (step S11). In this example, a warning area is set in a rectangular shape, for example, a warning area 201 shown in FIG. 12, and the upper left coordinates and lower right coordinates (that is, the coordinates of two vertices in a diagonal relationship) are used. Specifies the rectangle. That is, when the warning area before correction is “upper left coordinates (wx0, wy0) −lower right coordinates (wx1, wy1)”, the corrected warning area is “upper left coordinates (wx0−Δx, wy0− By setting “Δy) −lower right coordinates (wx1−Δx, wy1−Δy)”, the warning area can be corrected.
Next, in the size condition calculating step, for example, the reference size of the object to be detected as described with reference to FIG. 13 is corrected (step S12). For example, the correction is obtained by performing conversion such that “y1 ′ = y1−Δy, y2 ′ = y2−Δy” with respect to the reference object positions y1 and y2 set in advance in Expressions 2 and 3. The result is substituted into y1 and y2 as in “y1 = y1 ′, y2 = y′2”, and is applied to Expression 2 and Expression 3.
Next, in the speed condition calculation step, based on the reference sizes dx3 and dy3 obtained in the size condition calculation step, for example, information on the speed of the object to be detected with 2/3 values of dx3 and dy3 and To do.
Next, it is determined whether or not an object exists using the object detection conditions corrected as described above (step S14). If it is determined that the object exists, an alarm is output and a monitor is displayed. (Step S15).
以上に示したステップS4(基準背景画像の位置の補正)、ステップS7(マスク領域の位置の補正)、ステップS11(警戒領域の位置の補正)、ステップS12(大きさ条件の補正)、ステップS13(速度条件の算出)の各処理により、本例の物体検出装置や物体検出方法では、例えば、TVカメラ1が風で揺れる場面やTVカメラ1を操作した際にTVカメラ1の光軸方向が変化したような場合においても、TVカメラ1の光軸方向の変化量を自動的に検出して、光軸方向の変化量に基づいて検出条件を補正することができる。従って、TVカメラ1の光軸方向の変化によって、例えば不感帯を広く設定しなければならないことから物体を検出することができる範囲が狭くなってしまうことや或いは変化領域の大きさ判定や警戒領域内に存在するか否かの判定が正確に行われなくなってしまうことを解消することができ、信頼性の高い正確な物体検出を行うことを実現することができる。
以上のように、本例では、TVカメラ1の揺れを検出して、補正することができる。
Step S4 (correction of the position of the reference background image), step S7 (correction of the position of the mask area), step S11 (correction of the position of the warning area), step S12 (correction of the size condition), step S13 described above With each processing of (speed condition calculation), in the object detection apparatus and the object detection method of this example, for example, when the TV camera 1 is shaken by the wind or when the TV camera 1 is operated, the optical axis direction of the TV camera 1 is changed. Even in such a case, the change amount in the optical axis direction of the TV camera 1 can be automatically detected, and the detection condition can be corrected based on the change amount in the optical axis direction. Therefore, due to a change in the optical axis direction of the TV camera 1, for example, the dead zone must be set wide, so that the range in which an object can be detected becomes narrow, or the size of the change area is determined and within the warning area Therefore, it is possible to eliminate the fact that the determination of whether or not the object exists is not accurately performed, and it is possible to realize highly reliable and accurate object detection.
As described above, in this example, the shaking of the TV camera 1 can be detected and corrected.
ここで、本例では、物体の検出条件の基礎となる基準背景画像や、マスク領域や、警戒領域や、大きさ条件に関する設定値y1、y2などの位置をずらすことにより補正を行ったが、他の構成例として、物体の検出条件の基礎となる情報を補正せずに、入力画像の方をずらして補正するような構成とすることも可能である。
また、本例では、TVカメラ1の撮像レンズ13のレンズ制御を考慮していないが、更なる構成例として、レンズ制御を考慮して、焦点距離の変化量rを算出して、マスク領域等の大きさをr倍とするような処理を組み合わせて行うことも可能である。
Here, in this example, the correction is performed by shifting the positions of the reference background image, the mask area, the warning area, and the setting values y1 and y2 related to the size condition, which are the basis of the object detection condition. As another configuration example, the input image may be shifted and corrected without correcting the information that is the basis of the object detection condition.
Further, in this example, lens control of the imaging lens 13 of the TV camera 1 is not considered, but as a further configuration example, a focal length change amount r is calculated in consideration of lens control, and a mask region or the like is calculated. It is also possible to carry out a combination of processes for increasing the size of r by r times.
本発明の第2実施例に係る物体検出装置及び物体検出方法を説明する。
本例の物体検出装置及び物体検出方法では、予め作成した監視領域画像上に、マスク領域、警戒領域、大きさ情報の基準の検出条件を設定しておき、監視員がTVカメラ1の画角や光軸方向を操作した場合に、監視領域画像上に設定した基準検出条件に基づいて監視条件を算出する。
図4は基準検出条件の設定処理のフローチャートである。
図4を用いて、基準検出条件の設定処理の流れの一例を説明する。
まず、初期化処理ステップでは、設定処理を実行するための外部機器、変数、画像メモリ等の初期化を行う(ステップS21)。
次に、設定読み込み処理ステップでは、例えば、外部記憶装置4に記録した基準検出条件の設定を読み出す(ステップS22)。ここで、基準検出条件を初めて設定する場合には、初期化処理ステップで初期化された基準検出条件の状態で設定作業を開始し、2回目以降からは、最後に設定した基準検出条件が読み出されて設定作業が開始される。
An object detection apparatus and an object detection method according to the second embodiment of the present invention will be described.
In the object detection apparatus and the object detection method of the present example, the detection conditions for the mask area, the warning area, and the size information are set on the preliminarily created monitoring area image. When the optical axis direction is manipulated, the monitoring condition is calculated based on the reference detection condition set on the monitoring area image.
FIG. 4 is a flowchart of the reference detection condition setting process.
An example of the flow of the reference detection condition setting process will be described with reference to FIG.
First, in the initialization process step, initialization of external devices, variables, image memory, etc. for executing the setting process is performed (step S21).
Next, in the setting reading processing step, for example, the setting of the reference detection condition recorded in the external storage device 4 is read (step S22). Here, when the reference detection condition is set for the first time, the setting operation is started in the state of the reference detection condition initialized in the initialization process step. From the second time onward, the last set reference detection condition is read. The setting work is started.
次に、カメラ雲台制御ステップ( ステップS23)から領域スキャン完了判定ステップ(ステップS25)までは、TVカメラ1の基準となる画角から所定範囲の画像を入力する処理を行う。
具体的には、カメラ雲台制御ステップでは、基準となる画角の例えば50%の範囲を9回に分けてスキャンするために雲台を制御する(ステップS23)。一例として、撮像素子として1/2型CCD(素子サイズ 横6.4mm、縦4.8mm)を使用し、焦点距離を10mmとした場合、基準となる画角は、横方向35.5°、縦方向27.0°となる。カメラ雲台制御ステップでは、処理が実行される度に、基準となる画角から、左へ17.75°及び上へ13.50°、上へ13.50°、右へ17.75°及び上へ13.50°、左へ17.75° 、移動なし、右へ17.75°、左へ17.75°及び下へ13.50°、下へ13.50°、右へ17.75°及び下へ13.50°とカメラ雲台12を制御する。
次に、画像入力ステップでは、TVカメラ1から、例えば横320画素、高さ240画素の入力画像を得る(ステップS24)。
次に、領域スキャン完了(終了)判定ステップでは、カメラ雲台制御が所定の回数(本例では、9回)実行された場合には、画像合成処理ステップ(ステップS26)へ分岐し、一方、所定の回数実行されていない場合には、カメラ雲台制御ステップ(ステップS23)へ分岐する(ステップS25)。
Next, from the camera pan head control step (step S23) to the area scan completion determination step (step S25), processing for inputting an image within a predetermined range from the angle of view serving as the reference of the TV camera 1 is performed.
Specifically, in the camera pan head control step, the pan head is controlled in order to scan, for example, a range of 50% of the reference angle of view in nine times (step S23). As an example, when a 1 / 2-type CCD (element size: 6.4 mm in width, 4.8 mm in length) is used as an image sensor and the focal length is set to 10 mm, the reference angle of view is 35.5 ° in the horizontal direction, The vertical direction is 27.0 °. In the camera head control step, each time the process is executed, from the reference angle of view, 17.75 ° to the left, 13.50 ° to the top, 13.50 ° to the top, 17.75 ° to the right, and 13.50 ° up, 17.75 ° left, no movement, 17.75 ° right, 17.75 ° left and 13.50 ° down, 13.50 ° down, 17.75 right Control the camera head 12 at 13.50 ° and down.
Next, in the image input step, an input image having a horizontal size of 320 pixels and a height of 240 pixels is obtained from the TV camera 1 (step S24).
Next, in the area scan completion (end) determination step, when the camera head control is executed a predetermined number of times (9 times in this example), the process branches to the image composition processing step (step S26). If it has not been executed a predetermined number of times, the process branches to the camera head control step (step S23) (step S25).
以上の処理を完了すると、図5(A)〜(I)に示すような各画像91〜99が得られる。
次に画像合成処理ステップでは、図10に示される画像91〜99を合成して1フレームの画像にする(ステップS26)。
本例では、各画像91〜99が画像サイズの50%分重なるように合成することにより、図6に示すような1 フレームの画像を生成することができる。このようにして合成した画像は、基準となる画角の上下左右を50%広げたものであり、この画像を監視領域画像と呼んで説明する。
ここで、本例では、スキャン回数9回、重なり量50%で監視領域画像を作成したが、他の態様が用いられてもよく、例えば、スキャン回数を25回(横方向、縦方向5分割)にすることや、重なり量を75%にすることなどもできる。なお、基準となる画角に対して監視領域画像を広く設定し過ぎると、カメラの視差の影響で画像の合成が困難になる場合もあるため、例えば、監視領域画像は基準となる画角に対して上下左右50%程度に留めるのが好ましい。また、例えば視点固定型カメラを用いることで、このような視差の問題を解消することも可能である。視点固定型カメラは、パンチルト制御を行っても視点位置が一定になるように設計されたカメラであり、このカメラを使用すると、光軸方向が変化してもカメラの視点位置が変化せず視差が発生しない。このような視点固定型カメラを応用したものも検討等されている(例えば、非特許文献2参照。)。
When the above processing is completed, the images 91 to 99 as shown in FIGS. 5A to 5I are obtained.
Next, in the image composition processing step, the images 91 to 99 shown in FIG. 10 are synthesized to form an image of one frame (step S26).
In this example, by synthesizing the images 91 to 99 so as to overlap each other by 50% of the image size, an image of one frame as shown in FIG. 6 can be generated. The image synthesized in this way is obtained by expanding the reference angle of view by 50% in the top, bottom, left, and right directions. This image will be described as a monitoring area image.
Here, in this example, the monitoring area image is created with the number of scans of 9 and the overlap amount of 50%. However, other modes may be used. For example, the number of scans is 25 (horizontal and vertical division into 5) ) And the overlap amount can be 75%. Note that if the monitoring area image is set too wide with respect to the reference angle of view, it may be difficult to combine images due to the parallax of the camera. For example, the monitoring area image has the reference angle of view. On the other hand, it is preferable to keep about 50% in the vertical and horizontal directions. Further, for example, by using a fixed viewpoint camera, it is possible to solve such a parallax problem. The fixed viewpoint camera is a camera designed so that the viewpoint position remains constant even when pan / tilt control is performed. When this camera is used, the viewpoint position of the camera does not change even if the optical axis direction changes. Does not occur. An application of such a fixed viewpoint camera has also been studied (for example, see Non-Patent Document 2).
次に、マスク領域設定ステップでは、画像合成処理ステップによって合成された監視領域画像に対してマスク領域を設定する(ステップS27)。マスク領域は、例えば、監視員が操作部(操作器)3を用いて、多角形の頂点を指定することなどにより、図6(A)に示される監視領域画像101中の領域111のように、風などで揺れる可能性のある草木の部分を囲むように指定する。
次に、マスク設定完了判定ステップでは、監視員に対して、マスク領域111の設定操作が完了したか否かを例えば“YES”/“NO”(“はい”又は“いいえ”)を選択することができる形式で問い合わせ、監視員は、操作部3の操作により、マスク領域111の設定が完了した場合には“YES”を選択し、マスク領域111の設定が完了していない場合には“NO”を選択する(ステップS28)。このようにして、マスク設定完了判定ステップでは、“YES”が選択された場合には警戒領域設定ステップ(ステップS29)へ分岐し、“NO”が選択された場合にはマスク領域設定ステップ(ステップS27)へ分岐する。
Next, in the mask area setting step, a mask area is set for the monitoring area image synthesized in the image synthesis processing step (step S27). The mask area is, for example, like the area 111 in the monitoring area image 101 shown in FIG. 6A when the monitor uses the operation unit (operating device) 3 to specify the vertex of the polygon. Specify to surround the part of the plant that may be shaken by the wind.
Next, in the mask setting completion determination step, for example, “YES” / “NO” (“Yes” or “No”) is selected as to whether or not the setting operation of the mask area 111 is completed. The monitoring person selects “YES” when the setting of the mask area 111 is completed by the operation of the operation unit 3, and “NO” when the setting of the mask area 111 is not completed. "Is selected (step S28). In this way, in the mask setting completion determination step, if “YES” is selected, the process branches to the warning area setting step (step S29), and if “NO” is selected, the mask area setting step (step) Branch to S27).
次に、警戒領域設定ステップでは、例えば、建物の入口や、敷地の門等に、具体例として、図6(A)に示される監視領域画像101中の領域112、領域113、領域114、などのように、特に警戒レベルの高い領域を指定する(ステップS29)。このような警戒領域112〜114に侵入物体が存在するか否かの情報は、警報・モニタ表示ステップ(図7のステップS58)の警報の種類に反映され、例えば、警戒領域112〜114内に侵入物体が存在する場合には警告灯6を赤く点灯させ、警戒領域112〜114内に侵入者が存在しない場合には警告灯6を黄色に点灯させる等する。
次に、警戒領域設定完了判定ステップでは、上記したマスク設定完了判定ステップ(ステップS28)と同様に、警戒領域112〜114の設定が終了したか否かを監視員に選択させ、警戒領域112〜114の設定が終了した場合には大きさ設定ステップ(ステップS31)へ分岐し、警戒領域112〜114の設定が終了していない場合には警戒領域設定ステップ(ステップS29)へ分岐する(ステップS30)。
Next, in the warning area setting step, for example, an area 112, an area 113, an area 114, etc. in the monitoring area image 101 shown in FIG. In this manner, an area with a particularly high alert level is designated (step S29). Information on whether or not there is an intruding object in such a warning area 112 to 114 is reflected in the type of alarm in the alarm / monitor display step (step S58 in FIG. 7). For example, in the warning area 112 to 114 If there is an intruding object, the warning light 6 is turned on in red, and if there is no intruder in the warning areas 112 to 114, the warning light 6 is turned on in yellow.
Next, in the warning area setting completion determination step, similarly to the mask setting completion determination step (step S28) described above, the monitoring staff selects whether or not the setting of the warning areas 112 to 114 is completed, and the warning area 112 to If the setting of 114 is completed, the process branches to the size setting step (step S31). If the setting of the warning areas 112 to 114 is not completed, the process branches to the warning area setting step (step S29) (step S30). ).
次に、大きさ設定ステップでは、例えば図13を参照して説明されるように、侵入物体の基準となる大きさを設定する(ステップS31)。図6(A)に示した例では、矩形115、矩形116 により設定される。つまり、監視員により設定された矩形115、矩形116に応じて、図13に示されるy1、y2などの値が決定され、式2及び式3の演算を行うためのパラメータの準備が完了する。
次に、大きさ設定完了判定ステップでは、上記したマスク設定完了判定ステップ(ステップS28)と同様に、侵入物体の基準の大きさの設定が終了したか否かを監視員に選択させ、大きさの設定が終了した場合にはテンプレート設定ステップ(ステップS32)へ分岐し、大きさの設定が終了していない場合には大きさ設定ステップ(ステップS31)へ分岐する(ステップS32)。
Next, in the size setting step, as described with reference to FIG. 13, for example, a size serving as a reference for the intruding object is set (step S31). In the example shown in FIG. 6A, the rectangle 115 and the rectangle 116 are set. That is, values such as y1 and y2 shown in FIG. 13 are determined according to the rectangle 115 and the rectangle 116 set by the monitor, and preparation of parameters for performing the calculations of Expression 2 and Expression 3 is completed.
Next, in the size setting completion determination step, similarly to the mask setting completion determination step (step S28) described above, the monitor is made to select whether or not the setting of the reference size of the intruding object has been completed. If the setting is completed, the process branches to the template setting step (step S32). If the setting of the size is not completed, the process branches to the size setting step (step S31) (step S32).
次に、テンプレート設定ステップでは、TVカメラ1の光軸方向の変化を検出するためのテンプレートの位置を設定する(ステップS33)。テンプレートの位置としては、例えば、建物の屋根やひさしなど、風などに揺れない部分を指定する。本例では、好ましい態様として、図6(A)に示される複数の矩形117、矩形118、矩形119 、矩形120のように、テンプレート位置を複数設定する。この理由は、TVカメラ1の撮像レンズ13を操作した場合や光軸方向が変わってしまった場合においても、画面内に少なくとも1つ以上のテンプレートが映るようにするためである。なお、複数のテンプレートを用いてマッチングを行うことにより、マッチングの精度を向上させることが可能である(例えば、特許文献1参照。)。
次に、テンプレート設定完了判定ステップでは、上記したマスク設定完了判定ステップ(ステップS28)と同様に、TVカメラ1の光軸方向の変化を検出するためのテンプレートの位置の設定が終了したか否かを監視員に選択させ、テンプレート位置の設定が終了した場合には設定保存処理ステップ(ステップS35)へ分岐し、テンプレート位置の設定が終了していない場合にはテンプレート設定ステップ(ステップS33)へ分岐する(ステップS34)。
そして、設定保存処理ステップでは、上記したカメラ雲台制御ステップ(ステップS23)からテンプレート設定完了判定ステップ(ステップS34)までで得られた画像や基準となる検出条件の情報を、例えば外部記憶装置4に保存する。
以上により、基準検出条件の設定が完了する。
Next, in the template setting step, a template position for detecting a change in the optical axis direction of the TV camera 1 is set (step S33). As the position of the template, for example, a portion that is not shaken by wind or the like such as a roof or eaves of a building is designated. In this example, as a preferred mode, a plurality of template positions are set, such as a plurality of rectangles 117, 118, 119, and 120 shown in FIG. This is because at least one template is displayed on the screen even when the imaging lens 13 of the TV camera 1 is operated or the optical axis direction is changed. Note that matching accuracy can be improved by performing matching using a plurality of templates (see, for example, Patent Document 1).
Next, in the template setting completion determination step, whether or not the setting of the position of the template for detecting the change in the optical axis direction of the TV camera 1 has been completed, as in the mask setting completion determination step (step S28) described above. When the setting of the template position is completed, the process branches to the setting storage processing step (step S35). When the setting of the template position is not completed, the process branches to the template setting step (step S33). (Step S34).
In the setting storage processing step, the image obtained from the camera pan head control step (step S23) to the template setting completion determination step (step S34) and the information on the detection condition as a reference are stored in the external storage device 4 for example. Save to.
This completes the setting of the reference detection condition.
図7は、本例に係る処理プロセスを説明するフローチャートである。
同図に示した処理プロセスは、例えば図2に示される差分法を応用した監視方式の処理プロセスと同様な動作が行われるステップS41(初期化処理)、ステップS43(画像入力処理)、ステップS48(差分処理)、ステップS49(二値化処理)、ステップS51(マスク処理)、ステップS52(ラベリング処理)、ステップS53(処理画像表示)、ステップS57(物体存在判定処理)、ステップS58(警報・モニタ表示処理)の処理手順と、図2に示される他のステップS3、S4、S7、S11、S12、S13の処理と同等な処理を監視領域画像101の座標系に変換して実行するステップS46(光軸方向変化量検出処理)、ステップS47(基準背景画像位置補正処理)、ステップS50(マスク領域位置ずれ補正処理)、ステップS54(警戒領域補正処理)、ステップS55(大きさ条件算出処理)、ステップS56(速度条件算出処理)の処理手順に、所定のステップS42、S44、S45の処理手順を追加したものとなっている。このため、本例では、図2 に示される処理プロセスとは異なる処理手順(ステップS42、S44、S45)について詳しく説明し、同様な処理手順については説明を省略或いは簡略化する。
FIG. 7 is a flowchart illustrating the processing process according to this example.
In the processing process shown in the figure, for example, steps S41 (initialization processing), step S43 (image input processing), and step S48 in which operations similar to those of the monitoring method processing process applying the difference method shown in FIG. 2 are performed. (Difference processing), step S49 (binarization processing), step S51 (mask processing), step S52 (labeling processing), step S53 (processed image display), step S57 (object presence determination processing), step S58 (alarm Monitor display process) and a process equivalent to the processes of the other steps S3, S4, S7, S11, S12, and S13 shown in FIG. (Optical axis direction change detection process), Step S47 (Reference background image position correction process), Step S50 (Mask area position deviation correction) ), Step S54 (warning area correction process), step S55 (size condition calculation process), and step S56 (speed condition calculation process) are added with the process steps of predetermined steps S42, S44, and S45. It has become. For this reason, in this example, a processing procedure (steps S42, S44, and S45) different from the processing process shown in FIG. 2 will be described in detail, and description of similar processing procedures will be omitted or simplified.
まず、初期化処理が行われる(ステップS41)。
次に、カメラ雲台制御ステップでは、監視員による操作部3の操作を入力し、カメラ雲台12及び撮像レンズ13を制御する(ステップS42)。カメラ雲台制御ステップでは、例えば、操作部3のジョイスティック41などを監視員が上下左右に動かすと、それに連動してカメラ雲台12を制御し、TVカメラ1の光軸を上下左右に変化させる。また、操作部3に付属するボタン42、43を監視員が押下すると、撮像レンズ12の焦点距離を長くする、或いは、短くする。これにより、ズームアップやズームアウトが行われ、TVカメラ1の画角を変えることが可能となる。
なお、本例では、カメラ雲台制御ステップとして、ユーザの操作によりカメラのパン・チルトやズーム制御が行われる構成としたが、他の構成例として、検出した物体の画像上での位置や、大きさや、移動量などに応じて自動的にパン・チルトやズーム制御を行うような構成が用いられてもよい。
次に、画像入力処理が行われる(ステップS43)。
次に、画角変化算出ステップでは、基準検出条件を設定した際における撮像レンズ12の焦点距離と画角操作後における撮像レンズ12の焦点距離との比から、TVカメラ1の画角変化を算出する(ステップS44)。例えば、基準検出条件を設定した際における撮像レンズ12の焦点距離f0が10mmであり、画角変化後における撮像レンズ12の焦点距離f1が12mmであった場合には、画角の変化量rとしては、f=f1÷f0=1.2倍(視野の角度は、横方向が35.49°から29.96°)に変化したこととなる。
次に、監視領域画像サイズ補正ステップでは、TVカメラ1の画角の変化を補正するために、監視領域画像s(x、y)の大きさをr倍し、これをs’(x、y)として、監視領域画像の大きさを補正する(ステップS45)。ここで、本例では、監視領域画像について、画像の水平方向をx軸として、画像の垂直方向をy軸として、監視領域画像の左上の点を原点(0、0)とした場合における座標s(x、y)で表す。そして、本例では、監視領域画像の座標系を基準にして処理を行う。
First, initialization processing is performed (step S41).
Next, in the camera head control step, the operation of the operation unit 3 by the monitor is input, and the camera head 12 and the imaging lens 13 are controlled (step S42). In the camera pan head control step, for example, when the monitor moves the joystick 41 of the operation unit 3 up and down, left and right, the camera pan head 12 is controlled in conjunction therewith to change the optical axis of the TV camera 1 up and down and left and right. . Further, when the monitor presses the buttons 42 and 43 attached to the operation unit 3, the focal length of the imaging lens 12 is increased or decreased. Thereby, zooming in and zooming out are performed, and the angle of view of the TV camera 1 can be changed.
In this example, the camera pan head control step is configured to perform pan / tilt and zoom control of the camera by the user's operation, but as another configuration example, the position of the detected object on the image, A configuration in which pan / tilt or zoom control is automatically performed in accordance with the size, the movement amount, or the like may be used.
Next, an image input process is performed (step S43).
Next, in the view angle change calculation step, the view angle change of the TV camera 1 is calculated from the ratio between the focal length of the imaging lens 12 when the reference detection condition is set and the focal length of the imaging lens 12 after the view angle operation. (Step S44). For example, when the focal length f0 of the imaging lens 12 when the reference detection condition is set is 10 mm and the focal length f1 of the imaging lens 12 after the change in the angle of view is 12 mm, the change amount r of the angle of view is set. Is f = f1 ÷ f0 = 1.2 times (the angle of the visual field is changed from 35.49 ° to 29.96 ° in the horizontal direction).
Next, in the monitoring area image size correcting step, in order to correct the change in the angle of view of the TV camera 1, the size of the monitoring area image s (x, y) is multiplied by r, and this is s ′ (x, y ), The size of the monitoring area image is corrected (step S45). Here, in this example, for the monitoring area image, the coordinates s when the horizontal direction of the image is the x axis, the vertical direction of the image is the y axis, and the upper left point of the monitoring area image is the origin (0, 0). (X, y). In this example, processing is performed with reference to the coordinate system of the monitoring area image.
次に、光軸方向変化量検出ステップでは、監視領域画像上に設定した光軸方向の変化を検出するためのテンプレートを用いて、現在におけるTVカメラ1の光軸の変化を検出する(ステップS46)。
例えば、監視領域画像s(x、y)上に設定したテンプレートの位置を(xt、yt)とし、その縦横の大きさを(sx、sy)とすると、上記した監視領域画像サイズ補正ステップ(ステップS45)によって画角変化を補正した監視領域画像s’(x、y) 上では、テンプレートの位置は(r×xt、r×yt)となり、その縦横の大きさは(r×sx、r×sy)となる。この画角変化を補正した監視領域画像s ’ (x、y)上のテンプレートを用いて、テンプレートマッチングの手法により入力画像を走査して、マッチングする位置(xm、ym)を検出する。
マッチングした位置(xm、ym)は、画角変化を補正した監視領域画像s’(x、y)上におけるテンプレートの位置(r×xt、r×yt)と一致するため、TVカメラ1が揺れてカメラの光軸が時時刻々と変化するような場面においても、監視領域画像中ではテンプレートを一定の位置に捉えることができる。
すなわち、TVカメラ1が揺れてカメラの光軸が変化しても、監視領域画像s’(x、y)上で入力画像の位置を決定することができる。なお、入力画像の左上の座標は、監視領域画像s’(x、y)上の(r×xt−xm、r×yt−ym)で表される。つまり、上記したマッチングする位置(xm、ym)は入力画像上でのテンプレート位置の左上の座標(ここで、座標軸は入力画像の左上を原点(0、0)とする)で表され、このマッチング位置が監視領域画像s’(x、y)上のテンプレート位置(r×xt、r×yt)と一致するため、入力画像の左上の座標は監視領域画像s’(x、y)上では(r×xt−xm、r×yt−ym)となる。
また、入力画像を監視領域画像s’(x、y)上の座標系に変換して監視領域画像s’(x、y)上で設定した基準検出条件と比較評価することにより、TVカメラ1の画角を操作した場合や、TVカメラ1が揺れるような場面においても、侵入物体の検出処理を実行することが可能となる。
Next, in the optical axis direction change detection step, the current change in the optical axis of the TV camera 1 is detected using a template for detecting the change in the optical axis direction set on the monitoring area image (step S46). ).
For example, when the position of the template set on the monitoring area image s (x, y) is (xt, yt) and the vertical and horizontal sizes are (sx, sy), the above-described monitoring area image size correction step (step) On the monitoring area image s ′ (x, y) whose field angle change is corrected in S45), the position of the template is (r × xt, r × yt), and the vertical and horizontal sizes thereof are (r × sx, r × sy). Using the template on the monitoring area image s ′ (x, y) corrected for the change in the angle of view, the input image is scanned by the template matching method to detect the matching position (xm, ym).
Since the matched position (xm, ym) matches the position (r × xt, r × yt) of the template on the monitoring area image s ′ (x, y) corrected for the change in the angle of view, the TV camera 1 shakes. Even in a scene where the optical axis of the camera changes from time to time, the template can be captured at a fixed position in the monitoring area image.
That is, even if the TV camera 1 is shaken and the optical axis of the camera is changed, the position of the input image can be determined on the monitoring area image s ′ (x, y). Note that the upper left coordinates of the input image are represented by (r × xt-xm, r × yt-ym) on the monitoring region image s ′ (x, y). That is, the matching position (xm, ym) is represented by the upper left coordinates of the template position on the input image (where the coordinate axis is the origin (0, 0) at the upper left of the input image). Since the position matches the template position (r × xt, r × yt) on the monitoring area image s ′ (x, y), the upper left coordinate of the input image is ( r * xt-xm, r * yt-ym).
Further, the TV camera 1 is converted by converting the input image into a coordinate system on the monitoring area image s ′ (x, y) and comparing it with a reference detection condition set on the monitoring area image s ′ (x, y). The intruding object detection process can be executed even when the angle of view is operated or when the TV camera 1 is shaken.
ここで、上記した光軸方向変化量検出処理(ステップS46)では、図6(A)に示されるように複数のテンプレート117〜120を用意して、その中からいずれかのテンプレートを用いて入力画像とのマッチングを行い、マッチング位置を決定する。この処理の(パターン例1)(パターン例2)、(パターン例3)を示す。
(パターン例1)では、全てのテンプレートを用いて入力画像とのマッチングを行い、正規化相関値が最も大きくなる位置(xm、ym)と、その際に使用したテンプレートを特定する。なお、このパターン例では、処理時間が長くなる場合もある。
(パターン例2)では、入力画像内に存在するテンプレートのみを対象としてマッチングを行い、正規化相関値が最も大きくなる位置(xm、ym)を特定する。例えば、図6(A)の監視領域画像の座標系における入力画像の大きさや位置については、初期の位置からどれだけパンやチルトさせたかといったカメラ雲台12の制御情報と、撮像レンズ13の焦点距離の情報から、一意に決定することが可能である。このため、入力画像内のテンプレートを選択することが可能である。
(パターン例3)では、上記した(パターン例2)において、更にTVカメラ1の揺れを考慮する。具体的には、入力画像と比べて(例えば、少し)大きい範囲を設定し、その範囲内に存在するテンプレートのみを対象としてマッチングを行い、正規化相関値が最も大きくなる位置(xm、ym)を特定する。
Here, in the optical axis direction change detection process (step S46) described above, a plurality of templates 117 to 120 are prepared as shown in FIG. 6A and input using one of the templates. Matching with the image is performed to determine the matching position. (Pattern example 1) (Pattern example 2) and (Pattern example 3) of this process are shown.
In (Pattern example 1), matching with the input image is performed using all templates, and the position (xm, ym) where the normalized correlation value is the largest and the template used at that time are specified. In this example pattern, the processing time may be long.
In (pattern example 2), matching is performed only for templates existing in the input image, and the position (xm, ym) where the normalized correlation value is the largest is specified. For example, as for the size and position of the input image in the coordinate system of the monitoring area image in FIG. 6A, the control information of the camera platform 12 such as how much the panning and tilting from the initial position and the focus of the imaging lens 13 are performed. It can be uniquely determined from the distance information. For this reason, it is possible to select a template in the input image.
In (Pattern example 3), the shaking of the TV camera 1 is further considered in (Pattern example 2) described above. Specifically, a range that is larger (for example, slightly) than the input image is set, matching is performed only for templates existing in the range, and the position where the normalized correlation value is the largest (xm, ym) Is identified.
次に、基準背景画像位置補正ステップでは、監視領域画像s’(x、y)から例えば(r×xt−xm、r×yt−ym)〜(r×xt−xm+319、r×yt−ym+239)の範囲の画像を抽出し、これを基準背景画像とする(ステップS47)。なお、本例では、処理する画像のサイズが、横320画素、縦240画素であるとする。
ここで、図2に示される基準背景画像位置補正処理(ステップS4)では、予め作成した基準背景画像を平行移動することでTVカメラ1の光軸方向の変化を補正するため、平行移動によって画素が画像からはみ出して、処理に使用することが可能な画素が減少するのに対して、本例の基準背景画像位置補正処理(ステップS47)では、処理する画像より広い範囲で作成した監視領域画像から基準背景画像を抽出するため、画素を減少させずに、差分処理を実行することができる。
次に、差分処理が行われ(ステップS48)、二値化処理が行われる(ステップS49)。
次に、マスク領域位置ずれ補正ステップでは、上記した基準背景画像位置補正ステップ(ステップS47)と同様に、監視領域画像s’(x、y)上に設定したマスク領域を(r×xt−xm、r×yt−ym)〜(r×xt−xm+319、r×yt−ym+239)の範囲で抽出し、続くマスク処理ステップ(ステップS51)のマスク画像として適用する(ステップS50)。
次に、マスク処理が行われ(ステップS51)、ラベリング処理が行われる(ステップS52)。
次に、警戒領域補正ステップでは、上記した基準背景画像位置補正ステップ(ステップS47)と同様に、監視領域画像s’(x、y)上に設定した警戒領域を(r×xt−xm、r×yt−ym)〜(r×xt−xm+319、r×yt−ym+239)の範囲で抽出し、続く物体存在判定ステップ(ステップS57)において警戒領域内に侵入物体が存在するか否かの判定条件として適用する(ステップS54)。
Next, in the reference background image position correction step, for example, (r × xt-xm, r × yt-ym) to (r × xt-xm + 319, r × yt-ym + 239) are obtained from the monitoring region image s ′ (x, y). Is extracted and used as a reference background image (step S47). In this example, it is assumed that the size of the image to be processed is 320 pixels wide and 240 pixels long.
Here, in the reference background image position correction process (step S4) shown in FIG. 2, the change in the optical axis direction of the TV camera 1 is corrected by translating the reference background image created in advance. However, in the reference background image position correction process (step S47) of this example, the monitoring region image created in a wider range than the image to be processed is reduced. Since the reference background image is extracted from the image, the difference process can be executed without reducing the number of pixels.
Next, difference processing is performed (step S48), and binarization processing is performed (step S49).
Next, in the mask area position deviation correction step, the mask area set on the monitoring area image s ′ (x, y) is set to (r × xt−xm) as in the above-described reference background image position correction step (step S47). , R * yt-ym) to (r * xt-xm + 319, r * yt-ym + 239), and applies as a mask image in the subsequent mask processing step (step S51) (step S50).
Next, mask processing is performed (step S51), and labeling processing is performed (step S52).
Next, in the warning area correction step, the warning area set on the monitoring area image s ′ (x, y) is set to (r × xt−xm, r) as in the above-described reference background image position correction step (step S47). × yt−ym) to (r × xt−xm + 319, r × yt−ym + 239), and in the subsequent object presence determination step (step S57), a determination condition as to whether or not an intruding object exists in the alert area (Step S54).
ここで、図8 には、上記したマスク領域位置ずれ補正処理(ステップS50)及び警戒領域補正処理(ステップS54)の具体例を示してある。
同図(A)には、監視領域画像131に対して設定されているマスク領域(又は、警戒領域)141の一例を示してある。同図(B)には、更に、入力画像の範囲142を示してある。そして、同図(C)には、入力画像の範囲142に基づいてマスク領域(又は、警戒領域)141から切り出される領域を斜線により示してある。一例として、同図(D)に示されるように、入力画像上におけるマスク領域の各頂点の座標を把握するような形式を用いることができ、他の例として、同図(E)に示されるように、入力画像の各画素を走査してマスク領域内の画素を把握するような形式を用いることができ、或いは、他の形式が用いられてもよい。
次に、大きさ条件算出ステップでは、差分法により検出された変化領域の外接矩形(例えば、図10(D)に示される矩形184)の座標を監視領域画像s’(x、y)上の座標へ変換し、侵入物体の基準となる大きさを算出する(ステップS55)。ここで、例えば、図13(B)に示されるような外接矩形223が検出されたとすると、検出結果から得られる画像の下端から外接矩形223の下端までの距離y3は、画角変化を補正した監視領域画像s’(x、y)上で距離y3’=480−(r×yt−ym+240)+y3となり、監視領域画像s(x、y)上の座標系では、y3’’=y3’÷rとなる。なお、入力画像のサイズを横320画素、縦240画素とし、監視領域画像のサイズを横640画素、縦480画素(基準となる画角の上下左右50%拡大)とする。よって、y=y3’’として、式2及び式3を適用することにより、監視領域画像s(x、y)上での基準の大きさdx3、dy3が算出され、入力画像上では基準の大きさはdx3’=dx3×r、dy3’=dy3×rと算出される。
Here, FIG. 8 shows a specific example of the above-described mask area misalignment correction processing (step S50) and warning area correction processing (step S54).
FIG. 4A shows an example of a mask area (or a warning area) 141 set for the monitoring area image 131. FIG. 5B further shows an input image range 142. In FIG. 5C, an area cut out from the mask area (or the warning area) 141 based on the input image range 142 is indicated by hatching. As an example, a format for grasping the coordinates of each vertex of the mask area on the input image as shown in FIG. 4D can be used. As another example, the format shown in FIG. In this manner, a format in which each pixel of the input image is scanned to grasp the pixels in the mask area can be used, or another format can be used.
Next, in the size condition calculation step, the coordinates of the circumscribed rectangle (for example, the rectangle 184 shown in FIG. 10D) of the change area detected by the difference method are displayed on the monitoring area image s ′ (x, y). Conversion into coordinates is performed to calculate the size of the intruding object as a reference (step S55). Here, for example, if a circumscribed rectangle 223 as shown in FIG. 13B is detected, the distance y3 from the lower end of the image obtained from the detection result to the lower end of the circumscribed rectangle 223 has corrected the change in the angle of view. The distance y3 ′ = 480− (r × yt−ym + 240) + y3 on the monitoring area image s ′ (x, y), and y3 ″ = y3 ′ ÷ in the coordinate system on the monitoring area image s (x, y). r. Note that the size of the input image is 320 pixels wide and 240 pixels long, and the size of the monitoring area image is 640 pixels wide and 480 pixels long (up, down, left, right, and 50% enlargement of the reference angle of view). Therefore, by applying Equations 2 and 3 with y = y3 ″, the reference sizes dx3 and dy3 on the monitoring region image s (x, y) are calculated, and the reference sizes on the input image are calculated. The lengths are calculated as dx3 ′ = dx3 × r and dy3 ′ = dy3 × r.
次に、速度条件算出ステップでは、例えば、上記した大きさ条件算出ステップで算出された、入力画像上での基準の大きさdx3’、dy3’の2/3倍値を検出すべき物体の速度の情報とする(ステップS56)。
そして、物体存在判定処理が行われ(ステップS57)、警報・モニタ表示処理が行われる(ステップS58)。警戒領域補正処理(ステップS54)、大きさ条件算出処理(ステップS55)、速度条件算出処理(ステップS56)で算出された検出条件は、物体存在判定処理(ステップS57)で使用されて、差分法によって検出された変化領域が検出すべき物体であるか否かが判定される。
以上のように、本例では、TVカメラ1の揺れや焦点距離の変化を検出して、補正することができる。また、本例では、予め、広い画角に対応して、検出条件を用意することにより、適切な補正を行うことができる。
Next, in the speed condition calculation step, for example, the speed of the object for which the 2/3 times the reference sizes dx3 ′ and dy3 ′ on the input image calculated in the size condition calculation step is to be detected. (Step S56).
Then, an object presence determination process is performed (step S57), and an alarm / monitor display process is performed (step S58). The detection conditions calculated in the warning area correction process (step S54), the size condition calculation process (step S55), and the speed condition calculation process (step S56) are used in the object presence determination process (step S57), and the difference method is used. It is determined whether or not the change area detected by the step is an object to be detected.
As described above, in this example, it is possible to detect and correct the shaking of the TV camera 1 and the change in the focal length. In this example, appropriate correction can be performed by preparing detection conditions in advance corresponding to a wide angle of view.
ここで、本例では、レンズの焦点距離の変化量rに応じて監視領域画像の大きさを補正する構成を示したが、他の構成例として、入力画像の大きさを1/r倍するような構成とすることも可能である。
また、本例では、図4に示されるカメラ雲台制御処理(ステップS23)から画像合成処理(ステップS26)までの処理により、図5 に示される複数の画像91〜99から成る画像群から合成により図6(A)に示されるような監視領域画像101を生成する構成を示したが、他の構成例として、撮像レンズ13をズームアウトして、図6(A)に示される画像101の画角に相当する画像を1回の撮影で取得するような構成とすることも可能である。また、図6(B)を例として説明すると、画像102の画角で撮影して監視領域画像を取得する場合には、通常の処理における画角(例えば、図7のフローの実行時における画像121や画像122の画角)と比べて高精細(高画素)な画像が得られるような撮影モードを用いることも可能である。
Here, in this example, the configuration in which the size of the monitoring area image is corrected according to the amount of change r of the focal length of the lens is shown, but as another configuration example, the size of the input image is multiplied by 1 / r. Such a configuration is also possible.
Further, in this example, the processing from the camera head control process (step S23) to the image composition process (step S26) shown in FIG. 4 is combined from the image group composed of the plurality of images 91 to 99 shown in FIG. 6 shows a configuration for generating the monitoring region image 101 as shown in FIG. 6A. As another configuration example, the imaging lens 13 is zoomed out, and the image 101 shown in FIG. It is also possible to adopt a configuration in which an image corresponding to the angle of view is acquired by one shooting. 6B will be described as an example. When a monitoring area image is acquired by photographing at an angle of view of the image 102, an angle of view in a normal process (for example, an image at the time of execution of the flow of FIG. 7). It is also possible to use a shooting mode in which a high-definition (high pixel) image can be obtained as compared with the angle of view of 121 or image 122.
また、図5に示される画像91〜99から図11(A)に示される監視領域画像101を合成する例を参照して、パン・チルト・ズームの制御量から絶対座標を算出する方法の一例を示す。
すなわち、本例では、撮像素子として1/2型CCD(素子サイズが横6.4mm、縦4.8mm)を使用して、焦点距離を10mmとして図6(A)に示されるような監視領域画像101を合成する。この場合、入力画像の画角は横方向35.5°、縦方向27.0°となり、上下左右50%の重なり量で合成しているため、監視領域画像101は、横方向71.0°、縦方向54.0°の画角を有する。また、入力画像の画素数が横320画素、縦240画素であるとすると、監視領域画像101は横640画素、縦480画素で構成される。従って、監視領域画像101は、一画素当たり、横0.055°/pix、縦0.056°/pixの分解能を有する。一例として、監視領域画像101の中心をTVカメラ1の方向の原点(パン0°、チルト0°)とし、カメラ雲台12の操作によってパンが−5°に変わり、チルトが+3°に変わり、焦点距離が15mmに変わったとする。すると、入力画像の中心は、監視領域画像101の座標系で(640÷2−5÷0.055、480÷2+3÷0.056)=(229、294)へ移動する。また、焦点距離が変わったことによって、入力画像の画角は横方向24.1°、縦方向18.2°となることから、入力画像の画角は監視領域画像101の座標系で、横24.1÷0.055=438画素に相当し、縦18.2÷0.056=325画素に相当する。つまり、入力画像は監視領域画像101の(229−438÷2、294−325÷2)〜(229+438÷2、294+325÷2)=(10、131)〜(448、456)の範囲にあることが分かる。
An example of a method for calculating absolute coordinates from control amounts of pan / tilt / zoom with reference to an example of synthesizing the monitoring area image 101 shown in FIG. 11A from the images 91 to 99 shown in FIG. Indicates.
That is, in this example, a 1/2 type CCD (element size is 6.4 mm in width and 4.8 mm in length) is used as the image pickup device, and the focal length is set to 10 mm, as shown in FIG. The image 101 is synthesized. In this case, the angle of view of the input image is 35.5 ° in the horizontal direction and 27.0 ° in the vertical direction, and is synthesized with an overlap amount of 50% in the vertical and horizontal directions, so the monitoring region image 101 is 71.0 ° in the horizontal direction. The angle of view is 54.0 ° in the vertical direction. If the number of pixels of the input image is 320 pixels wide and 240 pixels long, the monitoring area image 101 is composed of 640 pixels wide and 480 pixels high. Accordingly, the monitoring area image 101 has a resolution of 0.055 ° / pix horizontal and 0.056 ° / pix vertical per pixel. As an example, the center of the monitoring area image 101 is set to the origin of the direction of the TV camera 1 (pan 0 °, tilt 0 °), pan is changed to −5 °, and tilt is changed to + 3 ° by the operation of the camera platform 12. Assume that the focal length has changed to 15 mm. Then, the center of the input image moves in the coordinate system of the monitoring area image 101 to (640 ÷ 2-5 ÷ 0.055, 480 ÷ 2 + 3 ÷ 0.056) = (229, 294). In addition, since the angle of view of the input image becomes 24.1 ° in the horizontal direction and 18.2 ° in the vertical direction due to the change in the focal length, the angle of view of the input image is in the coordinate system of the monitoring area image 101 and is This corresponds to 24.1 ÷ 0.055 = 438 pixels, and corresponds to 18.2 ÷ 0.056 = 325 pixels in the vertical direction. That is, the input image is in the range of (229-438 / 2, 294-325 / 2) to (229 + 438/2, 294 + 325/2) = (10, 131) to (448, 456) of the monitoring area image 101. I understand.
また、テンプレート或いはパン・チルト・ズームの制御量以外の情報から絶対座標を特定することができる方法の一例を示す。
すなわち、絶対座標をパン・チルト・ズームの制御量及びテンプレートを用いたマッチング処理によって算出することが可能であるが、他の構成例として、例えばドアなどのように監視領域内に存在する特定の物体に着目して、ドアノブの位置やドアの見かけの大きさなどを用いて絶対座標を算出するような構成とすることもできる。例えば、ズームの制御量を用いる代わりに、画角変化前と、画角変化後における着目物体の画像上でのみかけの大きさの変化量を用いるようにしても、画角の変化の量を検出することが可能である。
このように、テンプレートを用いて現在における入力画像の位置や大きさを把握する方法以外に、例えば、テンプレートを用いずに、カメラの旋回(パン、チルト)の情報やズームの情報から、現在の入力画像の位置や大きさを把握することも可能である。なお、カメラの旋回情報やズーム情報からだと、例えば、カメラの揺れに対応することはできない。また、テンプレートを用いた処理に際して、カメラの旋回(パン、チルト)の情報などを併用するようなことも可能である。
また、テンプレート或いはカメラの旋回(パン、チルト)情報やズーム情報によらずに、基準位置に対する現在における入力画像の位置を把握することができる他の処理を行ってもよく、これにより、予め広い画角で用意された検出条件を利用することが可能である。
また、検出条件の切り替えや更新方法の一例を示す。
すなわち、本例では、監視領域画像101に対して設定した1通りの検出条件を用いて侵入物体の監視を行う構成としたが、他の構成例として、複数の検出条件を用いてもよい。例えば、昼用、夕暮れ用、夜用の検出条件を設定しておいて、時間毎に切り替えることが可能であり、また、風力計などの外部センサからの情報をもとに、風が無いときには一時的にマスク領域を無効にするようなことも可能である。また、侵入物体の検出処理の結果に基づいて、例えば、侵入物体以外の検出領域、つまり、入力画像の輝度と基準背景画像の輝度との差が所定の閾値以上になる領域をマスク領域に追加して検出条件を更新するようなことも可能である。
In addition, an example of a method capable of specifying absolute coordinates from information other than the template or pan / tilt / zoom control amounts will be described.
In other words, absolute coordinates can be calculated by a matching process using a pan / tilt / zoom control amount and a template. As another configuration example, a specific area existing in a monitoring area such as a door may be used. Focusing on the object, the absolute coordinates can be calculated using the position of the door knob, the apparent size of the door, or the like. For example, instead of using the zoom control amount, the amount of change in the angle of view can be reduced by using the apparent amount of change on the image of the object of interest before and after the change in the angle of view. It is possible to detect.
In this way, in addition to the method of grasping the position and size of the current input image using the template, for example, from the information of camera turning (pan, tilt) and zoom information without using the template, It is also possible to grasp the position and size of the input image. Note that it is not possible to deal with camera shake, for example, from camera turning information or zoom information. In addition, when processing using a template, it is possible to use information such as camera turning (pan, tilt) in combination.
Also, other processing that can grasp the current position of the input image with respect to the reference position may be performed without depending on the template or camera turning (pan, tilt) information or zoom information. It is possible to use detection conditions prepared at the angle of view.
Also, an example of detection condition switching and update methods will be shown.
In other words, in this example, the intruding object is monitored using one detection condition set for the monitoring region image 101, but a plurality of detection conditions may be used as another configuration example. For example, it is possible to set detection conditions for daytime, dusk, and night and switch them every hour, and when there is no wind based on information from an external sensor such as an anemometer It is also possible to temporarily invalidate the mask area. In addition, based on the detection result of the intruding object, for example, a detection area other than the intruding object, that is, an area where the difference between the luminance of the input image and the luminance of the reference background image is equal to or greater than a predetermined threshold is added to the mask area. It is also possible to update the detection condition.
次に、以上の実施例(第1実施例〜第2実施例)に係る効果の具体例を示す。
図6(A)、(B)及び図9(A)、(B)、(C)を参照して、本実施例の効果を示す。
図6(A)には、図4を参照して説明されるように、監視領域画像101と、監視領域画像101上に設定した各種の基準検出条件111〜120の一例を示してある。図6(B)には、基準となる画角121と、監視員の画角122と、光軸方向の操作による撮像装置1の撮像範囲102の一例を示してある。
図9(A)には、画角、光軸方向の操作前の画角における検出条件161〜163を入力画像151に重ねて表示したものを示してある。図9(B)には、本発明の第1実施例に係る処理を適用した場合に得られる検出条件161a〜161cを入力画像152に重ねて表示したものを示してある。図9(C)には、本発明第2実施例に係る処理を適用した場合に得られる検出条件164、162a、165〜167を入力画像153に重ねて表示したものを示してある。
Next, specific examples of effects according to the above-described embodiments (first embodiment to second embodiment) will be described.
With reference to FIGS. 6A and 6B and FIGS. 9A, 9B, and 9C, effects of the present embodiment will be described.
FIG. 6A shows an example of the monitoring area image 101 and various reference detection conditions 111 to 120 set on the monitoring area image 101, as described with reference to FIG. FIG. 6B illustrates an example of the reference angle of view 121, the angle of view 122 of the monitor, and the imaging range 102 of the imaging device 1 by an operation in the optical axis direction.
FIG. 9A shows the display conditions 161 to 163 overlaid on the input image 151 at the angle of view and the angle of view before operation in the optical axis direction. FIG. 9B shows the detection conditions 161a to 161c obtained when the processing according to the first embodiment of the present invention is applied and displayed on the input image 152 in an overlapping manner. FIG. 9C shows the detection conditions 164, 162 a, 165-167 obtained when the processing according to the second embodiment of the present invention is applied, superimposed on the input image 153.
図6(A)では、マスク領域111、警戒領域112〜114、検出すべき侵入物体の基準となる大きさ115、116、光軸方向の変化を検出するためのテンプレート117〜120を示してある。一例として、通常時における監視対象が建物の入口に出入りする侵入物体であって図6(B)に示される画角121が用いられるとして、ある時、監視員が、通常時における建物の入口と敷地の門とを同時に監視するために、図6(B)に示される画角122へ変更することを想定する。ここで、図9(A)に示される画像151は、通常時における画角であり、当該画角に対して、マスク領域161、警戒領域162、光軸の変化を検出するためのテンプレート163が設定されている。このときに、監視員が図6(B)に示される画角122へ変更したとすると、例えば従来の検出条件に対して本発明の第1実施例に係る処理を適用した場合(ここでは、更にレンズ制御を考慮した場合)には、検出条件をTVカメラ1の光軸方向の変化量だけ平行移動させるため、検出条件は図9(B)に示されるようになる。 FIG. 6A shows a mask area 111, a warning area 112 to 114, sizes 115 and 116 serving as a reference for an intruding object to be detected, and templates 117 to 120 for detecting changes in the optical axis direction. . As an example, assuming that the monitoring target in the normal time is an intruding object entering and exiting the entrance of the building and the angle of view 121 shown in FIG. In order to monitor the site gate at the same time, it is assumed that the angle of view 122 is changed to that shown in FIG. Here, an image 151 shown in FIG. 9A has a normal angle of view, and a mask area 161, a warning area 162, and a template 163 for detecting a change in the optical axis are detected with respect to the angle of view. Is set. At this time, if the monitor changes to the angle of view 122 shown in FIG. 6B, for example, when the process according to the first embodiment of the present invention is applied to the conventional detection condition (here, In addition, when the lens control is taken into consideration), the detection condition is as shown in FIG. 9B because the detection condition is translated by the amount of change in the optical axis direction of the TV camera 1.
図9(B)において、マスク領域161aでは、草木の存在する領域を全て覆うことはできず、草木の一部がマスク領域161aの外にも存在することとなり、このため、草木の揺れを侵入物体として誤検出する可能性がある。また、画角変化によって、実際には警戒領域である敷地の門が撮像されるようになるが、ここは警戒領域としては設定されず、実際には警戒領域である領域内の侵入物体を警戒領域内には存在しないものとして判定する。更に、TVカメラ1の光軸方向の変化を検出するためのテンプレート163aは、画像152の外にはみ出すこととなり、光軸方向変化量検出処理が安定に行われなくなる。
一方、本発明の第2実施例に係る処理を検出条件に適用した場合には、図9(C)に示されるように、監視領域画像上に設定した基準検出条件から、マスク領域164、警戒領域162a、165、TVカメラ1の光軸方向の変化を検出するためのテンプレート166、167を適切に算出することができる。従って、TVカメラ1の画角の操作や、光軸方向の変化が起こるような場面においても、監視領域画像内の範囲であれば、不感帯を十分に設定することができなくなる問題や、警戒領域を適切に設定することができなくなる問題や、TVカメラ1の光軸方向の変化の検出が安定に行われなくなる問題を解消することができる。そして、TVカメラ1の画角の操作や、光軸方向の変化に合わせて検出条件を算出することができるため、信頼性の高い正確な物体検出を行うことを実現することができる。
In FIG. 9B, the mask area 161a cannot cover the entire area where the vegetation exists, and a part of the vegetation exists outside the mask area 161a. There is a possibility of erroneous detection as an object. In addition, the gate of the site, which is actually a warning area, is imaged due to the change in the angle of view, but this is not set as a warning area, and it actually warns the intruding object in the area that is the warning area. It is determined that it does not exist in the area. Furthermore, the template 163a for detecting the change in the optical axis direction of the TV camera 1 protrudes outside the image 152, and the optical axis direction change detection process is not stably performed.
On the other hand, when the process according to the second embodiment of the present invention is applied to the detection conditions, as shown in FIG. 9C, from the reference detection conditions set on the monitoring area image, the mask area 164, the alert Templates 166 and 167 for detecting changes in the optical axis direction of the areas 162a and 165 and the TV camera 1 can be appropriately calculated. Therefore, even in a scene where the angle of view of the TV camera 1 is manipulated or the optical axis direction changes, the dead zone cannot be set sufficiently if it is within the monitoring area image, or the warning area. Can not be set appropriately, and the problem that the change of the optical axis direction of the TV camera 1 cannot be detected stably can be solved. Since the detection condition can be calculated in accordance with the operation of the angle of view of the TV camera 1 and the change in the optical axis direction, it is possible to realize highly reliable and accurate object detection.
以上の実施例(第1実施例〜第2実施例)に示されるように、本実施例では、撮像装置1から逐次入力する画像信号に基づいて撮像視野内の物体を検出する物体検出装置や物体検出方法において、前記画像信号の変化領域を検出する変化領域検出処理と、当該撮像装置1の光軸方向の変化の量を検出する光軸方向変化量検出処理と、当該光軸方向の変化に基づいて撮像視野内の物体を検出するための検出条件を算出する検出条件算出処理と、前記変化領域が当該検出条件を満たすか否かを判定する物体判定処理を行い、前記撮像装置1の撮像視野内の物体を検出する。
また、本実施例では、撮像装置1から逐次入力する画像信号に基づいて撮像視野内の物体を検出する物体検出装置や物体検出方法において、前記画像信号の変化領域を検出する変化領域検出処理と、当該撮像装置1の画角変化の量を検出する画角変化量検出処理と、当該画角変化に基づいて撮像視野内の物体を検出するための検出条件を算出する検出条件算出処理と、前記変化領域が当該検出条件を満たすか否かを判定する物体判定処理を行い、前記撮像装置1の撮像視野内の物体を検出する。
As shown in the above-described embodiments (first embodiment to second embodiment), in this embodiment, an object detection device that detects an object in the imaging field based on image signals sequentially input from the imaging device 1 In the object detection method, a change area detection process for detecting a change area of the image signal, an optical axis direction change detection process for detecting an amount of change in the optical axis direction of the imaging apparatus 1, and a change in the optical axis direction A detection condition calculation process for calculating a detection condition for detecting an object in the imaging field based on the image, and an object determination process for determining whether or not the change region satisfies the detection condition. An object in the imaging field is detected.
In the present embodiment, in the object detection device and the object detection method for detecting an object in the imaging field based on the image signal sequentially input from the imaging device 1, a change area detection process for detecting the change area of the image signal; An angle-of-view change detection process for detecting an angle-of-view change amount of the imaging apparatus 1, and a detection condition calculation process for calculating a detection condition for detecting an object in the imaging field based on the angle-of-view change, An object determination process for determining whether or not the change region satisfies the detection condition is performed, and an object in the imaging field of the imaging device 1 is detected.
また、本実施例に係る物体検出装置や物体検出方法では、例えば、前記撮像装置1は、当該撮像装置1の画角を変化させるカメラ雲台12の装置を有する。そして、前記検出条件算出処理では、前記カメラ雲台12を制御して当該撮像装置1の画角を変化させた場合に、検出条件を算出する。
また、本実施例に係る物体検出装置や物体検出方法では、例えば、前記撮像装置1は、当該撮像装置1の画角を変化させるカメラ雲台12の装置を有する。そして、前記カメラ雲台12を制御して当該撮像装置1の画角を変化させながら入力した画像信号に基づいて監視領域画像を作成する監視領域画像作成処理を行う。また、前記検出条件算出処理によって算出される検出条件は、前記監視領域画像に対して設定された基準検出条件及び前記撮像装置1の画角に基づいて算出される。
Further, in the object detection apparatus and the object detection method according to the present embodiment, for example, the imaging apparatus 1 includes a camera head 12 that changes the angle of view of the imaging apparatus 1. In the detection condition calculation process, the detection condition is calculated when the camera pan head 12 is controlled to change the angle of view of the imaging apparatus 1.
Further, in the object detection apparatus and the object detection method according to the present embodiment, for example, the imaging apparatus 1 includes a camera head 12 that changes the angle of view of the imaging apparatus 1. Then, a monitoring region image creation process is performed for creating a monitoring region image based on the input image signal while controlling the camera platform 12 and changing the angle of view of the imaging device 1. The detection condition calculated by the detection condition calculation process is calculated based on the reference detection condition set for the monitoring area image and the angle of view of the imaging device 1.
また、本実施例に係る物体検出装置や物体検出方法では、例えば、前記検出条件としては、物体の検出を行わない領域を指定するマスク領域と、検出した物体の重要度を区別する警戒領域と、検出すべき物体の大きさを表す大きさ情報と、検出すべき物体の移動速度を表す速度情報の少なくとも1つを含む。
また、本実施例に係る物体検出装置や物体検出方法では、例えば、前記マスク領域は、前記監視領域画像上の少なくとも3点以上の頂点を持つ多角形で表現される。そして、前記検出条件算出処理では、前記画角変化及び前記光軸方向変化に基づいて、当該頂点の座標を前記監視領域画像における座標から入力画像における座標へ変換する。
また、本実施例に係る物体検出装置や物体検出方法では、例えば、前検出した物体の重要度を区別する警戒領域は、前記監視領域画像上の矩形で表現される。そして、前記検出条件算出処理では、前記画角変化及び前記光軸方向変化に基づいて、当該矩形の座標を前記監視領域画像における座標から入力画像における座標へ変換する。
また、本実施例に係る物体検出装置や物体検出方法では、例えば、前記検出すべき物体の大きさを表す大きさ情報は、前記監視領域画像上の矩形で表現される。そして、前記検出条件算出処理では、前記画角変化及び前記光軸方向変化に基づいて、当該矩形の座標を前記監視領域画像における座標から入力画像における座標へ変換する。
また、本実施例に係る物体検出装置では、例えば、前記速度情報は、前記大きさ情報に基づいて算出される。
Further, in the object detection apparatus and the object detection method according to the present embodiment, for example, as the detection condition, a mask area that specifies an area where no object is detected, and a warning area that distinguishes the importance of the detected object, , At least one of size information indicating the size of the object to be detected and speed information indicating the moving speed of the object to be detected.
In the object detection apparatus and the object detection method according to the present embodiment, for example, the mask area is represented by a polygon having at least three or more vertices on the monitoring area image. In the detection condition calculation process, the coordinates of the vertex are converted from the coordinates in the monitoring area image to the coordinates in the input image based on the change in the angle of view and the change in the optical axis direction.
Further, in the object detection apparatus and the object detection method according to the present embodiment, for example, a warning area that distinguishes the importance of a previously detected object is represented by a rectangle on the monitoring area image. In the detection condition calculation process, the coordinates of the rectangle are converted from the coordinates in the monitoring area image to the coordinates in the input image based on the change in the angle of view and the change in the optical axis direction.
Further, in the object detection apparatus and the object detection method according to the present embodiment, for example, the size information indicating the size of the object to be detected is expressed by a rectangle on the monitoring area image. In the detection condition calculation process, the coordinates of the rectangle are converted from the coordinates in the monitoring area image to the coordinates in the input image based on the change in the angle of view and the change in the optical axis direction.
In the object detection apparatus according to the present embodiment, for example, the speed information is calculated based on the size information.
また、本実施例では、撮像装置1から逐次入力する画像信号に基づいて撮像視野内の物体を検出する物体検出装置や物体検出方法において、監視視野範囲を逐次撮像する撮像装置1と、撮像装置1の画角を変化させるカメラ雲台12の装置と、撮像装置1が取得した映像信号を逐次画像信号へ変換する画像入力インタフェース21と、当該画像入力インタフェース21によって変換された前記画像信号を処理する処理機能を備えた。そして、当該処理機能は、例えば、前記画像信号の変化領域を検出し、当該撮像装置1 の光軸方向の変化や画角の変化を検出し、当該光軸方向変化や当該画角変化に基づいて撮像視野内の物体を検出するための検出条件を算出し、前記変化領域が当該検出条件を満たすか否かを判定することにより、前記撮像装置1 の撮像視野内の物体を検出する。 In the present embodiment, in the object detection device and the object detection method for detecting an object in the imaging field based on the image signal sequentially input from the imaging device 1, the imaging device 1 that sequentially images the monitoring field range, and the imaging device A camera pan head 12 that changes the angle of view of 1, an image input interface 21 that sequentially converts video signals acquired by the imaging device 1 into image signals, and the image signals converted by the image input interface 21. It has a processing function. Then, for example, the processing function detects a change area of the image signal, detects a change in the optical axis direction or a change in the angle of view of the imaging apparatus 1, and based on the change in the optical axis direction or the change in the angle of view. Then, a detection condition for detecting an object in the imaging field is calculated, and an object in the imaging field of the imaging device 1 is detected by determining whether or not the change region satisfies the detection condition.
従って、本実施例に係る物体検出装置や物体検出方法では、例えばTVカメラ1によって撮像される画像信号から変化領域を検出し、当該TVカメラの光軸の方向の変化や画角の変化を検出し、当該光軸方向変化や当該画角変化に基づいて撮像視野内の物体を検出するための検出条件を算出し、前記変化領域が当該検出条件を満たすか否かを判定することにより、当該TVカメラ1の光軸方向や画角が変化したような場合においても、その影響を抑制して、物体を検出することができる。
具体例として、従来では、TVカメラ1の光軸方向変化や画角操作によって、予め設定した検出条件を適用することができなくなる可能性があった。そして、このような場合には、不感帯を十分に設定することができなくなる問題や、変化領域の大きさ判定或いは警戒領域内に存在するか否かの判定を正確に行うことができなくなる問題が発生し、検出条件を改めて設定し直さなければならないといった煩わしさがあった。
これに対して、本実施例では、TVカメラ1の光軸方向変化や画角操作を検出し、変化の量に応じて検出条件を算出することにより、TVカメラ1の光軸方向変化や画角変化の影響を抑制することができ、信頼性の高い正確な物体検出を行うことができる物体検出装置や物体検出方法を実現することができる。
Therefore, in the object detection apparatus and the object detection method according to the present embodiment, for example, a change area is detected from an image signal captured by the TV camera 1, and a change in the direction of the optical axis or a change in the angle of view of the TV camera is detected. And calculating a detection condition for detecting an object in the imaging field based on the change in the optical axis direction and the change in the angle of view, and determining whether the change region satisfies the detection condition, Even when the optical axis direction and the angle of view of the TV camera 1 are changed, the influence can be suppressed and the object can be detected.
As a specific example, conventionally, there is a possibility that preset detection conditions cannot be applied due to a change in the optical axis direction of the TV camera 1 or a view angle operation. In such a case, there is a problem that the dead zone cannot be set sufficiently, and a problem that it is impossible to accurately determine the size of the change area or whether it exists in the alert area. It has occurred that the detection condition has to be set again.
On the other hand, in this embodiment, a change in the optical axis direction of the TV camera 1 and a view angle operation are detected, and a detection condition is calculated according to the amount of change, thereby changing the optical axis direction of the TV camera 1 and the image angle. It is possible to realize an object detection apparatus and an object detection method that can suppress the influence of the angle change and perform highly reliable and accurate object detection.
このように、本実施例では、カメラの位置ずれ(移動量)を算出し、例えば、マスク領域や警戒領域や背景画像などといった物体の検出条件について、当該マスク領域などの座標を補正することにより、当該検出条件を前記算出したずれ分だけ移動させることにより、正確に物体を検出することができる。
また、一構成例として、広い視野を捉えた画像において、物体の検出条件を設定し、そして、入力画像取得時におけるカメラの画角、向き(広い視野画像上における位置)に応じて、入力画像用の検出条件を算出することにより、正確に物体を検出することができる。また、広い視野を捉えた画像として、例えば、複数枚の画像をつなぎ合わせた合成画像を用いることができる。
また、一構成例として、入力画像取得時におけるカメラの画角、向きによらず、常に、入力画像中に設定したテンプレートを1つ以上含ませるために、広い視野を捉えた画像上において、位置ずれを検出するためのテンプレートを複数設定することを行う。
As described above, in this embodiment, the positional deviation (movement amount) of the camera is calculated, and for example, by correcting the coordinates of the mask area and the like for the object detection conditions such as the mask area, the warning area, and the background image. The object can be accurately detected by moving the detection condition by the calculated deviation.
As one configuration example, an object detection condition is set in an image capturing a wide field of view, and the input image is selected according to the angle of view and orientation (position on the wide field image) of the camera when the input image is acquired. By calculating the detection conditions for use, the object can be accurately detected. Further, as an image capturing a wide field of view, for example, a composite image obtained by connecting a plurality of images can be used.
Also, as one configuration example, in order to always include one or more templates set in the input image regardless of the angle and direction of the camera at the time of acquiring the input image, the position on the image capturing a wide field of view A plurality of templates for detecting the deviation are set.
なお、本実施例に係る物体検出装置や物体検出方法では、撮像装置1により撮像される画像(入力画像)により物体検出対象となる画像が構成され、撮像装置1により撮像される複数の画像の合成結果(監視領域画像)により物体検出対象となる画像と比べて広い画像が構成され、例えば人などの侵入物体の画像により検出対象となる物体の画像が構成される。また、本実施例に係る物体検出装置や物体検出方法では、検出条件として、テンプレートや、基準背景画像や、マスク領域や、警戒領域や、大きさ情報や、速度情報が用いられ、また、基準となる検出条件が監視領域画像において設定され、当該基準検出条件に基づいて入力画像に対して物体の画像を検出するために使用される検出条件が設定される。
また、本実施例に係る物体検出装置や物体検出方法では、例えばテンプレートマッチングの結果や雲台制御部23の動作やレンズ制御部23の動作などに基づいてMPU26が入力画像の光軸方向の変化や画角の変化を検出する機能により物体検出対象画像視野変化検出手段が構成されており、MPU26が例えば座標の補正を行って入力画像に対する検出条件を設定する機能により検出条件設定手段が構成されており、MPU26が検出条件を使用して入力画像から移動などする物体の画像を検出する機能により物体画像検出手段が構成されており、また、撮像装置1の撮像部11などの機能により撮像手段が構成されており、撮像装置1のカメラ雲台12の機能や撮像レンズ13の機能により画角変化手段が構成されている。
In the object detection device and the object detection method according to the present embodiment, an image that is an object detection target is configured by an image (input image) captured by the imaging device 1, and a plurality of images captured by the imaging device 1 are included. The combined result (monitoring area image) forms a wider image than the image that is the object detection target, and the image of the object that is the detection target is configured by the image of the intruding object such as a person. In the object detection apparatus and the object detection method according to the present embodiment, a template, a reference background image, a mask area, a warning area, size information, and speed information are used as detection conditions. Is set in the monitoring region image, and a detection condition used for detecting an image of the object with respect to the input image is set based on the reference detection condition.
Further, in the object detection apparatus and the object detection method according to the present embodiment, the MPU 26 changes the optical axis direction of the input image based on the result of template matching, the operation of the pan head control unit 23, the operation of the lens control unit 23, and the like. The object detection target image visual field change detection means is configured by the function of detecting the change in the angle of view and the angle of view, and the detection condition setting means is configured by the function of the MPU 26 correcting the coordinates, for example, and setting the detection condition for the input image. The object image detecting means is configured by the function of the MPU 26 detecting the image of the moving object from the input image using the detection condition, and the imaging means is configured by the function of the imaging unit 11 of the imaging device 1. The angle-of-view changing means is configured by the function of the camera platform 12 of the imaging apparatus 1 and the function of the imaging lens 13.
以下で、本発明に関する技術の背景を示す。なお、ここで記載する事項は、必ずしも全てが従来の技術であるとは限定しない。
TVカメラ等の撮像装置を用いた物体監視装置は、従来より広く用いられている。このような物体監視装置を用いた監視システムにおいて、監視視野内に入り込んでくる人間や自動車などの侵入物体の検出を、監視員(オペレータ)がモニタに表示される画像を見ながら行う有人監視では、監視員の熟練度、健康状態などによって監視能力に差が生じ、侵入物体の見逃しなどの問題が発生する場合があった。そこで、従来の有人監視ではなく、カメラ等の画像入力手段から入力される画像から侵入物体を自動的に検出し、所定の報知や警報処置が得られるようにしたシステムが要求されるようになってきている。
このようなシステムを実現するためには、所定の監視方式を用いて侵入者等の検出すべき監視対象物体を検出する機能が必要となる。このような監視方式の一例として、差分法と呼ばれる方式が従来より広く用いられている。差分法とは、TVカメラより得られた入力画像と予め作成した基準背景画像、すなわち、検出すべき物体が映っていない画像とを比較し、画素毎に輝度値の差分を求め、その差分値を所定の閾値によって閾値処理し、差分値の大きい領域を変化領域として検出するものである。
The background of the technology related to the present invention will be described below. Note that the matters described here are not necessarily limited to the conventional technology.
An object monitoring apparatus using an imaging apparatus such as a TV camera has been widely used. In a monitoring system using such an object monitoring device, in the case of manned monitoring in which an observer (operator) detects an intruding object such as a human being or a car entering the monitoring visual field while looking at an image displayed on the monitor. Depending on the skill level of the observer, health condition, etc., the monitoring ability may vary, and problems such as oversight of intruding objects may occur. Therefore, instead of the conventional manned monitoring, a system that automatically detects an intruding object from an image input from an image input means such as a camera and obtains a predetermined notification or alarm treatment is required. It is coming.
In order to realize such a system, it is necessary to have a function of detecting an object to be monitored such as an intruder using a predetermined monitoring method. As an example of such a monitoring method, a method called a difference method has been widely used. The difference method is a method in which an input image obtained from a TV camera is compared with a reference background image created in advance, that is, an image in which an object to be detected is not reflected, a difference in luminance value is obtained for each pixel, and the difference value is obtained. Is processed with a predetermined threshold value, and an area having a large difference value is detected as a change area.
図10及び図11を参照して、上記した差分法の処理を説明する。図10は差分法によって変化領域を検出する手順の一例を説明するための図であり、図11は差分法を応用した監視方式の典型的な処理手順の一例を示すフローチャートである。
まず、図10を用いて、差分法によって撮像装置から逐次入力される入力画像の輝度の変化領域を検出する手順の一例を説明する。
同図において、(A)画像171は撮像装置から逐次入力される入力画像であり、(B)画像172は予め用意した検出すべき対象物体が映っていない画像である。
これらの2枚の画像171及び画像172を入力とする差分器(減算器)17 5によって、画素毎の輝度値の差分を計算して(C)差分画像173を得る。次に、差分画像173を入力とする二値化器176は、差分画像173の各画素を閾値Th(実験的に決定され、例えば、Th=20)で閾値処理し、閾値Th未満の画素の画素値を“0”とする一方、閾値Th以上の画素の画素値を“255”として、(D)二値化画像174を得る。これによって、入力画像171に映った人型の物体181は、差分器175によって差分が生じた領域182(入力画像の輝度の変化領域)として計算され、二値化器176によって画素値“255”の画像183として検出される。差分法の処理については、種々な検討等が為されている(例えば、特許文献2参照。)。
With reference to FIG.10 and FIG.11, the process of the above-mentioned difference method is demonstrated. FIG. 10 is a diagram for explaining an example of a procedure for detecting a change area by the difference method, and FIG. 11 is a flowchart showing an example of a typical processing procedure of a monitoring method to which the difference method is applied.
First, an example of a procedure for detecting a luminance change region of an input image that is sequentially input from the imaging device by the difference method will be described with reference to FIG.
In FIG. 9, (A) an image 171 is an input image that is sequentially input from the imaging device, and (B) an image 172 is an image that does not show a target object to be detected prepared in advance.
The difference between the luminance values for each pixel is calculated by a subtractor (subtractor) 175 that receives these two images 171 and 172, and (C) a difference image 173 is obtained. Next, the binarizer 176 having the difference image 173 as an input performs threshold processing on each pixel of the difference image 173 with a threshold Th (experimentally determined, for example, Th = 20). While the pixel value is set to “0”, the pixel value of a pixel equal to or greater than the threshold Th is set to “255”, and (D) a binarized image 174 is obtained. As a result, the humanoid object 181 shown in the input image 171 is calculated as a region 182 (difference change region of the luminance of the input image) where the difference is generated by the differentiator 175, and the pixel value “255” is calculated by the binarizer 176. The image 183 is detected. Various studies have been made on the processing of the difference method (see, for example, Patent Document 2).
次に、図11のフローチャートを用いて、上記した差分方式を応用した典型的な物体検出方式の処理手順の一例を説明する。
同図において、初期化処理ステップでは、差分法による監視方式を実行するための外部機器、変数、画像メモリ等の初期化を行う(ステップS61)。画像入力ステップでは、TVカメラから例えば横320画素、高さ240画素の入力画像を得る(ステップS62)。差分処理ステップでは、画像入力ステップで得た入力画像(画像171)と予め作成しておいた基準背景画像(画像172)との各画素毎の輝度値の差分(画像173)を計算する(ステップS63)。二値化処理ステップでは、差分処理ステップで得られた差分画像の画素値(差分値)が所定の閾値Th(例えば、Th=20)未満の画素の画素値を“0”とし、閾値Th以上の画素の画素値を“255”として、二値化画像(画像174)を得る(ステップS64)。なお、本例では、1画素の画素値を8ビットで計算しており、すなわち、1画素が“0”から“255”までの値を持つ。
上記した画像入力ステップから二値化処理ステップまでの処理(ステップS61〜ステップS64)によって、上記図10に示した入力画像中の輝度の変化領域が検出される。
次に、マスク処理ステップでは、二値化処理ステップで得られた二値化画像に対して、予め設定したマスク領域(物体を検出しない不感帯領域として処理する領域)の中の“255”の画素値を持つ画素の画素値を“0”へ修正する(ステップS65)。
Next, an example of a processing procedure of a typical object detection method to which the above-described difference method is applied will be described using the flowchart of FIG.
In the same figure, in the initialization processing step, external devices, variables, image memory, etc. for executing the monitoring method based on the difference method are initialized (step S61). In the image input step, an input image having a horizontal size of 320 pixels and a height of 240 pixels is obtained from the TV camera (step S62). In the difference processing step, a luminance value difference (image 173) for each pixel between the input image (image 171) obtained in the image input step and a reference background image (image 172) created in advance is calculated (step 173). S63). In the binarization processing step, the pixel value of the pixel in which the pixel value (difference value) of the difference image obtained in the difference processing step is less than a predetermined threshold Th (for example, Th = 20) is set to “0”, and is equal to or greater than the threshold Th. A binarized image (image 174) is obtained by setting the pixel value of this pixel to “255” (step S64). In this example, the pixel value of one pixel is calculated by 8 bits, that is, one pixel has a value from “0” to “255”.
Through the processing from the image input step to the binarization processing step (steps S61 to S64), the luminance change region in the input image shown in FIG. 10 is detected.
Next, in the mask processing step, “255” pixels in a preset mask region (a region to be processed as a dead zone region in which no object is detected) with respect to the binarized image obtained in the binarization processing step. The pixel value of the pixel having the value is corrected to “0” (step S65).
ここで、図12を参照して、このようなマスク処理の必要性を説明する。
同図(A)は、監視領域191を表しており、当該監視領域191内に侵入した侵入物体を検出する用途を想定している。監視領域191内には、建造物の入口、草木などが映っている。同図(B)は、監視領域192において、差分法を適用した場合に検出される入力画像の輝度の変化領域を表している。同図(B)において、検出すべき物体202以外にも、入力画像と基準背景画像で輝度に差が生じるような風で揺れた草木の領域203、204も検出されてしまい、入力画像中に3つの物体202、203、204が存在すると判定されてしまう。このような事象が発生した場合、従来から、同図(C)の監視領域193に示すようなマスク領域205を設定し、マスク領域205内を不感帯(物体の存在判定を行なわない領域)として処理する方法が用いられている。このようなマスク処理は、差分法に限らず、さまざまな物体検出方法で用いられ、監視方式の性能を向上させるための方法として広く使用されている。
Here, the necessity of such mask processing will be described with reference to FIG.
FIG. 3A shows a monitoring area 191, and is assumed to be used for detecting an intruding object that has entered the monitoring area 191. In the monitoring area 191, an entrance of a building, a plant, and the like are shown. FIG. 5B shows a luminance change region of the input image detected when the difference method is applied in the monitoring region 192. In FIG. 5B, in addition to the object 202 to be detected, areas 203 and 204 of vegetation swayed in the wind that cause a difference in brightness between the input image and the reference background image are also detected. It is determined that there are three objects 202, 203, and 204. When such an event occurs, conventionally, a mask area 205 as shown in the monitoring area 193 in FIG. 3C is set, and the inside of the mask area 205 is processed as a dead zone (an area where the presence of an object is not determined). Method is used. Such mask processing is not limited to the difference method, but is used in various object detection methods, and is widely used as a method for improving the performance of the monitoring method.
次に、ラベリング処理ステップでは、マスク処理ステップで得られた修正された二値化画像中の画素値が“255”となる画素のかたまりを検出して、各々のかたまりに番号を付けて区別できるようにする(ステップS66)。処理画像表示ステップでは、例えばラベリング処理ステップによって番号付けされた画素値が“255”となる画素のかたまりを入力画像に重畳して表示し、差分法によって検出された入力画像の輝度の変化領域を視覚的に分かりやすく表示する(ステップS67)。
次に、差分法によって検出された入力画像の輝度の変化領域に検出すべき物体が映っているか否かを判定する。具体的には、物体存在判定ステップでは、番号付けされた変化領域のそれぞれに対して、大きさ、面積、速度、検出位置等の検出条件に基づいて、当該変化領域が検出条件に合致するか否かを判定し、検出条件に合致する場合には検出すべき物体が存在するとして警報・モニタ表示ステップへ分岐し、検出条件に合致しない場合には検出すべき物体が存在しないとして画像入力ステップへ分岐する(ステップS68)。
例えば、検出条件として変化領域の基準の大きさを用いた場合、番号付けされた変化領域183に対して、外接する矩形184を算出し、外接矩形184の幅dx、高さdyを求め、検出条件の基準の大きさとの比較を行う(上記図10参照)。しかし、検出すべき物体は、画面上で観測される位置によって見かけの大きさが変化するため、検出条件の基準の大きさも画面上の位置に応じて補正する必要がある。
Next, in the labeling processing step, a block of pixels whose pixel value is “255” in the modified binarized image obtained in the mask processing step can be detected, and each block can be numbered and distinguished. (Step S66). In the processed image display step, for example, a block of pixels in which the pixel value numbered in the labeling processing step is “255” is displayed superimposed on the input image, and the luminance change region of the input image detected by the difference method is displayed. Displayed visually and intelligibly (step S67).
Next, it is determined whether or not an object to be detected is reflected in the luminance change region of the input image detected by the difference method. Specifically, in the object presence determination step, for each of the numbered change areas, whether the change area matches the detection conditions based on the detection conditions such as size, area, speed, and detection position. If the detection condition is met, branch to the alarm / monitor display step because there is an object to be detected. If the detection condition is not met, the image input step is performed assuming that there is no object to be detected. (Step S68).
For example, when the reference size of the change area is used as the detection condition, a circumscribed rectangle 184 is calculated for the numbered change area 183, and the width dx and height dy of the circumscribed rectangle 184 are obtained and detected. Comparison is made with the standard size of the condition (see FIG. 10 above). However, since the apparent size of the object to be detected changes depending on the position observed on the screen, it is necessary to correct the reference size of the detection condition according to the position on the screen.
図13を参照して、このような補正処理を説明する。
同図(A)は、領域211において、監視システムの設置時に設定される検出すべき物体の基準の大きさを表すものである。検出すべき物体の基準の大きさは、TVカメラから離れた位置に映る物体とTVカメラに近い位置に映る物体を実際に撮像し、その大きさに基づいて設定される。同図(A)において、物体221はカメラから離れた位置で撮像した物体の像であり、物体222はカメラに近い位置で撮像した物体の像である。同図(A)では、2つの像を分かりやすく重ねて表示してある。ここで、検出すべき物体の大きさの情報として、各々の物体221及び物体222に対して、検出位置y1、y2、外接矩形の幅dx1、dx2、外接矩形の高さdy1、dy2が記録される。例えば、同図(B)の領域212に示した位置で物体を撮像したとする。この場合、物体223は、同図(A)に示される位置には存在しないため、前記検出すべき物体の基準の大きさの情報から、物体223の位置の基準の大きさを推定する必要がある。基準の大きさの推定は、検出位置y1、y2、y3に基づいた補間によって行われる。物体223の位置y=y3に撮像される物体の基準の大きさdx3、dy3は、式2及び式3によって算出される。これによって、任意の位置で検出された物体の基準の大きさを算出することができる。
Such correction processing will be described with reference to FIG.
FIG. 8A shows a reference size of an object to be detected, which is set when the monitoring system is installed, in a region 211. The reference size of the object to be detected is set based on the size of an object actually captured at a position distant from the TV camera and an object reflected at a position close to the TV camera. In FIG. 3A, an object 221 is an image of an object imaged at a position away from the camera, and an object 222 is an image of an object imaged at a position close to the camera. In FIG. 2A, two images are displayed so as to be easily understood. Here, as the information on the size of the object to be detected, the detection positions y1, y2, circumscribed rectangle widths dx1, dx2, and circumscribed rectangle heights dy1, dy2 are recorded for each of the objects 221 and 222. The For example, it is assumed that an object is imaged at the position shown in the area 212 in FIG. In this case, since the object 223 does not exist at the position shown in FIG. 5A, it is necessary to estimate the reference size of the position of the object 223 from the information of the reference size of the object to be detected. is there. The estimation of the reference size is performed by interpolation based on the detection positions y1, y2, and y3. The reference sizes dx3 and dy3 of the object imaged at the position y = y3 of the object 223 are calculated by Expressions 2 and 3. As a result, the reference size of the object detected at an arbitrary position can be calculated.
上記した物体存在判定ステップでは、上記図10に示した差分法によって検出された変化領域183に対して検出位置yを算出し、検出位置yに基づいて上記式2及び上記式3によって基準の大きさdx3、dy3を求める。これによって、検出すべき物体の基準の大きさを設定していない位置でも、基準となる大きさを補間して算出することができる。そして、基準の大きさdx3、dy3に対して許容量(例えば、x方向にrx、y方向にry)を設定し、変化領域183の外接矩形184の幅dxや高さdyが「dx3−rx≦dx≦dx3+rx、dy3−ry≦dy≦dy3+ry」を満たすときに、当該変化領域183に検出すべき物体が存在すると判断する。
ここで、rx、ryは、例えば、「rx=0.5×dx3、ry=0.3×dy3」として算出され、それぞれ、基準の大きさに対して50%、30%の大きさの変動を許容することができる。すなわち、横方向は基準の大きさの50%から150%の範囲について、縦方向は基準の大きさの70%から130%の範囲について、これらの範囲の大きさの変化領域に検出すべき物体が存在すると判定する。
In the object presence determination step described above, the detection position y is calculated for the change region 183 detected by the difference method shown in FIG. 10, and the reference magnitude is calculated based on the detection position y using the above formulas 2 and 3. Dx3 and dy3 are obtained. As a result, even when the reference size of the object to be detected is not set, the reference size can be calculated by interpolation. Then, an allowable amount (for example, rx in the x direction and ry in the y direction) is set with respect to the reference sizes dx3 and dy3, and the width dx and the height dy of the circumscribed rectangle 184 of the change area 183 are “dx3-rx”. When satisfying ≦ dx ≦ dx3 + rx, dy3−ry ≦ dy ≦ dy3 + ry ”, it is determined that there is an object to be detected in the change region 183.
Here, rx and ry are calculated as, for example, “rx = 0.5 × dx3, ry = 0.3 × dy3”, and fluctuations of 50% and 30% of the reference size, respectively. Can be tolerated. That is, the object to be detected in the change region of the size of these ranges in the range of 50% to 150% of the reference size in the horizontal direction and the range of 70% to 130% of the reference size in the vertical direction. Is determined to exist.
ここで、以上の説明では、検出すべき物体の検出条件として検出すべき物体の基準の大きさを用いているが、TVカメラから逐次入力される入力画像中での変化領域の位置変化量(すなわち、見かけ上の移動速度)を算出し、その位置変化量に応じて検出すべき物体であるか否かを判定するようにしても良い。この場合、例えば、検出すべき物体の移動速度を5km/h(1.4m/s)とし、入力画像を100ms周期で入力すると、1回の画像入力毎に検出すべき物体は0.14m移動することになる。このとき、検出すべき物体の横幅を0.5mと想定すると、上記式2で算出される基準の大きさdx3のおよそ1/3分だけ移動することになる。従って、検出すべき物体であるか否かの判定としては、例えば変化領域の位置変化量がdx3の2/3(2倍の余裕を持たせた例)以下であった場合に検出すべき物体であると判定する。このようにすることで、例えば、監視領域内の検出すべき人と検出すべきではない車輌とを区別することなどができる。
上記した物体存在判定ステップにおいて検出すべき物体が存在すると判定された場合には、次に、警報・モニタ表示ステップでは、例えば侵入物体を発見したことを表す警報を鳴らして監視員に知らせる(ステップS69)。更に、警報・モニタ表示ステップでは、
上記図12(A)に示すように監視領域内に警戒領域201を設定し、当該警戒領域201内に変化領域202の一部が含まれている場合には、検出した物体がより重要度の高い位置(上記図12(A)の例では、建造物の入口を警戒領域としている)に存在すると見なして赤色の警告灯を点灯させて監視員に注意を促し、当該警戒領域201内に変化領域202の一部が含まれていない場合には、黄色の警告灯を点灯させるような構成とすることも可能である。
Here, in the above description, the reference size of the object to be detected is used as the detection condition of the object to be detected. However, the position change amount of the change area in the input image sequentially input from the TV camera ( That is, an apparent movement speed) may be calculated, and it may be determined whether or not the object is to be detected according to the position change amount. In this case, for example, if the moving speed of the object to be detected is 5 km / h (1.4 m / s) and the input image is input at a cycle of 100 ms, the object to be detected for each image input moves 0.14 m. Will do. At this time, assuming that the horizontal width of the object to be detected is 0.5 m, the object moves by about 1/3 of the reference size dx3 calculated by the above equation 2. Therefore, for determining whether or not the object is to be detected, for example, the object to be detected when the position change amount of the change region is 2/3 or less of dx3 (an example having a margin of 2 times). It is determined that In this way, for example, it is possible to distinguish between a person to be detected and a vehicle that should not be detected in the monitoring area.
If it is determined in the object presence determination step that there is an object to be detected, then in the alarm / monitor display step, for example, an alarm indicating that an intruding object has been found is sounded to inform the monitoring staff (step S69). In the alarm / monitor display step,
As shown in FIG. 12A, when a warning area 201 is set in the monitoring area and a part of the change area 202 is included in the warning area 201, the detected object is more important. Assuming that it exists in a high position (in the example of FIG. 12A, the entrance of the building is a warning area), a red warning light is turned on to alert the observer and change into the warning area 201 When a part of the area 202 is not included, a yellow warning lamp may be turned on.
上記のような差分法を用いた従来方式では、マスク領域、検出すべき物体の基準の大きさ、警戒領域の検出条件を予め設定しておき、入力画像の輝度の変化領域の検出時や、検出した変化領域に検出すべき物体が存在するか否かを判定する際に、当該検出条件を使用する。これらの検出条件は、例えばTVカメラの画角や光軸方向を変えた場合には適切な値に設定し直す必要がある。すなわち、監視領域を変更するために、撮像レンズ(例えば、図1の撮像レンズ13)やカメラ雲台(例えば、図1のカメラ雲台12)を操作してTVカメラの画角や光軸方向を変える度に、上記した検出条件を再設定する必要がある。従って、検出条件の再設定作業中には侵入物体の監視業務が行えなくなってしまうという問題も発生する。更に、屋外などにおいて、TVカメラが風で揺れる場合などには、TVカメラの光軸方向が変化してしまい入力画像にぶれが生じる。このような場合、入力画像中に動く物体が存在すると判断されてしまうことがあり、従来の方法では、このような問題に対して、マスク領域を広めに設定することや、基準の大きさに対する許容量(上記した例では、rx、ry)を大きめに設定することや、警戒領域を広めに設定することが行われる。このため、不感帯を広く設定しなければならず、物体を検出することができる範囲が狭くなることや、変化領域の大きさ判定が正確に行われないことや、警戒領域内に存在するか否かの判定が正確に行われないような問題が発生していた。このような問題は、差分法による物体検出方法に限らず、マスク領域を使用する方式、検出した領域の大きさ判定を行う方式、警戒領域を設定して警戒領域の内外で警報の種類を変えるなどする方式に、共通に存在する問題点である。 In the conventional method using the difference method as described above, the mask area, the reference size of the object to be detected, the detection condition of the warning area are set in advance, and when the luminance change area of the input image is detected, The detection condition is used when determining whether or not an object to be detected exists in the detected change area. These detection conditions need to be reset to appropriate values when, for example, the angle of view or the optical axis direction of the TV camera is changed. That is, in order to change the monitoring area, the angle of view and the optical axis direction of the TV camera are operated by operating the imaging lens (for example, the imaging lens 13 in FIG. 1) and the camera platform (for example, the camera platform 12 in FIG. 1). It is necessary to reset the above-described detection conditions every time the value is changed. Therefore, there is a problem that the monitoring operation of the intruding object cannot be performed during the resetting operation of the detection condition. Furthermore, when the TV camera is shaken by the wind, for example, outdoors, the optical axis direction of the TV camera changes and the input image is blurred. In such a case, it may be determined that there is a moving object in the input image. In the conventional method, for such a problem, a mask area is set wider, or the reference size is reduced. The allowable amount (in the above example, rx, ry) is set larger, or the warning area is set wider. For this reason, it is necessary to set a wide dead zone, the range in which an object can be detected becomes narrow, the size of the change area cannot be accurately determined, and whether it exists in the alert area. There was a problem that such a determination could not be made accurately. Such problems are not limited to the object detection method based on the difference method, but a method using a mask area, a method for determining the size of a detected area, and setting a warning area to change the type of alarm inside or outside the warning area. It is a problem that exists in common in the method.
上述のように、従来より広く用いられている物体検出方法では、例えば、TVカメラの画角や光軸方向を変更した場合などには検出条件を再設定しなければならないという問題があり、また、カメラの揺れなどによって光軸方向が変化するような場面では不感帯を広く設定しなければならず、物体を検出することができる範囲が狭くなるという問題や、変化領域の大きさ判定或いは警戒領域内に存在するか否かの判定が正確に行えなくなるという問題があった。
これに対して、本発明の実施例に係る物体検出装置や物体検出方法では、例えば、TVカメラの画角や光軸方向を変更したような場合や、TVカメラが揺れて光軸方向が変化したような場合においても、その変化を検出して補正することにより、信頼性が高い正確な物体検出を行うことができる。
As described above, the object detection method that has been widely used conventionally has a problem that, for example, when the angle of view or the optical axis direction of the TV camera is changed, the detection condition must be reset. In a scene where the optical axis direction changes due to camera shake, etc., the dead zone must be set wide, and the problem that the range in which an object can be detected becomes narrow, the size of the change area, or the warning area There is a problem in that it is impossible to accurately determine whether or not it exists within.
On the other hand, in the object detection apparatus and the object detection method according to the embodiment of the present invention, for example, when the angle of view or the optical axis direction of the TV camera is changed, or the optical axis direction changes when the TV camera shakes. Even in such a case, accurate object detection with high reliability can be performed by detecting and correcting the change.
ここで、本発明に係る物体検出装置や物体検出方法などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係る物体検出装置や物体検出方法などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがROM( Read Only Memory )に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー( 登録商標) ディスクやCD( Compact Disc )−ROM等のコンピュータにより読み取り可能な記録媒体や当該プログラム(自体)として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
Here, the configurations of the object detection apparatus and the object detection method according to the present invention are not necessarily limited to those described above, and various configurations may be used. The present invention can also be provided as, for example, a method or method for executing the processing according to the present invention, a program for realizing such a method or method, or a recording medium for recording the program. It is also possible to provide various devices and systems.
The application field of the present invention is not necessarily limited to the above-described fields, and the present invention can be applied to various fields.
In addition, as various processes performed in the object detection apparatus and the object detection method according to the present invention, for example, a control program stored in a ROM (Read Only Memory) in a hardware resource including a processor, a memory, etc. A configuration controlled by execution may be used, and for example, each functional unit for executing the processing may be configured as an independent hardware circuit.
Further, the present invention can be grasped as a computer-readable recording medium such as a floppy (registered trademark) disk or a CD (Compact Disc) -ROM storing the above control program, or the program (itself). The processing according to the present invention can be performed by inputting the program from the recording medium to the computer and causing the processor to execute the program.
1・・撮像装置(TVカメラ)、 2・・処理装置、 3・・操作部、 4・・外部記憶装置、 5・・出力モニタ、 6・・警告灯、 11・・撮像部、 12・・カメラ雲台、 13・・撮像レンズ、 21・・画像入力部、 22・・雲台制御部、 23・・レンズ制御部、 24・・操作入力部、 25・・画像メモリ、 26・・MPU、 27・・ワークメモリ、 28・・外部入出力部、 29・・画像出力部、 30・・警報出力部、 41・・ジョイスティック、42、43・・ボタン 1 .... Imaging device (TV camera) 2 .... Processing device 3 .... Operation unit 4 .... External storage device 5 .... Output monitor 6 .... Warning lamp 11 .... Imaging unit 12 .... Camera head, 13 ... Imaging lens, 21 ... Image input unit, 22 ... Pan head control unit, 23 ... Lens control unit, 24 ... Operation input unit, 25 ... Image memory, 26 ... MPU, 27 ... Work memory 28 ... External input / output unit 29 ... Image output unit 30 ... Alarm output unit 41 ... Joystick 42,43 ...
Claims (3)
ズームアウト又は複数の撮像画像の合成により、物体検出対象となる撮像画像より広い画像を作成するステップと、
前記広い画像に対して、基準背景画像、テンプレート、マスク領域又は警戒領域、及び、大きさ情報を、物体の画像を検出するために使用される検出条件として設定する検出条件設定ステップと、
前記広い画像を作成する際の前記撮像装置のレンズの焦点距離と、前記物体検出対象となる撮像画像における該レンズの焦点距離との比を、画角の変化量として算出する画角変化算出ステップと、
前記算出された画角の変化量を、画像の水平方向をx軸、垂直方向をy軸としたときのx座標とy座標に乗算或いは除算することで、前記広い画像又は前記物体検出対象となる撮像画像の座標変換を行う画像サイズ補正ステップと、
前記画像サイズ補正ステップの後、前記広い画像に設定された前記テンプレートと前記物体検出対象となる撮像画像とのテンプレートマッチング処理により、前記物体検出対象となる撮像画像における前記光軸の方向の変化に対応する位置の変化量を検出する光軸方向変化量検出ステップと、
前記位置の変化量に基づいて平行移動された前記基準背景画像を用いて、前記物体検出対象となる撮像画像から、物体の画像の領域を差分法により検出する領域検出ステップと、
前記検出された位置の変化量に基づいて平行移動させた前記広い画像から、前記マスク領域又は前記警戒領域を抽出するマスク領域又は警戒領域補正ステップと、
前記領域検出ステップで検出された前記領域の座標を前記画像サイズ補正ステップ後の前記広い画像上の座標系へ変換し、前記広い画像上で予め設定した基準物体の垂直位置y1、y2それぞれにおける基準の幅又は高さをd1、d2、前記領域の前記変換後の垂直位置をy3としたときの、垂直位置y3における基準の幅又は高さd3を、d3=(d1−d2)・(y3−y2)/(y1−y2)+d2によって算出する大きさ条件算出ステップと、
前記マスク領域又は警戒領域補正ステップで抽出されたマスク領域又は警戒領域と、前記大きさ条件算出ステップで算出された基準の幅又は高さd3を使用して、前記領域検出ステップで検出された領域が検出すべき物体であるか否かを判定する物体存在判定ステップと、
を有することを特徴とする物体検出方法。 In an object detection method for detecting an image of an object included in a captured image obtained from an imaging device in which the direction of the optical axis and the angle of field of view are variable,
Creating an image wider than the captured image to be detected by zooming out or synthesizing a plurality of captured images;
A detection condition setting step for setting a reference background image, a template, a mask area or a warning area, and size information as detection conditions used for detecting an image of an object for the wide image;
An angle-of-view change calculation step of calculating a ratio of the focal length of the lens of the imaging device when creating the wide image and the focal length of the lens in the captured image that is the object detection target as a change amount of the angle of view. When,
By multiplying or dividing the calculated amount of change in the angle of view by multiplying or dividing the x-coordinate and y-coordinate when the horizontal direction of the image is the x-axis and the vertical direction is the y-axis, An image size correction step for performing coordinate conversion of the captured image,
After the image size correction step, a template matching process between the template set for the wide image and the captured image to be the object detection target is used to change the direction of the optical axis in the captured image to be the object detection target. An optical axis direction change detection step for detecting a change in the corresponding position;
A region detection step of detecting a region of an object image from the captured image to be the object detection target by using a difference method , using the reference background image translated based on the amount of change in the position ;
A mask area or a warning area correction step for extracting the mask area or the warning area from the wide image translated based on the detected change amount of the position;
The coordinates of the area detected in the area detection step are converted into the coordinate system on the wide image after the image size correction step, and the reference at the vertical positions y1 and y2 of the reference object set in advance on the wide image is obtained. the width or height d1, d2, when the vertical position after the transformation of the area and y3, the reference width or height d3 of the vertical position y3, d3 = (d1-d2 ) · (y3- a size condition calculating step of calculating by y2) / (y1-y2) + d2 ;
The area detected in the area detection step using the mask area or the warning area extracted in the mask area or the warning area correction step and the reference width or height d3 calculated in the size condition calculation step An object presence determination step for determining whether or not is an object to be detected;
An object detection method characterized by comprising:
ズームアウト又は複数の撮像画像の合成により、物体検出対象となる撮像画像より広い画像を作成する手段と、
前記広い画像に対して、基準背景画像、テンプレート、マスク領域又は警戒領域、及び、大きさ情報を、物体の画像を検出するために使用される検出条件として設定する検出条件設定手段と、
前記広い画像を作成する際の前記撮像装置のレンズの焦点距離と、前記物体検出対象となる撮像画像における該レンズの焦点距離との比を、画角の変化量として算出する画角変化算出手段と、
前記算出された画角の変化量を、画像の水平方向をx軸、垂直方向をy軸としたときのx座標とy座標に乗算或いは除算することで、前記広い画像又は前記物体検出対象となる撮像画像の座標変換を行う画像サイズ補正手段と、
前記座標変換の後、前記広い画像に設定された前記テンプレートと前記物体検出対象となる撮像画像とのテンプレートマッチング処理により、前記物体検出対象となる撮像画像における前記光軸の方向の変化に対応する位置の変化量を検出する光軸方向変化量検出手段と、
前記位置の変化量に基づいて平行移動された前記基準背景画像を用いて、前記物体検出対象となる撮像画像から物体の画像の領域を差分法により検出する領域検出手段と、
前記検出された位置の変化量に基づいて平行移動させた前記広い画像から、前記マスク領域又は前記警戒領域を抽出するマスク領域又は警戒領域補正手段と、
前記領域検出手段で検出された前記領域の座標を前記座標変換後の前記広い画像上の座標系へ変換し、前記広い画像上で予め設定した基準物体の垂直位置y1、y2それぞれにおける基準の幅又は高さをd1、d2、前記領域の前記変換後の垂直位置をy3としたときの、垂直位置y3における基準の幅又は高さd3を、d3=(d1−d2)・(y3−y2)/(y1−y2)+d2によって算出する大きさ条件算出手段と、
前記マスク領域又は警戒領域補正手段で抽出されたマスク領域又は警戒領域と、前記大きさ条件算出手段で算出された基準の幅又は高さd3を使用して、前記領域検出手段で検出された領域が検出すべき物体であるか否かを判定する物体存在判定手段と、
を有することを特徴とする物体検出装置。 In an object detection device that detects an image of an object included in a captured image obtained from an imaging device in which the direction of the optical axis and the angle of field of view are variable,
Means for creating an image wider than the captured image to be detected by zooming out or synthesizing a plurality of captured images;
Detection condition setting means for setting a reference background image, a template, a mask area or a warning area, and size information as detection conditions used for detecting an image of an object with respect to the wide image;
Field angle change calculation means for calculating a ratio between the focal length of the lens of the imaging device when creating the wide image and the focal length of the lens in the captured image as the object detection target as the amount of change in the angle of view. When,
By multiplying or dividing the calculated amount of change in the angle of view by multiplying or dividing the x-coordinate and y-coordinate when the horizontal direction of the image is the x-axis and the vertical direction is the y-axis, Image size correction means for performing coordinate conversion of the captured image,
After the coordinate transformation, a template matching process between the template set for the wide image and the captured image that is the object detection target is used to cope with a change in the direction of the optical axis in the captured image that is the object detection target. An optical axis direction change amount detecting means for detecting a change amount of the position;
Area detecting means for detecting an area of an image of an object from a captured image to be detected by the object using a difference method , using the reference background image translated based on the amount of change in the position ;
A mask area or a warning area correction means for extracting the mask area or the warning area from the wide image translated based on the detected change in position;
The coordinates of the area detected by the area detecting means are converted into the coordinate system on the wide image after the coordinate conversion, and the reference widths at the respective vertical positions y1 and y2 of the reference object set in advance on the wide image Alternatively, the reference width or height d3 at the vertical position y3 when the height is d1, d2 and the converted vertical position of the region is y3 is d3 = (d1-d2) · (y3-y2) Size condition calculating means for calculating by / (y1-y2) + d2 ,
The area detected by the area detection means using the mask area or the warning area extracted by the mask area or the warning area correction means and the reference width or height d3 calculated by the size condition calculation means Object presence determination means for determining whether or not is an object to be detected;
An object detection apparatus comprising:
前記検出条件は、前記テンプレートは、建物の屋根又はひさし或いはドアノブを含むように複数設定し、
前記光軸方向変化量検出ステップは、前記テンプレートマッチング処理に際して、撮像装置のパン、チルトの情報を併用するものであり、
前記光軸方向変化量検出ステップの後に、前記検出された位置の変化量に基づいて、前記広い画像から所定の領域を抽出し、基準背景画像とする基準背景画像位置補正ステップと、
前記物体存在判定ステップで物体が存在すると判定した場合に、該判定した物体が警戒領域の中か外かによって異なる種類の警報を出力又は表示する警報ステップと、を新たに備え、
前記作成するステップは、前記広い画像を前記ズームアウトにより作成する場合は、前記撮像装置を、前記物体検出対象となる撮像画像と比べて高精細な画像が得られるような撮影モードで使用することを特徴とする物体検出方法。 The object detection method according to claim 1,
The detection condition is, before Symbol template, a plurality of sets to include the roof or eaves or doorknob building,
The optical axis direction change amount detecting step uses pan and tilt information of the image pickup apparatus together in the template matching process.
After the optical axis direction change detection step, based on the detected change in position, a predetermined region is extracted from the wide image and used as a reference background image.
A warning step for outputting or displaying a different type of warning depending on whether the determined object is inside or outside the warning area when it is determined in the object presence determination step ;
The step of creating pre SL, when creating the wide image by the zoom out, the imaging device is used in shooting mode such as high-definition image can be obtained as compared with the captured image to be the object detected An object detection method characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006337453A JP4572190B2 (en) | 2006-12-14 | 2006-12-14 | Object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006337453A JP4572190B2 (en) | 2006-12-14 | 2006-12-14 | Object detection device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003367793A Division JP2005135014A (en) | 2003-10-28 | 2003-10-28 | Object detection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007149107A JP2007149107A (en) | 2007-06-14 |
JP4572190B2 true JP4572190B2 (en) | 2010-10-27 |
Family
ID=38210380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006337453A Expired - Fee Related JP4572190B2 (en) | 2006-12-14 | 2006-12-14 | Object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4572190B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5178797B2 (en) * | 2010-09-13 | 2013-04-10 | キヤノン株式会社 | Display control apparatus and display control method |
WO2015063986A1 (en) * | 2013-10-30 | 2015-05-07 | 日本電気株式会社 | Moving body detection system |
JP6046286B1 (en) * | 2016-01-13 | 2016-12-14 | 東芝エレベータ株式会社 | Image processing device |
JP6319670B2 (en) * | 2016-03-11 | 2018-05-09 | パナソニックIpマネジメント株式会社 | Surveillance camera and surveillance camera system having the same |
JP2020156056A (en) * | 2019-03-22 | 2020-09-24 | Necエンベデッドプロダクツ株式会社 | Imaging control device, imaging control method, program, and analysis system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285695A (en) * | 2000-03-30 | 2001-10-12 | Nec Corp | Mobile body tracking method and device therefor |
JP2002101412A (en) * | 2000-09-22 | 2002-04-05 | Sanyo Electric Co Ltd | Video processing method and video processor |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10105840A (en) * | 1996-09-30 | 1998-04-24 | Hitachi Denshi Ltd | Automatic intrusion detection system |
-
2006
- 2006-12-14 JP JP2006337453A patent/JP4572190B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285695A (en) * | 2000-03-30 | 2001-10-12 | Nec Corp | Mobile body tracking method and device therefor |
JP2002101412A (en) * | 2000-09-22 | 2002-04-05 | Sanyo Electric Co Ltd | Video processing method and video processor |
Also Published As
Publication number | Publication date |
---|---|
JP2007149107A (en) | 2007-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7596240B2 (en) | Object tracking method and object tracking apparatus | |
CN112217998B (en) | Imaging device, information processing device, control method thereof, and storage medium | |
US7911500B2 (en) | Image processing device, computer readable recording medium, and image processing method | |
JP2016115214A (en) | Image processor, image processing method, and program | |
JP2005135014A (en) | Object detection system | |
US20110090341A1 (en) | Intruding object detection system and controlling method thereof | |
US20050052533A1 (en) | Object tracking method and object tracking apparatus | |
US11190747B2 (en) | Display control apparatus, display control method, and storage medium | |
JP2016127571A (en) | Camera system, display control device, display control method, and program | |
JP4572190B2 (en) | Object detection device | |
KR101778744B1 (en) | Monitoring system through synthesis of multiple camera inputs | |
KR102282470B1 (en) | Camera apparatus and method of object tracking using the same | |
JP2004535610A (en) | System and method for robust separation of foreground and background image data for determination of the position of an object in front of a controllable display in a camera view | |
JP5183152B2 (en) | Image processing device | |
JP2006311099A (en) | Device and method for automatic tracking | |
JP4171310B2 (en) | Intruder detection method and intruder detection apparatus | |
JP3828096B2 (en) | Object tracking device | |
JP2005057743A (en) | Object tracking method and object tracking apparatus | |
JP5015121B2 (en) | Imaging device | |
KR100452100B1 (en) | Method and apparatus for controlling a view field of an image picking-up apparatus and computer program therefor | |
KR100457302B1 (en) | Auto tracking and auto zooming method of multi channel by digital image processing | |
KR20170055455A (en) | Camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it | |
JP2000059762A (en) | Camera controller, method and computer-readable storage medium thereof | |
JP2005100388A (en) | Object tracking method | |
US20230328394A1 (en) | Information processing apparatus displaying captured image captured by imaging apparatus on display unit, information processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100305 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100629 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100803 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100816 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4572190 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140820 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |