JP3294468B2 - Object detection method in video monitoring device - Google Patents

Object detection method in video monitoring device

Info

Publication number
JP3294468B2
JP3294468B2 JP11862995A JP11862995A JP3294468B2 JP 3294468 B2 JP3294468 B2 JP 3294468B2 JP 11862995 A JP11862995 A JP 11862995A JP 11862995 A JP11862995 A JP 11862995A JP 3294468 B2 JP3294468 B2 JP 3294468B2
Authority
JP
Japan
Prior art keywords
image
similarity
sign
region
difference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP11862995A
Other languages
Japanese (ja)
Other versions
JPH08317373A (en
Inventor
渡 伊藤
博唯 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP11862995A priority Critical patent/JP3294468B2/en
Priority to US08/646,018 priority patent/US6088468A/en
Priority to DE69622476T priority patent/DE69622476T2/en
Priority to EP96303303A priority patent/EP0749098B1/en
Priority to KR1019960016320A priority patent/KR100259737B1/en
Publication of JPH08317373A publication Critical patent/JPH08317373A/en
Application granted granted Critical
Publication of JP3294468B2 publication Critical patent/JP3294468B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、テレビジョンカメラを
用いた映像監視装置に係り、特に危険区域に入ってくる
物体の検出など、極めて高い信頼性が要求される場合に
好適な映像監視装置における物体検出方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video surveillance system using a television camera, and more particularly to a video surveillance system suitable for a case where extremely high reliability is required, such as detection of an object entering a dangerous area. In the object detection method .

【0002】[0002]

【従来の技術】テレビジョンカメラを用いた映像監視装
置は、近年、広く一般的に用いられているが、このよう
な監視システムにおいては、単に画像モニタによる有人
監視ではなく、その監視視野内に入り込んでくる人間や
自動車などの物体を、画像信号から自動的に検出し、所
定の報知や警報処置が得られるようにしたシステムが要
求されるようになってきているが、このときには、画像
信号から、信号処理により物体を検出する必要がある。
2. Description of the Related Art In recent years, a video surveillance device using a television camera has been widely and generally used. However, in such a surveillance system, not only manned surveillance by an image monitor but also within a surveillance field of view is required. A system that automatically detects an intruding object such as a human or a car from an image signal and obtains a predetermined notification or alarm is required. Therefore, it is necessary to detect an object by signal processing.

【0003】ところで、このような画像信号の処理によ
り物体を検出する方法の従来技術としては、逐次入力さ
れる画像の最新の画像を古い画像と比較し、画素毎に輝
度値の差分を求め、その差分値の大きい領域を物体とし
て検出する方法が知られており、広く用いられている。
By the way, as a prior art of such a method of detecting an object by processing an image signal, a latest image of sequentially input images is compared with an old image, and a difference in luminance value is obtained for each pixel. A method of detecting an area having a large difference value as an object is known and widely used.

【0004】この従来技術による方法の基本的な流れを
図8に示す。すなわち、この従来技術では、まず処理8
1で画像の取込みを行ない、次に処理82では輝度値の
差分を求め、その差分を処理83で二値化し、最後に処
理84で、この二値化したデータを所定の閾値で判定し
て物体を検出するようになっている。
FIG. 8 shows a basic flow of this prior art method . That is, in this prior art, first, processing 8
At step 1, an image is captured. Then, at step 82, a difference between luminance values is obtained. The difference is binarized at step 83. Finally, at step 84, the binarized data is determined by a predetermined threshold. An object is detected.

【0005】しかし、この従来技術のように、単純に差
分を求めただけでは、図9(a)に示すように、検出すべ
き物体90に部分的な欠落部分91が生じ、誤検出の問
題がある。
However, if the difference is simply obtained as in the prior art, as shown in FIG. 9A, a partially missing portion 91 occurs in the object 90 to be detected, and the problem of erroneous detection is caused. There is.

【0006】しかしながら、上記従来技術の問題につい
ては、膨張・収縮演算を適用することにより解決でき
る。
However, the above-mentioned problem of the prior art can be solved by applying an expansion / contraction operation.

【0007】このような、差分処理による移動物体の検
方法の応用例としては、例えば1994年7月発行、
“O plus E” No.176,pp.122-136,に記載の 上田
他1による『画像認識技術を用いたインテリジェント映
像ハンドリング』と題する論文がある。
As an application example of the moving object detection method by the difference processing, for example, published in July 1994,
Ueda described in “O plus E” No.176, pp.122-136
There is a paper entitled "Intelligent Video Handling Using Image Recognition Technology" by another one.

【0008】この論文による移動物体の検出方法は、時
間的に連続した三枚の画像から物体の検出を行なうよう
にしたもので、図11に示すように、まず、時間的に連
続する画像111、112、113を入力画像とし、画
像111と画像112の輝度差分と、画像112と画像
113の輝度差分をそれぞれ計算し、二値化してから膨
張・収縮演算を行って画像114及び画像115を得
る。次に、これらの二値化画像114と115のAND
処理により各画像の共通部分を求め、物体の画像116
を得るのである。
The method for detecting a moving object according to this paper is such that an object is detected from three images which are consecutive in time, and as shown in FIG. , 112, and 113 as input images, calculate the luminance difference between the image 111 and the image 112, and the luminance difference between the image 112 and the image 113, binarize the image, and perform the dilation / contraction operation to obtain the image 114 and the image 115. obtain. Next, the AND of these binarized images 114 and 115
The common part of each image is obtained by the processing, and the image 116 of the object is obtained.
You get

【0009】しかしながら、この方法によっても、図9
に示すように、 (b) 照明変動に伴う背景92の誤検出93。 (c) 入り込んだ物体が発光している場合、その光の反射
している領域94による誤検出95。 (d) 入り込んだ物体の影の領域96による誤検出97。
という問題が残り、この結果、実際には物体が画像視野
内に存在していないにもかかわらず、存在していると誤
検出してしまう虞れがあった。
However, according to this method , FIG.
(B) False detection 93 of the background 92 due to illumination fluctuation. (c) If the entering object emits light, an erroneous detection 95 due to the light-reflecting area 94. (d) False detection 97 by the shadow area 96 of the entered object.
As a result, there is a risk that the object may be erroneously detected as being present even though the object is not actually present in the image visual field.

【0010】[0010]

【発明が解決しようとする課題】従来技術は、前記した
ように、物体誤検出の点について充分に配慮がされてい
るとはいえず、図9(b)に示したように、照明変動に伴
う背景による誤検出93の問題があり、さらに図9(c)
に示したように、車のヘッドライトのように物体が発光
している場合、その光の反射している領域94による誤
検出95の問題や、図9(d)に示したように、入り込ん
だ物体の影の領域96による誤検出97の問題があっ
た。
In the prior art, as described above, it cannot be said that sufficient consideration is given to the point of erroneous detection of an object, and as shown in FIG. There is a problem of false detection 93 due to the background, and FIG. 9 (c)
As shown in FIG. 9, when an object emits light such as a headlight of a car, the problem of erroneous detection 95 due to the light-reflecting area 94 or the intrusion as shown in FIG. There is a problem of false detection 97 due to the shadow area 96 of the object.

【0011】そして、これら誤検出の問題は、特に踏切
に進入する歩行者や車両などの物体の監視に応用した場
合には、ほとんど致命的なものとなりかねず、従って、
応用範囲が限られてしまうという欠点があった。
The problem of erroneous detection can be almost fatal, especially when applied to monitoring of objects such as pedestrians and vehicles entering a railroad crossing.
There is a disadvantage that the range of application is limited.

【0012】本発明の第1の目的は、画像信号の画面内
に存在している物体の像だけを容易に識別でき、監視し
ている視野内に入り込んだ物体が常に確実に検出できる
ようにした映像監視装置における物体検出方法を提供す
ることにある。
A first object of the present invention is to make it possible to easily identify only an image of an object present in a screen of an image signal, and to surely detect an object entering a field of view being monitored. The object of the present invention is to provide an object detection method in a video monitoring device.

【0013】また、本発明の第2の目的は、監視してい
る視野内に局所的に温度を異にする部分が現われた場
合、それを確実に検出できるようにした映像監視装置に
おける物体検出方法を提供することにある。
A second object of the present invention is to provide a video surveillance device which can reliably detect a portion where the temperature differs locally in the field of view being monitored. It is to provide a method .

【0014】[0014]

【課題を解決するための手段】まず、第1の本発明によ
れば、上記第1の目的は、図8に示した従来技術による
物体検出方法の基本的な処理に、図1に示すように、符
号情報保存ステップ13と、符号に応じて分岐する判断
処理ステップ14、それに第1の二値化処理ステップ1
5と第2の二値化処理ステップ16を付加し、これら第
1の二値化処理ステップ15と第2の二値化処理ステッ
プ16の閾値を異ならしめておくことにより達成され
る。なお、括弧を付して示してある数字は、他の図にお
ける同じ処理内容のステップを表わす。
First, according to a first aspect of the present invention, the first object is to provide a basic processing of the conventional object detection method shown in FIG. 8 as shown in FIG. First, a code information storage step 13, a decision processing step 14 for branching according to the code, and a first binarization processing step 1
This is achieved by adding 5 and the second binarization processing step 16 and making the thresholds of the first binarization processing step 15 and the second binarization processing step 16 different. The numbers in parentheses indicate steps having the same processing contents in other figures.

【0015】次に、第2の本発明によれば、上記第1の
目的は、図2に示すように、図1に示した第1の本発明
の構成において、類似度の計算処理ステップ24と、差
分値の情報に類似度の情報を加えて閾値判定をする第1
と第2の二値化処理ステップ26、27を付加すること
により達成される。
Next, according to a second aspect of the present invention, the first object is, as shown in FIG. 2, the similarity calculating step 24 in the configuration of the first aspect of the present invention shown in FIG. And the first for performing threshold determination by adding similarity information to difference value information
And the second binarization processing steps 26 and 27 are added.

【0016】また、第3の本発明によれば、上記第1の
目的は、図3に示すように、類似度の高低によって2種
の領域37、38の何れかに分類する判断処理ステップ
36を付加し、領域37と領域38を区別して検出する
ようにして達成される。
According to the third aspect of the present invention, the first object is, as shown in FIG. 3, a judgment processing step of classifying into one of the two regions 37 and 38 according to the degree of similarity. Is added, and the region 37 and the region 38 are detected separately.

【0017】次に、第4の本発明によれば、上記第2の
目的は、図2に示した第2の本発明の構成において、撮
像手段として赤外線撮像装置を用い、符号が正になった
ときの処理として、図6に示すように、入力画像と背景
画像の局所的な輝度分布形状の類似度の評価処理ステッ
プ67を付加することにより達成される。
According to a fourth aspect of the present invention, the second object is to use an infrared imaging device as the imaging means in the configuration of the second invention shown in FIG. As shown in FIG. 6, this processing is achieved by adding an evaluation processing step 67 of the similarity between the local luminance distribution shape of the input image and the background image.

【0018】また、第5の本発明によれば、上記第2の
目的は、図2に示した第2の本発明の構成において、撮
像手段として赤外線撮像装置を用い、符号が負になった
場合の処理として、図7に示すように、入力画像と背景
画像の局所的な輝度分布形状の類似度の評価処理ステッ
プ77を付加することにより達成される。
According to the fifth aspect of the present invention, the second object is that, in the configuration of the second aspect of the present invention shown in FIG. 2, an infrared imaging device is used as the imaging means, and the sign is negative. As shown in FIG. 7, the processing in this case is achieved by adding an evaluation processing step 77 of the similarity between the local luminance distribution shape of the input image and the background image.

【0019】[0019]

【作用】図1において、テレビジョンカメラから画像入
力処理ステップ11により画像が取込まれると、差分処
理ステップ12では、この取込まれた入力画像と、予め
作成した背景画像との輝度値の差分が計算される。次
に、符号情報保存処理ステップ13では輝度の差分値の
符号が保存される。そして、判断処理ステップ14で
は、この符号に応じて処理の分岐がなされ、正負の符号
に応じて第1の二値化処理ステップ15、又は第2の二
値化処理ステップ16の何れか実行される。
In FIG. 1, when an image is fetched from a television camera in an image input processing step 11, a difference processing step 12 calculates a difference between a luminance value of the fetched input image and a previously created background image. Is calculated. Next, in the sign information storage processing step 13, the sign of the luminance difference value is stored. Then, in the judgment processing step 14, the processing branches according to this sign, and either the first binarization processing step 15 or the second binarization processing step 16 is executed according to the positive or negative sign. You.

【0020】これら第1と第2の二値化処理ステップ1
5、16は、それぞれその閾値が変えてあり、この結
果、背景画像に対して輝度値変化が正負で性質が異なる
場合でも正確な二値化処理が得られ、確実な物体検出1
7が可能になる。
These first and second binarization processing steps 1
5 and 16 have different threshold values. As a result, accurate binarization processing can be obtained even when the luminance value change is positive and negative with respect to the background image and the characteristics are different.
7 becomes possible.

【0021】すなわち、背景画像に対する入力画像の変
化が、例えば曇天から晴天になったり、ライトで照らさ
れたりして、画像が明るくなったことにより、正になっ
たときと、変化が、例えば、物体に影が生じたりして、
画像が暗くなったことにより、負になったときとでは、
変化量の度合いが異なり、従来技術のように、単に差の
絶対値を二値化したのでは、この変化の度合いに対応で
きない。
That is, when the change of the input image with respect to the background image becomes positive due to the image becoming brighter, for example, from cloudy to clear or illuminated by a light, the change is, for example, Shadows on objects,
When the image becomes darker and becomes negative,
The degree of change is different, and simply binarizing the absolute value of the difference as in the related art cannot cope with this degree of change.

【0022】しかるに、この図1の方法では、変化の方
向、つまり正か負かにより閾値を変えているので、変化
量の度合いに柔軟に対応でき、正確な検出が可能になる
のである。
However, in the method shown in FIG. 1, the threshold value is changed depending on the direction of change, that is, whether the threshold value is positive or negative. Therefore, it is possible to flexibly cope with the degree of the change amount and to perform accurate detection.

【0023】図2において、図1の処理に入力画像と背
景画像の局所的な輝度分布形状の類似度の計算処理ステ
ップ24を付加し、第1の二値化処理ステップ26及び
第2の二値化処理ステップ27における二値化のための
条件に類似度を含ませるようにしたので、さらに変化度
の度合いに柔軟に対応でき、さらに正確な検出が可能に
なる。
In FIG. 2, a processing step 24 for calculating the similarity between the local luminance distribution shapes of the input image and the background image is added to the processing of FIG. 1, and a first binarizing processing step 26 and a second binarizing processing step are performed. Since the similarity is included in the binarization condition in the binarization processing step 27, the degree of change can be flexibly dealt with, and more accurate detection can be performed.

【0024】ここで、この類似度とは、入力画像と背景
画像中の局所的な輝度分布の形状の相関を表わすもの
で、いま、図10において、101に示す背景画像に対
して、環境での照度変化により、入力画像が、102で
示すように全体的に暗くなった場合でも、背景画像10
1中の白線や軌道などのパターンは、そのまま残ってい
るため、背景画像101の局所領域、例えば領域104
と、入力画像102での局所領域105とでは、類似度
が高くなっている。
Here, the similarity represents the correlation between the shape of the local luminance distribution in the input image and the background image, and in FIG. Even if the input image becomes dark as a whole as shown by 102 due to the change in illuminance of
Since the patterns such as the white line and the trajectory in 1 remain as they are, a local region of the background image 101, for example, the region 104
And the local area 105 in the input image 102 have a high degree of similarity.

【0025】一方、入力画像に、103で示すように、
物体(車両)106が存在している領域では、この物体1
06が背景を遮蔽しているため、背景画像中の白線や軌
道などのパターンは残っておらず、従って、領域104
と領域106とでは、類似度が低くなっている。
On the other hand, as shown by 103 in the input image,
In the area where the object (vehicle) 106 exists, the object 1
06 blocks the background, no patterns such as white lines and trajectories remain in the background image.
And the region 106 have a low similarity.

【0026】そこで、図3において、二値化処理ステッ
プ35の次に、この類似度による領域評価ステップ36
を設けることにより、背景画像の輝度が変化した領域
と、物体が存在している領域など、性質の異なる二領域
を分離することができる。
Therefore, in FIG. 3, following the binarization processing step 35, an area evaluation step 36 based on the similarity is performed.
Is provided, it is possible to separate two regions having different properties, such as a region where the luminance of the background image has changed, and a region where the object is present.

【0027】次に、図4において、図2の処理におい
て、符号が正になった場合に、入力画像と背景画像の局
所的な輝度分布形状の類似度を評価する判断処理ステッ
プ47を付加することにより、図9(c)の場合のよう
に、ライトなどからの光によって明るくなった領域94
が存在した場合、それと分離して物体の検出49が得ら
れるため、さらに正確に物体を検出できる。
Next, in FIG. 4, in the processing of FIG. 2, when the sign becomes positive, a judgment processing step 47 for evaluating the similarity of the local luminance distribution shape between the input image and the background image is added. As a result, as shown in FIG. 9C, the area 94 brightened by light from a light or the like.
Is present, the object detection 49 is obtained separately from the object, so that the object can be detected more accurately.

【0028】すなわち、ライトなどによって明るくなっ
た領域は、図9(c)における領域94で示すように、輝
度値は高くなるものの路面パターンは残っているため、
図10における局所領域104と105の場合と同様に
類似度が高くなる。従って、この類似度を用いることに
より、ライトによって明るくなった領域94と物体とが
確実に判別できるのである。
That is, as shown by an area 94 in FIG. 9 (c), the area which has become brighter due to a light or the like has a higher luminance value but the road surface pattern remains.
Similarity increases as in the case of the local regions 104 and 105 in FIG. Therefore, by using this similarity, the region 94 brightened by the light can be reliably distinguished from the object.

【0029】次に、図5において、図2の処理におい
て、符号が負になった場合に、入力画像と背景画像の局
所的な輝度分布形状の類似度を評価する判断処理ステッ
プ57を付加することにより、図9(d)の場合のよう
に、影によって暗くなった領域96が存在した場合、そ
れから識別して物体の検出59が得られるため、さらに
正確に物体を検出できる。
Next, in FIG. 5, when the sign becomes negative in the processing of FIG. 2, a judgment processing step 57 for evaluating the similarity of the local luminance distribution shape between the input image and the background image is added. Thus, as in the case of FIG. 9D, in the case where the region 96 darkened by the shadow exists, the object detection 59 can be obtained by identifying the region 96, so that the object can be detected more accurately.

【0030】すなわち、影によって暗くなった領域は、
図9(d)における領域96で示すように、輝度値は低く
なるものの路面パターンは残っているため、図10にお
ける局所領域104と105の場合と同様に類似度は高
くなる。
That is, the area darkened by the shadow is
As shown by an area 96 in FIG. 9D, although the luminance value is low, the road surface pattern remains but the similarity is high as in the case of the local areas 104 and 105 in FIG.

【0031】従って、この類似度を用いることにより、
影によって暗くなった領域96と物体とを確実に判別す
ることができるのである。
Therefore, by using this similarity,
The object 96 can be reliably distinguished from the region 96 darkened by the shadow.

【0032】図6において、入力画像と背景画像の局所
的な輝度分布形状の類似度の評価処理ステップ67を付
加することにより、局所的に温度が上昇した領域を検出
することができる。
In FIG. 6, by adding an evaluation processing step 67 of the similarity between the local luminance distribution shape of the input image and the background image, it is possible to detect a region where the temperature is locally increased.

【0033】すなわち、局所的に温度が上昇した領域
は、その領域と上昇しなかった領域とに輝度分布の差が
生じるため、輝度分布形状の類似度は低くなる。例え
ば、火砕流検知に応用した場合において、火砕流により
溶岩ドームが形成された部分は、局所的に急激に温度が
上昇するため、類似度が低くなるが、他方、火砕流によ
り暖められた雲などでは、ほぼ全体で温度が均一に上昇
するため、類似度は高くなる。
That is, in a region where the temperature is locally increased, a difference in luminance distribution is generated between the region and the region where the temperature is not increased, so that the similarity of the luminance distribution shape is low. For example, when applied to pyroclastic flow detection, the portion where the lava dome was formed by the pyroclastic flow locally sharply rises in temperature, resulting in lower similarity, but on the other hand, in clouds heated by the pyroclastic flow, The similarity is high because the temperature rises almost uniformly throughout.

【0034】従って、類似度の評価処理ステップ67を
設けることにより、暖められた雲の部分と火砕流部分を
分離することができるのである。
Therefore, by providing the similarity evaluation processing step 67, it is possible to separate the heated cloud portion and the pyroclastic flow portion.

【0035】図7において、入力画像と背景画像の局所
的な輝度分布形状の類似度の評価処理ステップ77を付
加することにより、局所的に温度が下降した領域を検出
することができる。
In FIG. 7, by adding an evaluation processing step 77 of the similarity between the local luminance distribution shape of the input image and the background image, it is possible to detect a region where the temperature has dropped locally.

【0036】すなわち、局所的に温度が下降した領域
は、その領域と下降しなかった領域とに輝度分布の差が
生じるため、輝度分布形状の類似度は低くなる。例え
ば、火砕流検知に応用した場合において、溶岩ドームが
崩落した部分は、熱源が下に落ちてしまうので、その温
度は急激に低下してしまうため、類似度は低くなるが、
他方、火砕流によって暖められた雲などでは、熱源によ
る加熱が減ったとしても、全体がほぼ均一に冷却され温
度が下降するので、類似度は高くなる。
That is, in a region where the temperature has locally decreased, a difference in luminance distribution occurs between the region and the region where the temperature has not decreased, so that the similarity of the luminance distribution shape is low. For example, when applied to pyroclastic flow detection, where the lava dome collapses, the heat source falls down, the temperature drops rapidly, and the similarity decreases,
On the other hand, in a cloud or the like heated by a pyroclastic flow, even if the heating by the heat source is reduced, the whole is almost uniformly cooled and the temperature is lowered, so that the similarity is high.

【0037】従って、類似度の評価処理ステップ77に
より、これらを分離して検出することができるのであ
る。
Accordingly, these can be separated and detected by the similarity evaluation processing step 77.

【0038】[0038]

【実施例】以下、本発明による物体検出方法について、
図示の実施例により詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an object detection method according to the present invention will be described.
This will be described in detail with reference to the illustrated embodiment.

【0039】以下に説明する実施例は、踏切内に進入し
た歩行者や、自動車なとの物体を検出する映像監視装置
に本発明を適用したもので、踏切全体を監視できる位置
にテレビジョンカメラを設置し、それにより得られる画
像信号を処理して物体を検出するようにしたものであ
る。
In the embodiment described below, the present invention is applied to a video surveillance device for detecting a pedestrian entering a railroad crossing or an object such as a car, and a television camera is provided at a position where the entire railroad crossing can be monitored. Is installed, and an image signal obtained thereby is processed to detect an object.

【0040】図12は、本発明の一実施例が適用された
映像監視装置の一例で、上記したテレビジョンカメラ1
21で監視区域(監視視野)を撮像して得た画像信号は、
入力I/F123を介してデータバス122に入力さ
れ、画像メモリ124に蓄積される。
FIG. 12 shows an example of a video monitoring apparatus to which an embodiment of the present invention is applied.
The image signal obtained by imaging the monitoring area (monitoring field) at 21 is
The data is input to the data bus 122 via the input I / F 123 and stored in the image memory 124.

【0041】一方、CPU126は、プログラムメモリ
127に格納されているプログラムに従ってワークメモ
リ125内で画像解析し、物体検出処理を実行し、その
結果に応じて、出力I/F128を介して警報ランプ1
30を点灯させたり、画像出力I/F129を介してモ
ニタ131に画像を表示させたりするようになってい
る。
On the other hand, the CPU 126 analyzes the image in the work memory 125 according to the program stored in the program memory 127, executes the object detection processing, and, depending on the result, outputs the alarm lamp 1 via the output I / F 128.
30 is turned on, and an image is displayed on the monitor 131 via the image output I / F 129.

【0042】図13は、CPU126による物体検出処
理の一実施例を示したもので、この実施例による処理
は、図4及び図5の処理を組合わせ、それに背景画像更
新処理を付加したものである。
FIG. 13 shows an embodiment of the object detection process by the CPU 126. The process according to this embodiment is a combination of the processes of FIGS. 4 and 5 and a background image updating process added thereto. is there.

【0043】図13の処理が開始されると、まず画像入
力処理ステップ141では、カメラ121で撮像された
画像信号が、320×240画素の画像データf(x,
y)として取り込まれる。次に、判定ステップ143で
は、新しい背景画像が作成できたか否かを判定する。こ
の背景画像の作成は、CPU126が図14に示した処
理を並列に実行することによって行われる。この図14
の処理に入ると、まず、処理ステップ161では、入力
画像を0.2秒間隔で20フレーム分、取り込んで保存
(記憶)する。
When the processing in FIG. 13 is started, first, in an image input processing step 141, an image signal captured by the camera 121 is converted into image data f (x,
y). Next, in determination step 143, it is determined whether a new background image has been created. The generation of the background image is performed by the CPU 126 executing the processing shown in FIG. 14 in parallel. This FIG.
First, in processing step 161, the input image is captured and stored at an interval of 0.2 seconds for 20 frames.
(Remember.

【0044】次に、処理ステップ162では、これら保
存された20フレームの画像について、各画素毎に、
(1)式によりメディアンを計算して、背景画像データr
(x,y)を作成する。
Next, in processing step 162, for each of the pixels of the stored 20-frame image,
Calculate the median according to equation (1) and calculate the background image data r
Create (x, y).

【0045】[0045]

【数1】 (Equation 1)

【0046】ここで、med{ }がメディアンを表わしてお
り、この(1)式の場合は、20フレームの画像につい
て、それぞれの同じ画素を輝度値順に並べ、その10番
目の値(中間の値)の画素を取り出して背景画像データr
(x,y)とすることを表わしており、これにより、新し
い背景画像163を得るのである。従って、背景画像1
63=画像データr(x,y)となる。
Here, med {} represents a median. In the case of equation (1), the same pixels are arranged in order of luminance value in an image of 20 frames, and the tenth value (intermediate value) is obtained. ) To extract the background image data r
(x, y), whereby a new background image 163 is obtained. Therefore, the background image 1
63 = image data r (x, y)

【0047】図13の処理に戻り、背景画像の作成が終
了していた場合には、処理ステップ143で、それまで
の背景画像を、いま作成された新しい背景画像に更新し
てから次の処理ステップ144に進むが、終了していな
かったときは、そのまま差分処理ステップ144に進
み、ここでは、入力画像を2×2画素からなるブロック
に分割し、全体を160×120個のブロック化領域f
n(i,j)としてから、それぞれのブロック化領域の輝
度平均Afを求めるのである。ここで、nはブロックの
番号で、i,jはブロック内の画素の位置を表わす。
Returning to the processing of FIG. 13, when the creation of the background image has been completed, in the processing step 143, the background image so far is updated to the newly created background image, and then the next processing is performed. The process proceeds to step 144, but if it has not been completed, the process directly proceeds to the difference processing step 144, where the input image is divided into blocks of 2 × 2 pixels, and the entire image is divided into 160 × 120 block areas f
From n (i, j), the average luminance Af of each block area is determined. Here, n is the number of the block, and i and j represent the positions of the pixels in the block.

【0048】また、背景画像データr(x,y)に対して
も同様に160×120個のブロック化領域rn(i,
j)としてから、それぞれのブロック化領域の輝度平均
Arを求め、(2)式により差分値εnを求める。
Similarly, for the background image data r (x, y), 160 × 120 block areas r n (i, i,
j), the average luminance Ar of each block area is calculated, and the difference value ε n is calculated by the equation (2).

【0049】[0049]

【数2】 (Equation 2)

【0050】続く符号情報の保存処理ステップ145で
は、符号情報Snを(3)式で求め、それを格納する。
[0050] At the storage processing step 145 subsequent code information, the code information S n calculated in (3), and stores it.

【0051】[0051]

【数3】 (Equation 3)

【0052】類似度の計算処理ステップ146では、各
ブロックに対して、(4)式により類似度γnを計算する。
ここで、Dnはn番目のブロックの近傍領域、[ ]は要
素の数を表す。
In the similarity calculation processing step 146, the similarity γ n is calculated for each block by the equation (4).
Here, D n is a neighborhood area of the n-th block, and [] represents the number of elements.

【0053】[0053]

【数4】 (Equation 4)

【0054】次に、判断処理ステップ147により、符
号情報Snに応じて、第1の二値化処理ステップ148
又は第2の二値化処理ステップ152に分岐される。
Next, the determination processing step 147, according to the sign information S n, the first binarization processing step 148
Alternatively, the flow branches to the second binarization processing step 152.

【0055】これらの処理は閾値による二値化処理で、
まず符号が正の場合の閾値、すなわち、処理ステップ1
48での閾値th+ は(5)式で求める。ここで、K+ は調
整可能なパラメータ、R+ は符号が正で物体の存在しな
い領域である。
These processes are binarization processes using a threshold value.
First, the threshold value when the sign is positive, that is, processing step 1
The threshold value th + at 48 is obtained by Expression (5). Here, K + is an adjustable parameter, and R + is a region where the sign is positive and no object exists.

【0056】[0056]

【数5】 (Equation 5)

【0057】ここで、K+ は調整可能なパラメータで、
+ は符号が正で物体が存在しない領域である。
Where K + is an adjustable parameter,
R + is a region where the sign is positive and no object exists.

【0058】また、符号が負の場合の閾値、すなわち、
処理ステップ152での閾値th~も同様にして、(6)式に
より求める。
The threshold value when the sign is negative, that is,
Similarly, the threshold value th ~ in the processing step 152 is obtained by Expression (6).

【0059】[0059]

【数6】 (Equation 6)

【0060】ここで、K~ は調整可能なパラメータで、
R~ は符号が負で物体が存在しない領域である。
Where K ~ is an adjustable parameter,
R ~ is a region where the sign is negative and no object exists.

【0061】類似度の判定処理ステップ149及び15
3では、それぞれに対して調整可能なパラメータT+
T~を閾値として設定し、類似度γnについて判定を行な
う。すなわち、まず判定処理ステップ149では、類似
度γnを閾値T+と比較し、それが閾値T+を越えた場合
には、図9(c)に、光の反射している領域94として示
したような、ライトによって明るくなった領域150が
検出されたものとして無視し、閾値T+以下となったと
きだけ、物体の検出151として分類する。
Similarity determination processing steps 149 and 15
In 3, the parameters T + and TT that can be adjusted for each are set as thresholds, and the similarity γ n is determined. That is, first in the determination processing step 149, the similarity gamma n is compared with a threshold T +, in a case where it exceeds the threshold value T +, in FIG. 9 (c), shown as region 94 that is reflected light Such an area 150 brightened by the light is ignored as being detected, and is classified as the object detection 151 only when the area becomes equal to or less than the threshold value T + .

【0062】同様に、判定処理ステップ153では、類
似度γnを閾値T~と比較し、それが閾値T~を越えた場
合には、図9(d)に、影の領域96として示したよう
な、影によって暗くなった領域154が検出されたもの
として、これも無視し、閾値T~以下になったときだ
け、物体の検出155として分類する。
Similarly, in the judgment processing step 153, the similarity γ n is compared with a threshold value T ~, and if it exceeds the threshold value T ~, it is shown as a shadow area 96 in FIG. Such an area 154 darkened by a shadow is detected and ignored, and is classified as the object detection 155 only when the area 154 becomes equal to or less than the threshold value T ~.

【0063】そして、CPU126は、物体の検出15
1の分類が得られたとき、及び物体の検出151が得ら
れたときには、出力I/F128を介して警報ランプ1
30を点灯させてたり、画像出力I/F129を介して
モニタ131に画像を表示させたりして、物体が検出さ
れたことを報知させるのである。
Then, the CPU 126 detects the object 15
1 is obtained, and when the object detection 151 is obtained, the alarm lamp 1 is output via the output I / F 128.
By turning on 30 or displaying an image on the monitor 131 via the image output I / F 129, it is notified that an object has been detected.

【0064】従って、この実施例によれば、常に確実
に、撮像視野内から物体だけを検出することができる。
例えば、図15において、入力画像171は、夕暮時に
踏切の外で停車している車両171Aが存在し、それの
影171Bが踏切内まで伸びている場合を示したもの
で、この場合、この入力画像171を従来の方法で判断
させたとすると、画像173に示すように、踏切内に進
入した物体173Aが存在するものと認識されてしまう
ことになる。
Therefore, according to this embodiment, it is always possible to reliably detect only the object from the field of view.
For example, in FIG. 15, the input image 171 shows a case where there is a vehicle 171A stopped outside the railroad crossing at dusk and the shadow 171B thereof extends into the railroad crossing. If the image 171 is determined by the conventional method , as shown in the image 173, it is recognized that the object 173A that has entered the railroad crossing exists.

【0065】これに対して、上記図13の実施例によれ
ば、まず、一方では、図14の処理により背景画像17
2が得られ、約4秒毎に新たな背景画像に更新されてい
る。次に、この場合、影171Bなので、その符号情報
Snは負になっているので、判断処理ステップ153に
進み、ここで、背景画像172と入力画像171の類似
度が判定される。
On the other hand, according to the embodiment of FIG. 13, on the one hand, the background image 17
2 is obtained and updated to a new background image about every 4 seconds. Next, in this case, since the shadow 171B, the sign information Sn is negative, so the process proceeds to the determination processing step 153, where the similarity between the background image 172 and the input image 171 is determined.

【0066】そして、車両171Aが存在する領域で
は、背景の一部が隠されているので、高い類似度が得ら
れないことから、図13の物体154に分類され、この
領域が実際に存在する物体によるものと識別でき、他
方、影171Bの領域では、背景が隠されていないこと
から類似度が高くなっており、この結果、図13の領域
154として分類されることになる。
In the area where the vehicle 171A exists, since a part of the background is hidden, a high similarity cannot be obtained. Therefore, the area is classified as the object 154 in FIG. 13, and this area actually exists. In the area of the shadow 171B, the degree of similarity is high because the background is not hidden, and as a result, the area is classified as the area 154 in FIG.

【0067】従って、この実施例によれば、画像174
に示すように、車両174Aと、影174Bとが、図1
3の物体155と領域154とに明確に分類でき、確実
に踏切内に進入した物体だけの検出を得ることができ、
この場合には、影174Bがあるにもかかわらず、踏切
内に進入物体無しと判定できることになる。
Therefore, according to this embodiment, the image 174
As shown in FIG. 1, the vehicle 174A and the shadow 174B
3 can be clearly classified into the object 155 and the area 154, and it is possible to reliably detect only the object that has entered the railroad crossing,
In this case, it can be determined that there is no intruding object in the railroad crossing despite the presence of the shadow 174B.

【0068】次に、図16は、入力画像181が、踏切
に進入する前の自動二輪車181Aのライトによる照射
部分181Bが踏切内の路面にまで侵入していた場合を
示したもので、この場合、入力画像181を従来の方法
で判断させたとすると、画像183に示すように、やは
り踏切内に進入した物体183Aが存在するものと認識
されてしまうことになる。
Next, FIG. 16 shows a case where the input image 181 shows that the light-irradiated portion 181B of the motorcycle 181A before entering the railroad crossing has entered the road surface inside the railroad crossing. If the input image 181 is determined by the conventional method , as shown in the image 183, it is recognized that the object 183A that has also entered the railroad crossing exists.

【0069】これに対して、上記図13の実施例によれ
ば、まず、一方では、図14の処理により背景画像17
2が得られ、約4秒毎に新たな背景画像に更新されてい
る。次に、この場合はライトによる照射部分181Bに
なっているので、今度は符号情報Snが正になって、判
断処理ステップ149に進み、ここで、背景画像172
と入力画像181の類似度が判定される。
On the other hand, according to the embodiment of FIG. 13, first, on the other hand, the background image 17
2 is obtained and updated to a new background image about every 4 seconds. Next, in this case, since the portion 181B is a light irradiation portion, the code information Sn becomes positive this time, and the process proceeds to the determination processing step 149 where the background image 172 is obtained.
And the similarity of the input image 181 are determined.

【0070】そして、自動二輪車181Aが存在してい
る領域では、背景の一部が隠されているので、高い類似
度が得られないことから、図13の物体151に分類さ
れ、この領域が実際に進入した物体が存在しているもの
と識別でき、他方、ライトによる照射部分181Bの領
域では、背景が隠されていないことから類似度が高くな
っており、この結果、図13の領域150として分類さ
れることになる。
In the area where the motorcycle 181A is present, since a part of the background is hidden and a high similarity cannot be obtained, the area is classified as the object 151 in FIG. Can be identified as the presence of an object that has entered the area. On the other hand, in the area of the light-irradiated portion 181B, the similarity is high because the background is not hidden, and as a result, as the area 150 in FIG. It will be classified.

【0071】従って、この実施例によれば、画像184
に示すように、自動二輪車174Aと、そのライト照射
部分184Bとが、図13の物体151と領域150と
に明確に分類でき、確実に踏切内に進入した物体だけの
検出を得ることができ、この場合にも、ライト照射部分
184Bがあるにもかかわらず、踏切内に進入物体無し
と判定できることになる。
Therefore, according to this embodiment, the image 184
As shown in FIG. 13, the motorcycle 174A and its light-irradiated portion 184B can be clearly classified into the object 151 and the area 150 in FIG. 13, and it is possible to reliably detect only the object that has entered the railroad crossing. Also in this case, it can be determined that there is no intruding object in the railroad crossing despite the presence of the light irradiation portion 184B.

【0072】次に、本発明の他の一実施例について説明
する。この実施例は、活火山における火砕流の監視に本
発明を適用したもので、図12に示した映像監視装置に
おけるカメラ121として、赤外テレビジョンカメラ
(赤外線撮像装置)を用い、被写体の温度の高い部分で輝
度が大きくなっている入力画像が得られるようにした上
で、CPU126により、図17に示す処理が実行され
るように構成したものである。
Next, another embodiment of the present invention will be described. In this embodiment, the present invention is applied to monitoring of a pyroclastic flow at an active volcano, and an infrared television camera is used as the camera 121 in the video monitoring device shown in FIG.
(Infrared imaging device) is used to obtain an input image in which the luminance is high in a portion where the temperature of the subject is high, and then the CPU 126 executes the processing shown in FIG. is there.

【0073】図17の処理ステップ191から処理ステ
ップ198までと、処理ステップ201は、括弧書きし
て示してあるように、それぞれ図13の処理ステップ1
41から処理ステップ148まで、及び処理ステップ1
52と同じルーチンを用い、入力画像と背景画像の領域
での輝度、つまり温度の差分の符号に応じて、類似度の
判定処理ステップ199と、類似度の判定処理ステップ
202の何れかに分岐させ、それぞれ調整可能なパラメ
ータT+、T~を判定の閾値として用い、類似度が閾値以
下のとき、それぞれ温度が上昇している物体200と、
下降している物体203とに分類するのである。
The processing steps 191 to 198 in FIG. 17 and the processing step 201 are, as shown in parentheses, respectively, the processing step 1 in FIG.
41 to processing step 148, and processing step 1
Using the same routine as 52, the process branches to one of the similarity determination processing step 199 and the similarity determination processing step 202 in accordance with the luminance in the area of the input image and the background image, that is, the sign of the temperature difference. Using the adjustable parameters T + , T ~ as thresholds for determination, and when the similarity is equal to or less than the threshold, the object 200 whose temperature is rising,
The object is classified into the descending object 203.

【0074】この実施例の動作について、図18により
説明すると、この図は、火砕流が発生した瞬間の画像を
入力画像211として示したもので、背景画像は212
で示すようになっているものとする。
The operation of this embodiment will be described with reference to FIG. 18. FIG. 18 shows an image at the moment when the pyroclastic flow occurs as an input image 211, and the background image is 212.
It is assumed to be as shown in FIG.

【0075】そして、この実施例によれば、処理結果と
して画像213が得られ、火砕流が存在して温度が高く
なっている部分と、火砕流が流れて去って温度が下がっ
た部分とを識別し、確認することができる。
According to this embodiment, an image 213 is obtained as a processing result, and a portion where the pyroclastic flow is present and the temperature is high and a portion where the pyroclastic flow flows and the temperature is lowered are identified. , You can check.

【0076】すなわち、局所的に温度が上昇した領域
は、その領域と上昇しなかった領域とに輝度分布の差が
生じるため、輝度分布形状の類似度は低くなる。このた
め、火砕流により溶岩ドームが形成された部分は、局所
的に急激に温度が上昇するので類似度が低くなるが、他
方、このとき火砕流により暖められた雲などでは、ほぼ
全体で温度が均一に上昇するため、類似度は高くなる。
That is, in a region where the temperature is locally increased, a difference in luminance distribution occurs between the region and the region where the temperature has not increased, and the similarity of the luminance distribution shape is low. For this reason, the temperature of the lava dome formed by the pyroclastic flow is similar to that of the local area where the temperature rises rapidly and the similarity is low.On the other hand, the temperature is almost uniform throughout the cloud heated by the pyroclastic flow. , The similarity increases.

【0077】従って、類似度の評価処理ステップ199
を設けることにより、暖められた雲などによる部分が存
在していても、温度が上昇した領域200として、火砕
流部分を明確に分離することができるのである。
Therefore, the similarity evaluation processing step 199
Is provided, the pyroclastic flow portion can be clearly separated as the region 200 where the temperature has increased, even if there is a portion due to a heated cloud or the like.

【0078】一方、局所的に温度が下降した領域は、そ
の領域と下降しなかった領域とに輝度分布の差が生じる
ため、輝度分布形状の類似度は低くなる。このため、溶
岩ドームが崩落した部分は、熱源が下に落ちてしまうの
で、その温度は急激に低下してしまうため、類似度は低
くなるが、他方、火砕流によって暖められた雲などで
は、熱源による加熱が減ったとしても、全体がほぼ均一
に冷却され温度が下降するので、類似度は高くなる。
On the other hand, in a region where the temperature has locally decreased, a difference in luminance distribution occurs between the region and the region where the temperature has not decreased, so that the similarity of the luminance distribution shape is low. As a result, the heat source falls down at the part where the lava dome has collapsed, and its temperature drops rapidly, resulting in a low degree of similarity.On the other hand, heat sources such as clouds heated by pyroclastic flows Even if the heating due to is reduced, the overall degree of cooling is substantially uniform and the temperature decreases, so that the similarity increases.

【0079】従って、類似度の評価処理ステップ202
を設けることにより、温度が低下している雲などによる
部分が存在していても、温度が低下した領域203とし
て、火砕流が流れ去った部分を明確に分離し、検出する
ことができる。
Therefore, the similarity evaluation processing step 202
Is provided, it is possible to clearly separate and detect the portion where the pyroclastic flow has flowed off as the region 203 where the temperature has decreased, even if there is a portion due to a cloud or the like whose temperature has decreased.

【0080】なお、本発明は、上記の適用例に限らず、
プラント設備など、立入禁止区域への侵入者の監視シス
テムなどにも適用可能なことは、言うまでもない。
Note that the present invention is not limited to the above application examples,
It goes without saying that the present invention is also applicable to a monitoring system for intruders into a restricted area such as plant equipment.

【0081】[0081]

【発明の効果】本発明によれば、照度変動による背景の
変化に伴う誤検出の問題に対して、差分値の符号を利用
するようにしたので、監視視野の照度変化などの環境変
化の影響を受ける虞れか少なくなって物体の検出を正確
に得ることができると共に、輝度分布形状の類似度を用
いてパターンの保存性を判定するようにしたので、物体
の存在によらない照度の変化による領域が存在していた
場合でも、常に確実に物体が検出できる。
According to the present invention, the sign of the difference value is used for the problem of erroneous detection due to a change in the background due to a change in illuminance. Since the detection of the object can be accurately obtained by reducing the risk of receiving the pattern, and the preservation of the pattern is determined using the similarity of the luminance distribution shape, the illuminance change regardless of the presence of the object Object can always be reliably detected even when there is a region due to.

【0082】従って、本発明によれば、踏切など極めて
高い信頼性が要求される場合でも、安心して適用するこ
とができ、映像監視装置の適用範囲を充分に広げること
ができる。
Therefore, according to the present invention, even when extremely high reliability is required such as at a railroad crossing, the present invention can be applied with confidence, and the applicable range of the video monitoring device can be sufficiently widened.

【図面の簡単な説明】[Brief description of the drawings]

【図1】第1の本発明の動作原理を説明するためのフロ
ーチャートである。
FIG. 1 is a flowchart for explaining the operation principle of the first invention.

【図2】第2の本発明の動作原理を説明するためのフロ
ーチャートである。
FIG. 2 is a flowchart for explaining the operation principle of the second invention.

【図3】第3の本発明の動作原理を説明するためのフロ
ーチャートである。
FIG. 3 is a flowchart for explaining the operation principle of the third invention.

【図4】第4の本発明の動作原理を説明するためのフロ
ーチャートである。
FIG. 4 is a flowchart for explaining the operation principle of the fourth invention.

【図5】第5の本発明の動作原理を説明するためのフロ
ーチャートである。
FIG. 5 is a flowchart for explaining the operation principle of the fifth invention.

【図6】第6の本発明の動作原理を説明するためのフロ
ーチャートである。
FIG. 6 is a flowchart for explaining the operation principle of the sixth invention.

【図7】第7の本発明の動作原理を説明するためのフロ
ーチャートである。
FIG. 7 is a flowchart for explaining the operation principle of the seventh invention.

【図8】従来技術の動作原理を説明するためのフローチ
ャートである。
FIG. 8 is a flowchart for explaining the operation principle of the conventional technique.

【図9】従来技術の問題点を示す説明図である。FIG. 9 is an explanatory diagram showing a problem of the related art.

【図10】本発明における類似度の説明図である。FIG. 10 is an explanatory diagram of similarity in the present invention.

【図11】従来技術による時間的な差分を用いた物体検
出の説明図である。
FIG. 11 is an explanatory diagram of object detection using a temporal difference according to the related art.

【図12】本発明の実施例が適用された映像監視装置の
一例を示す構成図である。
FIG. 12 is a configuration diagram illustrating an example of a video monitoring device to which an embodiment of the present invention has been applied.

【図13】本発明を踏切での進入物体検出に適用した場
合の一実施例を示すフローチャートである。
FIG. 13 is a flowchart showing an embodiment in which the present invention is applied to detection of an approaching object at a railroad crossing.

【図14】本発明の一実施例における背景画像作成処理
を示すフローチャートである。
FIG. 14 is a flowchart illustrating background image creation processing according to an embodiment of the present invention.

【図15】本発明の一実施例による物体検出動作の一例
を示す説明図である。
FIG. 15 is an explanatory diagram illustrating an example of an object detection operation according to an embodiment of the present invention.

【図16】本発明の一実施例による物体検出動作の一例
を示す説明図である。
FIG. 16 is an explanatory diagram illustrating an example of an object detection operation according to an embodiment of the present invention.

【図17】本発明を火砕流発生監視に応用した場合の一
実施例を示すフローチャートである。
FIG. 17 is a flowchart showing an embodiment when the present invention is applied to pyroclastic flow generation monitoring.

【図18】本発明を火砕流発生監視に応用した場合の一
実施例による検出動作を一例を示す説明図である。
FIG. 18 is an explanatory diagram showing an example of a detection operation according to an embodiment when the present invention is applied to pyroclastic flow generation monitoring.

【符号の説明】[Explanation of symbols]

121 テレビジョンカメラ(映像入力装置) 122 データバス 123 入力用I/F 124 画像用メモリ 125 ワークメモリ 126 CPU 127 プログラムメモリ 128 出力用I/F 129 画像出力用I/F 130 警告ランプ 131 警告表示用モニタ 121 Television camera (video input device) 122 Data bus 123 Input I / F 124 Image memory 125 Work memory 126 CPU 127 Program memory 128 Output I / F 129 Image output I / F 130 Warning lamp 131 Warning display monitor

Claims (13)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 撮像装置の視野内に侵入する物体を検出
する物体検出方法において、 画像入力ステップと、 入力画像と背景画像との輝度値の差分値を計算するステ
ップと、前記 差分値の正の符号に対する差分値の二値化を行なう
第1の二値化ステップと、 前記差分値の負の符号に対する差分値の二値化を行なう
第2の二値化ステップと 前記入力画像と前記背景画像との類似度を計算するステ
ップを設け、 前記差分値の正負の符号と、前記類似度の値に応じて、
物体を区別して検出する ことを特徴とする物体検出
1. A object detecting method for detecting an object entering the field of view of the imaging device, calculating an image input step, a difference value between the luminance values of the input image and the background image, the positive of the difference value A first binarization step of binarizing a difference value with respect to the sign of the second image ; a second binarization step of binarizing a difference value of the difference value with respect to a negative sign of the difference value; Step to calculate similarity with background image
And a sign is provided according to the sign of the difference value and the value of the similarity.
Object detection method characterized by distinguishing and detecting objects
Law .
【請求項2】 カメラの入力画像を用いて視野内に侵入
する物体を計算機によって検出する物体検出方法におい
て、 画像入力ステップと、 入力画像と背景画像との画素の輝度値の差分を計算する
ステップと、 その差分値の正負の符号情報を保存するステップと、 入力画像と背景画像の局所的な輝度値分布形状の類似度
を求めるステップと、前記 差分値の符号に応じて分岐するステップと、前記差分値の情報に類似度の情報を加えて閾値判定し、
物体を区別して検出する ステップとからなる物体検出
2. An object detection method for detecting, by a computer, an object entering a field of view using an input image of a camera, comprising: an image input step; calculating a difference, and storing the code information of positive and negative of the difference value, and determining the similarity of the local luminance value distribution shape of the input image and the background image, depending on the sign of the difference value Branching, and performing threshold determination by adding similarity information to the difference value information;
An object detection method comprising the steps of:
Law .
【請求項3】 請求項の発明において、 前記の入力画像と背景画像の局所的な輝度値分布形状の
類似度が高い領域と類似度の低い領域を別の領域として
判定するステップを付加したことを特徴とする物体検出
方法
3. The method according to claim 2 , further comprising the step of determining a region having a high similarity and a region having a low similarity of the local luminance value distribution shape of the input image and the background image as different regions. Object detection characterized by the following:
How .
【請求項4】 請求項2及び3の発明において、 前記の差分値の符号情報が正となる領域で入力画像と背
景画像の局所的な輝度値分布形状の類似度が高い領域
、視野内のライトにより明るくなった領域として判定
するステップを付加したことを特徴とする物体検出
4. The invention according to claim 2 , wherein an area in which the sign information of the difference value is positive and in which the similarity of the local luminance value distribution shape between the input image and the background image is high is included in the visual field. Object detection method characterized by adding a step of determining as an area brightened by a light
Law .
【請求項5】 請求項2及び3の発明において、 前記の差分値の符号情報が負となる領域で入力画像と背
景画像の局所的な輝度値分布形状の類似度が高い領域
、物体の視野内に写る影により暗くなった領域として
判定するステップを付加したことを特徴とする物体検出
方法
5. The method according to claim 2 , wherein, in the area where the sign information of the difference value is negative, an area in which the similarity of the local luminance value distribution shape between the input image and the background image is high , Object detection characterized by adding a step of determining as an area darkened by a shadow in a visual field
How .
【請求項6】 請求項2及び3の発明において、 画像入力装置を赤外カメラとし、 前記の差分値の符号情報が正となる領域で入力画像と背
景画像の局所的な輝度値分布形状の類似度が低い領域
、火砕流により局所的に著しく温度が上がった領域と
判定するステップを付加したことを特徴とする物体検出
方法
6. The image input device according to claim 2 , wherein the image input device is an infrared camera, and a local luminance value distribution shape of the input image and the background image in a region where the sign information of the difference value is positive. Object detection characterized by adding a step of determining a region having a low similarity as a region where the temperature has risen significantly due to the pyroclastic flow.
How .
【請求項7】 請求項2及び3の発明において、 画像入力装置を赤外カメラとし、 前記の差分値の符号情報が負となる領域で入力画像と背
景画像の局所的な輝度値分布形状の類似度が低い領域
、火砕流が流れ落ちたことにより局所的に著しく温度
が下がった領域と判定するステップを付加したことを特
徴とする物体検出方法
7. An image input device according to claim 2 , wherein the image input device is an infrared camera, and a local luminance value distribution shape of the input image and the background image is determined in a region where the sign information of the difference value is negative. An object detection method characterized by adding a step of determining a region having a low similarity as a region where the pyroclastic flow has dropped and the temperature has dropped significantly locally.
【請求項8】 所定の撮像手段により、所定の視野から
逐次、フレーム単位で取込まれてくる画像信号を用い、
過去の画像信号と最新の画像信号を複数個の画素からな
る領域毎に比較し、それらの輝度値の差分を二値化して
得た画像データに基づいて上記所定の視野内に入り込ん
でくる物体を検出する方式の映像監視装置における物体
検出方法において、 前記最新の画像信号が取り込まれてくるまでの所定フレ
ーム数の画像信号を取込み、それらのメディアン計算に
より背景画像信号を作成する背景画像信号作成手段と、 前記背景画像信号と上記最新の画像信号を複数個の画素
からなる領域毎に比較し、それらの輝度値の差分を、そ
の正負の符号も含めて検出し保存する符号保存手段と、 前記輝度値の差分の符号を判定する符号判定手段と、 閾値を異にする第1と第2の二値化手段と、 前記背景画像信号と現在の画像信号を複数個の画素から
なる領域毎に比較し、それらの輝度値分布形状の類似度
を検出する類似度検出手段とを設け、 前記符号判定手段による判定結果が正のとき前記第1の
二値化手段を用いて物体の検出を行ない、負のときは前
記第2の二値化手段を用いて物体を検出すると共に、 前記類似度検出手段により検出された類似度に応じて、
前記第1の二値化手段と前記第2の二値化手段の何れか
一方により検出された物体の真偽判定が行なわれるよう
に構成したことを特徴とする映像監視装置における物体
検出方法
8. An image signal which is sequentially taken in frame units from a predetermined field of view by a predetermined image pickup means,
An object that enters the predetermined field of view based on image data obtained by comparing a past image signal and a latest image signal for each region including a plurality of pixels and binarizing a difference between their luminance values. in the object detection method in a video surveillance apparatus of a system for detecting the capture image signals of a predetermined number of frames up to the latest image signals being taken, a background image signal created to create a background image signals by their median calculation Means, comparing the background image signal and the latest image signal for each region composed of a plurality of pixels, a code storage means for detecting and storing the difference between the brightness values, including the positive and negative signs thereof, Sign determining means for determining the sign of the difference between the luminance values; first and second binarizing means having different threshold values; and a region comprising a plurality of pixels for the background image signal and the current image signal. And a similarity detecting means for comparing each of the luminance value distribution shapes and detecting a similarity between the luminance value distribution shapes, and detecting the object using the first binarizing means when the determination result by the sign determination means is positive. When negative, an object is detected using the second binarization unit, and according to the similarity detected by the similarity detection unit,
An object detection method for a video surveillance device, wherein the authenticity of an object detected by one of the first binarization unit and the second binarization unit is determined.
【請求項9】 所定の撮像手段により、所定の視野から
逐次、フレーム単位で取込まれてくる画像信号を用い、
過去の画像信号と最新の画像信号を複数個の画素からな
る領域毎に比較し、それらの輝度値の差分を二値化して
得た画像データに基づいて前記所定の視野内に入り込ん
でくる物体を検出する方式の映像監視装置における物体
検出方法において、 前記最新の画像信号が取り込まれてくるまでの所定フレ
ーム数の画像信号を取込み、それらのメディアン計算に
より背景画像信号を作成する背景画像信号作成手段と、 前記背景画像信号と前記最新の画像信号を複数個の画素
からなる領域毎に比較し、それらの輝度値の差分を、そ
の正負の符号も含めて検出し保存する符号保存手段と、 前記輝度値の差分の符号を判定する符号判定手段と、 閾値を異にする第1と第2の二値化手段と、 前記背景画像信号と現在の画像信号を複数個の画素から
なる領域毎に比較し、それらの輝度値分布形状の類似度
を検出する類似度検出手段とを設け、 前記符号判定手段による判定結果が正のとき前記第1の
二値化手段を用いて物体の検出を行ない、負のときは前
記第2の二値化手段を用いて物体を検出すると共に、 前記類似度検出手段により検出された類似度に応じて、
前記第1の二値化手段と前記第2の二値化手段の何れか
一方により検出された領域を区別して検出するように構
成したことを特徴とする映像監視装置における物体検出
方法。
9. An image signal which is sequentially taken in a frame unit from a predetermined field of view by a predetermined imaging means,
An object that enters the predetermined field of view based on image data obtained by comparing a past image signal and a latest image signal for each region including a plurality of pixels, and binarizing a difference between their luminance values. in the object detection method in a video surveillance apparatus of a system for detecting the capture image signals of a predetermined number of frames up to the latest image signals being taken, a background image signal created to create a background image signals by their median calculation Means, comparing the background image signal and the latest image signal for each region composed of a plurality of pixels, a code storage means for detecting and storing the difference between the luminance values, including the positive and negative signs thereof, Sign determining means for determining the sign of the difference between the luminance values; first and second binarizing means having different threshold values; and a region comprising a plurality of pixels for the background image signal and the current image signal. And a similarity detecting means for comparing the similarity of each of the brightness value distribution shapes, and detecting the object using the first binarizing means when the determination result by the sign determination means is positive. And when negative, an object is detected using the second binarization means, and according to the similarity detected by the similarity detection means,
An object detection method for a video surveillance device, wherein an area detected by one of the first binarization unit and the second binarization unit is detected separately.
【請求項10】 請求項の発明において、 前記差分値の符号が正と判定され、前記類似度が所定値
を越えていると判定された領域が検出されたときは、そ
の領域は物体の存在による検出ではなく、前記視野内で
の局部的な照度増加による検出であると判定するように
構成されていることを特徴とする映像監視装置における
物体検出方法
10. The invention according to claim 9 , wherein when the sign of the difference value is determined to be positive and an area in which the similarity is determined to exceed a predetermined value is detected, the area is determined to be an object. A method for detecting an object in a video surveillance device, wherein the method is configured to determine that the detection is not a detection based on a local increase in illuminance in the visual field, but a detection based on presence.
【請求項11】 請求項の発明において、 前記差分値の符号が負と判定され、前記類似度が所定値
を越えていると判定された領域が検出されたときは、そ
の領域は物体の存在による検出ではなく、局部的な照度
低下による検出であると判定するように構成されている
ことを特徴とする映像監視装置における物体検出方法
11. The invention according to claim 9 , wherein, when the sign of the difference value is determined to be negative and an area in which the similarity is determined to exceed a predetermined value is detected, the area is determined to be an object. An object detection method in a video surveillance device, which is configured to determine that detection is not due to local illuminance reduction but to detection due to presence.
【請求項12】 請求項の発明において、 前記撮像手段として赤外線撮像装置を用い、 前記差分値の符号が正と判定され、前記類似度が所定値
以下であると判定された領域が検出されたときは、視野
内に局部的に温度が高くなっている部分が存在するもの
と判定するように構成されていることを特徴とする映像
監視装置における物体検出方法
12. The invention according to claim 9 , wherein an infrared image pickup device is used as said image pickup means, and an area in which the sign of said difference value is determined to be positive and said similarity is determined to be not more than a predetermined value is detected. An object detection method in a video surveillance device, which is configured to determine that there is a locally high temperature portion in the field of view when the image is viewed.
【請求項13】 請求項の発明において、 前記撮像手段として赤外線撮像装置を用い、 前記差分値の符号が負と判定され、前記類似度が所定値
以下であると判定された領域が検出されたときは、視野
内に局部的に温度が低くなっている部分が存在するもの
と判定するように構成されていることを特徴とする映像
監視装置における物体検出方法
13. The invention according to claim 9 , wherein an infrared imaging device is used as said imaging means, and a region in which the sign of said difference value is determined to be negative and said similarity is determined to be equal to or less than a predetermined value is detected. An object detection method in a video surveillance device, which is configured to determine that there is a locally low temperature portion in the field of view when the temperature of the image monitoring device is low.
JP11862995A 1995-05-17 1995-05-17 Object detection method in video monitoring device Expired - Fee Related JP3294468B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP11862995A JP3294468B2 (en) 1995-05-17 1995-05-17 Object detection method in video monitoring device
US08/646,018 US6088468A (en) 1995-05-17 1996-05-07 Method and apparatus for sensing object located within visual field of imaging device
DE69622476T DE69622476T2 (en) 1995-05-17 1996-05-13 Method and device for object recognition within the visual field of an imaging device
EP96303303A EP0749098B1 (en) 1995-05-17 1996-05-13 Method and apparatus for sensing object located within visual field of imaging device
KR1019960016320A KR100259737B1 (en) 1995-05-17 1996-05-16 Method and apparatus for sensing object located within visual field of imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11862995A JP3294468B2 (en) 1995-05-17 1995-05-17 Object detection method in video monitoring device

Publications (2)

Publication Number Publication Date
JPH08317373A JPH08317373A (en) 1996-11-29
JP3294468B2 true JP3294468B2 (en) 2002-06-24

Family

ID=14741268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11862995A Expired - Fee Related JP3294468B2 (en) 1995-05-17 1995-05-17 Object detection method in video monitoring device

Country Status (1)

Country Link
JP (1) JP3294468B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100444784B1 (en) * 2001-11-15 2004-08-21 주식회사 에이로직스 Security system
JP4216021B2 (en) 2002-08-30 2009-01-28 富士重工業株式会社 Intruder detection device
JP4628712B2 (en) * 2004-07-09 2011-02-09 財団法人生産技術研究奨励会 Method and apparatus for recognizing moving object on image
JP4635536B2 (en) * 2004-09-21 2011-02-23 住友電気工業株式会社 Traffic flow measurement method and apparatus
JP4853657B2 (en) * 2007-03-28 2012-01-11 サクサ株式会社 Image processing device
JP2009225933A (en) * 2008-03-21 2009-10-08 Fujifilm Corp Capsule endoscope system, and capsule endoscope motion control method
JP5581105B2 (en) * 2010-04-19 2014-08-27 株式会社日立製作所 Moving body detection device
KR101297396B1 (en) * 2011-12-28 2013-08-14 충북대학교 산학협력단 Method of shadow removal based on relative similarity
KR101448749B1 (en) * 2012-12-10 2014-10-08 현대자동차 주식회사 System and method for object image detecting
JP6618438B2 (en) * 2016-08-12 2019-12-11 日本電信電話株式会社 Foreground region extraction apparatus, method, and program

Also Published As

Publication number Publication date
JPH08317373A (en) 1996-11-29

Similar Documents

Publication Publication Date Title
KR100259737B1 (en) Method and apparatus for sensing object located within visual field of imaging device
US8810653B2 (en) Vehicle surroundings monitoring apparatus
US6754367B1 (en) Method and apparatus for automatically detecting intrusion object into view of image pickup device
JP3756452B2 (en) Infrared image processing device
JP4611776B2 (en) Image signal processing device
KR20100134206A (en) The automatic vehicle identification system of non-trigger type based on image processing and that of using identification method
JP2003216937A (en) Night vision system
JP4542929B2 (en) Image signal processing device
JP3294468B2 (en) Object detection method in video monitoring device
JP6413318B2 (en) Vehicle detection device, system, and program
JP7125843B2 (en) Fault detection system
JP4491360B2 (en) Image signal processing device
US9443150B2 (en) Device and method for detecting objects from a video signal
JPH09282452A (en) Monitor
JP2005318408A (en) Vehicle surrounding monitoring apparatus and method
JP6413319B2 (en) Vehicle detection device, system, and program
JPH0973541A (en) Object detection device/method
Tang et al. Robust vehicle surveillance in night traffic videos using an azimuthally blur technique
JP2010136207A (en) System for detecting and displaying pedestrian
Dong et al. Detection method for vehicles in tunnels based on surveillance images
JP3736836B2 (en) Object detection method, object detection apparatus, and program
JP4567072B2 (en) Vehicle periphery monitoring device
JP2004362265A (en) Infrared image recognition device
JP6155106B2 (en) Image sensor
Yu et al. Vision based vehicle detection and traffic parameter extraction

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080405

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090405

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100405

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110405

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120405

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130405

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees