JP6457727B2 - Laminar smoke detection device and laminar smoke detection method - Google Patents
Laminar smoke detection device and laminar smoke detection method Download PDFInfo
- Publication number
- JP6457727B2 JP6457727B2 JP2014075335A JP2014075335A JP6457727B2 JP 6457727 B2 JP6457727 B2 JP 6457727B2 JP 2014075335 A JP2014075335 A JP 2014075335A JP 2014075335 A JP2014075335 A JP 2014075335A JP 6457727 B2 JP6457727 B2 JP 6457727B2
- Authority
- JP
- Japan
- Prior art keywords
- laminar smoke
- laminar
- feature amount
- smoke
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000779 smoke Substances 0.000 title claims description 216
- 238000001514 detection method Methods 0.000 title claims description 69
- 238000012544 monitoring process Methods 0.000 claims description 83
- 238000000605 extraction Methods 0.000 claims description 38
- 238000002360 preparation method Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 description 44
- 238000000034 method Methods 0.000 description 38
- 238000004364 calculation method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 5
- 239000006185 dispersion Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010000369 Accident Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Fire-Detection Mechanisms (AREA)
Description
本発明は、監視カメラにより撮像された画像に対して画像処理を施すことにより、煙の発生を検出する技術に関し、特に、火災により層をなして流れていく煙(以下、層流煙と称す)の検出に適した層流煙検出装置および層流煙検出方法に関する。 The present invention relates to a technique for detecting the generation of smoke by performing image processing on an image captured by a surveillance camera, and in particular, smoke that flows in layers due to a fire (hereinafter referred to as laminar smoke). ), And a laminar smoke detection method suitable for detection.
火災発生時の初期消火、あるいは火災事故における逃げ遅れの防止の観点から、火災あるいは煙の早期発見が非常に重要となっている。そこで、煙検出装置の分野においては、監視カメラにより撮像された画像に対して画像処理を施すことで、煙の早期発見を行うことが研究されている。 From the viewpoint of initial fire extinguishment in the event of a fire or prevention of escape delay in a fire accident, early detection of fire or smoke is very important. Thus, in the field of smoke detection devices, research has been conducted on early detection of smoke by performing image processing on an image captured by a surveillance camera.
その一例として、トンネル内などにカメラを設置し、カメラにより撮像された画像に対して画像処理を施すことで、煙を検出する従来の煙検出装置がある。煙を検出するための画像処理では、一般的に、基準となる画像(基準画像)をあらかじめ記憶しておき、最新の撮像画像と基準画像との差分画像を演算し、変化の生じた領域を抽出することで、煙を検出している(例えば、特許文献1参照)。 As an example, there is a conventional smoke detection device that detects smoke by installing a camera in a tunnel or the like and performing image processing on an image captured by the camera. In image processing for detecting smoke, generally, a reference image (reference image) is stored in advance, a difference image between the latest captured image and the reference image is calculated, and a region where a change has occurred is calculated. Extraction detects smoke (for example, see Patent Document 1).
また、日照などの影響により基準画像が時間的に変化することに対応するために、基準画像を定期的に更新することが行われている。 In addition, the reference image is regularly updated in order to cope with the temporal change of the reference image due to the influence of sunlight.
このように、カメラにより撮像された画像に対して画像処理を施して煙検出を行うことで、次の2点のメリットが得られる。
1)監視カメラの画像を目視確認することで、遠隔地において煙検出状況の把握が可能となる。
2)すでに設置されている監視カメラを流用することが可能であり、効率的な設備を構築できる。
Thus, by performing image processing on the image captured by the camera and performing smoke detection, the following two merits can be obtained.
1) By visually confirming the image of the surveillance camera, it is possible to grasp the smoke detection status in a remote place.
2) It is possible to divert already installed surveillance cameras and construct efficient equipment.
しかしながら、従来技術には次のような課題がある。
監視カメラの画像は、常に照明条件や視野が安定している環境で撮像されることが好ましい。しかしながら、監視場所によっては、必ずしもこのような好条件下ばかりでなく、監視範囲内には、人などの移動物が往来する場所、あるいは日照条件等が時間とともに変化する場所などがあり、これらが誤報源となる。
However, the prior art has the following problems.
It is preferable that the image of the surveillance camera is always taken in an environment where the illumination conditions and the visual field are stable. However, depending on the monitoring location, not only under such favorable conditions, but within the monitoring range, there are places where moving objects such as people come and go or places where sunshine conditions etc. change over time. It becomes a source of misinformation.
従来技術においては、このような監視に適さないエリア(すなわち、誤報源が存在するエリア)に関して部分的に発生した輝度変化に対しても、煙が発生していないにもかかわらず、輝度差分結果から煙が発生したと誤検出してしまう可能性がある。また、監視に適さない、誤報源が存在するエリアは、煙検出を行わないようにマスキングしてしまうことも考えられるが、監視可能範囲が限定されてしまう結果となってしまう。 In the prior art, the luminance difference result is obtained even though there is no smoke even with respect to the luminance change partially generated in the area not suitable for monitoring (that is, the area where the false alarm source exists). May cause false detection of smoke from In addition, it is conceivable that an area that is not suitable for monitoring and has a false alarm source may be masked so as not to detect smoke, but this results in a limited monitoring range.
さらに、本発明の検出対象である層流煙の色は、透過性があり、カメラ側から見て、層流煙の向こう側にある風景(背景)が見えるという特徴がある。従って、撮像画像と基準画像との差分画像に基づく単純な検出方法では、過検出あるいは誤検出となってしまい、層流煙の検出に適した画像処理方法の確立が望まれている。 Furthermore, the color of the laminar smoke that is the detection target of the present invention is transmissive and has a feature that a landscape (background) on the other side of the laminar smoke can be seen from the camera side. Therefore, the simple detection method based on the difference image between the captured image and the reference image results in over-detection or false detection, and establishment of an image processing method suitable for detecting laminar smoke is desired.
本発明は、上述のような課題を解決するためになされたものであり、誤報源の影響を抑制し、検出精度の向上を図った層流煙検出装置および層流煙検出方法を得ることを目的とする。 The present invention has been made to solve the above-described problems, and provides a laminar smoke detection device and a laminar smoke detection method that suppresses the influence of a false alarm source and improves detection accuracy. Objective.
本発明に係る層流煙検出装置は、監視カメラにより撮像された画像に対して画像処理を施すことにより、層流煙の発生を検出する層流煙検出装置であって、事前準備時に、検出対象である層流煙が実際に発生したときの複数の層流煙画像を記憶するとともに、監視時に、監視カメラにより撮像された監視対象画像を記憶する画像メモリと、画像メモリ内に記憶された画像ごとに、輝度ヒストグラムに基づく複数のテクスチャ特徴量を算出する特徴量抽出部と、事前準備時に画像メモリに記憶された複数の層流煙画像のそれぞれに対して特徴量抽出部により算出された複数のテクスチャ特徴量のそれぞれについて、複数の層流煙画像に関する層流煙特徴量ヒストグラムを作成する特徴量ヒストグラム作成部と、監視時に画像メモリに記憶された監視対象画像に対して特徴量抽出部により算出された複数のテクスチャ特徴量と、特徴量ヒストグラム作成部により複数のテクスチャ特徴量ごとに作成された層流煙特徴量ヒストグラムとの相関関係から、監視時に撮像された監視対象画像において層流煙が発生しているか否かを判断する層流煙判定部とを備えるものである。 A laminar smoke detection device according to the present invention is a laminar smoke detection device that detects the occurrence of laminar smoke by performing image processing on an image captured by a surveillance camera, and is detected at the time of preparation in advance. A plurality of laminar smoke images when the target laminar smoke actually occurs are stored, and at the time of monitoring, an image memory for storing a monitoring target image captured by a monitoring camera, and an image memory stored therein A feature amount extraction unit that calculates a plurality of texture feature amounts based on a luminance histogram for each image, and a feature amount extraction unit for each of a plurality of laminar smoke images stored in the image memory at the time of preparation. for each of the plurality of texture feature, and the feature quantity histogram creation unit for creating a laminar flow of smoke feature value histogram of a plurality of layers smoke image, stored during monitoring in the image memory From the correlation between the plurality of texture feature amount calculated by the feature extraction unit, a laminar flow of smoke feature value histogram created for each of a plurality of texture feature by the feature histogram creation portion with respect to the visual target image, monitoring And a laminar smoke determining unit that determines whether or not laminar smoke is generated in the monitoring target image that is sometimes captured.
また、本発明に係る層流煙検出方法は、監視カメラにより撮像された画像に対して画像処理を施すことにより、層流煙の発生を検出する層流煙検出装置において実行される層流煙検出方法であって、事前準備時に、検出対象である層流煙が実際に発生したときの複数の層流煙画像を画像メモリに記憶するとともに、監視時に、監視カメラにより撮像された監視対象画像を画像メモリに記憶する記憶ステップと、画像メモリ内に記憶された画像ごとに、輝度ヒストグラムに基づく複数のテクスチャ特徴量を算出する特徴量抽出ステップと、事前準備時に画像メモリに記憶された複数の層流煙画像のそれぞれに対して特徴量抽出ステップにより算出された複数のテクスチャ特徴量のそれぞれについて、複数の層流煙画像に関する層流煙特徴量ヒストグラムを作成する特徴量ヒストグラム作成ステップと、監視時に画像メモリに記憶された監視対象画像に対して特徴量抽出ステップにより算出された複数のテクスチャ特徴量と、特徴量ヒストグラム作成ステップにより複数のテクスチャ特徴量ごとに作成された層流煙特徴量ヒストグラムとの相関関係から、監視時に撮像された監視対象画像において層流煙が発生しているか否かを判断する層流煙判定ステップとを備えるものである。 Further, the laminar smoke detection method according to the present invention performs laminar smoke executed in a laminar smoke detection device that detects generation of laminar smoke by performing image processing on an image captured by a surveillance camera. In the detection method, a plurality of laminar smoke images when the laminar smoke that is the detection target is actually generated are stored in the image memory at the time of preparation, and the monitoring target image captured by the monitoring camera at the time of monitoring Storing in the image memory, a feature amount extracting step for calculating a plurality of texture feature amounts based on the luminance histogram for each image stored in the image memory, and a plurality of steps stored in the image memory at the time of preparation For each of the plurality of texture feature quantities calculated by the feature quantity extraction step for each of the laminar smoke image, the laminar smoke feature quantity hiss related to the plurality of laminar smoke images. A feature amount histogram creation step for creating a gram, a plurality of texture feature amounts calculated by a feature amount extraction step for a monitoring target image stored in an image memory at the time of monitoring, and a plurality of texture features by a feature amount histogram creation step A laminar smoke judgment step for judging whether or not laminar smoke is generated in the monitoring target image captured at the time of monitoring from a correlation with the laminar smoke characteristic histogram created for each quantity. is there.
本発明によれば、複数のテクスチャ特徴量について、事前準備段階で、実績データによる層流煙の頻度分布および誤報源の頻度分布を算出しておき、それぞれの頻度分布と、監視時の画像に対して算出した複数のテクスチャ特徴量との相関関係により、層流煙の発生の有無を判断することにより、誤報源の影響を抑制し、検出精度の向上を図った層流煙検出装置および層流煙検出方法を得ることができる。 According to the present invention, for a plurality of texture feature amounts, a laminar smoke frequency distribution and a false alarm source frequency distribution based on performance data are calculated in advance preparation stage, and each frequency distribution and an image at the time of monitoring are calculated. The laminar smoke detection device and the laminar aim to improve the detection accuracy by suppressing the influence of the false alarm source by judging the presence or absence of laminar smoke based on the correlation with the calculated texture features. A smoke detection method can be obtained.
以下、本発明の層流煙検出装置および層流煙検出方法の好適な実施の形態につき、図面を用いて説明する。 Hereinafter, preferred embodiments of the laminar smoke detection device and the laminar smoke detection method of the present invention will be described with reference to the drawings.
実施の形態1.
本実施の形態1においては、輝度ヒストグラム(濃淡ヒストグラム)を用いたテクスチャ解析に基づいて、層流煙の検出精度を向上させる方法について説明する。
In the first embodiment, a method for improving the detection accuracy of laminar smoke will be described based on texture analysis using a luminance histogram (shading histogram).
テクスチャとは、規則的な濃淡変化が表す模様のことを意味している。そして、検出対象である層流煙には,細かな粒子による独特なテクスチャがある.そこで、本実施の形態1では、撮像された画像について、特徴量としてテクスチャを検出して解析することで、層流煙か否かの判断を行っている。 The texture means a pattern represented by regular shading change. And the laminar smoke that is the object of detection has a unique texture with fine particles. Therefore, in the first embodiment, it is determined whether or not the captured image is laminar smoke by detecting and analyzing a texture as a feature amount.
層流煙であるか否かの判断に当たって、テクスチャを特徴づける何らかの数量化が必要となり、これを、テクスチャ特徴と呼ぶ。テクスチャ特徴は、濃淡ヒストグラム、フーリエパワースペクトル、ランレングス行列、同時生起行列などを計測して得られる。そして、本実施の形態1では、濃淡ヒストグラムから計測されるテクスチャ特徴に着目している。 In determining whether it is laminar smoke, some quantification is required to characterize the texture, which is called a texture feature. Texture features can be obtained by measuring a density histogram, a Fourier power spectrum, a run length matrix, a co-occurrence matrix, and the like. In the first embodiment, attention is paid to the texture feature measured from the density histogram.
図1は、本発明の実施の形態1における層流煙検出装置の構成図である。本実施の形態1における層流煙検出装置は、画像メモリ10、特徴量抽出部20、および層流煙発生検出部30を備えている。画像メモリ10は、カメラ1により撮像された画像を記憶できるように、複数フレーム分の画像メモリとして構成されている。具体的には、検出対象である層流煙が実際に発生したときの複数の層流煙画像、誤報源が実際に存在する複数の誤報源画像、および監視時に撮像された監視対象画像が、画像メモリ10内に記憶できる構成となっており、各画像の詳細については、後述する。
FIG. 1 is a configuration diagram of a laminar smoke detector according to
特徴量抽出部20は、輝度ヒストグラム作成部21、およびテクスチャ特徴量算出部22で構成される。そして、特徴量抽出部20は、画像メモリ10に記憶された、カメラ1により撮像された画像に関して、複数のテクスチャ特徴量を算出する機能を有している。
The feature
そして、特徴量抽出部20は、事前準備段階においては、実際の層流煙、および実際の誤報源のそれぞれについて撮像した複数の画像(複数の層流煙画像および複数の誤報源画像)に対して、複数のテクスチャ特徴量を算出する。また、層流煙の監視時には、監視空間で撮像された実際の画像(監視対象画像)に対して、複数のテクスチャ特徴量を算出する。
Then, in the preliminary preparation stage, the feature
また、層流煙発生検出部30は、特徴量ヒストグラム作成部31、および層流煙判定部32で構成される。そして、層流煙発生検出部30は、事前準備段階において、特徴量抽出部20により、複数の画像について算出された層流煙および誤報源の各テクスチャ特徴量について、特徴量ヒストグラムを作成する。
The laminar smoke
さらに、層流煙発生検出部30は、監視時において、特徴量抽出部20により生成された複数のテクスチャ特徴量が、事前準備段階で作成された誤報源に関する特徴量ヒストグラムよりも、層流煙に関する特徴量ヒストグラムとの相関関係が高く、所定の条件を満たす場合には、層流煙が発生した可能性が高いと判断する。
Furthermore, the laminar smoke
そこで、このような図1の構成に基づく、事前準備段階および実際の監視時を含めた層流煙検出のための一連の処理手順について、以下に詳細に説明する。 Therefore, a series of processing procedures for detecting laminar smoke including the preparatory stage and actual monitoring based on the configuration of FIG. 1 will be described in detail below.
手順1:濃淡ヒストグラムの算出
特徴量抽出部20内の輝度ヒストグラム作成部21は、画像メモリ10に記憶された画像の、テクスチャ特徴を計測したい画像領域に対して、濃淡ヒストグラムH(l)(l=0、1、2、・・・、L−1)を求める。ここで、lは、濃淡レベルに相当し、256階調の場合には、L=256、l=0、1、・・・、255となる。
Procedure 1: Calculation of density histogram The brightness histogram creation section 21 in the feature
手順2:濃淡ヒストグラムの正規化
さらに、輝度ヒストグラム作成部21は、画像領域の画素数で各濃淡レベルの頻度H(l)を割り、総画素数が1.0になるように正規化し、P(l)とする。ここで、正規化するのは、テクスチャ特徴が計測する領域の面積に依存しないようにするためである。
Procedure 2: Normalization of density histogram Further, the luminance histogram creation unit 21 divides the frequency H (l) of each density level by the number of pixels in the image area, normalizes the total number of pixels to 1.0, and P (L). Here, normalization is performed so that the texture feature does not depend on the area of the region to be measured.
手順3:テクスチャ特徴量の算出
特徴量抽出部20内のテクスチャ特徴量算出部22は、輝度ヒストグラム作成部21により正規化された頻度P(l)に基づいて、以下の5つのテクスチャ特徴量を算出する。
Procedure 3: Calculation of texture feature amount The texture feature
[テクスチャ特徴量1]平均
下式(1)により、テクスチャ特徴量1として、濃淡レベルの平均を算出する。この平均値は、画像領域内の濃淡レベルの単純平均に相当する。
[Texture Feature Amount 1] Average The average of the light and shade levels is calculated as the
[テクスチャ特徴量2]コントラスト
下式(2)により、テクスチャ特徴量2として、濃淡レベルのコントラストを算出する。このコントラストの値は、分布が高いレベルに偏っていれば、大きな値をとることとなる。
[Texture Feature Amount 2] Contrast A gray level contrast is calculated as the
[テクスチャ特徴量3]分散
下式(3)により、テクスチャ特徴量3として、濃淡レベルの分散を算出する。この分散の値は、平均値から離れた画素が多く存在すれば、大きな値をとることとなる。
[Texture Feature Amount 3] Dispersion The variance of the shading level is calculated as the
[テクスチャ特徴量4]エネルギー
下式(4)により、テクスチャ特徴量4として、濃淡レベルのエネルギーを算出する。このエネルギーの値は、特定の濃淡レベルに集中して画素が存在していると大きな値をとり、1に近づくこととなる。
[Texture Feature Amount 4] Energy The density level energy is calculated as the
[テクスチャ特徴量5]エントロピー
下式(5)により、テクスチャ特徴量5として、濃淡レベルのエントロピーを算出する。このエントロピーの値は、多くの濃淡レベルの画素が多く存在すると大きな値をとる。
[Texture Feature Amount 5] Entropy The density level entropy is calculated as the
手順4:各特徴量に関する事前のデータ収集
特徴量抽出部20は、事前準備段階においては、手順1〜手順3を繰り返すことで、実際の層流煙、および実際の誤報源のそれぞれについて撮像した複数の画像に対して、複数のテクスチャ特徴量を算出する。
Procedure 4: Collecting data in advance regarding each feature quantity The feature
一方、層流煙発生検出部30内の特徴量ヒストグラム作成部31は、事前準備段階においては、特徴量抽出部20により、複数の画像について算出された層流煙および誤報源の各テクスチャ特徴量について、特徴量ヒストグラムを作成する。すなわち、例えば、テクスチャ特徴量1を例にすると、特徴量ヒストグラム作成部31は、実際に層流煙が発生した複数の画像(層流煙画像)に対してそれぞれ算出されたテクスチャ特徴量1の値(平均値)について、ヒストグラム(層流煙特徴量ヒストグラム)を作成する。
On the other hand, the feature amount histogram creation unit 31 in the laminar smoke
同様に、特徴量ヒストグラム作成部31は、実際に誤報源が発生した複数の画像(誤報源画像)に対してそれぞれ算出されたテクスチャ特徴量1の値(平均値)についても、ヒストグラム(誤報源特徴量ヒストグラム)を作成する。そして、特徴量ヒストグラム作成部31は、事前準備段階において、このようなヒストグラムを、テクスチャ特徴量1〜テクスチャ特徴量5のそれぞれについて個別に作成することとなる。
Similarly, the feature amount histogram creation unit 31 also applies a histogram (misinformation source) to the value (average value) of the
図2は、本発明の実施の形態1における層流煙検出装置の特徴量ヒストグラム作成部31において、層流煙と誤報源のそれぞれについて複数の画像に対して算出した特徴量ヒストグラムを示す例示図である。より具体的には、テクスチャ特徴量1である平均、テクスチャ特徴量3である分散、およびテクスチャ特徴量5であるエントロピーのそれぞれの特徴量についての、層流煙および誤報源の頻度分布をまとめたものである。
FIG. 2 is an exemplary diagram showing a feature amount histogram calculated for a plurality of images for each of the laminar smoke and the false alarm source in the feature amount histogram creation unit 31 of the laminar smoke detection device according to
図2における(a)〜(f)は、それぞれ、以下の内容のヒストグラムを示している。
図2(a):実際に層流煙が発生した際の複数の撮像画像における、テクスチャ特徴量1(平均)の算出結果に関する頻度分布データ
図2(b):実際に誤報源が発生した際の複数の撮像画像における、テクスチャ特徴量1(平均)の算出結果に関する頻度分布データ
図2(c):実際に層流煙が発生した際の複数の撮像画像における、テクスチャ特徴量3(分散)の算出結果に関する頻度分布データ
図2(d):実際に誤報源が発生した際の複数の撮像画像における、テクスチャ特徴量3(分散)の算出結果に関する頻度分布データ
図2(e):実際に層流煙が発生した際の複数の撮像画像における、テクスチャ特徴量5(エントロピー)の算出結果に関する頻度分布データ
図2(f):実際に誤報源が発生した際の複数の撮像画像における、テクスチャ特徴量5(エントロピー)の算出結果に関する頻度分布データ
(A)-(f) in FIG. 2 has shown the histogram of the following contents, respectively.
Fig. 2 (a): Frequency distribution data related to the calculation result of texture feature 1 (average) in a plurality of captured images when laminar smoke actually occurs Fig. 2 (b): When a false alarm source actually occurs Frequency distribution data regarding the calculation result of texture feature amount 1 (average) in a plurality of captured images of FIG. 2C: Texture feature amount 3 (dispersion) in a plurality of captured images when laminar smoke actually occurs FIG. 2D: Frequency distribution data regarding the calculation result of the texture feature amount 3 (dispersion) in a plurality of captured images when an erroneous report source actually occurs FIG. 2E: Frequency distribution data related to the calculation result of texture feature amount 5 (entropy) in a plurality of captured images when laminar smoke is generated. FIG. 2 (f): a plurality of captured images when a false alarm source is actually generated. Kicking, frequency distribution data relating to the calculation result of the texture feature 5 (entropy)
これらのデータから、層流煙の頻度分布は、まとまりがあるのに対して、誤報源の頻度分布は、層流煙の頻度分布と比較すると、ばらついている傾向がわかる。特に、誤報源に関する図2(b)に示した平均の頻度分布、および図2(f)に示したエントロピーの頻度分布を見ると、頻度のピークが複数箇所に存在している。 From these data, it can be seen that the frequency distribution of laminar smoke is coherent, whereas the frequency distribution of false alarm sources tends to vary compared to the frequency distribution of laminar smoke. In particular, when looking at the average frequency distribution shown in FIG. 2 (b) and the entropy frequency distribution shown in FIG. 2 (f) regarding the false alarm source, frequency peaks exist at a plurality of locations.
手順5:監視時における層流煙の発生有無の判断
上述した手順1〜4の事前準備段階におけるデータ収集結果に基づいて、実際の監視時には、以下の手順5(1)および手順5(2)に従って、層流煙の発生有無を判断する。
Procedure 5: Judgment of the presence or absence of laminar smoke during monitoring Based on the data collection results in the preliminary preparation steps of
手順5(1):監視時の画像におけるテクスチャ特徴量の算出
特徴量抽出部20は、実際の監視時に得られる撮像画像について、上述した手順1〜手順3に従って、テクスチャ特徴量1〜テクスチャ特徴量5を算出する。
Procedure 5 (1): Calculation of texture feature quantity in image at the time of monitoring The feature
手順5(2):手順5(1)で求めたテクスチャ特徴量の相関関係の判断
層流煙発生検出部30内の層流煙判定部32は、手順5(1)において監視時の画像について、特徴量抽出部20によって求められた複数のテクスチャ特徴量のそれぞれについて、手順4で収集済みのそれぞれのテクスチャ特徴量に関する層流煙特徴量ヒストグラム(頻度分布)、および誤報源特徴量ヒストグラム(頻度分布)との相関関係を求める。
Procedure 5 (2): Determination of the correlation between texture feature values obtained in Procedure 5 (1) The laminar
そして、層流煙判定部32は、監視時の画像に関する複数のテクスチャ特徴量が、事前準備段階で作成された誤報源に関する特徴量ヒストグラムよりも、層流煙に関する特徴量ヒストグラムとの相関関係が高く、所定の条件を満たす場合には、層流煙が発生した可能性が高いと判断する。
Then, the laminar
例えば、層流煙判定部32は、手順5(1)で求めた複数のテクスチャ特徴量が、図2の(a)、(c)、(e)の3つの分布の丸印で示した範囲内に全て入っている場合には、層流煙が発生したと判断することができる。
For example, the laminar
すなわち、層流煙判定部32は、特徴量ヒストグラム作成部31により複数のテクスチャ特徴量ごとに作成された層流煙特徴量ヒストグラムから、それぞれのテクスチャ特徴量ごとに層流煙が発生した可能性が高い特徴量範囲を規定できる。
That is, the laminar
そして、層流煙判定部32は、監視対象画像に対して算出された複数のテクスチャ特徴量であるM個(Mは、2以上の整数)のうちのN個(Nは、2以上M以下の整数)以上のテクスチャ特徴量において、層流煙が発生した可能性が高いとして規定したそれぞれの特徴量範囲に属している場合には、監視時に撮像された監視対象画像において層流煙が発生していると判断することができる。
And the laminar
また、層流煙判定部32は、相関関係を考慮した別の定量的な判断手法として、マハラノビスの距離に基づく判断を行うことができ、この判断手法については、実施の形態3で詳述する。
In addition, the laminar
以上のように、実施の形態1によれば、層流煙が実際に存在する複数の画像と、誤報源が実際に存在する複数の画像に基づいて、事前準備段階において、複数のテクスチャ特徴量に関してそれぞれの特徴量ヒストグラムを作成しておく。そして、監視時においては、監視画像から複数のテクスチャ特徴量を算出し、あらかじめ作成しておいた層流煙に関する特徴量ヒストグラムおよび誤報源に関する特徴量ヒストグラムとの相関関係から、層流煙の有無を判断している。 As described above, according to the first embodiment, based on a plurality of images in which laminar smoke actually exists and a plurality of images in which false alarm sources actually exist, a plurality of texture feature amounts in the preliminary preparation stage. Each feature amount histogram is created for. At the time of monitoring, a plurality of texture feature values are calculated from the monitoring image, and the presence or absence of laminar smoke is determined based on the correlation between the feature histograms related to laminar smoke and the feature histograms related to false alarm sources. Judging.
換言すると、実施の形態1における層流煙検出装置は、複数のテクスチャ特徴量について、事前準備段階で、実績データによる層流煙の頻度分布および誤報源の頻度分布を算出しておき、それぞれの頻度分布と、監視時に算出した複数のテクスチャ特徴量との相関関係により、層流煙の発生の有無を判断している。この結果、統計データに基づく判断により、誤報源の影響を抑制し、検出精度の向上を図った層流煙検出を実現できる。
In other words, the laminar smoke detection device according to
実施の形態2.
先の実施の形態1では、層流煙を検出するための特徴量として、輝度ヒストグラムに基づくテクスチャ特徴量を採用する場合について説明した。これに対して、本実施の形態2では、注目画素および周囲画素の輝度に着目し、事前に取得した基準画像と、監視時における取得画像との間の類似性に関する指標を、層流煙を検出するための特徴量として採用する場合について説明する。
In the first embodiment, the case where the texture feature amount based on the luminance histogram is employed as the feature amount for detecting laminar smoke has been described. On the other hand, in the second embodiment, attention is paid to the luminance of the target pixel and surrounding pixels, and an index relating to the similarity between the reference image acquired in advance and the acquired image at the time of monitoring is expressed as laminar smoke. A case where it is adopted as a feature amount for detection will be described.
層流煙の色は、透過性があり、カメラ側から見て、層流煙の向こう側にある風景(背景)が見えるという特徴がある。すなわち、注目画素の輝度に対する周囲画素の輝度の大小関係が、層流煙がある場合とない場合とで、相関関係が強いことが考えられる。そこで、本実施の形態2では、このような相関関係の指標となるローカルバイナリパターン(LBP)に基づく特徴量を使用しており、以下に、詳細に説明する。 The color of laminar smoke is transmissive and has a characteristic that a landscape (background) beyond the laminar smoke can be seen from the camera side. That is, it is conceivable that the relationship between the luminance of the surrounding pixels and the luminance of the pixel of interest has a strong correlation between when there is laminar smoke and when there is no laminar smoke. Therefore, in the second embodiment, a feature quantity based on a local binary pattern (LBP) that serves as an index of such correlation is used, which will be described in detail below.
図3は、本発明の実施の形態2における層流煙検出装置の構成図である。本実施の形態2における層流煙検出装置は、画像メモリ10、特徴量抽出部20a、および層流煙発生検出部30を備えている。先の実施の形態1における図1の構成と比較すると、特徴量抽出部20aの機能が異なっている。画像メモリ10は、カメラ1により撮像された画像を記憶できるように、複数フレーム分の画像メモリとして構成されている。具体的には、検出対象である層流煙が実際に発生したときの複数の層流煙画像、誤報源が実際に存在する複数の誤報源画像、層流煙も誤報源も存在しない基準画像、および監視時に撮像された監視対象画像が、画像メモリ10内に記憶できる構成となっている。
FIG. 3 is a configuration diagram of the laminar smoke detector according to
特徴量抽出部20aは、LBPデータ作成部23、およびLBP特徴量算出部24で構成される。そして、特徴量抽出部20は、画像メモリ10に記憶された、カメラ1により撮像された画像に関して、ローカルバナリパターンに基づく特徴量(LBP特徴量)を算出する機能を有している。
The feature quantity extraction unit 20 a includes an LBP data creation unit 23 and an LBP feature
そして、特徴量抽出部20aは、事前準備段階においては、実際の層流煙、および実際の誤報源のそれぞれについて撮像した複数の画像および基準画像に基づいて、LBP特徴量を算出する(詳細は、後述する)。また、層流煙の監視時には、監視空間で撮像された実際の画像および基準画像に基づいて、LBP特徴量を算出する。 Then, in the preliminary preparation stage, the feature amount extraction unit 20a calculates an LBP feature amount based on a plurality of images and reference images captured for each of the actual laminar smoke and the actual false alarm source (for details, see FIG. , Described later). When monitoring laminar smoke, the LBP feature value is calculated based on the actual image and the reference image captured in the monitoring space.
また、層流煙発生検出部30は、特徴量ヒストグラム作成部31、および層流煙判定部32で構成される。そして、層流煙発生検出部30は、事前準備段階において、特徴量抽出部20aにより、複数の画像について算出された層流煙および誤報源のLBP特徴量について、特徴量ヒストグラムを作成する。
The laminar smoke
さらに、層流煙発生検出部30は、監視時において、特徴量抽出部20aにより生成されたLBP特徴量が、事前準備段階で作成された誤報源に関する特徴量ヒストグラムよりも、層流煙に関する特徴量ヒストグラムとの相関関係が高く、所定の条件を満たす場合には、層流煙が発生した可能性が高いと判断する。
Furthermore, the laminar smoke
そこで、このような図3の構成に基づく、事前準備段階および実際の監視時を含めた一連の処理手順の詳細について、以下に説明する。 Therefore, details of a series of processing procedures including the preliminary preparation stage and actual monitoring based on the configuration of FIG. 3 will be described below.
手順1:LBPデータの作成
図4は、本発明の実施の形態2における特徴量であるローカルバイナリパターン(LBP)に関する説明図である。図4(a)は、中心にある注目画素と、その周囲の8つ画素である周囲画素(1)〜(8)について、256階調中の輝度値(濃淡値)をそれぞれ示している。
Procedure 1: Creation of LBP Data FIG. 4 is an explanatory diagram regarding a local binary pattern (LBP) which is a feature amount according to
特徴量抽出部20a内のLBPデータ作成部23は、特徴量を計測したい画像領域において、注目画素と周囲画素(1)〜(8)でなる3×3の領域を順次スキャンしていく。そして、各注目画素について、以下のようにして、LBPデータを作成する。 The LBP data creation unit 23 in the feature amount extraction unit 20a sequentially scans a 3 × 3 region including the target pixel and the surrounding pixels (1) to (8) in the image region where the feature amount is desired to be measured. Then, LBP data is created for each pixel of interest as follows.
図4に示した具体例で説明すると、まず始めに、LBPデータ作成部23は、注目画素の輝度値「80」と、左上に位置する周囲画素(1)の輝度値「90」とを比較する。この場合、周囲画素(1)の輝度値の方が、注目画素の輝度値よりも大きいため、対応するbitに1が格納される。 In the specific example shown in FIG. 4, first, the LBP data generation unit 23 compares the luminance value “80” of the target pixel with the luminance value “90” of the surrounding pixel (1) located in the upper left. To do. In this case, since the luminance value of the surrounding pixel (1) is larger than the luminance value of the target pixel, 1 is stored in the corresponding bit.
次に、LBPデータ作成部23は、注目画素の上に位置する周囲画素(2)の輝度値「40」を、注目画素の輝度値「80」と比較する。この場合、周囲画素(2)の輝度値の方が、注目画素の輝度値よりも小さいため、対応するbitに0が格納される。 Next, the LBP data creation unit 23 compares the luminance value “40” of the surrounding pixel (2) located above the target pixel with the luminance value “80” of the target pixel. In this case, since the luminance value of the surrounding pixel (2) is smaller than the luminance value of the target pixel, 0 is stored in the corresponding bit.
このような比較処理に基づくビット設定を、残りの周囲画素(3)〜(8)に対しても行うことで、図4(b)に示したような、8近傍の輝度データから作成した8ビットデータがLBPデータとして得られる。 Bit setting based on such comparison processing is also performed for the remaining surrounding pixels (3) to (8), so that 8 created from luminance data in the vicinity of 8 as shown in FIG. Bit data is obtained as LBP data.
手順2:LBPデータに基づく特徴量の算出
図5は、本発明の実施の形態2におけるLBPデータに基づく特徴量の算出処理に関する説明図である。LBPデータ作成部23は、図4(b)に示した8ビットのLBPデータの作成を、監視時の監視対象画像で順次スキャンされた3×3の画素からなる取得データと、事前に取得済みの基準画像内で順次スキャンされた3×3の画素からなる基準データについて、順次行う。
Procedure 2: Calculation of Feature Amount Based on LBP Data FIG. 5 is an explanatory diagram relating to a feature amount calculation process based on LBP data according to the second embodiment of the present invention. The LBP data creation unit 23 creates the 8-bit LBP data shown in FIG. 4 (b) and has been obtained in advance with the acquisition data composed of 3 × 3 pixels sequentially scanned with the monitoring target image at the time of monitoring. The reference data consisting of 3 × 3 pixels sequentially scanned in the reference image is sequentially performed.
そして、LBP特徴量算出部24は、3×3の画素からなる同じ領域の取得データと基準データの両者の対応するビットの排他的論理和XORを求めることで、相関データを算出する。さらに、LBP特徴量算出部24は、相関データの中で「0」となっているビットの数を、NUM[0]として求める。図5の例では、NUM[0]=6として求まっている。
Then, the LBP feature
さらに、LBP特徴量算出部24は、特徴量を計測したい画像領域内の全ての注目画素におけるNUM[0]の平均値を8で割った値を、LBP相関係数として算出する。このLBP相関係数が、ローカルバイナリデータに基づく特徴量(LBP特徴量)となる。
Further, the LBP feature
手順3:LBP特徴量に関する事前のデータ収集
特徴量抽出部20aは、事前準備段階においては、手順1、手順2を繰り返すことで、実際の層流煙、および実際の誤報源のそれぞれについて撮像した複数の画像に対して、LBP特徴量を算出する。
Procedure 3: Collecting Prior Data on LBP Feature Amount In the advance preparation stage, the feature amount extraction unit 20a captures an image of each of the actual laminar smoke and the actual misinformation source by repeating
一方、層流煙発生検出部30内の特徴量ヒストグラム作成部31は、事前準備段階においては、特徴量抽出部20aにより、複数の画像について算出された層流煙および誤報源のLBP特徴量について、特徴量ヒストグラムを作成する。
On the other hand, the feature amount histogram creation unit 31 in the laminar smoke
図6は、本発明の実施の形態2における層流煙検出装置の特徴量ヒストグラム作成部31において、層流煙と誤報源のそれぞれについての複数の画像(複数の層流煙画像および複数の誤報源画像)に対して算出した特徴量ヒストグラム(層流煙特徴量ヒストグラムおよび誤報源特徴量ヒストグラム)を示す例示図である。より具体的には、LBP特徴量についての、層流煙および誤報源の頻度分布をまとめたものである。
FIG. 6 shows a plurality of images (a plurality of laminar smoke images and a plurality of false alarms) for each of the laminar smoke and the false alarm source in the feature amount histogram creation unit 31 of the laminar smoke detector according to
図6における(a)、(b)は、それぞれ、以下の内容のヒストグラムを示している。
図6(a):実際に層流煙が発生した際の複数の撮像画像における、LBP特徴量の算出結果に関する頻度分布データ
図6(b):実際に誤報源が発生した際の複数の撮像画像における、LBP特徴量の算出結果に関する頻度分布データ
6A and 6B show histograms having the following contents, respectively.
FIG. 6A: Frequency distribution data related to the calculation result of the LBP feature value in a plurality of captured images when laminar smoke actually occurs FIG. 6B: A plurality of images when a false alarm source actually occurs Frequency distribution data related to LBP feature value calculation results in images
これらのデータから、層流煙のLBP相関係数は,50%付近を中心に、40〜55%の範囲に分布していることが分かる。一方、誤報源のLBP相関係数は,30〜50%付近に広く分布していることが分かる。 From these data, it can be seen that the LBP correlation coefficient of laminar smoke is distributed in the range of 40 to 55% centering around 50%. On the other hand, it can be seen that the LBP correlation coefficient of the false alarm source is widely distributed in the vicinity of 30 to 50%.
手順4:監視時における層流煙の発生有無の判断
上述した手順1〜3の事前準備段階におけるデータ収集結果に基づいて、実際の監視時には、以下の手順4(1)および手順4(2)に従って、層流煙の発生有無を判断する。
Procedure 4: Judgment of the presence or absence of laminar smoke during monitoring Based on the data collection results in the preliminary preparation steps of
手順4(1):監視時の画像におけるLBP特徴量の算出
特徴量抽出部20aは、実際の監視時に得られる撮像画像について、上述した手順1、手順2に従って、LBP特徴量を算出する。
Procedure 4 (1): Calculation of LBP feature value in image at the time of monitoring The feature value extraction unit 20a calculates an LBP feature value for the captured image obtained at the time of actual monitoring according to the above-described
手順4(2):手順4(1)で求めたLBP特徴量の相関関係の判断
層流煙発生検出部30内の層流煙判定部32は、手順4(1)において監視時の画像について、特徴量抽出部20aによって求められたLBP特徴量について、手順3で収集済みのLBP特徴量に関する層流煙特徴量ヒストグラム(頻度分布)、および誤報源特徴量ヒストグラム(頻度分布)との相関関係を求める。
Procedure 4 (2): Judgment of the correlation between the LBP feature values obtained in Procedure 4 (1) The laminar
そして、層流煙判定部32は、監視時の画像に関するLBP特徴量が、事前準備段階で作成された誤報源に関する特徴量ヒストグラムよりも、層流煙に関する特徴量ヒストグラムとの相関関係が高く、所定の条件を満たす場合には、層流煙が発生した可能性が高いと判断する。
The laminar
例えば、図6の場合を例にとると、層流煙判定部32は、手順4(1)で求めたLBP特徴量が、50%を超える場合には、層流煙が発生した可能性が高いと判断することができる。また、50%を超える状態が所定回数継続することで、層流煙が発生した可能性が高いと判断することもできる。さらに、手順4(1)で求めたLBP特徴量が、40%未満の場合には、層流煙が発生していない可能性が高いと判断することができる。
For example, taking the case of FIG. 6 as an example, the laminar
すなわち、層流煙判定部32は、特徴量ヒストグラム作成部31によりLBP特徴量を用いて作成された層流煙特徴量ヒストグラムから、層流煙の頻度分布に基づく第1の特徴量範囲を規定できる。同様に、層流煙判定部32は、特徴量ヒストグラム作成部31によりLBP特徴量を用いて作成された誤報源特徴量ヒストグラムから、誤報源の頻度分布に基づく第2の特徴量範囲を規定できる。
That is, the laminar
そして、層流煙判定部32は、監視対象画像に対して算出されたLBP特徴量が、第1の特徴量範囲に属しており、かつ、第2の特徴量範囲に属していない場合には、監視時に撮像された監視対象画像において層流煙が発生していると判断することができる。
Then, the laminar
また、先の実施の形態1で使用した複数のテクスチャ特徴量での判断結果と、本実施の形態2におけるLBP特徴量での判断結果を組み合わせて、層流煙の有無を判断することもできる。 Further, the presence / absence of laminar smoke can also be determined by combining the determination result with the plurality of texture feature amounts used in the first embodiment and the determination result with the LBP feature amount in the second embodiment. .
また、層流煙判定部32は、相関関係を考慮した別の定量的な判断手法として、マハラノビスの距離に基づく判断を行うことができ、この判断手法については、実施の形態3で詳述する。
In addition, the laminar
以上のように、実施の形態2によれば、層流煙が実際に存在する複数の画像と、誤報源が実際に存在する複数の画像と基準画像とに基づいて、事前準備段階において、LBP特徴量に関してそれぞれの特徴量ヒストグラムを作成しておく。そして、監視時においては、監視画像および基準画像からLBP特徴量を算出し、あらかじめ作成しておいた層流煙に関する特徴量ヒストグラムおよび誤報源に関する特徴量ヒストグラムとの相関関係から、層流煙の有無を判断している。 As described above, according to the second embodiment, based on the plurality of images in which laminar smoke actually exists, the plurality of images in which false alarm sources actually exist, and the reference image, in the preliminary preparation stage, A feature amount histogram is created for each feature amount. At the time of monitoring, the LBP feature amount is calculated from the monitoring image and the reference image, and from the correlation with the feature amount histogram relating to the laminar smoke and the feature amount histogram relating to the false alarm source prepared in advance, Judgment is made.
換言すると、実施の形態2における層流煙検出装置は、LBP特徴量について、事前準備段階で、実績データによる層流煙の頻度分布および誤報源の頻度分布を算出しておき、それぞれの頻度分布と、監視時に算出したLBP特徴量との相関関係により、層流煙の発生の有無を判断している。この結果、統計データに基づく判断により、誤報源の影響を抑制し、検出精度の向上を図った層流煙検出を実現できる。 In other words, the laminar smoke detection device according to the second embodiment calculates the frequency distribution of laminar smoke and the frequency distribution of false alarm sources based on the actual data at the preliminary preparation stage for the LBP feature quantity, and each frequency distribution. And whether or not laminar smoke is generated is determined based on the correlation between the LBP feature value calculated at the time of monitoring. As a result, it is possible to realize laminar smoke detection that suppresses the influence of false alarm sources and improves detection accuracy by judgment based on statistical data.
なお、図4に基づいて説明した周囲画素としては、中心にある注目画素の周囲の8つの画素である周囲画素(1)〜(8)を採用したが、本発明における周囲画素の数は、8つに限定されるものではない。注目画素の上下左右の4近傍の画素に着目して、周囲画素(2)、(4)、(6)、(8)からなる4つの周囲画素を採用するか、あるいは、注目画素の左上、右上、左下、右下の4近傍の画素に注目して、周囲画素(1)、(3)、(5)、(7)からなる4つの周囲画素を採用することも可能である。この場合には、LBPデータが、8ビットではなく、4ビットのデータとして構成されることとなるが、基本的な処理は、8ビットの場合と同じである。 In addition, as the surrounding pixels described based on FIG. 4, the surrounding pixels (1) to (8) that are eight pixels around the pixel of interest at the center are adopted. However, the number of surrounding pixels in the present invention is as follows. It is not limited to eight. Focusing on the four neighboring pixels above, below, left, and right of the target pixel, adopt the four peripheral pixels consisting of the peripheral pixels (2), (4), (6), (8), or the upper left of the target pixel, It is also possible to adopt four surrounding pixels composed of surrounding pixels (1), (3), (5), and (7) by paying attention to the four neighboring pixels in the upper right, lower left, and lower right. In this case, the LBP data is configured as 4-bit data instead of 8-bit, but the basic processing is the same as in the 8-bit case.
実施の形態3.
本実施の形態3では、1つあるいは複数の特徴量のヒストグラムに対する、監視時に得られた特徴量の相関関係の度合を、「マハラノビス距離」を用いて定量的に評価する方法について説明する。すなわち、監視対象画像に基づいて算出された特徴量と、層流煙特徴量ヒストグラムおよび誤報源特徴量ヒストグラムとの相関関係を、「マハラノビス距離」を用いて定量的に評価する方法について詳述する。
In the third embodiment, a method for quantitatively evaluating the degree of correlation of feature amounts obtained at the time of monitoring with respect to one or a plurality of feature amount histograms using the “Mahalanobis distance” will be described. That is, a method for quantitatively evaluating the correlation between the feature amount calculated based on the monitoring target image, the laminar smoke feature amount histogram, and the misinformation source feature histogram using the “Mahalanobis distance” will be described in detail. .
マハラノビス距離とは、統計学で用いられる一種の距離であり、る。多変数間の相関に基づくものであり、多変量解析に用いられる。そして、新たな標本(本願では、監視時に算出された特徴量に相当)につき、類似性によって既知の標本(本願では、事前準備段階で作成された層流煙特徴量ヒストグラム、および誤報源特徴量ヒストグラムに相当)との関係を明らかにするのに有用である。データの相関を考慮し、また尺度水準によらないという点で、ユークリッド空間で定義される普通のユークリッド距離とは異なる。 Mahalanobis distance is a kind of distance used in statistics. It is based on the correlation between multivariables and is used for multivariate analysis. Then, for a new sample (corresponding to the feature amount calculated at the time of monitoring in this application), a known sample (in this application, the laminar smoke feature amount histogram created in the preliminary preparation stage, and the false alarm source feature amount) This is useful for clarifying the relationship to the histogram. It differs from the normal Euclidean distance defined in Euclidean space in that it considers the correlation of data and does not depend on the scale level.
形式的には、平均が下式(6)
マハラノビス距離は、また、共分散行列がΣで同じ確率分布に従う2つのベクトルの間の非類似性の指標としても、下式(9)のように定義できる。 The Mahalanobis distance can also be defined as the following expression (9) as an index of dissimilarity between two vectors whose covariance matrix is Σ and follows the same probability distribution.
以上がマハラノビス距離に関する定義であるが、次に、2変数(すなわち、2つの特徴量)に関する具体的な計算例により、「マハラノビス距離」と「ユークリッド距離」の違いについて説明する。 The above is the definition related to the Mahalanobis distance. Next, the difference between the “Mahalanobis distance” and the “Euclidean distance” will be described using a specific calculation example regarding two variables (that is, two feature amounts).
図7は、本発明の実施の形態3における2つの特徴量に基づく標本の一例を示した図である。具体的には、層流煙が実際に発生した8枚の層流煙画像から、2つの特徴量1、特徴量2をそれぞれ算出した結果がAグループとして示され、誤報源が実際に発生した8枚の誤報源画像から、2つの特徴量1、特徴量2をそれぞれ算出した結果がBグループとして示されている。
FIG. 7 is a diagram showing an example of a sample based on two feature amounts according to
図8は、本発明の実施の形態3におけるAグループ、Bグループの分布状態、中心位置、および未知の点を、特徴量1をX軸、特徴量2をY軸として記載した図である。ここで、未知の点は、監視時に特徴量1、特徴量2がともに5.5として算出されたものであり、Aグループ、Bグループのどちらに相関がより強いかが未知であるデータに相当する。
FIG. 8 is a diagram in which the distribution amount, center position, and unknown point of the A group and the B group according to the third embodiment of the present invention are described with the
このとき、上式(9)に従って、Aグループの中心から未知の点までのマハラノビス距離をMAとして算出し、Bグループの中心から未知の点までのマハラノビス距離をMBとして算出すると、以下のようになる。
MA=3.6458
MB=22.3125
At this time, according to the above equation (9), the Mahalanobis distance from the center of the A group to the unknown point is calculated as MA, and the Mahalanobis distance from the center of the B group to the unknown point is calculated as MB. Become.
MA = 3.6458
MB = 22.3125
一方、Aグループの中心から未知の点までのユークリッド距離をUAとして算出し、Bグループの中心から未知の点までのユークリッド距離をUBとして算出すると、以下のようになる。
UA=3.5355
UB=2.1213
On the other hand, when the Euclidean distance from the center of the A group to the unknown point is calculated as UA, and the Euclidean distance from the center of the B group to the unknown point is calculated as UB, the following is obtained.
UA = 3.5355
UB = 2.213
この結果からわかるように、未知の点は、ユークリッド距離を判断指標とした場合には、Bグループに近い(Bグループとの相関がより高い)と判断されるが、マハラノビス距離を判断指標とした場合には、逆に、Aグループに近い(Aグループとの相関がより高い)と判断される。 As can be seen from this result, when the Euclidean distance is used as the determination index, the unknown point is determined to be close to the B group (higher correlation with the B group), but the Mahalanobis distance is used as the determination index. In the case, on the contrary, it is determined to be close to the A group (the correlation with the A group is higher).
すなわち、図8からも明らかなように、未知の点は、ユークリッド距離としては、Bグループの中心に近いが、マハラノビス距離を用いることで、Aグループの分布との相関が高いと判断することができる。従って、層流煙の有無の判断に当たって、このようなマハラノビス距離を判断指標として採用することで、統計データに基づく分布との相関を考慮した判断ができ、誤報源の影響を抑制し、検出精度の向上を図った層流煙検出装置を実現できることとなる。 That is, as is clear from FIG. 8, the unknown point is close to the center of the B group as the Euclidean distance, but it can be determined that the correlation with the distribution of the A group is high by using the Mahalanobis distance. it can. Therefore, by adopting such Mahalanobis distance as a judgment index when judging the presence or absence of laminar smoke, it is possible to make a judgment considering the correlation with the distribution based on statistical data, suppress the influence of false alarm sources, and detect accuracy Thus, a laminar smoke detector that improves the above can be realized.
図9は、本発明の実施の形態3におけるAグループ、Bグループの分布状態、中心位置、および未知の点を、特徴量1をX軸、特徴量2をY軸として記載した、図8とは異なる図である。この図9の例では、監視時に得られた特徴量により規定される未知の点が、層流煙であるAグループの分布の右端に属している状態を示している。このような場合にも、マハラノビス距離を判断指標とすることで、ユークリッド距離としてはグループBに近い未知の点を、グループAと相関が高いとして判断することができる。
FIG. 9 shows the distribution state, center position, and unknown point of group A and group B according to the third embodiment of the present invention, with
先の実施の形態1の図1、あるいは先の実施の形態2の図3の構成では、層流煙判定部32において、このマハラノビス距離に基づく判断を行うこととなる。また、層流煙の有無の判断に当たって、層流煙判定部32は、層流煙の分布と、誤報源の分布のいずれに近いかだけを判断するのではなく、マハラノビス距離として求まった実際の数値から、あらかじめ決められた閾値距離よりも短い場合に、層流煙が発生したと判断することができる。また、複数の分布において、一部分の領域が重複している場合であっても、相関関係の類似度を定量的に評価することができる。
In the configuration of FIG. 1 of the
なお、図7〜図9を用いた説明では、説明を簡略化するために、2つの特徴量によりマハラノビス距離を求める場合について説明したが、これに限定されない。マハラノビス距離は、1つの特徴量、あるいは3つ以上の特徴量について求めることも可能である。また、2つの特徴量のペアを変えて、複数のペアを用いて、それぞれのペアでのマハラノビス距離の算出結果に基づいて、層流煙が発生したか否かを判断することも可能である。さらに、マハラノビス距離の算出に用いる特徴量としては、実施の形態1における複数のテクスチャ特徴量、実施の形態2におけるLBP特徴量には限定されず、煙の発生に関連する他の特徴量を必要に応じて考慮することも可能である。 In the description using FIGS. 7 to 9, the case where the Mahalanobis distance is obtained from two feature amounts has been described for the sake of simplicity, but the present invention is not limited to this. The Mahalanobis distance can also be obtained for one feature quantity or three or more feature quantities. It is also possible to determine whether laminar smoke has been generated based on the calculation result of Mahalanobis distance in each pair by changing two feature quantity pairs and using a plurality of pairs. . Furthermore, the feature quantities used for calculating the Mahalanobis distance are not limited to the plurality of texture feature quantities in the first embodiment and the LBP feature quantities in the second embodiment, and other feature quantities related to the generation of smoke are necessary. It is also possible to consider depending on.
以上のように、実施の形態3によれば、統計データを用いて相関関係の定量的な判断を行う際の指標として、マハラノビス距離を用いることで、層流煙の発生の有無を判断している。具体的には、監視対象画像に対して算出された特徴量の相関関係について、層流煙特徴量ヒストグラムの分布に対して算出したマハラノビス距離が、第1の所定範囲内の値を有し(すなわち、層流煙特徴量との相関が強く)、かつ、誤報源特徴量ヒストグラムの分布に対して算出したマハラノビス距離が、第2の所定範囲外の値を有する(すなわち、誤報源特徴量との相関が弱い)場合には、監視対象画像において層流煙が発生していると判断することができる。この結果、誤報源の影響を抑制し、検出精度の向上を図った層流煙検出装置を実現できる。 As described above, according to the third embodiment, the Mahalanobis distance is used as an index when performing quantitative determination of correlation using statistical data, thereby determining whether or not laminar smoke is generated. Yes. Specifically, the Mahalanobis distance calculated for the distribution of the laminar smoke feature amount histogram with respect to the correlation between the feature amounts calculated for the monitoring target image has a value within the first predetermined range ( In other words, the Mahalanobis distance calculated for the distribution of the misinformation source feature histogram has a value outside the second predetermined range (that is, the misinformation source feature If the correlation is weak), it can be determined that laminar smoke is generated in the monitoring target image. As a result, it is possible to realize a laminar smoke detector that suppresses the influence of a false alarm source and improves detection accuracy.
1 カメラ、10 画像メモリ、20、20a 特徴量抽出部、21 輝度ヒストグラム作成部、22 テクスチャ特徴量算出部、23 データ作成部、24 特徴量算出部、30 層流煙発生検出部、31 特徴量ヒストグラム作成部、32 層流煙判定部。
DESCRIPTION OF
Claims (3)
事前準備時に、検出対象である層流煙が実際に発生したときの複数の層流煙画像を記憶するとともに、監視時に、前記監視カメラにより撮像された監視対象画像を記憶する画像メモリと、
前記画像メモリ内に記憶された画像ごとに、輝度ヒストグラムに基づく複数のテクスチャ特徴量を算出する特徴量抽出部と、
前記事前準備時に前記画像メモリに記憶された前記複数の層流煙画像のそれぞれに対して前記特徴量抽出部により算出された前記複数のテクスチャ特徴量のそれぞれについて、前記複数の層流煙画像に関する層流煙特徴量ヒストグラムを作成する特徴量ヒストグラム作成部と、
前記監視時に前記画像メモリに記憶された前記監視対象画像に対して前記特徴量抽出部により算出された前記複数のテクスチャ特徴量と、前記特徴量ヒストグラム作成部により前記複数のテクスチャ特徴量ごとに作成された前記層流煙特徴量ヒストグラムとの相関関係から、前記監視時に撮像された前記監視対象画像において層流煙が発生しているか否かを判断する層流煙判定部と
を備える層流煙検出装置。 A laminar smoke detection device that detects the occurrence of laminar smoke by performing image processing on an image captured by a surveillance camera,
An image memory that stores a plurality of laminar smoke images when a laminar smoke that is a detection target actually occurs at the time of preliminary preparation, and stores a monitoring target image captured by the monitoring camera at the time of monitoring,
A feature amount extraction unit that calculates a plurality of texture feature amounts based on a luminance histogram for each image stored in the image memory;
The plurality of laminar smoke images for each of the plurality of texture feature amounts calculated by the feature amount extraction unit for each of the plurality of laminar smoke images stored in the image memory at the time of the preliminary preparation. A feature histogram creation unit for creating a laminar smoke feature histogram for
The plurality of texture feature amounts calculated by the feature amount extraction unit for the monitoring target image stored in the image memory at the time of the monitoring, and created by the feature amount histogram creation unit for each of the plurality of texture feature amounts A laminar smoke determining unit that determines whether or not laminar smoke is generated in the monitoring target image captured at the time of monitoring based on a correlation with the laminar smoke characteristic amount histogram. Detection device.
前記画像メモリは、誤報源が実際に存在する複数の誤報源画像をさらに記憶し、
前記特徴量ヒストグラム作成部は、前記事前準備時に前記画像メモリに記憶された前記複数の誤報源画像のそれぞれに対して前記特徴量抽出部により算出された前記複数のテクスチャ特徴量のそれぞれについて、前記複数の誤報源画像に関する誤報源特徴量ヒストグラムを作成し、
前記層流煙判定部は、
前記監視時に前記画像メモリに記憶された前記監視対象画像に対して前記特徴量抽出部により算出された前記複数のテクスチャ特徴量と、前記特徴量ヒストグラム作成部により前記複数のテクスチャ特徴量ごとに作成された前記層流煙特徴量ヒストグラムおよび前記誤報源特徴量ヒストグラムとの相関関係から、前記監視時に撮像された前記監視対象画像において層流煙が発生しているか否かを判断する
煙検出装置。 The laminar smoke detector according to claim 1,
The image memory further stores a plurality of false alarm images in which the false alarm source actually exists;
The feature amount histogram creation unit, for each of the plurality of texture feature amounts calculated by the feature amount extraction unit for each of the plurality of false alarm source images stored in the image memory at the time of the preliminary preparation. Creating a misinformation source feature histogram for the misinformation source images,
The laminar smoke judgment unit
The plurality of texture feature amounts calculated by the feature amount extraction unit for the monitoring target image stored in the image memory at the time of the monitoring, and created by the feature amount histogram creation unit for each of the plurality of texture feature amounts A smoke detection device that determines whether or not laminar smoke is generated in the monitoring target image captured at the time of monitoring, based on a correlation between the laminar smoke characteristic amount histogram and the false alarm source feature amount histogram.
事前準備時に、検出対象である層流煙が実際に発生したときの複数の層流煙画像を画像メモリに記憶するとともに、監視時に、前記監視カメラにより撮像された監視対象画像を前記画像メモリに記憶する記憶ステップと、
前記画像メモリ内に記憶された画像ごとに、輝度ヒストグラムに基づく複数のテクスチャ特徴量を算出する特徴量抽出ステップと、
前記事前準備時に前記画像メモリに記憶された前記複数の層流煙画像のそれぞれに対して前記特徴量抽出ステップにより算出された前記複数のテクスチャ特徴量のそれぞれについて、前記複数の層流煙画像に関する層流煙特徴量ヒストグラムを作成する特徴量ヒストグラム作成ステップと、
前記監視時に前記画像メモリに記憶された前記監視対象画像に対して前記特徴量抽出ステップにより算出された前記複数のテクスチャ特徴量と、前記特徴量ヒストグラム作成ステップにより前記複数のテクスチャ特徴量ごとに作成された前記層流煙特徴量ヒストグラムとの相関関係から、前記監視時に撮像された前記監視対象画像において層流煙が発生しているか否かを判断する層流煙判定ステップと
を備える層流煙検出方法。 A laminar smoke detection method executed in a laminar smoke detection device that detects generation of laminar smoke by performing image processing on an image captured by a surveillance camera,
When preparing in advance, a plurality of laminar smoke images when laminar smoke that is a detection target actually occurs is stored in the image memory, and at the time of monitoring, the monitoring target image captured by the monitoring camera is stored in the image memory. A storage step for storing;
A feature amount extracting step for calculating a plurality of texture feature amounts based on a luminance histogram for each image stored in the image memory;
The plurality of laminar smoke images for each of the plurality of texture feature amounts calculated by the feature amount extraction step for each of the plurality of laminar smoke images stored in the image memory at the time of the preliminary preparation. A feature histogram creation step for creating a laminar smoke feature histogram for
The plurality of texture feature amounts calculated by the feature amount extraction step for the monitoring target image stored in the image memory at the time of the monitoring, and created for each of the plurality of texture feature amounts by the feature amount histogram creation step. A laminar smoke determination step for determining whether or not laminar smoke is generated in the monitoring target image captured at the time of monitoring from the correlation with the laminar smoke characteristic amount histogram. Detection method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014075335A JP6457727B2 (en) | 2014-04-01 | 2014-04-01 | Laminar smoke detection device and laminar smoke detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014075335A JP6457727B2 (en) | 2014-04-01 | 2014-04-01 | Laminar smoke detection device and laminar smoke detection method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015197787A JP2015197787A (en) | 2015-11-09 |
JP2015197787A5 JP2015197787A5 (en) | 2017-06-01 |
JP6457727B2 true JP6457727B2 (en) | 2019-01-23 |
Family
ID=54547427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014075335A Active JP6457727B2 (en) | 2014-04-01 | 2014-04-01 | Laminar smoke detection device and laminar smoke detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6457727B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015223253A1 (en) * | 2015-11-25 | 2017-06-01 | Minimax Gmbh & Co. Kg | Method for determining threshold values of a condition monitoring unit for a fire detection and / or extinguishing control center and condition monitoring unit and system therewith |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3368084B2 (en) * | 1995-01-27 | 2003-01-20 | 名古屋電機工業株式会社 | Fire detector |
JP5518359B2 (en) * | 2009-03-31 | 2014-06-11 | 能美防災株式会社 | Smoke detector |
-
2014
- 2014-04-01 JP JP2014075335A patent/JP6457727B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015197787A (en) | 2015-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110516609B (en) | Fire disaster video detection and early warning method based on image multi-feature fusion | |
US8208723B2 (en) | Smoke detecting apparatus | |
JP5518359B2 (en) | Smoke detector | |
JP4653207B2 (en) | Smoke detector | |
JP4729610B2 (en) | Smoke detector | |
US20200292463A1 (en) | Apparatus for optimizing inspection of exterior of target object and method thereof | |
CN114241370A (en) | Intrusion identification method and device based on digital twin transformer substation and computer equipment | |
JP6457728B2 (en) | Laminar smoke detection device and laminar smoke detection method | |
JP6617015B2 (en) | Flame detection apparatus and flame detection method | |
KR101581162B1 (en) | Automatic detection method, apparatus and system of flame, smoke and object movement based on real time images | |
WO2012081969A1 (en) | A system and method to detect intrusion event | |
JP6140599B2 (en) | Flame detection device | |
JP6138036B2 (en) | Flame detection device | |
JP5302926B2 (en) | Smoke detector | |
JP6457727B2 (en) | Laminar smoke detection device and laminar smoke detection method | |
JP6457729B2 (en) | Laminar smoke detection device and laminar smoke detection method | |
JP6593791B2 (en) | Flame detection apparatus and flame detection method | |
JP6166651B2 (en) | Flame detection apparatus and flame detection method | |
JP6166650B2 (en) | Flame detection apparatus and flame detection method | |
CN113515554A (en) | Anomaly detection method and system for irregularly sampled time series | |
JP5309069B2 (en) | Smoke detector | |
JP2015108922A (en) | Flame detector and flame detection method | |
Liu et al. | Fire detection in radiant energy domain for video surveillance | |
CN117690273B (en) | Method, device, equipment and storage medium for resetting smoke alarm | |
CN117593330B (en) | Visual real-time vibration monitoring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170330 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170330 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20170330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170417 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6457727 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |