KR100982347B1 - smoke sensing method and system - Google Patents
smoke sensing method and system Download PDFInfo
- Publication number
- KR100982347B1 KR100982347B1 KR1020090012731A KR20090012731A KR100982347B1 KR 100982347 B1 KR100982347 B1 KR 100982347B1 KR 1020090012731 A KR1020090012731 A KR 1020090012731A KR 20090012731 A KR20090012731 A KR 20090012731A KR 100982347 B1 KR100982347 B1 KR 100982347B1
- Authority
- KR
- South Korea
- Prior art keywords
- equation
- smoke
- probability
- candidate area
- frame
- Prior art date
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims description 19
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 239000000203 mixture Substances 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010000369 Accident Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 연기 감지 방법 및 장치에 관한 것이다. 상기한 본 발명에 따르는 연기 감지 방법은, 프레임이 입력될 때마다 미리 설정된 키 프레임과의 차이를 검출하고, 상기 차이값이 미리 정해둔 제1임계치보다 크면 입력된 프레임을 키 프레임으로 설정하는 단계; 상기 설정된 키 프레임들 중 연속되는 키 프레임들에 대해 미리 정해둔 크기의 블럭 단위로 움직임 값이 미리 정해둔 제2임계치보다 큰 영역들을 제1후보 영역으로 검출하는 단계; 상기 제1후보 영역에 대해 색상 정보가 미리 정해둔 연기 색상 정보에 대응되는 영역을 검출하여 제2후보 영역을 검출하는 단계; 상기 제2후보 영역에 대해 엔트로피, 웨이블릿 계수, 모션 정보를 검출하고, 검출된 각 항목을 동적 베이지안 네트워크에 따른 결합 확률을 산출하고, 상기 결합 확률이 미리 정해둔 제2임계치보다 크면 연기로 최종 판별하는 단계;를 포함한다. The present invention relates to a smoke detection method and apparatus. The smoke detection method according to the present invention includes detecting a difference from a preset key frame every time a frame is input, and setting the input frame as a key frame if the difference is greater than a predetermined first threshold value. ; Detecting, as a first candidate area, regions in which a motion value is larger than a second threshold value in predetermined blocks for successive key frames among the set key frames; Detecting a second candidate area by detecting an area corresponding to the smoke color information predetermined by the color information with respect to the first candidate area; Detects entropy, wavelet coefficients and motion information for the second candidate area, calculates the combined probability of each detected item according to the dynamic Bayesian network, and if the combined probability is greater than a predetermined second threshold value, the smoke is finally determined. It comprises; a.
연기, 감지, 프레임, 움직임, 색상 Smoke, detection, frame, movement, color
Description
본 발명은 영상정보 처리기술에 관한 것으로, 더욱 상세하게는 영상정보로부터 연기를 감지하는 방법 및 장치에 관한 것이다. The present invention relates to image information processing technology, and more particularly, to a method and apparatus for detecting smoke from image information.
건물의 대형화와 인구의 도시 집중화는 다양한 안전사고에 대한 예방의 필요성을 증대시키고 있으며, 이를 자동으로 처리하기 위한 여러 연구들이 진행되어 오고 있다. 최근에는 대형 화재 사고로 인해 화재를 미연에 감지하여 조기 진화가 가능하도록 하는 무인 자동 감지 장치에 대한 연구가 활발히 진행되고 있다. 화재는 그 특성상 불꽃이 발생하기 전에 연기가 발생함으로 조기 화재감지를 위해서는 연기를 감지하는 센서의 개발이 필수적이다. 대부분의 화재 감지 시스템은 광학센서와 이온(ion) 센서를 통한 연기 감지 방법을 사용한다. 그러나 이러한 방법은 건물의 실내와 같이 장소가 폐쇄적이어야 하며, 연기가 공간의 천정에 달린 센서에 확산될 때까지 감지가 불가능하여, 야외와 같이 열린 공간의 경우에는 바람이나 날씨 등에 의해 연기의 농도가 약해지게 되어 감지 자체가 불가능해 질 수도 있다는 단점이 있었다. 또한 산불과 같이 넓은 장소에서 발생한 연기의 경우에도 연기가 센서에 도달할 수가 없기 때문에, 센서를 통한 감지가 불가능하다. 따라서 이러한 문 제를 보완하여 보다 신뢰성있는 연기 감지를 이행할 수 있는 기술이 연구되고 있다. The increase in the size of buildings and the concentration of population in cities are increasing the need for prevention of various safety accidents, and various studies have been conducted to automatically handle them. Recently, research is being actively conducted on the unmanned automatic detection device which enables the early fire extinguishing by detecting the fire in advance due to the large fire accident. Since fires generate smoke before a flame occurs, the development of sensors to detect smoke is essential for early fire detection. Most fire detection systems use smoke detection with optical and ion sensors. However, this method requires the place to be closed, such as the interior of a building, and cannot be detected until the smoke spreads on a sensor attached to the ceiling of the space. The weakness was that the detection itself would be impossible. In addition, in the case of smoke generated in a wide place such as a forest fire, since the smoke cannot reach the sensor, it is impossible to detect the sensor. Therefore, the technology that can compensate for these problems and implement more reliable smoke detection is being researched.
화재를 감지하는 연구는 크게 불꽃과 연기를 감지하는 두가지 방법으로 나뉘어 연구되어 오고 있다. 즉, RGB/HIS 컬러 모델과 불꽃 영역이 불규칙적으로 확산된다는 정보를 이용하여 화재를 분석하는 방법과, 움직임 영역을 배경 모델링에 의해 검출하고, 후보 영역에 대해 화재-컬러 모델과 후보 영역에 대한 시/공간상의 웨이블릿 고주파 계수의 변화량을 측정하여 화재를 검증하는 방법이 있다. 그러나 컬러정보와 픽셀들의 시간적인 변화량을 이용하는 대부분의 비전 기반 방식들은 휴리스틱한 특성으로 인해서 제한적인 환경에서는 좋은 결과를 보이지만 일반적인 화재 환경에 대해서는 오검출율이 높은 문제가 있고, 픽셀 단위로 적용되기 때문에 많은 연산을 필요로 하는 문제가 있었다. Fire detection has been largely divided into two methods of detecting flame and smoke. That is, a method of analyzing a fire using the RGB / HIS color model and the information that the flame region is irregularly spread, detecting the motion region by the background modeling, and the time for the fire-color model and the candidate region for the candidate region. There is a method to verify the fire by measuring the variation of wavelet high frequency coefficient in space. However, most vision-based methods that use color information and the temporal variation of pixels show good results in limited environments due to heuristic characteristics, but have a high false detection rate for general fire environments. There was a problem that required many operations.
더욱이 산 등과 같이 넓은 장소에 대해 촬상을 이행한 영상정보를 토대로 산불을 감지하고자 하는 경우에, 발화 초기에 연기가 발생될 때에는 전체 프레임에서 연기가 차지하는 영역이 협소하여 프레임간 차이가 미미하여 움직임 변화량에 따른 연기 감지가 신속하게 이루어지지 않는 문제도 있었다. In addition, when detecting a fire based on image information that has been taken for a wide place such as a mountain, when smoke occurs in the early stages of ignition, the area occupied by the smoke is narrow in the entire frame, and the difference between the frames is insignificant. There was also a problem that the smoke detection is not made quickly.
본 발명은 미리 정해둔 키 프레임에 대해 움직임 변화량이 미리 정해둔 임계치 이상 발생되는 프레임을 키 프레임으로 설정하며, 상기한 방식으로 설정된 키 프레임들을 토대로 연기 감지를 이행함으로써, 넓은 장소에 대해 촬상을 이행하는 촬상장치로부터의 영상정보로부터도 연기를 감지해낼 수 있는 연기 감지 방법 및 장치를 제공하는 것을 그 목적으로 한다. According to the present invention, a frame is generated in which a change amount of movement is greater than a predetermined threshold for a predetermined key frame as a key frame, and smoke is detected based on the key frames set in the above-described manner, so that imaging is performed for a wide place. An object of the present invention is to provide a smoke detection method and apparatus capable of detecting smoke even from image information from an image pickup device.
또한 본 발명의 다른 목적은 프레임을 블록단위로 처리하여 연기 감지를 위한 처리 과정 및 시간을 절감할 수 있는 연기 감지 방법 및 장치를 제공하는 것이다. In addition, another object of the present invention is to provide a smoke detection method and apparatus that can reduce the processing and time for the smoke detection by processing the frame in blocks.
상기한 목적을 달성하기 위한 본 발명에 따르는 연기 감지 방법은, 프레임이 입력될 때마다 미리 설정된 키 프레임과의 차이를 검출하고, 상기 차이값이 미리 정해둔 제1임계치보다 크면 입력된 프레임을 키 프레임으로 설정하는 단계; 상기 설정된 키 프레임들 중 연속되는 키 프레임들에 대해 미리 정해둔 크기의 블럭 단위로 움직임 값이 미리 정해둔 제2임계치보다 큰 영역들을 제1후보 영역으로 검출하는 단계; 상기 제1후보 영역에 대해 색상 정보가 미리 정해둔 연기 색상 정보에 대응되는 영역을 검출하여 제2후보 영역을 검출하는 단계; 상기 제2후보 영역에 대해 엔트로피, 웨이블릿 계수, 모션 정보를 검출하고, 검출된 각 항목을 동적 베이지안 네트워크에 따른 결합 확률을 산출하고, 상기 결합 확률이 미리 정해둔 제2임 계치보다 크면 연기로 최종 판별하는 단계;를 포함한다. The smoke detection method according to the present invention for achieving the above object, detects a difference with a predetermined key frame every time the frame is input, and if the difference value is larger than the first threshold value predetermined, key the input frame Setting to a frame; Detecting, as a first candidate area, regions in which a motion value is larger than a second threshold value in predetermined blocks for successive key frames among the set key frames; Detecting a second candidate area by detecting an area corresponding to the smoke color information predetermined by the color information with respect to the first candidate area; Detects entropy, wavelet coefficients and motion information for the second candidate area, calculates the combined probability of each detected item according to the dynamic Bayesian network, and if the combined probability is greater than the second threshold determined beforehand, deferring Determining; includes.
상기한 본 발명은 미리 정해둔 키 프레임에 대해 움직임 변화량이 미리 정해둔 임계치 이상 발생되는 프레임을 키 프레임으로 설정하며, 상기한 방식으로 설정된 키 프레임들을 토대로 연기 감지를 이행함으로써, 넓은 장소에 대해 촬상을 이행하는 촬상장치로부터의 영상정보로부터도 연기를 감지해낼 수 있는 효과가 있다. According to the present invention, a frame is generated in which a change amount of movement is greater than a predetermined threshold value for a predetermined key frame as a key frame. There is an effect that smoke can be detected also from the image information from the image capturing apparatus that implements this.
또한 본 발명은 프레임을 블록단위로 처리하여 연기 감지를 위한 처리 과정 및 시간을 절감할 수 있는 효과가 있다. In addition, the present invention has the effect of reducing the processing and time for the smoke detection by processing the frame in blocks.
본 발명의 바람직한 실시예에 따른 연기 감지 장치의 개략적인 구성을 도 1을 참조하여 설명한다.A schematic configuration of a smoke detection apparatus according to a preferred embodiment of the present invention will be described with reference to FIG. 1.
상기 연기 감지 장치는 제어부(100)와 메모리부(102)로 구성되며, 상기 제어부(100)는 미도시한 촬상장치가 촬상하여 순차적으로 제공하는 프레임들을 입력받아 본 발명의 바람직한 실시예에 따른 연기 감지를 위한 프로세싱을 이행한다. 상기 메모리부(102)는 상기 제어부(100)의 처리 프로그램 및 상기 처리 프로그램 수행을 위한 저장영역을 제공한다. The smoke detection device is composed of a
상기한 연기 감지 장치에 적용가능한 본 발명의 바람직한 실시예에 따른 연기 감지 방법을 도면을 참조하여 상세히 설명한다. A smoke detection method according to a preferred embodiment of the present invention applicable to the above-described smoke detection apparatus will be described in detail with reference to the accompanying drawings.
도 2는 본 발명의 바람직한 실시예에 따른 연기 감지 방법의 흐름도이다. 2 is a flowchart of a smoke detection method according to a preferred embodiment of the present invention.
<키 프레임 검출><Key Frame Detection>
상기 제어부(100)는 연기 감지가 요청되면(200단계), 상기 촬상장치로부터 제공되는 프레임들 중 일부에 대해 키 프레임으로 설정한다(202단계). When the smoke detection is requested (step 200), the
상기 키 프레임은, 산불 감지를 위한 촬상장치와 산불 발생 지역이 멀리 이격되어 있는 경우에, 전체 프레임에서 차지하는 연기 발생 영역이 협소하여 매 프레임간의 차가 거의 검출되지 않으므로, 미리 정해둔 키 프레임을 기준으로 제1임계값 이상의 움직임 변화량이 검출된 프레임을 다음 키 프레임으로 설정한다. 상기 키 프레임은 초기에는 첫 프레임으로 설정되고, 그 이후부터는 마지막으로 설정된 키 프레임을 기준으로 다음 키 프레임을 찾는다. When the imaging device for detecting a fire is far from the forest fire generating region, the key frame has a narrow smoke generation area occupying the entire frame so that a difference between every frame is hardly detected. The frame in which the change amount of the movement of the first threshold value or more is detected is set as the next key frame. The key frame is initially set to the first frame, and after that, the next key frame is found based on the last set key frame.
수학식 1은 본 발명의 바람직한 실시예에 따른 키 프레임 검출식을 나타낸 것이다.
상기 수학식 1에서 k는 키 프레임 번호이고 i는 현재 프레임 번호를 의미한다. 상기 수학식 1은 키 프레임과 현재 프레임의 차가 제1임계치(θ1)보다 크다면 해당 프레임을 다음 키-프레임으로 설정한다. In
도 3은 키 프레임을 검출한 예를 도시한 것으로, 순차적으로 촬상된 다수의 프레임 중 이전 키 프레임(i-th key frame)에 대해 제1임계치(θ1)보다 차가 큰 프레임이 다음 키 프레임((i+1)-th key frame)을 검출하여, 다음 키 프레임((i+1)-th key frame)으로 설정된다. FIG. 3 illustrates an example of detecting a key frame, wherein a frame having a difference larger than the first threshold value θ 1 with respect to an i-th key frame among a plurality of frames sequentially photographed is a next key frame ( (i + 1) -th key frame) is detected and set to the next (i + 1) -th key frame.
<움직임에 따른 제1후보 영역 검출><First Candidate Area Detection According to Movement>
상기 키 프레임이 검출되면, 상기 제어부(100)는 상기 연속되는 두 개의 키 프레임 사이의 움직임 변화량에 따른 제1후보 영역을 검출한다(204단계).When the key frame is detected, the
상기 수학식 2에서 x,y는 서브 블록의 인덱싱을 의미하고, Bb는 현재 키-프레임과 이전 키 프레임 사이의 변화량을 나타내는 이진 블록을 의미한다. In
즉, 상기 수학식 2에 따르면, 상기 제어부(100)는 연속되는 두 개의 키 프레임(frame[k], frame[k+1])을 동일한 서브 블록으로 나눈 후, 동일한 위치 상의 서브 블록간의 차가 제2임계치(θ2)보다 크다면 해당 서브 블록을 1, 그렇지 않으면 0을 가지게 함으로서 키 프레임들에서 움직임 변화가 있는 서브 블록을 나타낸다. That is, according to
도 4는 제1키 프레임(KF1)과 제2키 프레임(KF2) 사이의 움직임 블럭을 검출하여 표식한 제1결과 영상(R1)을 도시한 것으로, 1(백색)로 표식된 영역이 제1후보영역이 된다. FIG. 4 illustrates a first resultant image R1 obtained by detecting and marking a moving block between the first key frame KF1 and the second key frame KF2, wherein the region marked with 1 (white) is the first. It becomes a candidate area.
<색상 정보에 따른 제2후보 영역 검출><Second Candidate Area Detection According to Color Information>
상기 움직임 영역이 검출되면, 상기 제어부(100)는 상기 제1후보 영역에 대해 미리 정해둔 연기 색상 정보에 대응되는 제2후보 영역을 검출한다(206단계).When the movement area is detected, the
좀 더 설명하면, 상기 제어부(100)는 제1후보 영역에 대해 RGB 색 공간을 HSB 색 공간으로 변환한 후에, S와 B채널에 대한 가우시안 혼합 모델(GMM)을 구성하고, 이로부터 제2후보 영역을 검출한다. In more detail, the
상기 S와 B채널의 분포는 서로 독립적이고 가우시안 분포를 보인다고 가정하면, 수학식 3을 이용하여 연기 색상 모델을 생성할 수 있다. Assuming that the distributions of the S and B channels are independent of each other and show a Gaussian distribution, the smoke color model may be generated using
상기 수학식 3에서 cp는 제1후보 블록을 의미하며, sbcp는 제1후보 블록의 S와 B 채널 값을 의미한다. 또한, ui와 σi는 i번째 가우시안 모델의 평균과 표준편차를 의미하며, wi는 각 가우시안 모델의 가중치를 의미한다. In
즉, 가중치가 곱해진 각 가우시안 모델에 대한 확률 값의 합을 통해 추정 값(likelihood) p(cp|S)을 구하고 그 값이 제2임계값 이상일 경우에 해당 제1후보 영역을 제2후보 영역으로 결정한다. That is, the likelihood p (cp | S) is obtained from the sum of the probability values for each Gaussian model multiplied by the weight, and when the value is greater than or equal to the second threshold value, the first candidate area is defined as the second candidate area. Decide on
도 5는 본 발명에 따른 연기 후보 영역에 해당하는 S와 B 채널의 분포도이고, 도 6은 학습 데이터로 추출한 S와 B 채널에 대한 가우시안 혼합 모델 그래프이 다. FIG. 5 is a distribution diagram of S and B channels corresponding to a delay candidate region according to the present invention, and FIG. 6 is a Gaussian mixture model graph of S and B channels extracted as training data.
도 7은 제1후보 영역에 대응되는 제2키 프레임(KF2)의 영역의 색상이 연기 색상에 대응되는지를 토대로 제2후보 영역을 검출하여 표식한 결과 영상(R2)을 도시한 것으로, 백색으로 표식된 영역이 제2후보 영역이 된다. FIG. 7 illustrates an image R2 as a result of detecting and marking a second candidate region based on whether the color of the region of the second key frame KF2 corresponding to the first candidate region corresponds to the color of smoke. The marked area becomes the second candidate area.
<최종 연기 판별><Final posture determination>
상기 제2후보 영역이 검출되면, 상기 제어부(100)는 상기 제2후보 영역에 대한 최종 연기 판별을 이행한다.(208단계).When the second candidate area is detected, the
좀 더 설명하면, 본 발명은 연기의 특성을 분석하고 이를 확률적으로 모델링하여 동적 베이지안 네트워크의 관찰노드에 적용하는 방법을 이용하여 최종 연기 판별을 이행한다. In more detail, the present invention performs final smoke discrimination using a method of analyzing the characteristics of smoke and probabilistic modeling and applying it to the observation nodes of the dynamic Bayesian network.
먼저, 본 발명은 YUV 채널 공간에서 Y값에 대한 엔트로피 정보를 이용하여 그 결과를 모델링하기 위해서 수학식 4를 이용한다.First, the present invention uses
상기 수학식 4에서 p(xi)는 Y 채널을 N 개의 집단으로 양자화시켰을 때의 도수분포에 대한 확률을 의미하고 logn을 취함으로써 1을 넘지 않도록 정규화한 것이다. In
도 8은 본 발명에 따른 추출한 색상 값에 대한 엔트로피 정보를 가우시안 혼 합 모델에 적용한 확률 분포 그래프이다.8 is a probability distribution graph in which entropy information on the extracted color values is applied to a Gaussian mixture model.
또한 제어부(100)는 웨이블릿 변환을 통하여 고주파 성분에 해당하는 수평(LH), 수직(HL), 대각선(HH) 계수를 측정한다.In addition, the
도 9는 고주파 성분인 수평(LH), 수직(HL), 대각선(HH) 계수들을 가우시안 혼합 모델에 적용한 확률 분포 그래프이다.FIG. 9 is a probability distribution graph in which high frequency components of horizontal (LH), vertical (HL), and diagonal (HH) coefficients are applied to a Gaussian mixture model.
또한 제어부(100)는 모션 정보를 산출한다. 본 발명에서는 조명의 변화에 민감하고 속도가 빠른 3단계 탐색 알고리즘을 적용하여 모션 정보를 추출하고, 수학식 5를 이용하여 모션 정보의 방향을 측정한다. In addition, the
상기 수학식 5에서 mvx는 x방향의 변위이고 mvy는 y방향의 변위를 나타내며, 각각 구해진 모션벡터는 0에서 2π로 변환된 후 도 10과 같이 8개의 방향으로 정규화된다.In
일반적으로 연기는 특성상 상승하여 확산되는 경향을 보임으로 각 후보영역에 속한 블록들에서 수학식 5를 이용하여 M-dir을 구한 후, 이로부터 히스토그램(Hb)을 생성하고 확률 값인 모션정보를 구하기 위해 수학식 6을 이용한다.In general, smoke has a tendency to rise and spread, and thus, M-dir is obtained using
상기 수학식 6에서, 은 전체 방향 정보의 합이고 는 상승 방향을 나타내는 정보들의 합이다.In
도 10은 3단계 탐색 알고리즘 적용으로 8방향의 모션 정보와 모션 벡터를 추출하는 결과 화면이다.10 is a result screen of extracting motion information and a motion vector in eight directions by applying a three-stage search algorithm.
본 발명은 적응적 배경 감산 모델과 색상정보를 이용하여 추출된 연기 후보 영역에 대해 불확실성에 강인한 확률 모델인 베이지안 추론(Bayesian inference)을 이용하여 최종적으로 연기를 검증한다. The present invention finally verifies the smoke using Bayesian inference, a probabilistic model that is robust against uncertainty for the smoke candidate region extracted using the adaptive background subtraction model and color information.
도 11은 연기 가설(hypotheses)과 YUV 채널 공간에서 Y채널에 대한 엔트로피, 수평(LH), 수직(HL), 대각선(HH) 웨이블릿 계수와, 모션정보를 노드(node)로 갖는 동적 베이지안 네트워크를 도시한 것이다. FIG. 11 illustrates a dynamic Bayesian network having entropy, horizontal (LH), vertical (HL), diagonal (HH) wavelet coefficients and motion information as nodes for the Y channel in the smoke hypotheses and YUV channel space. It is shown.
상기 도 11을 살펴보면 최상위 부모 노드 A는 하부 추론 근거 S1, S2, S3의 결합 확률로 결정되며, 추론 근거 S1, S2, S3의 확률은 각각 하부 추론 근거 Y1, Y2, Y3의 결합 확률로 결정된다.Referring to FIG. 11, the highest parent node A is determined by the combined probability of the lower inferences S 1 , S 2 , and S 3, and the probabilities of the inferences S 1 , S 2 , and S 3 are Y 1 and Y 2 , respectively. , Y 3 is determined by the probability of coupling.
상기한 동적 베이지안 네트워크는 정적 베이지안 네트워크에 비해 이전 상태를 고려함으로써 그 정확성이 뛰어나지만, 이전의 많은 키-프레임들을 고려해야 함으로 프레임 수 설정에 따른 시간이 많이 걸렸다. The dynamic Bayesian network is more accurate than the static Bayesian network by considering the previous state, but it takes a lot of time to set the number of frames by considering many key-frames before.
이에 본 발명은 연기 영역을 검증하기 위해서 2개의 키-프레임만을 고려하는 2TDBN(2-Time Dynamic Bayesian Network)인 수학식 7을 이용하여 검출 속도 및 성능을 향상한다.Accordingly, the present invention improves detection speed and performance by using
상기 수학식 7에서 는 중간노드인 S들에 관한 상태전이(State-transition)이고, 는 최상위 노드인 A에 관한 상태전이(State-transition)이다.In
상기 2TDBN에는 이전 키-프레임의 정적 베이지안 네트워크 결과와 함께 현재 키-프레임의 정적 베이지안 네트워크의 결과에 상대전이(State-transition)가 추가 된다.In the 2TDBN, a state-transition is added to the result of the static Bayesian network of the current key-frame together with the result of the static Bayesian network of the previous key-frame.
도 10에서 나타나듯이 엔트로피, 웨이블릿 계수, 모션 정보의 특징 값은 각각 추정 값(likelihood)으로 변환되어 관찰노드 YF에 입력되고 각 관찰노드들은 자신의 부모노드인 SF로 맵핑된다.As shown in FIG. 10, the entropy, wavelet coefficient, and feature values of the motion information are respectively converted into likelihoods and input to the observation node Y F , and each observation node is mapped to its parent node S F.
최종적으로 정적 베이지안 네트워크의 최상위 노드인 A의 사후 확률 값은 중간 노드들의 확률 값들의 결합 확률로 계산된다.Finally, the posterior probability value of A, the highest node of the static Bayesian network, is calculated as the combined probability of the probability values of the intermediate nodes.
도 11은 본 발명에 따른 베이지안 네트워크의 추론근거를 나타낸 도면이다.11 is a diagram showing the reasoning of the Bayesian network according to the present invention.
정적 베이지안 네트워크의 결과에서 이전 상태를 고려하는 동적 베이지안 네트워크를 사용하기 위하여 도 11에서 나타나듯이 시간 변화에 따른 S와 A에 대한 상태전이(State-transition)값을 갖는다.In order to use a dynamic Bayesian network that considers the previous state in the result of the static Bayesian network, as shown in FIG. 11, it has a state-transition value for S and A over time.
도 12는 중간노드인 S에 관한 상태전이(State-transition) 조건부 확률 테이블이다.12 is a state-transition conditional probability table for S, which is an intermediate node.
도 13은 최상위노드인 A에 관한 상태전이(State-transition) 조건부 확률 테이블이다.13 is a state-transition conditional probability table for the highest node A. FIG.
상기 제어부(100)는 상기 결합 확률의 값이 제3임계값 이상일 경우에 해당 영역을 연기 영역으로 최종 판별하게 된다.If the value of the coupling probability is greater than or equal to a third threshold value, the
도 14는 본 발명에 따른 연기 감지를 위한 결과를 가장 최근의 관련 연구인 Teyin의 알고리즘을 이용한 실험결과와 비교한 그래프이다. 여기서, 1부터 6은 도 16의 영상 번호이며, avg는 6개의 영상에 대한 평균 결과이다.14 is the most recent relevant study T results for smoke detection according to the present invention This graph is compared with experimental results using eyin's algorithm. Here, 1 to 6 are image numbers of FIG. 16, and avg is an average result of six images.
도 15는 본 발명에 따른 알고리즘은 평균 오검출율(False Positive)에서 Teyin의 알고리즘이 거의 비슷한 수치를 나타내지만, 평균 검출율(True Positive)과 평균 미검출율(Missing)에서 Teyin의 알고리즘에 비해 우수한 성능을 나타낸다.15 is an algorithm according to the present invention, T in the average false detection rate (False Positive) eyin's algorithm shows nearly similar numbers, but T at average true and average miss. Better performance than eyin's algorithm.
도 16은 본 발명에 따른 연기 감지 결과를 나타낸 도면이다.16 is a view showing a smoke detection result according to the present invention.
이상에서 설명한 바와 같은 본 발명은 성능의 개선을 위하여 블록 단위로 처리하였다. 근거리 연기뿐만 아니라 원거리 산불연기도 감지할 수 있도록 키-프레임을 이용하여 초기 움직임 영역을 검출하고, 블록 안에서 색상 정보를 이용하여 연기 후보 영역을 감지하였다. 또한, 후보 영역에 포함된 일반 객체 및 구름의 움직임과 같은 연기 유사 물체와의 분리를 위해 YUV채널 공간에서 Y채널에 대한 엔트로피 값, 웨이블릿 변환을 통한 고주파 성분인 수평(LH), 수직(HL), 대각선(HH) 계수, 모션정보를 가우시안 혼합 모델에 적용함으로써 동적 베이지안 네트워크의 관찰 노드에 적용되어 추론에 사용되었고, 그 결과 값에 따라 최종 연기 영역을 검증하였다. As described above, the present invention is processed in units of blocks to improve performance. In order to detect not only short-range smoke but also long-distance fire smoke, the initial motion region was detected using key-frame, and the smoke candidate region was detected using color information in the block. In addition, the entropy value for the Y channel in the YUV channel space, the horizontal (LH) and the vertical (HL), which are high-frequency components through wavelet transform, for separation from general objects included in the candidate area and smoke-like objects such as cloud movements. , The diagonal (HH) coefficient and motion information were applied to Gaussian mixture model and applied to the observation node of the dynamic Bayesian network, and used for inference.
도 1은 본 발명에 따르는 연기 감지 장치의 개략적인 구성도. 1 is a schematic configuration diagram of a smoke detection apparatus according to the present invention.
도 2는 본 발명에 따르는 연기 감지 방법의 흐름도. 2 is a flow chart of a smoke detection method according to the invention.
도 3은 본 발명에 따르는 키 프레임을 도시한 도면. 3 shows a key frame according to the invention;
도 4는 본 발명에 따르는 움직임 영역 검출 예를 도시한 도면. 4 is a diagram illustrating an example of motion region detection according to the present invention.
도 5는 본 발명에 따른 연기 후보 영역에 해당하는 S와 B 채널의 분포도.5 is a distribution diagram of S and B channels corresponding to the smoke candidate region according to the present invention;
도 6은 본 발명에 따른 학습 데이터로 추출한 S와 B채널에 대한 가우시안 혼합 모델 그래프.6 is a Gaussian mixture model graph for S and B channels extracted with training data according to the present invention.
도 7은 가우시안 혼합 모델링에 따라 연기 색상 영역만을 추출한 것을 예시한 도면. FIG. 7 illustrates that only smoke color regions are extracted according to Gaussian mixture modeling. FIG.
도 8은 본 발명에 따른 추출한 색상 값에 대한 엔트로피 정보를 가우시안 혼합 모델에 적용한 확률 분포 그래프.8 is a probability distribution graph in which entropy information on the extracted color values is applied to a Gaussian mixture model.
도 9는 고주파 성분인 수평(LH), 수직(HL), 대각선(HH) 계수들을 가우시안 혼합 모델에 적용한 확률 분포 그래프.9 is a probability distribution graph applying high frequency components horizontal (LH), vertical (HL), and diagonal (HH) coefficients to a Gaussian mixture model.
도 10은 3단계 탐색 알고리즘 적용으로 8방향의 모션 정보와 모션 벡터를 추출하는 결과 화면.10 is a result screen for extracting motion information and motion vectors in eight directions by applying a three-step search algorithm.
도 11은 본 발명에 따른 베이지안 네트워크의 구조를 도시한 도면.11 illustrates a structure of a Bayesian network according to the present invention.
도 12는 본 발명에 따른 베이지안 네트워크의 추론근거를 나타낸 도면.12 is a diagram showing the reasoning for the Bayesian network according to the present invention.
도 13은 중간노드인 S에 관한 상태전이(State-transition) 조건부 확률 테이블.13 is a state-transition conditional probability table for S, which is an intermediate node.
도 14는 최상위노드인 A에 관한 상태전이(State-transition) 조건부 확률 테이블.14 is a state-transition conditional probability table for A, which is the highest node.
도 15는 본 발명에 따른 연기 감지를 위한 결과를 가장 최근의 관련 연구인 Teyin의 알고리즘을 이용한 실험결과와 비교한 그래프.15 is the most recent relevant study showing the results for the smoke detection according to the present invention T Graphs compared with experimental results using eyin's algorithm.
도 16은 본 발명에 따른 연기 감지 결과를 나타낸 도면. 16 is a view showing a smoke detection result according to the present invention.
Claims (12)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090012731A KR100982347B1 (en) | 2009-02-17 | 2009-02-17 | smoke sensing method and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090012731A KR100982347B1 (en) | 2009-02-17 | 2009-02-17 | smoke sensing method and system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100093684A KR20100093684A (en) | 2010-08-26 |
KR100982347B1 true KR100982347B1 (en) | 2010-09-15 |
Family
ID=42757961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090012731A KR100982347B1 (en) | 2009-02-17 | 2009-02-17 | smoke sensing method and system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100982347B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101204259B1 (en) | 2010-10-06 | 2012-11-23 | (주)에이치엠씨 | A method for detecting fire or smoke |
KR101353952B1 (en) | 2012-10-05 | 2014-01-23 | 계명대학교 산학협력단 | Method for detecting wildfire smoke using spatiotemporal bag-of-features of smoke and random forest |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101284200B1 (en) * | 2011-10-28 | 2013-07-09 | 아이브스테크놀러지(주) | Video processing apparatus and method for detecting smoke from video |
KR101297121B1 (en) * | 2012-05-31 | 2013-08-21 | 공주대학교 산학협력단 | Tunnel fire detection device using infrared imaging and thereof |
KR101638621B1 (en) * | 2014-10-23 | 2016-07-12 | 공주대학교 산학협력단 | Smoke detection method using density distribution characteristics of smoke |
KR102128612B1 (en) * | 2017-11-30 | 2020-07-01 | (주)아이엠시티 | A method and system for enhancing the accuracy of circumstantial judgment using audiovisual detection |
KR102420356B1 (en) * | 2018-03-23 | 2022-07-15 | 한국전자통신연구원 | Electronic device for detecting disaster by using artificial intelligence network |
CN109544855B (en) * | 2018-10-31 | 2020-12-08 | 国电南瑞科技股份有限公司 | Computer vision-based closed circuit television system for comprehensively monitoring fire disaster in rail transit and implementation method |
KR102399295B1 (en) * | 2020-01-16 | 2022-05-18 | 계명대학교 산학협력단 | Real-time night fire detection apparatus and method with deep neural network and fire-tube |
CN111583569B (en) * | 2020-04-30 | 2021-10-08 | 深圳市前海用电物联网科技有限公司 | Electric fire detection method and system of causal model |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060008254A (en) * | 2005-12-13 | 2006-01-26 | 주식회사 센텍 | Infrared sensing system of fire and its sensing method reflecting dynamic pattern of flame |
JP2008046917A (en) | 2006-08-17 | 2008-02-28 | Nohmi Bosai Ltd | Smoke detection device |
KR20080054366A (en) * | 2006-12-12 | 2008-06-17 | 인더스트리얼 테크놀로지 리서치 인스티튜트 | Smoke detecting method and device |
-
2009
- 2009-02-17 KR KR1020090012731A patent/KR100982347B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060008254A (en) * | 2005-12-13 | 2006-01-26 | 주식회사 센텍 | Infrared sensing system of fire and its sensing method reflecting dynamic pattern of flame |
JP2008046917A (en) | 2006-08-17 | 2008-02-28 | Nohmi Bosai Ltd | Smoke detection device |
KR20080054366A (en) * | 2006-12-12 | 2008-06-17 | 인더스트리얼 테크놀로지 리서치 인스티튜트 | Smoke detecting method and device |
Non-Patent Citations (1)
Title |
---|
논문 : 영상처리 및 이해에 관한 워크샵 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101204259B1 (en) | 2010-10-06 | 2012-11-23 | (주)에이치엠씨 | A method for detecting fire or smoke |
KR101353952B1 (en) | 2012-10-05 | 2014-01-23 | 계명대학교 산학협력단 | Method for detecting wildfire smoke using spatiotemporal bag-of-features of smoke and random forest |
Also Published As
Publication number | Publication date |
---|---|
KR20100093684A (en) | 2010-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100982347B1 (en) | smoke sensing method and system | |
KR101075063B1 (en) | Fire-Flame Detection Using Fuzzy Logic | |
US8611664B2 (en) | Method for detecting fire-flame using fuzzy finite automata | |
KR102153607B1 (en) | Apparatus and method for detecting foreground in image | |
US10872262B2 (en) | Information processing apparatus and information processing method for detecting position of object | |
RU2393544C2 (en) | Method and device to detect flame | |
KR101910542B1 (en) | Image Analysis Method and Server Apparatus for Detecting Object | |
US7868772B2 (en) | Flame detecting method and device | |
KR102391853B1 (en) | System and Method for Processing Image Informaion | |
US20230201642A1 (en) | Fire detection system | |
JP6024658B2 (en) | Object detection apparatus, object detection method, and program | |
KR102002812B1 (en) | Image Analysis Method and Server Apparatus for Detecting Object | |
JP2007323572A (en) | Object detector, object detection method, and object detection program | |
JP2006350645A (en) | Object detection device and learning device for the same | |
JP2019145174A (en) | Image processing system, image processing method and program storage medium | |
CN110633643A (en) | Abnormal behavior detection method and system for smart community | |
JP7272024B2 (en) | Object tracking device, monitoring system and object tracking method | |
CN107122743B (en) | Security monitoring method and device and electronic equipment | |
JP2010003177A (en) | Image processor | |
KR101979375B1 (en) | Method of predicting object behavior of surveillance video | |
EP2000998B1 (en) | Flame detecting method and device | |
KR102129771B1 (en) | Cctv management system apparatus that recognizes behavior of subject of shooting in video from video taken through cctv camera and operating method thereof | |
KR101371647B1 (en) | Apparatus for detecting fire flame based image data and method of the same | |
KR101270718B1 (en) | Video processing apparatus and method for detecting fire from video | |
KR100948568B1 (en) | Fire detection apparatus and method using Bayesian Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130905 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20140903 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20150902 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20170830 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20180830 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20190829 Year of fee payment: 10 |