KR101432440B1 - 화재 연기 감지 방법 및 장치 - Google Patents

화재 연기 감지 방법 및 장치 Download PDF

Info

Publication number
KR101432440B1
KR101432440B1 KR1020130047457A KR20130047457A KR101432440B1 KR 101432440 B1 KR101432440 B1 KR 101432440B1 KR 1020130047457 A KR1020130047457 A KR 1020130047457A KR 20130047457 A KR20130047457 A KR 20130047457A KR 101432440 B1 KR101432440 B1 KR 101432440B1
Authority
KR
South Korea
Prior art keywords
smoke
lbp
texture
candidate region
difference image
Prior art date
Application number
KR1020130047457A
Other languages
English (en)
Inventor
김재민
Original Assignee
홍익대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍익대학교 산학협력단 filed Critical 홍익대학교 산학협력단
Priority to KR1020130047457A priority Critical patent/KR101432440B1/ko
Application granted granted Critical
Publication of KR101432440B1 publication Critical patent/KR101432440B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 의한 화재 연기 감지 방법은, (A) 카메라로부터 입력되는 동영상 신호에서 차분 영상을 생성한 후 생성된 차분 영상에 기반하여 연기 후보 영역을 검출하는 단계; (B) 상기 검출된 연기 후보 영역이 시간에 따라 확장되는 지를 판단하는 단계; (C) 상기 단계 (B)에서 상기 검출된 연기 후보 영역이 시간에 따라 확장되는 것으로 판단되는 경우, 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 지를 판단하는 단계; (D) 상기 단계 (C)에서 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 것으로 판단되는 경우, 지역 이진 패턴(LBP: Local Binary Pattern)을 소정 개수의 LBP 그룹으로 그룹화하고, 차분 영상의 화소에 대한 지역 이진 패턴(LBP)을 생성하며, 생성된 LBP가 어떤 LBP 그룹에 속하는지를 판단하여 각 그룹별 히스토그램을 생성하고, 생성된 각 LBP 그룹별 히스토그램에 기반하여 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 지를 판단하는 단계; 및 (E) 상기 단계 (D)에서 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 것으로 판단되는 경우, 연기 감지 신호를 생성하는 단계를 포함한다. 본 발명에 의하면, 데이터 처리량이 적으면서도 화재 연기를 신속하고 정확하게 감지할 수 있다.

Description

화재 연기 감지 방법 및 장치{Fire smoke detection method and apparatus}
본 발명은 화재 감지 방법에 관한 것으로 특히, 화재 발생 초기의 연기를 신속하고 정확하게 감지할 수 있는 화재 연기 감지 방법 및 장치에 관한 것이다.
광역 감시의 주 대상이 되는 산불의 경우 발화 지점에서 연기가 먼저 발생하며, 화재가 진행됨에 따라 발화 지점에는 붉은 색조를 띈 불꽃이 나타난다. 따라서, 화재 발생 초기에 연기를 감지하는 것은 화재로 인한 피해를 최소화하는데 있어서 매우 중요하다.
하기의 선행기술문헌에 기재된 연기 감지 방법은, 실시간 비디오 기반 연기 감지를 위한 연기 감지 방법을 개시하고 있다. 상기한 종래의 연기 감지 방법은, 배경 차분 영상의 화소에 대한 지역 이진 패턴(LBP: Local Binary Pattern)을 생성한 후에 이에 기반하여 연기를 감지한다. 상기 종래의 연기 감지 방법은, 원래의 LBP 코드 중 서로 보수의 관계에 있는 LBP 코드가 히스토그램 분포에서 동일한 곳에 분포되어 있다는 것에 기반하여, 연기의 외관 정보를 획득하기 위하여 서로 중복되지 않는, 비중복 지역 이진 패턴(NRLBP)을 사용한다.
하지만, 상기한 종래의 연기 감지 방법에서는, 중복되지 않은 LBP 전부를 사용하여 연기 인식을 수행하고, 블록에 기반한 연기 검출률은 80% 정도에 불과하고, 오검출률도 0.5%에 이를 정도로, 성능이 그다지 뛰어나지 않다. 물론 프레임에 기반한 연기 검출률은 97% 정도이고 오검출률은 1.165%로서, 연기 검출률은 좋은 반면에 오검출률은 좋지 않다. 또한, 비디오 영상의 전체 프레임에 대해 LBP에 기반하여 연기 인식을 수행하기 때문에, 처리하는 데이터의 양이 많아서 계산량이 많아지고 인식 시간이 오래 걸리며, 데이터를 저장하기 위한 메모리의 용량도 늘려야 하는 문제점이 있었다.
따라서, 데이터 처리량이 적으면서도 화재 연기를 신속하고 정확하게 감지할 수 있는 화재 연기 감지 방법 및 장치가 요구된다.
"비중복 지역 이진 패턴-기반 특징을 이용한 비디오에서의 연기 감지(Smoke Detection in Videos Using Non-Redundant Local Binary Pattern-Based Features), Hongda Tian, Wanqing Li, Philip Ogunbona, Duc Thanh Nguyen, Ce Zhan, Multimedia Signal Processing(MMSP) 2011, IEEE 13th International Workshop on 2011.10.17 ~ 10.19.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명이 해결하고자 하는 과제는, 데이터 처리량이 적으면서도 화재 연기를 신속하고 정확하게 감지할 수 있는 화재 연기 감지 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 과제는, 데이터 처리량이 적으면서도 화재 연기를 신속하고 정확하게 감지할 수 있는 화재 연기 감지 장치를 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시례에 의한 화재 감지 방법은,
(A) 카메라로부터 입력되는 동영상 신호에서 차분 영상을 생성한 후 생성된 차분 영상에 기반하여 연기 후보 영역을 검출하는 단계;
(B) 상기 검출된 연기 후보 영역이 시간에 따라 확장되는 지를 판단하는 단계;
(C) 상기 단계 (B)에서 상기 검출된 연기 후보 영역이 시간에 따라 확장되는 것으로 판단되는 경우, 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 지를 판단하는 단계;
(D) 상기 단계 (C)에서 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 것으로 판단되는 경우, 지역 이진 패턴(LBP: Local Binary Pattern)을 소정 개수의 LBP 그룹으로 그룹화하고, 차분 영상의 화소에 대한 지역 이진 패턴(LBP)을 생성하며, 생성된 LBP가 어떤 LBP 그룹에 속하는지를 판단하여 각 그룹별 히스토그램을 생성하고, 생성된 각 LBP 그룹별 히스토그램에 기반하여 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 지를 판단하는 단계; 및
(E) 상기 단계 (D)에서 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 것으로 판단되는 경우, 연기 감지 신호를 생성하는 단계를 포함한다.
본 발명의 일 실시례에 의한 화재 감지 방법에 있어서, 상기 단계 (D)는,
(D1) 지역 이진 패턴(LBP)을 불규칙적인 LBP, 규칙적인 LBP, 노이즈 LBP 및 기타 LBP의 4가지 LBP 그룹으로 그룹화하는 단계;
(D2) 차분 영상의 화소에 대한 지역 이진 패턴(LBP)을 생성하는 단계;
(D3) 생성된 LBP가 어떤 LBP 그룹에 속하는지를 판단하여 각 그룹별 히스토그램을 생성하는 단계;
(D4) 불규칙적인 LBP 그룹의 빈도 및 규칙적인 LBP 그룹의 빈도를 계산하는 단계; 및
(D5) 불규칙적인 LBP 그룹의 빈도가 (소정의 상수 × 규칙적인 LBP 그룹의 빈도) 이상인지를 판단하는 단계로서, 불규칙적인 LBP 그룹의 빈도가 (소정의 상수 × 규칙적인 LBP 그룹의 빈도) 이상인 경우 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 것으로 판단하는 단계를 포함할 수 있다.
본 발명의 일 실시례에 의한 화재 감지 방법에 있어서, 상기 단계 (D2)에서 차분 영상의 화소에 대한 지역 이진 패턴(LBP)을 생성하는 단계는,
Figure 112013037700274-pat00001
Figure 112013037700274-pat00002
, 에 의해 LBP 패턴을 생성하고,
Figure 112013037700274-pat00003
는 지역 이진 패턴 연산을 할 화소의 위치이고,
Figure 112013037700274-pat00004
는 중심 화소의 위치의 그레이 값이며,
Figure 112013037700274-pat00005
는 P개의 주변 화소 중 p번째 화소의 그레이 값이며, threshold는 소정의 임계값일 수 있다.
본 발명의 일 실시례에 의한 화재 감지 방법에 있어서, 상기 단계 (A)는,
(A1) 입력되는 동영상 신호에서 차분 영상을 생성하는 단계;
(A2) 생성된 차분 영상의 다중해상도에서의 차분 영상에 기반하여 변화 화소들을 검출하는 단계; 및
(A3) 검출된 변화 화소들을 클러스터링하여 연기 후보 영역을 검출하는 단계를 포함할 수 있다.
본 발명의 일 실시례에 의한 화재 감지 방법에 있어서, 상기 단계 (A2)는,
(A20) 생성된 차분 영상의 저해상도에서의 차분 영상에 기반하여 변화 영역을 검출하는 단계;
(A21) 검출된 변화 영역내에서 중간해상도에 기반하여 변화 화소들을 검출하는 단계;
(A22) 검출된 변화 영역내에서 고해상도에 기반하여 변화 화소들을 검출하는 단계; 및
(A23) 상기 저해상도, 중간해상도 및 고해상도에 기반하여 검출된 변화 화소들을 결합하는 단계를 포함할 수 있다.
본 발명의 일 실시례에 의한 화재 감지 방법에 있어서, 상기 단계 (C)는,
(C1) 차분 영상의 히스토그램을 생성하는 단계;
(C2) 상기 생성된 히스토그램을 가우시안 혼합 모델로 모델링한 후 2개의 최대 모드를 추정하는 단계;
(C3) 각 모드의 밝기의 평균인 μ1, μ2를 계산하고, 각 모드의 분산인 σ1, σ2를 계산하는 단계; 및
(C4) μ1>0, μ2<0 이고, (σ1+σ2)≤소정의 임계값 인지를 판단하는 단계로서, μ1>0, μ2<0 이고, (σ1+σ2)≤소정의 임계값 인 경우 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 것으로 판단하는 단계를 포함할 수 있다.
본 발명의 일 실시례에 의한 화재 감지 방법은, 상기 단계 (C)에서 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합하지 않은 것으로 판단되는 경우,
(F) 상기 카메라의 줌배율이 최대 줌배율인지를 판단하는 단계; 및
(G) 상기 단계 (F)에서 상기 카메라의 줌배율이 최대 줌배율이 아닌 것으로 판단되는 경우, 후보 영역을 줌인(zoom-in)하여 연기 후보 영역에 대한 증가된 해상도의 차분 영상을 획득하는 단계를 더 포함할 수 있다.
본 발명의 일 실시례에 의한 화재 감지 장치는,
카메라;
상기 카메라로부터 입력되는 동영상 신호에서 차분 영상을 생성한 후 생성된 차분 영상에 기반하여 연기 후보 영역을 검출하는 연기 후보 영역 검출부;
상기 검출된 연기 후보 영역이 시간에 따라 확장되는 지를 판단하는 동적 변화 기반 연기 후보 영역 판단부;
상기 동적 변화 기반 연기 후보 영역 판단부가 상기 검출된 연기 후보 영역이 시간에 따라 확장된다고 판단하는 경우, 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 지를 판단하는 텍스처 기반 연기 인식 가능 판단부;
상기 텍스처 기반 연기 인식 가능 판단부에서 후보 영역이 텍스처 기반 연기 인식에 적합하다고 판단하는 경우, 지역 이진 패턴(LBP: Local Binary Pattern)을 소정 개수의 LBP 그룹으로 그룹화하고, 차분 영상의 화소에 대한 지역 이진 패턴(LBP)을 생성하며, 생성된 LBP가 어떤 LBP 그룹에 속하는지를 판단하여 각 그룹별 히스토그램을 생성하고, 생성된 각 LBP 그룹별 히스토그램에 기반하여 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 지를 판단하는 텍스처 기반 연기 인식부; 및
상기 텍스처 기반 연기 인식부에서 연기를 인식하면, 연기 감지 신호를 생성하는 연기 감지 신호 생성부를 포함한다.
본 발명의 일 실시례에 의한 화재 감지 장치에 있어서, 상기 텍스처 기반 연기 인식부는,
지역 이진 패턴(LBP)을 불규칙적인 LBP, 규칙적인 LBP, 노이즈 LBP 및 기타 LBP의 4가지 LBP 그룹으로 그룹화하고,
차분 영상의 화소에 대한 지역 이진 패턴(LBP)을 생성하며,
생성된 LBP가 어떤 LBP 그룹에 속하는지를 판단하여 각 그룹별 히스토그램을 생성하며,
불규칙적인 LBP 그룹의 빈도 및 규칙적인 LBP 그룹의 빈도를 계산하고,
불규칙적인 LBP 그룹의 빈도가 (소정의 상수 × 규칙적인 LBP 그룹의 빈도) 이상인지를 판단하며, 불규칙적인 LBP 그룹의 빈도가 (소정의 상수 × 규칙적인 LBP 그룹의 빈도) 이상인 경우 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 것으로 판단하도록 구성될 수 있다.
본 발명의 일 실시례에 의한 화재 감지 장치에 있어서, 상기 연기 후보 영역 검출부는,
입력되는 동영상 신호에서 차분 영상을 생성하고,
생성된 차분 영상의 다중해상도에서의 차분 영상에 기반하여 변화 화소들을 검출하며,
검출된 변화 화소들을 클러스터링하여 연기 후보 영역을 검출하도록 구성될 수 있다.
본 발명의 일 실시례에 의한 화재 감지 장치에 있어서, 상기 텍스처 기반 연기 인식 가능 판단부는,
차분 영상의 히스토그램을 생성하고,
상기 생성된 히스토그램을 가우시안 혼합 모델로 모델링한 후 2개의 최대 모드를 추정하며,
각 모드의 밝기의 평균인 μ1, μ2를 계산하고, 각 모드의 분산인 σ1, σ2를 계산하며,
μ1>0, μ2<0 이고, (σ1+σ2)≤소정의 임계값 인지를 판단하며,
μ1>0, μ2<0 이고, (σ1+σ2)≤소정의 임계값 인 경우 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 것으로 판단하도록 구성될 수 있다.
본 발명의 일 실시례에 의한 화재 감지 장치는, 상기 텍스처 기반 연기 인식 가능 판단부에서 후보 영역이 텍스처 기반 연기 인식에 적합하지 않다고 판단하는 경우,
상기 카메라의 줌배율이 최대 줌배율인지를 판단하는 줌배율 판단부; 및
상기 카메라의 줌배율이 최대 줌배율이 아닌 경우 연기 후보 영역을 줌인(zoom-in)하여 연기 후보 영역에 대한 증가된 해상도의 차분 영상을 획득하는 후보 영역 줌인부를 더 포함할 수 있다.
본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다.
이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야만 한다.
상기와 같이 이루어지는 본 발명의 화재 감지 방법 및 장치에 의하면, 데이터 처리량이 적으면서도 화재 연기를 신속하고 정확하게 감지할 수 있다.
도 1은 본 발명의 일 실시례에 의한 화재 감지 방법의 흐름도.
도 2는 도 1에 도시된 연기 후보 영역 검출 단계의 상세 흐름도.
도 3은 도 1에 도시된 텍스처 기반 연기 인식 가능 판단 단계의 상세 흐름도.
도 4a는 지역 이진 패턴 코드 생성을 설명하기 위한 도면.
도 4b는 원형의 대칭적인 이웃을 사용한 지역 이진 패턴을 도시한 도면.
도 5는 본 발명의 일 실시례에 의한 화재 연기 감지 장치의 블록도.
도 6은 다중해상도 방법을 이용한 후보 연기 영역의 검출을 도시한 도면.
도 7 내지 도 9는 다중해상도 방법을 이용한 후보 연기 영역의 검출 결과를 도시한 도면.
도 10은 연기와 주행 자동차에 의한 변화 영역별로 클러스터링한 결과를 도시한 도면.
도 11은 시간의 흐름에 따른 초기 산불 연기의 확산을 도시한 도면.
도 12는 근거리에서 촬영한 굴뚝 연기 영상의 특징을 도시한 도면.
도 13은 중거리에서 촬영한 굴뚝 연기 영상의 특징을 도시한 도면.
도 14는 중장거리에서 촬영한 굴뚝 연기 영상의 특징을 도시한 도면.
도 15는 원거리에서 촬영한 굴뚝 연기 영상의 특징을 도시한 도면.
도 16은 한 화소에서 밝기의 값의 변화를 도시한 그래프.
도 17은 5가지 단계로 양자화한 차분 영상에서 연기 화소의 밝기값의 변화를 도시한 도면.
도 18은 연기 영상의 텍스처를 도시한 도면.
도 19a 내지 도 19d는 256가지 지역 이진 패턴을 도시한 도면.
도 20은 연기 영상의 이진 패턴 그룹별 히스토그램.
도 21은 비연기 영상의 이진 패턴 그룹별 히스토그램.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시례들로부터 더욱 명백해질 것이다.
본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
또한, "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.
또한, 어떤 구성요소가 다른 구성요소와 연결되어 있다고 기재된 경우, 이것은 직접적으로 연결되어 있는 경우 및 중간에 다른 구성요소를 두고 연결되어 있는 경우도 포함하며, 구성요소가 어떤 구성요소를 포함한다고 기재된 경우, 이는 어떤 구성요소 이외의 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시례에 의한 화재 연기 감지 방법의 흐름도이고, 도 2는 도 1에 도시된 연기 후보 영역 검출 단계의 상세 흐름도이며, 도 3은 도 1에 도시된 텍스처 기반 연기 인식 가능 판단 단계의 상세 흐름도이고, 도 4a 및 도 4b는 지역 이진 패턴 코드 생성을 설명하기 위한 도면이며, 도 5는 본 발명의 일 실시례에 의한 화재 연기 감지 장치의 블록도이다.
일반적으로 화재 연기는 무채색을 가지는데 검정색에 가까운 짙은 회색에서 흰색에 가까운 연회색까지 넓은 밝기 분포를 갖는다. 이러한 연기는 공기 중에서 위로 확산되면서 그 영역이 점진적으로 커지는 특징이 있다.
연기는 숲, 나무, 공기, 비행물체 등의 주변 사물과 구별되는 독특한 텍스처 패턴을 가지고 있다. 연기는 공기 중으로 확산할 때 일정 영역에서 짙어짐과 옅어짐을 반복하는데, 한 점을 기준으로 시간의 흐름에 따라 화소의 밝기 값이 느린 속도로 밝아지고 어두워짐을 반복한다. 이러한 연기의 시공간적 특징을 이용하여 화재 연기를 감지한다.
도 5에 도시된 본 발명의 일 실시례에 의한 화재 연기 감지 장치는, 화재를 감시하는 카메라(500), 상기 카메라(500)로부터 입력되는 동영상 신호에서 차분 영상을 생성한 후 생성된 차분 영상에 기반하여 연기 후보 영역을 검출하는 연기 후보 영역 검출부(510), 상기 검출된 연기 후보 영역이 시간에 따라 확장되는 지를 판단하는 동적 변화 기반 연기 후보 영역 판단부(520), 상기 동적 변화 기반 연기 후보 영역 판단부(520)가 상기 검출된 연기 후보 영역이 시간에 따라 확장된다고 판단하는 경우, 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 지를 판단하는 텍스처 기반 연기 인식 가능 판단부(530), 상기 텍스처 기반 연기 인식 가능 판단부(530)에서 후보 영역이 텍스처 기반 연기 인식에 적합하다고 판단하는 경우, 지역 이진 패턴(LBP: Local Binary Pattern)을 소정 개수의 LBP 그룹으로 그룹화하고, 차분 영상의 화소에 대한 지역 이진 패턴(LBP: Local Binary Pattern)을 생성하며, 생성된 LBP가 어떤 LBP 그룹에 속하는지를 판단하여 각 그룹별 히스토그램을 생성하고, 생성된 각 LBP 그룹별 히스토그램에 기반하여 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 지를 판단하는 텍스처 기반 연기 인식부(540) 및 상기 텍스처 기반 연기 인식부(540)에서 연기를 인식하면, 연기 감지 신호를 생성하는 연기 감지 신호 생성부(550)를 포함한다.
본 발명의 일 실시례에 의한 화재 연기 감지 장치는 상기 텍스처 기반 연기 인식 가능 판단부(530)에서 후보 영역이 텍스처 기반 연기 인식에 적합하지 않다고 판단하는 경우, 카메라(500)의 줌배율이 최대 줌배율인지를 판단하는 줌배율 판단부(560) 및 카메라(500)의 줌배율이 최대 줌배율이 아닌 경우 연기 후보 영역을 줌인(zoom-in)하여 연기 후보 영역에 대한 증가된 해상도의 차분 영상을 획득하는 후보 영역 줌인(zoom-in)부(570)를 더 포함한다.
본 발명에 의한 화재 연기 감지 방법에서는, 연기 후보 영역을 검출하기 위하여 우선 연속된 동영상에서 연기로 인한 화소값의 변화가 주변보다 큰 영역을 검출하는데, 이는 변화 검출 방법을 이용하여 검출한다(단계 S100).
도 2를 참조하면, 연기 후보 영역을 검출하는 단계(단계 S100)는, 차분 영상을 생성하는 단계(단계 S200), 다중해상도에 기반하여 변화 화소를 검출하는 단계(단계 S210), 및 검출된 변화 영역의 화소들을 클러스터링하여 연기 후보 영역을 검출하는 단계(S220)를 포함한다.
한편, 연기 후보 영역이 결정되면, 연기 후보 영역이 시간의 흐름에 따라 위 방향으로 확산되는 연기의 동적 변화 특성을 만족하는 지를 판단한다(단계 S110).
단계 S110에서 연기 후보 영역이 연기의 동적 변화 특성을 만족하지 않는 것으로 판단되는 경우 다시 연기 후보 영역을 검출하는 단계(S100)를 수행하고, 연기 후보 영역이 연기의 동적 변화 특성을 만족하는 것으로 판단되는 경우 후보 영역이 텍스처에 기반한 연기 인식에 적합한지를 판단한다(단계 S120).
도 3을 참조하면, 텍스처 기반 연기 인식 가능 판단 단계(S120)는, 차분 영상의 히스토그램을 생성하는 단계(S300), 상기 생성된 히스토그램을 가우시안 혼합 모델로 모델링한 후 2개의 최대 모드를 추정하는 단계(단계 S310), 각 모드의 밝기의 평균인 μ1, μ2를 계산하고, 각 모드의 분산인 σ1, σ2를 계산하는 단계(단계 S320) 및 μ1>0, μ2<0 이고, (σ1+σ2)≤소정의 임계값 인지를 판단하는 단계로서, μ1>0, μ2<0 이고, (σ1+σ2)≤소정의 임계값 인 경우 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 것으로 판단하는 단계(단계 S330)를 포함한다.
텍스처 기반 연기 인식 가능 판단 단계(S120)에서 후보 영역이 텍스처에 기반한 연기 인식에 적합하다고 판단된 경우, 텍스처에 기반하여 연기를 인식한다(단계 S196).
도 1을 참조하면, 텍스처 기반 연기 인식 단계(단계 S196)는, 지역 이진 패턴(LBP: Local Binary Pattern)을 불규칙적인 LBP, 규칙적인 LBP, 노이즈 LBP 및 기타 LBP의 4가지 LBP 그룹으로 그룹화하는 단계(단계 S130), 차분 영상의 화소에 대한 지역 이진 패턴(LBP)을 생성하는 단계(단계 S140), 생성된 LBP가 어떤 LBP 그룹에 속하는지를 판단하여 각 그룹별 히스토그램을 생성하는 단계(단계 S150), 불규칙적인 LBP의 빈도가 (소정의 상수 K × 규칙적인 LBP의 빈도) 이상인지를 판단하는 단계로서, 불규칙적인 LBP의 빈도가 (소정의 상수 K × 규칙적인 LBP의 빈도) 이상인 경우 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 것으로 판단하는 단계(단계 S170)를 포함한다.
텍스처 기반 연기 인식 단계(단계 S196)에서, 연기가 인식되면, 연기 감지 신호를 생성한다(단계 S180).
한편, 텍스처 기반 연기 인식 가능 판단 단계(S120)에서 후보 영역이 텍스처에 기반한 연기 인식에 적합하지 않다고 판단된 경우, 후보 영역이 최대로 줌인(zoom-in) 된 상태인지를 판단하고(단계 S190), 후보 영역이 최대로 줌인 된 상태가 아닌 경우, 카메라(500)에 제어신호를 보내 후보 영역을 줌인하여 후보 영역에 대한 증가된 해상도의 차분 영상을 획득한 후(단계 S195), 다시 텍스처 기반 연기 인식 가능 판단 단계(S120)를 수행한다.
본 발명에 의한 화재 연기 감지 방법은, 도 5에 도시된 화재 연기 감지 장치에서 수행될 수 있을 뿐만 아니라, 카메라(500) 및 카메라(500)와 연결되어 본 발명의 일 실시례에 의한 화재 연기 감지 방법을 수행하도록 구성되는 제어부(미도시)를 포함하는 장치에 의해서 수행될 수 있지만, 이에 한정되지는 않는다.
하기에 상기와 같이 구성된 본 발명의 일 실시례에 의한 화재 연기 감지 방법 및 장치에 대해 상세히 설명하기로 한다.
연기 후보 영역 검출
우선, 도 1 및 도 2를 참조하여, 연기 후보 영역을 검출하는 단계(S100)에 대해 설명하기로 한다.
연기 후보 영역 검출(단계 S100)은 우선 화소의 밝기에 대한 배경 차분 영상을 생성하고(단계 S200), 생성된 배경 차분 영상을 이용하여 변화 검출을 수행한다. 본 발명에서는 변화 검출 성능을 향상시키기 위하여 다중해상도 기반 변화 화소 검출 기법(단계 S210)을 새로 개발하였다. 변화 검출 수행 후에는 검출된 화소들을 클러스터링하여 연기 후보 영역을 검출한다(단계 S220).
동영상에서 연기로 인한 변화 영역을 검출하기 위하여, 배경 차 분(background subtraction)과 장면 차분(frame difference)을 사용하여 차분 영상을 획득할 수 있다. 배경 차분과 장면 차분은 객체 검출에 널리 사용되는 방법이다.
배경 차분은 실시간으로 학습되는 배경 영상과 입력되는 현재의 영상을 비교하여 그 변화를 검출하는 방법이다. 이러한 배경 차분은 배경의 모델링 방법에 따라 그 성능이 좌우된다. 장면 차분은 연속된 두 영상 프레임 간의 차이의 절대값을 임계값과 비교하여 변화를 검출하게 된다. 장면 차분은 배경이 급격하게 변화하는 경우 효과적이다.
배경 차분이란 실시간으로 학습되는 배경 장면과 현재 영상을 화소 단위로 비교하여 그 변화를 검출하는 데, 배경 영상의 화소 값에서 현재 영상의 화소 값을 뺀 것이 임계값보다 크면 움직인 픽셀로 판단한다.
배경이 현재의 환경을 잘 나타내고 있다면 배경 차분은 매우 효과적인 방법이다. 그러나 환경에 동적인 특성(흔들리는 나뭇잎, 물결치는 물표면, 화면의 깜박임, 카메라의 흔들림 등)이 포함되어 배경이 현재의 환경을 잘 나타내지 못한다면 배경 차분은 효과적인 검출이 어려워진다. 따라서 배경 차분 방법의 정확도는 생성한 배경 모델이 현재의 배경을 얼마나 정확하게 나타내는가에 달려있다. 정확한 배경 모델의 생성을 위해 여러 가지 방법들이 제안되었는데 그 중에서 평균 배경 모델링 방법과 가우시안 혼합 모델링 방법 등이 있다.
장면 차분은 각각의 영상에서 화소 단위로 차이를 계산하여 그 차이가 임계값을 넘으면 움직인 화소로 판단하고, 넘지 않으면 정지한 화소로 판단하는 방법이다. 즉, 현재 영상의 화소의 밝기 값과 이전 영상의 화소의 밝기 값의 차이가 임계값보다 크면 그 화소는 움직인 영역의 화소로 판단하고, 임계값보다 작으면 움직이지 않은 영역의 화소로 판단한다. 장면 차분은 두 영상의 시간 차이만큼 동안 움직인 영역을 판단할 수 있지만, 움직이는 전체 영역을 판단하지는 못하고 짧은 시간동안 움직이는 겉 영역만 판단하게 되는 경우가 많다.
이제, 도 6을 참조하여, 도 1의 연기 후보 영역을 검출하는 단계(S100) 중 도 2의 단계 S210에서 다중해상도에 기반하여 변화 화소들, 즉 변화 영역을 검출하는 것에 대해 자세히 설명하기로 한다.
흔들리는 나뭇잎 등 환경의 변화로 인하여 검출된 변화 영역은 저해상도에서는 그 영역이 작아진다. 이러한 특성을 이용하여 본 발명에서는 1차적으로 연기의 검출이 가능한 최저해상도에서 밝기 값이 임계값보다 큰 화소들을 검출한다. 검출된 화소들의 군집이 작은 영역은 모폴로지(morphology) 연산을 수행하여 제거하고, 화소들의 군집이 큰 영역만 남긴다. 이들 영역이 연기가 존재하는 변화 영역이 된다.
다음으로 점진적으로 해상도를 증가시키면서 저해상도에서 구한 변화 영역 안에서 밝기 값의 변화가 큰 화소들을 검출한다. 이렇게 점진적으로 증가된 해상도에서 검출한 화소들을 결합한 집합이 최종적으로 검출된 변화 영역이 된다.
도 2의 다중해상도 기반 변화 화소 검출 단계(단계 S210)는, 생성된 차분 영상의 저해상도에서의 차분 영상에 기반하여 변화 영역을 검출하고, 검출된 변화 영역내에서 중간해상도에 기반하여 변화 화소들을 검출하며, 검출된 변화 영역 내에서 고해상도에 기반하여 변화 화소들을 검출하고, 상기 저해상도, 중간해상도 및 고해상도에 기반하여 검출된 변화 화소들을 결합하여 연기가 존재할 가능성이 있는 변화 영역을 검출한다.
이러한 다중해상도에 기반한 연기 후보 영역 검출 방법은 환경의 동적 변화 특성으로 인한 변화 영역을 효과적으로 제거하고 연기에 의하여 발생되는 변화 영역을 검출할 수 있다. 이는 도 6의 (c3)에서 보여주고 있다. 도 7 내지 도 9는 본 발명의 다중해상도에 기반한 연기 후보 영역 검출 방법을 다양한 화재 연기 영상에 적용하여 검출한 결과를 보여주고 있다.
도 7은 숲에서 확산되는 연기에 의한 변화 검출, 도 8은 원거리 카메라에서 촬영한 산불 영상에 의한 변화 검출, 도 9는 공장의 굴뚝에서 나오는 연기와 주행하고 있는 차량에 의한 변화가 혼재된 검출 결과를 보여주고 있다. 도 7 및 도 9에서는 비교적 근거리에서 연기 영상을 촬영하였기 때문에 차분 영상은 연기의 확산 운동으로 생성되는 독특한 연기의 텍스처를 보여주고 있다. 반면에, 도 8은 원거리에서 연기 영상을 촬영하였기 때문에, 연기의 텍스처는 보이지 않고 주변에 비하여 밝은 현상만을 보여주고 있다.
다중해상도에 기반하여 검출한 변화 영역은 다양한 요인으로 인한 변화 영역을 포함하고 있다. 연기 인식은 각 영역의 정적 및 동적 특성을 나타내는 특징을 기반으로 수행하는데, 각 영역마다 특징이 다르기 때문에 검출된 영역을 다음과 같은 과정으로 클러스터링을 수행하여 연기 후보 영역을 검출한다(단계 S220).
- 영상의 각 행에서 변화 검출된 화소들의 개수 정보를 배열에 저장하고, 이를 바탕으로 행 구간을 클러스터링한다.
- 클러스터링한 각 행 구간 내부의 각 열에서 변화 검출된 화소들의 개수를 배열에 저장하고, 이를 바탕으로 열 구간을 클러스터링한다.
- 클러스터링한 직사각형 영역의 크기가 작으면 버린다. 최종적으로 클러스터링한 결과는 도 10에서 보여주고 있다.
다른 객체로 분할된 각 클러스터는 다른 색으로 표시하였다. 상단의 파란색과 연두색으로 표시된 두 클러스터는 연기를, 좌측의 붉은 색은 주행중인 버스를, 중하단의 초록색은 승용차를 나타내고 있다.
동적 변화 기반 연기 후보 영역 인식
동적 변화에 기반하여 연기 후보 영역을 인식하는 것(단계 S110)에 대해 설명하기로 한다.
화재시 발생하는 연기는 주변에서 변화를 야기하는 안개, 구름 등과 차별화되는 동적 특성을 가지며, 비행물체, 차량 등과는 차별화되는 텍스처를 갖는다. 이러한 동적 특성과 텍스처를 이용하여 연기를 인식하는 과정은 다음과 같다. 우선 검출된 연기 후보 영역이 위로 확장하는 지를 판별하여 연기의 동적 특성을 만족하는 지를 판단한다(단계 S110). 이러한 동적 특성이 만족되면 후보 영역이 텍스처에 기반한 연기 인식에 적합한 지를 판단한다(단계 S120).
연기의 텍스처는 안개, 구름 등과 매우 유사하여 차별화하기가 어렵지만, 연기의 동적 특성은 안개, 구름과는 매우 다른 특성을 갖고 있다. 안개는 넓은 범위에 거쳐 서서히 진행되고, 구름은 일정 크기를 가지면 좌우로 천천히 움직이지만, 연기는 산의 좁은 영역에서 발생하여 하늘 방향으로 확산된다. 따라서, 안개와 구름으로부터 연기를 구별하기 위해서는 동적 변화 기반 연기 인식이 필요하다. 동적 변화에 기반하여 연기 후보 영역을 판별하는 것은, 연기 후보 영역이 위로 확장하는 지를 판단함으로써 수행된다(단계 S110).
도 11은, 산불로 인하여 발생되는 연기가 좌상 방향으로 확산되고 있음을 보여 주고 있는데, 변화 검출 결과 검출된 영역이 파란색, 초록색, 붉은 색으로 표시된 영역으로 점진적으로 확장되고 있음을 보여주고 있다. 도 11과 같이 검출된 변화 영역이 점진적으로 위로 확장되면, 연기 후보 영역으로 간주한다.
텍스처에 기반한 연기 인식 가능 판단
단계 S120에서는 후보 영역이 텍스처에 기반한 연기 인식에 적합한 지를 판단하여 후보 영역이 텍스처에 기반한 연기 인식에 적합한 것으로 판단되는 경우, 텍스처 인식 과정을 수행하고(단계 S196), 텍스처에 기반하여 연기를 인식할 수 없는 경우, 최대 줌인인지를 판단하며(단계 S190), 판단 결과 최대 줌인이 아닌 경우 후보 영역을 줌인(zoom-in)하여 후보 영역의 해상도를 증가시켜 연기 후보 영역에 대한 증가된 해상도의 차분 영상을 획득한다(단계 S195).
후보 영역이 텍스처에 기반한 연기 인식에 적합한지를 판단하는 단계(S120)는, 도 3에 도시된 바와 같이, 차분 영상의 히스토그램을 생성하고(단계 S300), 상기 생성된 히스토그램을 가우시안 혼합 모델로 모델링한 후 2개의 최대 모드를 추정하며(단계 S310), 각 모드의 밝기의 평균인 μ1, μ2를 계산하고, 각 모드의 분산인 σ1, σ2를 계산하며(단계 S320), μ1>0, μ2<0 이고, (σ1+σ2)≤소정의 임계값 인지를 판단하여(단계 S330), 후보 영역이 텍스처에 기반한 연기 인식에 적합한지를 판단하는데, μ1>0, μ2<0 이고, (σ1+σ2)≤소정의 임계값 인 경우 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 것으로 판단한다.
연기는 비행물체, 차량 등과 차별화되는 텍스처를 갖는다. 이러한 텍스처는 연기 인식의 중요한 특징이 된다. 하지만 원거리에서 연기를 촬영하는 경우 촬영된 연기 영역은 인식에 적합한 텍스처를 가지고 있지 않기 때문에, 후보 연기 영역이 연기 인식에 적합한 텍스처를 가지고 있는 지를 판별하는 과정이 필요하다. 우선 촬영 해상도에 따라 연기의 텍스처 특징이 어떻게 변화하는 지에 대해 설명한 후에 이를 이용한 판별 과정을 설명하기로 한다.
도 12 내지 도 15는 촬영 거리가 멀어짐에 따라 연기 영상 및 그 차분 영상 그리고 검출 영역에서의 밝기 값의 증감 및 차분 영상의 히스토그램을 보여주고 있다.
도 12 내지 도 14에 도시된 바와 같이, 촬영 거리가 상대적으로 가까울수록 차분 영상에서 화소 밝기가 증가하는 영역(빨간색으로 표시)과 감소하는 영역(파란색으로 표시)이 비슷한 크기로 존재한다. 이는 히스토그램으로도 알 수 있는데, 히스토그램에서 두 개의 뚜렷한 지역 극대값을 가지게 되며 하나는 양의 값을 다른 하나는 음의 값을 가지게 된다.
도 15에 도시된 바와 같이, 촬영거리가 매우 먼 경우에는 대부분의 변화 검출 영역이 화소의 밝기가 증가함을 나타내는 빨간색으로 표시된다. 차분 영상의 히스토그램 또한 가까운 거리에서 촬영한 경우와 다른 분포를 보여주고 있다.
텍스처 인식에 적합한 근거리에서 촬영한 히스토그램을 가우시안 혼합 모델(Gaussian mixture model: GMM)로 모델링할 때, 2개의 최대 가우시안 모드는 다음과 같은 2가지 특징을 가지고 있다.
- 한 모드의 밝기의 평균값(μ1 또는 μ2)은 양의 값을 갖고, 다른 모드의 밝기의 평균값(μ2 또는 μ1)은 음의 값을 갖는다. 즉, μ1>0이면 μ2<0 이고, μ2>0이면 μ1<0 이다.
- 각 모드의 분산 σ1, σ2의 합(σ1+σ2)은 소정의 임계값 이하이다. 즉, (σ1+σ2)≤소정의 임계값이다.
따라서, 본 발명에서는, 도 3에 도시된 바와 같이, 연기 후보 영역내의 차분 영상의 히스토그램을 생성하고(단계 S300), 생성된 차분 영상의 히스토그램을 가우시안 혼합 모델로 모델링하여, 2개의 최대 가우시안 모드를 추정한 후(단계 S310), 추정된 2개의 최대 가우시안 모드가 위의 2가지 특징을 만족하면, 연기 후보 영역이 텍스처에 기반한 연기 인식에 적합한 것으로 판단한다(단계 S320, S330).
차분 영상의 텍스처에 기반한 연기 인식
화재의 연기 검출은 초기 검출이 중요하다. 초기의 연기는 진하지 않기 때문에 연기와 배경이 혼재된다. 따라서, 정적 텍스처를 가지고 연기를 인식하는 것은 어렵다. 반면에, 차분 영상은 배경을 제외한 연기 고유의 특징만을 가지고 있다.
도 16은 한 화소에서 밝기 값이 연속된 영상 프레임에서 반복적으로 증감하는 것을 보여주고 있다. 이러한 동적 특성은 프레임에서 밝기 값의 변화로도 나타나지만, 도 17과 같이 차분 영상에서 화소값의 밝기가 공간적으로 변화하는 패턴으로도 나타난다. 본 발명에서는 LBP의 그룹화, 변형된 LBP 생성 방법 및 생성된 LBP의 그룹별 히스토그램을 이용하여 차분 영상의 텍스처에 기반한 연기 인식을 수행한다(단계 S196).
도 18에서, (a), (b)는 근거리에서 촬영한 전형적인 연기 차분 영상의 텍스처를 보여주고 있고, (c)는 원거리에서 촬영한 연기 차분 영상의 텍스처를 보여주고 있다. 도 18의 (d)에서 상단의 두 영역은 연기, 중간의 두 영역은 버스와 승용차의 차분 영상의 텍스처를 보여주고 있다. 연기 차분 영상의 경우에는 그 경계가 불규칙적인 형태이지만, 인공체인 버스와 승용차의 경우에는 그 경계가 수평 방향의 에지 형태를 이루고 있다. 본 발명에서는 이와 같이 연기의 불규칙적인 형태를 이용하여 연기를 인식한다. 이러한 불규칙적이니 특징은 지역 이진 패턴(LBP: Local Binary Pattern)을 이용하여 추출한다.
지역 이진 패턴을 이용한 텍스처 인식은 패턴 인식에서 널리 사용되고 있는 방법이다. 지역 이진 패턴은 다음 수학식 1과 같이 정의된다.
Figure 112013037700274-pat00006
Figure 112013037700274-pat00007
는 지역 이진 패턴 연산을 할 화소의 위치이고,
Figure 112013037700274-pat00008
는 중심 화소의 위치의 그레이 값이며,
Figure 112013037700274-pat00009
는 P개의 주변 화소 중 p번째 화소의 그레이 값이다.
Figure 112013037700274-pat00010
는 다음 수학식 2와 같이 정의한다.
Figure 112013037700274-pat00011
일반적인 LBP 연산에서는 중심 화소의 값을 주변 화소의 값과 비교하여 주변 화소의 값이 중심 화소의 값 이상이면 1, 미만이면 0으로 정의했지만, 본 발명에서의 LBP 연산은 주변 화소의 값과 중심 화소의 값의 절대값 차이가 소정의 임계값(threshold) 이상이면 1, 미만이면 0으로 정의한다. 본 발명의 LBP 연산에서 주변 화소의 값과 중심 화소의 값의 절대값 차이를 소정의 임계값과 비교하여 LBP 연산 결과를 획득하는 이유는 LBP 연산이 노이즈에 민감하게 반응하는 경우, 연기 인식의 오검출률이 증가할 수 있기 때문이다. 따라서, 본 발명에서는 시뮬레이션 결과를 통해 연기 인식시 노이즈에 민감하게 반응하지 않으면서 오검출률을 낮출 수 있으며 동시에 연기 검출률을 높일 수 있는 값을 LBP 연산의 임계값으로 설정한다
가장 간단한 지역 이진 패턴 연산자는 도 4a의 예시와 같이 화소의 3×3 이웃으로 계산한다. 도 4a의 LBP 연산의 예는 임계값(threshold)이 2일 때의 예이다. 한편, 도 4b와 같이 원형의 대칭적인 이웃을 사용하여 계산하기도 한다. 이런 경우에는 반경 R의 원에 P개의 이웃하는 화소가 동일한 간격으로 위치하며, 보간법을 이용하여 주변 화소의 밝기 값으로부터 이웃하는 화소의 밝기 값을 계산한다.
반경이 1인 경우 생성되는 256가지의 지역 이진 패턴은 도 19a 내지 도 19d와 같다.
본 발명에서는 불규칙적인 경계를 나타내는 지역 이진 패턴을 제1 그룹으로, 규칙적인 경계를 나타내는 지역 이진 패턴을 제2 그룹으로, 그리고 성격이 뚜렷하지 않은 지역 이진 패턴들을 제3 및 제4 그룹으로 그룹화하여 다음과 같이 지역 이진 패턴을 분류한다.
1. 불규칙적인 지역 이진 패턴
도 14의 256 패턴 중에서 "C_"로 시작하는 패턴
2. 규칙적인 지역 이진 패턴
도 14의 256 패턴 중에서 "B_", "E_", "CC_"로 시작하는 패턴
3. 노이즈 지역 이진 패턴
도 14의 256 패턴 중에서 "N_"으로 시작하는 패턴
4. 기타 지역 이진 패턴
나머지 패턴
각 그룹에 해당하는 모든 이진 패턴의 빈도를 통합하여 최종적으로 히스토그램을 생성한다. 이것은 도 20 및 도 21에서 보여주고 있다. 불규칙 패턴 그룹(좌측으로부터 3번째)의 경우 연기 영역에서는 높은 빈도를 나타내지만, 비 연기 영역에서는 상대적으로 낮은 빈도를 갖는다. 규칙 패턴(좌측의 첫번째)에 해당하는 그룹은 비 연기 영역에서는 상대적인 빈도가 높으며, 연기 영역에서는 낮은 빈도를 갖는다. 본 발명에서는 불규칙 패턴 그룹과 규칙 패턴 그룹의 상대적인 빈도를 비교하여 연기를 인식한다.
상기와 같이 차분 영상의 텍스처를 이용하여 연기를 인식하는 것은 차분 영상의 화소에 대해 변형된 지연 이진 패턴(LBP) 연산에 따라 지역 이진 패턴을 생성한 후에 생성된 LBP 패턴이 4개의 그룹 중 어떤 LBP 패턴 그룹에 속하는지를 판단하여 LBP 패턴의 히스토그램을 생성하여 불규칙 패턴 그룹과 규칙 패턴 그룹의 상대적인 빈도를 비교하여 연기를 인식한다
즉, 차분 영상의 텍스처에 기반하여 연기를 인식하는 것(단계 S196)은 다음과 같은 동작에 의해 수행된다. 단계 S130에서, 지역 이진 패턴(LBP: Local Binary Pattern)을 불규칙적인 LBP, 규칙적인 LBP, 노이즈 LBP 및 기타 LBP의 4가지 LBP 그룹으로 그룹화하여 LBP를 분류한다. 단계 S140에서 차분 영상의 화소에 대한 지역 이진 패턴(LBP)을 생성하고, 단계 S150에서 생성된 LBP가 어떤 LBP 그룹에 속하는지를 판단하여 각 그룹별 히스토그램을 생성한다. 단계 S160에서는 불규칙적인 LBP 그룹의 빈도 및 규칙적인 LBP 그룹의 빈도를 계산하고, 단계 S170에서 불규칙적인 LBP 그룹의 빈도가 (소정의 상수 K × 규칙적인 LBP 그룹의 빈도) 이상인지를 판단하여, 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 지를 판단한다.
단계 S170에서 불규칙적인 LBP 그룹의 빈도가 (소정의 상수 K × 규칙적인 LBP그룹의 빈도) 이상이면, 후보 영역의 영상을 연기라고 판단하여 단계 S180에서 화재 연기 감지 신호를 생성하고, 그렇지 않으면 단계 S100으로 돌아간다.
본 발명에 의한 화재 연기 감지 방법 및 장치를 사용한 경우, 실험 데이터를 이용한 시뮬레이션에서 검출된 연기 영역의 크기가 20×20 화소 이상인 경우에 100%의 연기 인식률을 보여주었다.
본 명세서에서 논의된 방법들은, 적용예에 따라서 다양한 수단을 이용하여 구현될 수도 있다. 예를 들어, 이러한 방법들은 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 조합의 형태로 구현될 수도 있다. 하드웨어를 수반하는 구현예에서, 제어부는 하나 이상의 주문형 집적 회로들(ASICs), 디지털 신호 프로세서들(DSPs), 필드 프로그램가능 게이트 어레이들(FPGAs), 프로세서들, 제어기들, 마이크로-제어기들, 마이크로프로세서들, 전자 장치들, 본 명세서에서 논의된 기능들을 실행하도록 설계된 다른 전자 유닛들 또는 이들의 조합으로 구현될 수도 있다.
이상, 본 발명을 구체적인 실시례들을 통하여 상세히 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함이 명백하다.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의하여 명확해질 것이다.
S100 : 연기 후보 영역 검출 단계
S110 : 동적 변화 기반 연기 후보 영역 인식 단계
S120 : 텍스처에 기반한 연기 인식 가능 판단 단계
S130 : LBP 그룹화 단계
S140 : LBP 생성 단계
S150 : LBP 히스토그램 생성 단계
S160 : 그룹별 빈도 계산 단계
S170 : 빈도 판단 단계
S180 : 연기 감지 신호 생성 단계
S190 : 줌배율 판단 단계
S195 : 후보 영역 줌인 단계
S196 : 차분 영상의 텍스처에 기반한 연기 인식 단계

Claims (12)

  1. (A) 카메라로부터 입력되는 동영상 신호에서 차분 영상을 생성한 후 생성된 차분 영상에 기반하여 연기 후보 영역을 검출하는 단계;
    (B) 상기 검출된 연기 후보 영역이 시간에 따라 확장되는 지를 판단하는 단계;
    (C) 상기 단계 (B)에서 상기 검출된 연기 후보 영역이 시간에 따라 확장되는 것으로 판단되는 경우, 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 지를 판단하는 단계;
    (D) 상기 단계 (C)에서 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 것으로 판단되는 경우, 지역 이진 패턴(LBP: Local Binary Pattern)을 소정 개수의 LBP 그룹으로 그룹화하고, 차분 영상의 화소에 대한 지역 이진 패턴(LBP)을 생성하며, 생성된 LBP가 어떤 LBP 그룹에 속하는지를 판단하여 각 그룹별 히스토그램을 생성하고, 생성된 각 LBP 그룹별 히스토그램에 기반하여 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 지를 판단하는 단계; 및
    (E) 상기 단계 (D)에서 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 것으로 판단되는 경우, 연기 감지 신호를 생성하는 단계를 포함하고,
    상기 단계 (C)는,
    (C1) 차분 영상의 히스토그램을 생성하는 단계;
    (C2) 상기 생성된 히스토그램을 가우시안 혼합 모델로 모델링한 후 2개의 최대 모드를 추정하는 단계;
    (C3) 각 모드의 밝기의 평균인 μ1, μ2를 계산하고, 각 모드의 분산인 σ1, σ2를 계산하는 단계; 및
    (C4) μ1>0, μ2<0 이고, (σ1+σ2)≤소정의 임계값 인지를 판단하는 단계로서, μ1>0, μ2<0 이고, (σ1+σ2)≤소정의 임계값 인 경우 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 화재 연기 감지 방법.
  2. 청구항 1에 있어서, 상기 단계 (D)는,
    (D1) 지역 이진 패턴(LBP)을 불규칙적인 LBP, 규칙적인 LBP, 노이즈 LBP 및 기타 LBP의 4가지 LBP 그룹으로 그룹화하는 단계;
    (D2) 차분 영상의 화소에 대한 지역 이진 패턴(LBP)을 생성하는 단계;
    (D3) 생성된 LBP가 어떤 LBP 그룹에 속하는지를 판단하여 각 그룹별 히스토그램을 생성하는 단계;
    (D4) 불규칙적인 LBP 그룹의 빈도 및 규칙적인 LBP 그룹의 빈도를 계산하는 단계; 및
    (D5) 불규칙적인 LBP 그룹의 빈도가 (소정의 상수 × 규칙적인 LBP 그룹의 빈도) 이상인지를 판단하는 단계로서, 불규칙적인 LBP 그룹의 빈도가 (소정의 상수 × 규칙적인 LBP 그룹의 빈도) 이상인 경우 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 화재 연기 감지 방법.
  3. 청구항 2에 있어서, 상기 단계 (D2)에서 차분 영상의 화소에 대한 지역 이진 패턴(LBP)을 생성하는 단계는,
    Figure 112013037700274-pat00012

    Figure 112013037700274-pat00013
    , 에 의해 LBP 패턴을 생성하고,
    Figure 112013037700274-pat00014
    는 지역 이진 패턴 연산을 할 화소의 위치이고,
    Figure 112013037700274-pat00015
    는 중심 화소의 위치의 그레이 값이며,
    Figure 112013037700274-pat00016
    는 P개의 주변 화소 중 p번째 화소의 그레이 값이며, threshold는 소정의 임계값인 것을 특징으로 하는 화재 연기 감지 방법.
  4. 청구항 1에 있어서, 상기 단계 (A)는,
    (A1) 입력되는 동영상 신호에서 차분 영상을 생성하는 단계;
    (A2) 생성된 차분 영상의 다중해상도에서의 차분 영상에 기반하여 변화 화소들을 검출하는 단계; 및
    (A3) 검출된 변화 화소들을 클러스터링하여 연기 후보 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 화재 연기 감지 방법.
  5. 청구항 4에 있어서, 상기 단계 (A2)는,
    (A20) 생성된 차분 영상의 저해상도에서의 차분 영상에 기반하여 변화 영역을 검출하는 단계;
    (A21) 검출된 변화 영역내에서 중간해상도에 기반하여 변화 화소들을 검출하는 단계;
    (A22) 검출된 변화 영역내에서 고해상도에 기반하여 변화 화소들을 검출하는 단계; 및
    (A23) 상기 저해상도, 중간해상도 및 고해상도에 기반하여 검출된 변화 화소들을 결합하는 단계를 포함하는 것을 특징으로 하는 화재 연기 감지 방법.
  6. 삭제
  7. 청구항 1에 있어서, 상기 단계 (C)에서 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합하지 않은 것으로 판단되는 경우,
    (F) 상기 카메라의 줌배율이 최대 줌배율인지를 판단하는 단계; 및
    (G) 상기 단계 (F)에서 상기 카메라의 줌배율이 최대 줌배율이 아닌 것으로 판단되는 경우, 후보 영역을 줌인(zoom-in)하여 연기 후보 영역에 대한 증가된 해상도의 차분 영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 화재 연기 감지 방법.
  8. 카메라;
    상기 카메라로부터 입력되는 동영상 신호에서 차분 영상을 생성한 후 생성된 차분 영상에 기반하여 연기 후보 영역을 검출하는 연기 후보 영역 검출부;
    상기 검출된 연기 후보 영역이 시간에 따라 확장되는 지를 판단하는 동적 변화 기반 연기 후보 영역 판단부;
    상기 동적 변화 기반 연기 후보 영역 판단부가 상기 검출된 연기 후보 영역이 시간에 따라 확장된다고 판단하는 경우, 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 지를 판단하는 텍스처 기반 연기 인식 가능 판단부;
    상기 텍스처 기반 연기 인식 가능 판단부에서 후보 영역이 텍스처 기반 연기 인식에 적합하다고 판단하는 경우, 지역 이진 패턴(LBP: Local Binary Pattern)을 소정 개수의 LBP 그룹으로 그룹화하고, 차분 영상의 화소에 대한 지역 이진 패턴(LBP)을 생성하며, 생성된 LBP가 어떤 LBP 그룹에 속하는지를 판단하여 각 그룹별 히스토그램을 생성하고, 생성된 각 LBP 그룹별 히스토그램에 기반하여 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 지를 판단하는 텍스처 기반 연기 인식부; 및
    상기 텍스처 기반 연기 인식부에서 연기를 인식하면, 연기 감지 신호를 생성하는 연기 감지 신호 생성부를 포함하고,
    상기 텍스처 기반 연기 인식 가능 판단부는,
    차분 영상의 히스토그램을 생성하고,
    상기 생성된 히스토그램을 가우시안 혼합 모델로 모델링한 후 2개의 최대 모드를 추정하며,
    각 모드의 밝기의 평균인 μ1, μ2를 계산하고, 각 모드의 분산인 σ1, σ2를 계산하며,
    μ1>0, μ2<0 이고, (σ1+σ2)≤소정의 임계값 인지를 판단하며,
    μ1>0, μ2<0 이고, (σ1+σ2)≤소정의 임계값 인 경우 상기 연기 후보 영역이 텍스처 기반 연기 인식에 적합한 것으로 판단하도록 구성되는 것을 특징으로 하는 화재 연기 감지 장치.
  9. 청구항 8에 있어서, 상기 텍스처 기반 연기 인식부는,
    지역 이진 패턴(LBP)을 불규칙적인 LBP, 규칙적인 LBP, 노이즈 LBP 및 기타 LBP의 4가지 LBP 그룹으로 그룹화하고,
    차분 영상의 화소에 대한 지역 이진 패턴(LBP)을 생성하며,
    생성된 LBP가 어떤 LBP 그룹에 속하는지를 판단하여 각 그룹별 히스토그램을 생성하며,
    불규칙적인 LBP 그룹의 빈도 및 규칙적인 LBP 그룹의 빈도를 계산하고,
    불규칙적인 LBP 그룹의 빈도가 (소정의 상수 × 규칙적인 LBP 그룹의 빈도) 이상인지를 판단하며, 불규칙적인 LBP 그룹의 빈도가 (소정의 상수 × 규칙적인 LBP 그룹의 빈도) 이상인 경우 연기 후보 영역의 차분 영상의 텍스처가 연기 영상의 텍스처와 일치하는 것으로 판단하도록 구성되는 것을 특징으로 하는 화재 연기 감지 장치.
  10. 청구항 8에 있어서, 상기 연기 후보 영역 검출부는,
    입력되는 동영상 신호에서 차분 영상을 생성하고,
    생성된 차분 영상의 다중해상도에서의 차분 영상에 기반하여 변화 화소들을 검출하며,
    검출된 변화 화소들을 클러스터링하여 연기 후보 영역을 검출하도록 구성되는 것을 특징으로 하는 화재 연기 감지 장치.
  11. 삭제
  12. 청구항 8에 있어서,
    상기 텍스처 기반 연기 인식 가능 판단부에서 후보 영역이 텍스처 기반 연기 인식에 적합하지 않다고 판단하는 경우, 상기 카메라의 줌배율이 최대 줌배율인지를 판단하는 줌배율 판단부; 및
    상기 카메라의 줌배율이 최대 줌배율이 아닌 경우 연기 후보 영역을 줌인(zoom-in)하여 연기 후보 영역에 대한 증가된 해상도의 차분 영상을 획득하는 후보 영역 줌인부를 더 포함하는 것을 특징으로 하는 화재 연기 감지 장치.
KR1020130047457A 2013-04-29 2013-04-29 화재 연기 감지 방법 및 장치 KR101432440B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130047457A KR101432440B1 (ko) 2013-04-29 2013-04-29 화재 연기 감지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130047457A KR101432440B1 (ko) 2013-04-29 2013-04-29 화재 연기 감지 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101432440B1 true KR101432440B1 (ko) 2014-08-21

Family

ID=51750939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130047457A KR101432440B1 (ko) 2013-04-29 2013-04-29 화재 연기 감지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101432440B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392471A (zh) * 2014-11-13 2015-03-04 山东财经大学 一种在静态图像中判断火焰区域的方法
CN104978744A (zh) * 2015-06-16 2015-10-14 谢维波 基于异构双核的烟雾检测系统
KR101649593B1 (ko) * 2015-12-18 2016-08-30 주식회사 싸인텔레콤 연기의 칼라특성과 히스토그램 분석으로 이루어진 하이브리드형 이동차량 연기검출장치 및 방법
KR20170006079A (ko) * 2015-07-07 2017-01-17 이선구 화재 감시 장치
CN106408029A (zh) * 2016-09-28 2017-02-15 河南科技大学 一种基于结构差分直方图的图像纹理分类方法
CN107705288A (zh) * 2017-09-04 2018-02-16 武汉工程大学 伪目标运动强干扰下的危险气体泄漏红外视频检测方法
KR101869442B1 (ko) * 2017-11-22 2018-06-20 공주대학교 산학협력단 화재 감지 장치 및 방법
CN108805140A (zh) * 2018-05-23 2018-11-13 国政通科技股份有限公司 一种基于lbp的特征快速提取方法及人脸识别系统
CN111310662A (zh) * 2020-02-17 2020-06-19 淮阴工学院 一种基于集成深度网络的火焰检测识别方法及系统
CN113379999A (zh) * 2021-06-22 2021-09-10 徐州才聚智能科技有限公司 火情检测方法、装置、电子设备及存储介质
KR102511408B1 (ko) * 2022-11-24 2023-03-20 김병준 엣지 인공지능 기반의 산불 정밀 감지 및 대응 장치 및 방법
WO2024101928A1 (ko) * 2022-11-09 2024-05-16 김병준 에지 ai 기술 기반의 객체 식별에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치 및 전자 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060087139A (ko) * 2005-01-28 2006-08-02 삼성전자주식회사 3차원 그래픽에서 자연 현상에 대한 절차적인 텍스쳐 생성방법과 장치 및 그 기록매체
JP2011215806A (ja) 2010-03-31 2011-10-27 Nohmi Bosai Ltd 煙検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060087139A (ko) * 2005-01-28 2006-08-02 삼성전자주식회사 3차원 그래픽에서 자연 현상에 대한 절차적인 텍스쳐 생성방법과 장치 및 그 기록매체
JP2011215806A (ja) 2010-03-31 2011-10-27 Nohmi Bosai Ltd 煙検出装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392471A (zh) * 2014-11-13 2015-03-04 山东财经大学 一种在静态图像中判断火焰区域的方法
CN104978744A (zh) * 2015-06-16 2015-10-14 谢维波 基于异构双核的烟雾检测系统
KR101716036B1 (ko) 2015-07-07 2017-03-13 이선구 화재 감시 장치
KR20170006079A (ko) * 2015-07-07 2017-01-17 이선구 화재 감시 장치
KR101649593B1 (ko) * 2015-12-18 2016-08-30 주식회사 싸인텔레콤 연기의 칼라특성과 히스토그램 분석으로 이루어진 하이브리드형 이동차량 연기검출장치 및 방법
CN106408029B (zh) * 2016-09-28 2019-09-24 河南科技大学 一种基于结构差分直方图的图像纹理分类方法
CN106408029A (zh) * 2016-09-28 2017-02-15 河南科技大学 一种基于结构差分直方图的图像纹理分类方法
CN107705288A (zh) * 2017-09-04 2018-02-16 武汉工程大学 伪目标运动强干扰下的危险气体泄漏红外视频检测方法
KR101869442B1 (ko) * 2017-11-22 2018-06-20 공주대학교 산학협력단 화재 감지 장치 및 방법
CN108805140A (zh) * 2018-05-23 2018-11-13 国政通科技股份有限公司 一种基于lbp的特征快速提取方法及人脸识别系统
CN111310662A (zh) * 2020-02-17 2020-06-19 淮阴工学院 一种基于集成深度网络的火焰检测识别方法及系统
CN113379999A (zh) * 2021-06-22 2021-09-10 徐州才聚智能科技有限公司 火情检测方法、装置、电子设备及存储介质
CN113379999B (zh) * 2021-06-22 2024-05-24 徐州才聚智能科技有限公司 火情检测方法、装置、电子设备及存储介质
WO2024101928A1 (ko) * 2022-11-09 2024-05-16 김병준 에지 ai 기술 기반의 객체 식별에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치 및 전자 시스템
KR102511408B1 (ko) * 2022-11-24 2023-03-20 김병준 엣지 인공지능 기반의 산불 정밀 감지 및 대응 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101432440B1 (ko) 화재 연기 감지 방법 및 장치
US9230175B2 (en) System and method for motion detection in a surveillance video
US8045761B2 (en) Detection of environmental conditions in a sequence of images
KR100918436B1 (ko) 비전 기반의 화재 감지 시스템 및 방법
CN107404628B (zh) 图像处理装置及方法以及监视系统
EP3438929B1 (en) Foreground and background detection method
KR20210006276A (ko) 플리커를 약화시키기 위한 이미지 처리 방법
JP2010097412A (ja) 煙検出装置
CN111797726A (zh) 一种火焰检测方法、装置、电子设备及存储介质
CN113221763A (zh) 一种基于视频图像亮度的火焰识别方法
KR101026778B1 (ko) 차량 영상 검지 장치
KR101044903B1 (ko) 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법
JPH09282452A (ja) 監視装置
KR101270718B1 (ko) 영상에서 화재를 검출하기 위한 영상처리 장치 및 방법
JP6375911B2 (ja) カーブミラー検出装置
US20210089818A1 (en) Deposit detection device and deposit detection method
JP4140126B2 (ja) 領域分割および対象物抽出装置
US20200219222A1 (en) Attached substance detection device and attached substance detection method
CN113298027B (zh) 一种火焰检测方法、装置、电子设备和存储介质
CN115661475A (zh) 一种图像异物识别方法、装置、设备及存储介质
JP6593791B2 (ja) 炎検出装置および炎検出方法
KR102188162B1 (ko) 안개 상황에서 차량 검출 방법 및 시스템
CN113808117A (zh) 灯具检测方法、装置、设备及存储介质
JP2004208209A (ja) 移動体監視装置および移動体監視方法
JP7092616B2 (ja) 物体検出装置、物体検出方法、及び物体検出プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee