KR102654042B1 - 열화상 및 rgb 듀얼 카메라를 이용한 화재 판별 장치 및 방법 - Google Patents

열화상 및 rgb 듀얼 카메라를 이용한 화재 판별 장치 및 방법 Download PDF

Info

Publication number
KR102654042B1
KR102654042B1 KR1020230079829A KR20230079829A KR102654042B1 KR 102654042 B1 KR102654042 B1 KR 102654042B1 KR 1020230079829 A KR1020230079829 A KR 1020230079829A KR 20230079829 A KR20230079829 A KR 20230079829A KR 102654042 B1 KR102654042 B1 KR 102654042B1
Authority
KR
South Korea
Prior art keywords
fire
image
rgb
determination device
value
Prior art date
Application number
KR1020230079829A
Other languages
English (en)
Inventor
홍성견
조문석
Original Assignee
쿨사인 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쿨사인 주식회사 filed Critical 쿨사인 주식회사
Priority to KR1020230079829A priority Critical patent/KR102654042B1/ko
Application granted granted Critical
Publication of KR102654042B1 publication Critical patent/KR102654042B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

본 발명은 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 장치 및 방법에 관한 것이다. 본 발명에 따른 화재 판별 방법은, 화재 판별 장치가 열화상 및 RGB 듀얼 카메라로 화재 감시 대상 영역에 대한 열화상 이미지와 RGB 이미지를 획득하는 단계; 상기 화재 판별 장치가 상기 열화상 이미지로부터 상기 화재 감시 대상 영역의 온도 분포를 산출하여 화재로 의심되는 제1 화재 객체를 검출하고, 상기 RGB 이미지에 대한 딥러닝 모델로 화재로 의심되는 제2 화재 객체를 검출하는 단계; 상기 화재 판별 장치가 상기 제1 및 제2 화재 객체의 영상좌표를 매핑하는 단계; 및 상기 화재 판별 장치가 매핑된 화재 객체의 시간에 따른 크기 변화를 확인하여 화재의 발생 여부를 최종 판단하는 단계;를 포함한다.

Description

열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 장치 및 방법{Fire determination apparatus and method using thermal imaging and RGB dual camera}
본 발명은 화재 판별 장치 및 방법에 관한 것으로, 더욱 상세하게는 열화상 이미지와 RGB 이미지를 기반으로 하는 딥러닝(Deep Learning) 모델로 화재 발생 여부를 판별하는 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 장치 및 방법에 관한 것이다.
일반적으로 화재 감지 장치는 열과 연기의 농도를 감지하는 방식으로 작동한다. 이러한 화재 감지 장치는 화재의 부산물인 열과 연기를 감지하는 데까지 시간이 소요되기 때문에, 화재 진압의 골든 타임을 놓칠 확률이 높아 큰 재신 피해 및 인명 피해를 야기할 수 있다. 특히, 사람이 없는 공간에서 화재가 발생할 경우 화재의 조기 감지 및 초동 진압에 큰 불리함을 지니게 된다.
이를 해소하기 위해 최근에는 RGB 이미지를 기반으로 하는 화재 감지 장치가 개발되고 있지만, RGB 이미지는 소
화가 필요하지 않은 유사 화재에 대해 화재를 정확하게 감지하지 못하는 단점이 있다. 예를 들어, 화재와 유사한 색상의 빛, 화재 영상, 담배 연기, 스팀 등 화재의 오인될 수 있는 요소에 대해 오경보가 발생될 가능성이 있다.
이러한 문제점을 해소하기 위해서, 최근에는 인공 지능 기술을 화재 감지에 적용하기 위한 다양한 기술들이 시도되고 있다. 하지만 예측 정확도에 한계가 있으며, 모니터링 대상 공간에 대해 획득된 다양한 종류의 복합 데이터들에 최적화된 인공 지능 모델에 대한 설계 기술 개발이 요구되고 있다. 또한, 인공 지능 모델 및 영상 처리 알고리즘을 복합적으로 이용하여 모니터링 대상 공간 내 화재를 조기 감지하기 위한 기술 개발이 요구되고 있다.
공개특허공보 제2023-0021278호 (2023.02.14.)
따라서 본 발명의 목적은 열화상 이미지와 RGB 이미지를 기반으로 하는 딥러닝 모델로 화재 발생 여부를 판별하는 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 장치 및 방법을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명은 화재 판별 장치가 열화상 및 RGB 듀얼 카메라로 화재 감시 대상 영역에 대한 열화상 이미지와 RGB 이미지를 획득하는 단계; 상기 화재 판별 장치가 상기 열화상 이미지로부터 상기 화재 감시 대상 영역의 온도 분포를 산출하여 화재로 의심되는 제1 화재 객체를 검출하고, 상기 RGB 이미지에 대한 딥러닝 모델로 화재로 의심되는 제2 화재 객체를 검출하는 단계; 상기 화재 판별 장치가 상기 제1 및 제2 화재 객체의 영상좌표를 매핑하는 단계; 및 상기 화재 판별 장치가 매핑된 화재 객체의 시간에 따른 크기 변화를 확인하여 화재의 발생 여부를 최종 판단하는 단계;를 포함하는 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 방법을 제공한다.
상기 검출하는 단계는, 상기 화재 판별 장치가 초기 온도 설정값(α)을 기준으로 상기 열화상 이미지로부터 실제 온도 측정값(β)을 산출하는 단계; 상기 화재 판별 장치가 상기 초기 온도 설정값과 상기 실제 온도 측정값의 차이인 온도차 분포값(γ=β-α)을 산출하고, 산출한 온도 분포값으로 온도차 분포평면의 기준값(δ=min(γ))을 산출하는 단계; 상기 화재 판별 장치가 상기 온도차 분포값과 상기 온도차 분포평면의 기준값의 차의 제곱으로 피크값 분포도(x=Σ(γ-δ)2)를 산출하는 단계; 및 상기 화재 판별 장치가 상기 피크값 분포도 중 특이점합 기준값을 초과하는 영역을 상기 제1 화재 객체로 검출하는 단계;를 포함할 수 있다.
본 발명에 따른 화재 판별 방법은, 상기 획득하는 단계 이후에 수행되는, 상기 화재 판별 장치가 δ-min(α)로 산출되는 최저값 온도차가 임계값을 초과하거나 상기 피크값 분포도 중 특이점합 기준값의 100배를 초과하는 피크값 분포도가 있는 경우 화재가 발생한 것으로 판단하는 단계;를 더 포함할 수 있다.
상기 검출하는 단계는, 상기 화재 판별 장치가 상기 RGB 이미지에 대한 딥러닝 모델로 화재로 의심되는 탐지 영역의 좌표를 추출하는 단계; 상기 화재 판별 장치가 상기 탐지 영역의 Bbox(Bounding box) 크기에 따라 일정한 크기의 블록으로 분할하는 단계; 상기 화재 판별 장치가 분할된 개별 블록의 값 중에서 임계값을 초과하는 블록의 값(Score)을 저장하는 단계; 상기 화재 판별 장치가 저장된 블록의 값들 간의 거리(Distance)가 일정값 미만인 값 중 최대값을 저장하는 단계; 및 상기 화재 판별 장치가 저장된 최대값들을 좌표로 하는 상기 제2 화재 객체를 검출하는 단계;를 포함할 수 있다.
상기 매핑하는 단계는, 상기 화재 판별 장치가 열화상 카메라와 RGB 카메라의 화각 차이를 상쇄하기 위해 화각이 좁은 카메라에 맞춰 열화상 또는 RGB 이미지를 크롭(crop)한 후, 상기 열화상 이미지와 상기 RGB 이미지를 매핑하는 단계; 상기 화재 판별 장치가 매핑된 상기 열화상 및 RGB 이미지를 각각 32×24 배열로 분할하는 단계; 및 상기 화재 판별 장치가 상기 제1 및 제2 화재 객체의 좌표를 상기 32×24 배열에 기록하는 단계;를 포함할 수 있다.
상기 최종 판단하는 단계는, 상기 화재 판별 장치가 상기 32×24 배열에 각각 기록된 상기 제1 및 제2 화재 객체의 좌표의 일치율로 상기 제1 및 제2 화재 객체의 검출 결과를 검증하는 단계; 및 검증 결과 화재로 추정되는 경우, 상기 화재 판별 장치가 시간에 따른 상기 제2 화재 객체의 Bbox 크기 변화값 또는 IoU(Intersection Over Union)값으로 화재의 발생 여부를 최종 판단하는 단계;를 포함할 수 있다.
상기 제1 및 제2 화재 객체는 불꽃 및 연기 중에 적어도 하나를 포함할 수 있다.
그리고 본 발명은, 화재 감시 대상 영역에 대한 열화상 이미지와 RGB 이미지를 촬영하는 열화상 및 RGB 듀얼 카메라; 및 상기 열화상 및 RGB 듀얼 카메라로 상기 화재 감시 대상 영역에 대한 열화상 이미지와 RGB 이미지를 획득하고, 상기 열화상 이미지로부터 상기 화재 감시 대상 영역의 온도 분포를 산출하여 화재로 의심되는 제1 화재 객체를 검출하고, 상기 RGB 이미지에 대한 딥러닝 모델로 화재로 의심되는 제2 화재 객체를 검출하고, 상기 제1 및 제2 화재 객체의 영상좌표를 매핑하고, 매핑된 화재 객체의 시간에 따른 크기 변화를 확인하여 화재의 발생 여부를 최종 판단하는 제어기;를 포함하는 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 장치를 제공한다.
본 발명에 따르면, 열화상 이미지와 RGB 이미지를 기반으로 하는 딥러닝 모델로 화재 발생 여부를 보다 정확하게 판별할 수 있다. 즉 본 발명에 따른 화재 판별 장치는 RGB 이미지를 기반으로 한 RGB 객체 탐지를 통하여 불꽃 또는 연무를 포함하는 화재 객체를 탐지하는 알고리즘으로 산출한 판별값과 열화상 이미지를 기반으로 측정한 화재 객체의 온도 측정값을 복합하여 화재 발생 여부를 판별함으로써, 화재 발생 여부를 보다 정확하게 판별할 수 있다.
도 1은 본 발명의 실시예에 따른 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 장치를 보여주는 블록도이다.
도 2는 본 발명의 실시예에 따른 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 방법에 따른 흐름도이다.
도 3은 도 2의 제1 화재 객체를 검출하는 단계에 대한 상세 흐름도이다.
도 4는 도 2의 제2 화재 객체를 검출하는 단계에 대한 상세 흐름도이다.
도 5는 도 2의 제1 및 제2 화재 객체의 영상좌표를 매핑하는 단계에 대한 상세 흐름도이다.
도 6은 도 2의 화재의 발생 여부를 최종 판단하는 단계에 대한 상세 흐름도이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 벗어나지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 실시예에 따른 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 장치를 보여주는 블록도이다.
도 1을 참조하면, 본 실시예에 따른 화재 판별 장치(100)는 화재 감시 대상 영역에 대해서 열화상 및 RGB 듀얼 카메라(10)로 획득한 열화상 이미지와 RGB 이미지를 이용하여 화재의 발생 여부를 판단하는 장치이다. 이러한 본 실시예에 따른 화재 판별 장치(100)는 화재 감시 대상 영역에 대한 열화상 이미지와 RGB 이미지를 획득하는 열화상 및 RGB 듀얼 카메라(10)와, 제어기(30)를 포함한다. 제어기(30)는 열화상 및 RGB 듀얼 카메라(10)로 화재 감시 대상 영역에 대한 열화상 이미지와 RGB 이미지를 획득한다. 제어기(30)는 열화상 이미지로부터 화재 감시 대상 영역의 온도 분포를 산출하여 화재로 의심되는 제1 화재 객체를 검출한다. 제어기(30)는 RGB 이미지에 대한 딥러닝 모델로 화재로 의심되는 제2 화재 객체를 검출한다. 그리고 제어기(30)는 제1 및 제2 화재 객체의 영상좌표를 매핑하고, 매핑된 화재 객체의 시간에 따른 크기 변화를 확인하여 화재의 발생 여부를 최종 판단한다.
그 외 본 실시예에 따른 화재 판별 장치(100)는 메모리(20)를 더 포함할 수 있다.
이와 같은 본 실시예에 따른 화재 판별 장치(100)에 대해서 구체적으로 설명하면 다음과 같다.
열화상 및 RGB 듀얼 카메라(10)는 화재 감시 대상 영역에 대한 이미지를 촬영하고, 촬영한 이미지를 제어기(30)로 전송한다. 이러한 열화상 및 RGB 듀얼 카메라(10)는 하나 이상의 열화상 카메라(11)와, 하나 이상의 RGB 카메라(13)를 포함한다.
여기 화재 감시 대상 영역은 화재 발생 가능성이 높은 건물 내의 시설이나 기기일 수 있다. 예컨대 화재 감시 대상 영역은 전기자동차 충전소의 충전기일 수 있다.
메모리(20)는 화재 판별 장치(100)의 동작 제어 시 필요한 프로그램과, 그 프로그램의 수행 중에 발생되는 데이터를 저장한다. 메모리(20)는 열화상 및 RGB 듀얼 카메라(10)로부터 획득한 이미지를 저장할 수 있다. 메모리(20)는 열화상 및 RGB 듀얼 카메라(10)로 획득한 이미지를 기반으로 화재의 발생 여부를 판별하는 실행프로그램을 저장한다. 이러한 실행프로그램은 열화상 이미지로부터 제1 화재 객체를 검출하는 알고리즘과, RGB 이미지로부터 제2 화재 객체를 검출하는 딥러닝 모델과, 검출한 제1 및 제2 화재 객체를 매핑하는 알고리즘과, 매핑된 화재 객체로부터 제1 및 제2 화재 객체의 검출 결과를 검증한 후 화재의 발생 여부를 최종 판단하는 알고리즘을 포함한다.
그리고 제어기(30)는 화재 판별 장치(100)의 전반적인 제어를 수행하는 마이크로프로세서를 포함한다. 제어기(30)는 열화상 및 RGB 듀얼 카메라(10)로 획득한 이미지를 기반으로 화재 감시 대상 영역에서의 화재 발생 여부를 최종 판단한다.
제어기(30)는 열화상 및 RGB 듀얼 카메라(10)로 획득한 이미지로부터 화재로 의심되는 화재 객체를 검출한다. 즉 제어기(30)는 열화상 이미지로부터 제1 화재 객체를 검출한다. 제어기(30)는 RGB 이미지로부터 제2 화재 객체를 검출한다. 제어기(30)는 검출한 제1 및 제2 화재 객체를 복합하여 검출 결과를 검증한 후 화재의 발생 여부를 최종 판단한다.
여기서 화재 객체는 화재의 발생 여부를 확인할 수 있는 객체로서, 예컨대 불꽃, 연기 등을 포함할 수 있다.
제어기(30)는 다음과 같이 제1 화재 객체를 검출할 수 있다.
제어기(30)는 초기 온도 설정값(α)을 기준으로 열화상 이미지로부터 실제 온도 측정값(β)을 산출한다. 제어기(30)는 초기 온도 설정값과 실제 온도 측정값의 차이인 온도차 분포값(γ=β-α)을 산출한다. 제어기(30)는 산출한 온도 분포값으로 온도차 분포평면의 기준값(δ=min(γ))을 산출한다. 제어기(30)는 온도차 분포값과 온도차 분포평면의 기준값의 차의 제곱으로 피크값 분포도(x=Σ(γ-δ)2)를 산출한다. 그리고 제어기(30)는 피크값 분포도 중 특이점합 기준값을 초과하는 영역을 제1 화재 객체로 검출한다. 여기서 특이점합 기준값은 3,000으로 설정될 수 있다.
이때 제어기(30)는 열화상 이미지로부터 산출한 실제 온도 측정값(β)을 기반으로 화재 발생을 즉시 판단할 수 있다. 예컨대 제어기(30)는 δ-min(α)로 산출되는 최저값 온도차가 제1 임계값을 초과하는 경우 화재가 발생한 것으로 판단한다. 제어기(30)는 피크값 분포도 중 특이점합 기준값의 100배를 초과하는 피크값 분포도가 있는 경우 화재가 발생한 것으로 판단한다. 여기서 제1 임계값은 50℃일 수 있다. 즉 최저값 온도차가 제1 임계값인 50℃를 초과하는 경우, 획득한 열화상 이미지에서 산출한 실제 온도 측정값(β) 모두가 초기 온도 설정값(α)보다 50℃를 초과하여 차이가 발생하는 상황이기 때문에, 제어기(30)는 즉시 화재가 발생한 것으로 판단한다.
제어기(30)는 다음과 같이 제2 화재 객체를 검출할 수 있다.
제어기(30)는 RGB 이미지에 대한 딥러닝 모델로 화재로 의심되는 탐지 영역의 좌표를 추출한다. 제어기(30)는 탐지 영역의 Bbox(Bounding box) 크기에 따라 일정한 크기의 블록으로 분할한다. 제어기(30)는 분할된 개별 블록의 값 중에서 제2 임계값을 초과하는 블록의 값(Score)을 저장한다. 제어기(30)는 저장된 블록의 값들 간의 거리(Distance)가 일정값 미만인 값 중 최대값을 저장한다. 그리고 제어기(30)는 저장된 최대값들을 좌표로 하는 제2 화재 객체를 검출한다. 여기서 블록의 값(Score)는 CNN(Convolutional Neural Network)의 추론 결과일 수 있다. 제2 임계값은 0.35 일 수 있다. 일정값은 3 일 수 있다.
제어기(30)는 다음과 같이 검출한 제1 및 제2 화재 객체를 복합하여 검출 결과를 검증한 후 화재의 발생 여부를 최종 판단할 수 있다.
먼저 제어기(30)는 제1 및 제2 화재 객체의 영상좌표를 매핑한다. 즉 제어기(30)는 열화상 카메라(11)와 RGB 카메라(13)의 화각 차이를 상쇄하기 위해 화각이 좁은 카메라에 맞춰 열화상 또는 RGB 이미지를 크롭(crop)한 후, 열화상 이미지와 RGB 이미지를 매핑한다. 제어기(30)는 매핑된 열화상 및 RGB 이미지를 각각 32×24 배열로 분할한다. 그리고 제어기(30)는 제1 및 제2 화재 객체의 좌표를 32×24 배열에 기록한다. 여기서 제1 화재 객체의 좌표는 열화상 특이점 좌표일 수 있다.
그리고 제어기(30)는 매핑된 화재 객체의 시간에 따른 크기 변화를 확인하여 화재의 발생 여부를 최종 판단한다. 즉 제어기(30)는 32×24 배열에 각각 기록된 제1 및 제2 화재 객체의 좌표의 일치율로 제1 및 제2 화재 객체의 검출 결과를 검증한다. 검증 결과 화재로 추정되는 경우, 제어기(30)는 시간에 따른 제2 화재 객체의 Bbox 크기 변화값 또는 IoU(Intersection Over Union)값으로 화재의 발생 여부를 최종 판단한다. 여기서 일치율은 80% 이상일 수 있다. 제어기(30)는 IoU값이 0.85 이하인 경우 최종 화재가 발생한 것으로 판단할 수 있다.
화재가 발생하게 되면 일반적으로 화재 객체의 크기가 증가하기 때문에, 제어기(30)는 시간에 따른 제2 화재 객체의 Bbox 크기 변화값으로 최종 화재가 발생한 것으로 판단할 수 있다.
이와 같이 본 실시예에 따르면, 열화상 이미지와 RGB 이미지를 기반으로 하는 딥러닝 모델로 화재 발생 여부를 보다 정확하게 판별할 수 있다. 즉 본 실시예에 따른 화재 판별 장치(100)는 RGB 이미지를 기반으로 한 RGB 객체 탐지를 통하여 불꽃 또는 연무를 포함하는 화재 객체를 탐지하는 알고리즘으로 산출한 판별값과, 열화상 이미지를 기반으로 측정한 화재 객체의 온도 측정값을 복합하여 화재 발생 여부를 판별함으로써, 화재 발생 여부를 보다 정확하게 판별할 수 있다.
이와 같은 본 실시예에 따른 화재 판별 장치(100)를 이용한 화재 판별 방법에 대해서 도 2를 참조하여 설명하면 다음과 같다. 여기서 도 2는 본 발명의 실시예에 따른 열화상 및 RGB 듀얼 카메라(10)를 이용한 화재 판별 방법에 따른 흐름도이다.
먼저 S10단계에서 화재 판별 장치(100)는 열화상 및 RGB 듀얼 카메라(10)로 화재 감시 대상 영역에 대한 열화상 이미지와 RGB 이미지를 획득한다.
다음으로 S20단계에서 화재 판별 장치(100)는 열화상 이미지로부터 화재 감시 대상 영역의 온도 분포를 산출하여 화재로 의심되는 제1 화재 객체를 검출하고, S30단계에서 RGB 이미지에 대한 딥러닝 모델로 화재로 의심되는 제2 화재 객체를 검출한다. 여기서 S20단계 및 S30단계는 순차적으로 수행되거나, 역순으로 수행되거나, 동시에 병렬적으로 수행될 수 있다.
다음으로 S40단계에서 화재 판별 장치(100)는 제1 및 제2 화재 객체의 영상좌표를 매핑한다.
그리고 S50단계에서 화재 판별 장치(100)는 매핑된 화재 객체의 시간에 따른 크기 변화를 확인하여 화재의 발생 여부를 최종 판단한다.
한편 본 실시예에 따른 화재 판별 방법은, 화재 판별 장치(100)는 S10단계 이후에 S20단계에서 열화상 이미지로부터 산출한 실제 온도 측정값(β)을 기반으로 화재 발생을 즉시 판단하는 S60단계를 수행할 수 있다. 즉 S60단계에서 화재 판별 장치(100)는 δ-min(α)로 산출되는 최저값 온도차가 제1 임계값을 초과하는 경우 화재가 발생한 것으로 판단한다. 또는 S60단계에서 화재 판별 장치(100)는 피크값 분포도 중 특이점합 기준값의 100배를 초과하는 피크값 분포도가 있는 경우 화재가 발생한 것으로 판단한다. 예컨대 제1 임계값은 50℃일 수 있다. 즉 최저값 온도차가 제1 임계값인 50℃를 초과하는 경우, 획득한 열화상 이미지에서 산출한 실제 온도 측정값(β) 모두가 초기 온도 설정값(α)보다 50℃를 초과하여 차이가 발생하는 상황이기 때문에, 화재 판별 장치(100)는 즉시 화재가 발생한 것으로 판단한다.
이와 같이 본 실시예에 따른 화재 판별 방법에 따른 각 단계를 도 3 내지 도 6을 참조하여 상세히 설명하면 다음과 같다.
S20단계에 따른 제1 화재 객체를 검출하는 단계는 도 3과 같이 수행될 수 있다. 여기서 도 3은 도 2의 제1 화재 객체를 검출하는 단계에 대한 상세 흐름도이다.
먼저 S21단계에서 화재 판별 장치(100)는 초기 온도 설정값(α)을 기준으로 열화상 이미지로부터 실제 온도 측정값(β)을 산출한다.
다음으로 S23단계에서 화재 판별 장치(100)는 초기 온도 설정값과 실제 온도 측정값의 차이인 온도차 분포값(γ=β-α)을 산출한다.
다음으로 S25단계에서 화재 판별 장치(100)는 산출한 온도 분포값으로 온도차 분포평면의 기준값(δ=min(γ))을 산출한다.
이어서 S27단계에서 화재 판별 장치(100)는 온도차 분포값과 온도차 분포평면의 기준값의 차의 제곱으로 피크값 분포도(x=Σ(γ-δ)2)를 산출한다.
그리고 S29단계에서 화재 판별 장치(100)는 피크값 분포도 중 특이점합 기준값을 초과하는 영역을 제1 화재 객체로 검출한다. 예컨대 특이점합 기준값은 3,000으로 설정될 수 있다.
S30단계에 따른 제2 화재 객체를 검출하는 단계는 도 4와 같이 수행될 수 있다. 여기서 도 4는 도 2의 제2 화재 객체를 검출하는 단계에 대한 상세 흐름도이다.
먼저 S31단계에서 화재 판별 장치(100)는 RGB 이미지에 대한 딥러닝 모델로 화재로 의심되는 탐지 영역의 좌표를 추출한다.
다음으로 S33단계에서 화재 판별 장치(100)는 탐지 영역의 Bbox(Bounding box) 크기에 따라 일정한 크기의 블록으로 분할하다.
다음으로 S35단계에서 화재 판별 장치(100)는 분할된 개별 블록의 값 중에서 제2 임계값을 초과하는 블록의 값(Score)을 저장한다. 예컨대 제2 임계값은 0.35 일 수 있다.
이어서 S37단계에서 화재 판별 장치(100)는 저장된 블록의 값들 간의 거리(Distance)가 일정값 미만인 값 중 최대값을 저장한다. 예컨대 일정값은 3 일 수 있다.
그리고 S39단계에서 화재 판별 장치(100)는 저장된 최대값들을 좌표로 하는 제2 화재 객체를 검출한다.
S40단계에 따른 매핑하는 단계는 도 5와 같이 수행될 수 있다. 여기서 도 5는 도 2의 제1 및 제2 화재 객체의 영상좌표를 매핑하는 단계에 대한 상세 흐름도이다.
먼저 S41단계에서 화재 판별 장치(100)는 열화상 카메라(11)와 RGB 카메라(13)의 화각 차이를 상쇄하기 위해 화각이 좁은 카메라에 맞춰 열화상 또는 RGB 이미지를 크롭(crop)한 후, 열화상 이미지와 RGB 이미지를 매핑한다.
다음으로 S43단계에서 화재 판별 장치(100)는 매핑된 열화상 및 RGB 이미지를 각각 32×24 배열로 분할한다.
그리고 S45단계에서 화재 판별 장치(100)는 제1 및 제2 화재 객체의 좌표를 32×24 배열에 기록한다.
S50단계에서 최종 판단하는 단계는 도 6과 같이 수행될 수 있다. 여기서 도 6은 도 2의 화재의 발생 여부를 최종 판단하는 단계에 대한 상세 흐름도이다.
먼저 S51단계에서 화재 판별 장치(100)는 32×24 배열에 각각 기록된 제1 및 제2 화재 객체의 좌표의 일치율로 제1 및 제2 화재 객체의 검출 결과를 검증한다.
S51단계에서의 검증 결과 화재로 추정되는 경우, S53단계에서 화재 판별 장치(100)는 시간에 따른 제2 화재 객체의 Bbox 크기 변화값 또는 IoU값으로 화재의 발생 여부를 최종 판단한다. 예컨대 일치율은 80% 이상일 수 있다. 화재 판별 장치(100)는 IoU값이 0.85 이하인 경우 최종 화재가 발생한 것으로 판단할 수 있다.
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.
10 : 열화상 및 RGB 듀얼 카메라
11 : 열화상 카메라
13 : RGB 카메라
20 : 메모리
30 : 제어기
100 : 화재 판별 장치

Claims (8)

  1. 화재 판별 장치가 열화상 및 RGB 듀얼 카메라로 화재 감시 대상 영역에 대한 열화상 이미지와 RGB 이미지를 획득하는 단계;
    상기 화재 판별 장치가 상기 열화상 이미지로부터 상기 화재 감시 대상 영역의 온도 분포를 산출하여 화재로 의심되는 제1 화재 객체를 검출하고, 상기 RGB 이미지에 대한 딥러닝 모델로 화재로 의심되는 제2 화재 객체를 검출하는 단계;
    상기 화재 판별 장치가 상기 제1 및 제2 화재 객체의 영상좌표를 매핑하는 단계; 및
    상기 화재 판별 장치가 매핑된 화재 객체의 시간에 따른 크기 변화를 확인하여 화재의 발생 여부를 최종 판단하는 단계;를 포함하고,
    상기 검출하는 단계는,
    상기 화재 판별 장치가 초기 온도 설정값(α)을 기준으로 상기 열화상 이미지로부터 실제 온도 측정값(β)을 산출하는 단계;
    상기 화재 판별 장치가 상기 초기 온도 설정값과 상기 실제 온도 측정값의 차이인 온도차 분포값(γ=β-α)을 산출하고, 산출한 온도 분포값으로 온도차 분포평면의 기준값(δ=min(γ))을 산출하는 단계;
    상기 화재 판별 장치가 상기 온도차 분포값과 상기 온도차 분포평면의 기준값의 차의 제곱으로 피크값 분포도(x=Σ(γ-δ)2)를 산출하는 단계; 및
    상기 화재 판별 장치가 상기 피크값 분포도 중 특이점합 기준값을 초과하는 영역을 상기 제1 화재 객체로 검출하는 단계;를 포함하고,
    상기 획득하는 단계 이후에 수행되는,
    상기 화재 판별 장치가 δ-min(α)로 산출되는 최저값 온도차가 임계값을 초과하거나 상기 피크값 분포도 중 특이점합 기준값의 100배를 초과하는 피크값 분포도가 있는 경우, 상기 제1 및 제2 화재 객체의 영상좌표를 매핑을 통한 화재의 발생 여부를 대한 최종 판단을 수행하기 전에, 즉시 화재가 발생한 것으로 판단하는 단계;
    를 더 포함하는 것을 특징으로 하는 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 검출하는 단계는,
    상기 화재 판별 장치가 상기 RGB 이미지에 대한 딥러닝 모델로 화재로 의심되는 탐지 영역의 좌표를 추출하는 단계;
    상기 화재 판별 장치가 상기 탐지 영역의 Bbox(Bounding box) 크기에 따라 일정한 크기의 블록으로 분할하는 단계;
    상기 화재 판별 장치가 분할된 개별 블록의 값 중에서 임계값을 초과하는 블록의 값(Score)을 저장하는 단계;
    상기 화재 판별 장치가 저장된 블록의 값들 간의 거리(Distance)가 일정값 미만인 값 중 최대값을 저장하는 단계; 및
    상기 화재 판별 장치가 저장된 최대값들을 좌표로 하는 상기 제2 화재 객체를 검출하는 단계;
    를 포함하는 것을 특징으로 하는 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 방법.
  5. 제4항에 있어서, 상기 매핑하는 단계는,
    상기 화재 판별 장치가 열화상 카메라와 RGB 카메라의 화각 차이를 상쇄하기 위해 화각이 좁은 카메라에 맞춰 열화상 또는 RGB 이미지를 크롭(crop)한 후, 상기 열화상 이미지와 상기 RGB 이미지를 매핑하는 단계;
    상기 화재 판별 장치가 매핑된 상기 열화상 및 RGB 이미지를 각각 32×24 배열로 분할하는 단계; 및
    상기 화재 판별 장치가 상기 제1 및 제2 화재 객체의 좌표를 상기 32×24 배열에 기록하는 단계;
    를 포함하는 것을 특징으로 하는 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 방법.
  6. 제5항에 있어서, 상기 최종 판단하는 단계는,
    상기 화재 판별 장치가 상기 32×24 배열에 각각 기록된 상기 제1 및 제2 화재 객체의 좌표의 일치율로 상기 제1 및 제2 화재 객체의 검출 결과를 검증하는 단계; 및
    검증 결과 화재로 추정되는 경우, 상기 화재 판별 장치가 시간에 따른 상기 제2 화재 객체의 Bbox 크기 변화값 또는 IoU(Intersection Over Union)값으로 화재의 발생 여부를 최종 판단하는 단계;
    를 포함하는 것을 특징으로 하는 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 방법.
  7. 제1항에 있어서,
    상기 제1 및 제2 화재 객체는 불꽃 및 연기 중에 적어도 하나를 포함하는 것을 특징으로 하는 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 방법.
  8. 화재 감시 대상 영역에 대한 열화상 이미지와 RGB 이미지를 촬영하는 열화상 및 RGB 듀얼 카메라; 및
    상기 열화상 및 RGB 듀얼 카메라로 상기 화재 감시 대상 영역에 대한 열화상 이미지와 RGB 이미지를 획득하고, 상기 열화상 이미지로부터 상기 화재 감시 대상 영역의 온도 분포를 산출하여 화재로 의심되는 제1 화재 객체를 검출하고, 상기 RGB 이미지에 대한 딥러닝 모델로 화재로 의심되는 제2 화재 객체를 검출하고, 상기 제1 및 제2 화재 객체의 영상좌표를 매핑하고, 매핑된 화재 객체의 시간에 따른 크기 변화를 확인하여 화재의 발생 여부를 최종 판단하는 제어기;를 포함하고,
    상기 제어기는 제1 화재 객체를 검출할 때, 초기 온도 설정값(α)을 기준으로 상기 열화상 이미지로부터 실제 온도 측정값(β)을 산출하고, 상기 초기 온도 설정값과 상기 실제 온도 측정값의 차이인 온도차 분포값(γ=β-α)을 산출하고, 산출한 온도 분포값으로 온도차 분포평면의 기준값(δ=min(γ))을 산출하고, 상기 온도차 분포값과 상기 온도차 분포평면의 기준값의 차의 제곱으로 피크값 분포도(x=Σ(γ-δ)2)를 산출하고, 상기 피크값 분포도 중 특이점합 기준값을 초과하는 영역을 상기 제1 화재 객체로 검출하고,
    상기 제어기는 열화상 이미지를 획득한 이후에, δ-min(α)로 산출되는 최저값 온도차가 임계값을 초과하거나 상기 피크값 분포도 중 특이점합 기준값의 100배를 초과하는 피크값 분포도가 있는 경우, 상기 제1 및 제2 화재 객체의 영상좌표를 매핑을 통한 화재의 발생 여부를 대한 최종 판단을 수행하기 전에, 즉시 화재가 발생한 것으로 판단하는 것을 특징으로 하는 열화상 및 RGB 듀얼 카메라를 이용한 화재 판별 장치.
KR1020230079829A 2023-06-21 2023-06-21 열화상 및 rgb 듀얼 카메라를 이용한 화재 판별 장치 및 방법 KR102654042B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230079829A KR102654042B1 (ko) 2023-06-21 2023-06-21 열화상 및 rgb 듀얼 카메라를 이용한 화재 판별 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230079829A KR102654042B1 (ko) 2023-06-21 2023-06-21 열화상 및 rgb 듀얼 카메라를 이용한 화재 판별 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102654042B1 true KR102654042B1 (ko) 2024-04-03

Family

ID=90662245

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230079829A KR102654042B1 (ko) 2023-06-21 2023-06-21 열화상 및 rgb 듀얼 카메라를 이용한 화재 판별 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102654042B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050033101A (ko) * 2003-10-04 2005-04-12 한국 전기안전공사 이동통신 단말기를 이용한 수전설비의 원격 감시 및 제어시스템
KR20150074893A (ko) * 2013-12-24 2015-07-02 동명대학교산학협력단 화재 감지 센서 및 카메라를 이용한 화재 감지 방법 및 장치
KR102465105B1 (ko) * 2022-04-05 2022-11-09 (주)아이아이에스티 열화상 복합 데이터를 이용한 ai 모델 기반 재난을 감지하는 방법 및 이를 수행하는 전자 장치
KR20230021278A (ko) 2021-08-05 2023-02-14 김봉국 인공지능 기반 화재감시시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050033101A (ko) * 2003-10-04 2005-04-12 한국 전기안전공사 이동통신 단말기를 이용한 수전설비의 원격 감시 및 제어시스템
KR20150074893A (ko) * 2013-12-24 2015-07-02 동명대학교산학협력단 화재 감지 센서 및 카메라를 이용한 화재 감지 방법 및 장치
KR20230021278A (ko) 2021-08-05 2023-02-14 김봉국 인공지능 기반 화재감시시스템
KR102465105B1 (ko) * 2022-04-05 2022-11-09 (주)아이아이에스티 열화상 복합 데이터를 이용한 ai 모델 기반 재난을 감지하는 방법 및 이를 수행하는 전자 장치

Similar Documents

Publication Publication Date Title
CN111739250B (zh) 结合图像处理技术与红外传感器的火灾探测方法及系统
US7834771B2 (en) Fire detector using a laser range finder, an infrared camera and a charged coupled device camera
CN110516522B (zh) 一种巡检方法及系统
KR101148799B1 (ko) 적외선 열영상 화재감지기 및 이를 이용한 화재 감지방법
KR102336030B1 (ko) 전기차 충전기 화재 감지 및 상태 이상 예측 시스템
CN113299035A (zh) 一种基于人工智能和双目视觉的火灾识别方法及系统
KR20190063670A (ko) 열화상 카메라와 색상 카메라의 복합 영상을 이용한 지능형 발화지점 감시 시스템
KR101224548B1 (ko) 화재 영상 감지시스템 및 그 방법
CN115512307B (zh) 广域空间红外多点实时火灾探测方法及系统、定位方法
CN112595730A (zh) 电缆破损识别方法、装置和计算机设备
WO2019026518A1 (ja) 火災識別装置
CN209433517U (zh) 一种基于多火焰图像与组合判据的火灾识别报警装置
KR102654042B1 (ko) 열화상 및 rgb 듀얼 카메라를 이용한 화재 판별 장치 및 방법
KR102320222B1 (ko) 표적 추적 기반의 화재 감시 장치 및 화재 감시 방법
KR102059767B1 (ko) 비비탄용 사격 시스템의 탄착점 추출 방법
CA3056221A1 (en) Systems and methods for determining likelihood of states in cattle animal
JP2011215806A (ja) 煙検出装置
TWI765720B (zh) 用於偵測輸送帶系統的溫度的方法及系統
CN115394025A (zh) 监控方法、装置、电子设备及存储介质
CN111339879B (zh) 一种兵器室单人入室监测方法及装置
CN114612771A (zh) 一种基于神经网络的火源监控方法及系统
JP2001023055A (ja) 火炎検出装置および火炎検出方法
KR20210086536A (ko) 야외 화재 감시 시스템, 방법 및 프로그램
JP2013003751A (ja) 顔照合システム及び顔照合方法
KR102487481B1 (ko) 화재감지센서의 맵핑을 기반으로 발화지점을 트랙킹하여 관리자에게 송출하는 CCTV 및 3A(AnyTime, AnyWhere, AnyDevice) 기반 소방통합관제시스템