KR20230053355A - 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템 및 방법 - Google Patents
이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230053355A KR20230053355A KR1020210136775A KR20210136775A KR20230053355A KR 20230053355 A KR20230053355 A KR 20230053355A KR 1020210136775 A KR1020210136775 A KR 1020210136775A KR 20210136775 A KR20210136775 A KR 20210136775A KR 20230053355 A KR20230053355 A KR 20230053355A
- Authority
- KR
- South Korea
- Prior art keywords
- fire
- image
- region
- interest
- unit
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 107
- 230000009977 dual effect Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 claims description 131
- 239000000779 smoke Substances 0.000 claims description 119
- 238000012544 monitoring process Methods 0.000 claims description 46
- 230000002159 abnormal effect Effects 0.000 claims description 42
- 238000004891 communication Methods 0.000 claims description 30
- 238000002372 labelling Methods 0.000 claims description 18
- 230000005856 abnormality Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 8
- 238000001931 thermography Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- -1 spark fire Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Abstract
본 발명은 화재 예측 시스템 및 방법에 관한 것으로, 더욱 상세하게는 열영상 및 실영상을 출력하는 이중영상 카메라를 이용하여, 이중영상 카메라로부터 획득되는 열영상 및 실영상을 인공지능모델에 적용하여 화재의 발생 가능성을 예측하고, 화재를 감지하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템 및 방법에 관한 것이다.
Description
본 발명은 화재 예측 시스템 및 방법에 관한 것으로, 더욱 상세하게는 열영상 및 실영상을 출력하는 이중영상 카메라를 이용하여, 이중영상 카메라로부터 획득되는 열영상 및 실영상을 인공지능모델에 적용하여 화재의 발생 가능성을 예측하고, 화재를 감지하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템 및 방법에 관한 것이다.
최근, 공장, 학교, 빌딩, 아파트 등과 같은 건물, 공항, 항만, 산 등과 같이 화재가 발생할 가능성이 있는 지역에 설치되어, 해당 지역에서의 화재의 발생을 모니터링하고, 화재의 발생 시 경보를 발생시키는 다양한 형태의 화재 감시 시스템이 개발되어 적용되고 있다.
통상적으로 화재 감지 시스템은 그 적용 분야에 따라 연기센서, 온도센서 등의 센서를 이용하여 화재의 발생을 감지하거나, 화재 감시 지역을 촬영하는 카메라의 열영상 또는 실영상을 화재 감시자가 직접 확인하여 화재의 발생을 모니터링한다.
그러나 전자의 방식의 화재 감지 시스템은 연기가 발생하거나 온도가 높아진 상태는 이미 화재가 광범위하게 확산된 이후가 되기 때문에 화재를 조기에 발견할 수 없어 큰 화재로 번지는 것을 방지할 수 없다.
또한, 전자의 화재 감지 시스템은 연기가 화재에 의한 것인지 담배연기 등과 같은 일반적인 연기인지 구분하지 못하여 빈번하게 잘못된 화재 감지 및 경보를 발생시켜 해당 지역의 시민을 놀라게 하는 경우가 빈번하게 발생되고 있다.
또한, 후자의 화재 감지 시스템은 화재 감시자가 지속적으로 영상을 보고 있는 것이 사실상 힘들고, 이로 인해 화재 발생을 즉시 감지하는 것이 어려우며, 넓은 지역을 모니터링하기 어려운 문제점이 있다.
상술한 후자의 화재 감지 시스템의 문제점을 보완하기 위해 인공지능을 적용하여 촬영되는 실영상으로부터 연기를 검출하거나 불꽃을 감지하여 화재를 감지하는 인공지능형 화재 감지 시스템이 개발되어 적용되고 있다.
그러나, 종래 화재 감지 시스템은 인공지능을 적용하여 불꽃 또는 연기를 빠르게 감지할 수 있으나 불꽃 및 연기 중 어느 하나만을 감지하여 화재를 감지하므로 화재 감지 및 예측 성능이 떨어지는 문제점이 있다.
또한, 종래 화재 감지 시스템은 불꽃 또는 연기의 검출 시 무조건 화재로 간주하므로 검출된 불꽃 및 연기가 실재 화재로 번질 가능성이 있는지, 화재로 번졌는지를 명확하게 감지할 수 없는 문제점이 있다.
또한, 종래 화재 감지 시스템은 실영상의 전체 영역을 모니터링하여야 하므로 인공지능을 이용한 불꽃 또는 연기를 검출하는 데 많은 시간 및 프로세스 처리를 요구하는 문제점이 있다.
또한, 종래 화재 감지 시스템은 촬영되는 실영상 그대로 불꽃 및 연기를 검출하므로 카메라로부터 먼 곳에 있는 작은 불꽃 및 초기의 연기를 감지하는 데는 그 한계가 있는 문제점이 있다.
따라서 본 발명의 목적은 열영상 및 실영상을 출력하는 이중영상 카메라를 이용하여, 이중영상 카메라로부터 획득되는 열영상 및 실영상을 인공지능모델에 적용하여 화재의 발생 가능성을 예측하고 화재를 감지하되, 화재 감시 관심영역(Region of Interest: ROI)을 설정하여 영상 내에서의 화재 감시 영역을 최소화하고 관심영역을 줌인(확대)하여 화재 예측 및 화재 발생을 감지하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템은: 화재 감시 영역을 촬영하여 상기 화재 감시 영역에 대한 열영상 및 실영상을 전송하는 이중영상 카메라; 및 열영상 및 실영상의 관심영역을 설정하고, 상기 이중영상 카메라로부터 수신되는 열영상에 의해 이상 온도가 감지되면 상기 이중영상 카메라로부터 수신된 실영상의 설정된 상기 관심영역의 이미지를 학습된 불꽃 화재감지 인공지능모델 및 연기 화재감지 인공지능모델에 적용하여 불꽃 및 연기가 감지되는지를 모니터링하고, 불꽃 및 연기 중 어느 하나 이상의 감지에 따른 화재 발생 가능성을 예측하고, 화재의 발생 시 화재를 감지하여 경보하는 화재 예측 모듈을 포함하는 것을 특징으로 한다.
상기 화재 예측 모듈은, 상기 이중영상 카메라와 데이터통신을 수행할 수 있도록 하는 통신부; 열영상 및 실영상을 저장하는 영상 DB를 포함하고, 상기 열영상 및 실영상 내의 적어도 하나 이상의 관심영역에 대한 관심영역 설정정보를 저장하는 저장부; 경보를 발생하는 경보부; 및 상기 통신부를 통해 상기 이중영상 카메라로부터 열영상 및 실영상을 획득하여 상기 영상 DB에 저장하고, 실시간 획득되는 열영상 내의 상기 관심영역 설정정보의 관심영역의 온도에 이상이 발생되는지를 모니터링하고, 온도 이상이 발생되면 관심영역에 대한 실영상의 이미지를 불꽃 화재감지 인공지능모델 및 연기 화재감지 인공지능모델에 적용하여 불꽃 및 연기 중 어느 하나 이상에 따른 화재의 발생 가능성이 예측되거나 화재가 감지되는지를 검사하고, 상기 경보부 및 통신부를 통해 화재 가능성 여부 및 화재 발생 감지에 따른 화재 발생 가능성 및 화재 발생 경보하는 제어부를 포함하는 것을 특징으로 한다.
상기 제어부는, 상기 이중영상 카메라의 팬, 틸트, 줌인 및 줌아웃을 제어하는 카메라 제어부; 상기 이중영상 카메라로부터 열영상 및 실영상을 획득하는 영상 획득부; 상기 열영상 및 실영상을 분리하여 출력하는 영상 분리부; 미리 설정된 크기의 상기 열영상 내에서 적어도 하나 이상의 관심영역을 설정하고, 설정된 관심영역에 대한 관심영역 설정정보를 생성하여 상기 저장부에 저장하는 열영상 관심영역 설정부; 상기 관심영역별로 이상 온도가 감지되는지를 모니터링하는 이상 온도 검출부; 상기 미리 설정된 크기의 상기 실영상 내에서 적어도 하나 이상의 관심영역을 설정하는 실영상 관심영역 설정부; 상기 실영상에 대한 관심영역의 이미지를 불꽃 화재감지 인공지능모델에 적용하여 불꽃의 감지 여부에 따른 비화재 및 화재 발생 중 어느 하나를 출력값으로 출력하는 불꽃 화재 검출부; 상기 실영상에 대한 관심영역의 이미지를 연기 화재감지 인공지능모델에 적용하여 연기의 감지 여부에 따른 비화재 및 화재 발생 중 어느 하나를 출력값으로 출력하는 연기 화재 검출부; 및 상기 불꽃 기반의 비화재 및 화재 발생과, 연기 기반의 비화재 및 화재 발생 출력을 조합하여 화재 발생 가능성 여부 및 화재 발생을 감지하는 화재 가능성 예측부를 포함하는 것을 특징으로 한다.
상기 열영상 관심영역 설정부는, 다수의 실영상 이미지 및 상기 실영상 이미지 각각에 대해 화재가 발생할 수 있는 부분에 대한 라벨링 정보를 포함하는 학습데이터에 의해 학습된 관심영역 설정 인공지능모델을 구비하고, 상기 영상 분리부로부터 출력되는 실영상의 프레임 이미지를 상기 관심영역 설정 인공지능모델에 적용하여 열영상에 대한 관심영역을 설정하는 것을 특징으로 한다.
상기 실영상 관심영역 설정부는, 상기 이상 온도 검출부에 의해 이상 온도가 감지된 관심영역을 실영상에 대한 관심영역으로 설정하는 것을 특징으로 한다.
상기 카메라 제어부는, 상기 이중영상 카메라를 제어하여 상기 이상 온도가 감지되어 실영상의 관심영역으로 설정된 실영상의 상기 관심영역을 확대하고, 확대 촬영된 상기 관심영역의 실영상을 상기 불꽃 화재 검출부 및 연기 화재 검출부로 출력하는 것을 특징으로 한다.
상기 제어부는, 상기 관심영역을 표시하는 열영상 및 디스플레이 수단을 통해 출력하고, 상기 경보부를 제어하여 상기 화재 가능성 예측부의 화재 발생 가능성 여부 및 화재 발생 여부에 따른 경보를 발생시키고, 상기 통신부를 통해 상기 화재 가능성 여부 및 화재 발생에 따른 통지 정보를 미리 설정된 관리자의 관리자 단말기로 전송하는 출력 처리부를 더 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법은: 제어부가 불꽃을 포함하는 실영상 이미지와, 상기 실영상 이미지가 비화재 이미지 및 화재 발생 이미지인지에 대한 라벨링 정보를 포함하는 학습 데이터에 의해 불꽃 화재감지 인공지능모델을 학습하고, 연기를 포함하는 실영상 이미지와, 상기 실영상 이미지가 비화재 이미지 및 화재 발생 이미지인지에 대한 라벨링 정보를 포함하는 학습 데이터에 의해 연기 화재감지 인공지능모델을 학습시키는 학습 과정; 상기 제어부가 이중영상 카메라로부터 열영상 및 실영상을 획득하는 이중화상 획득 과정; 상기 제어부가 실시간 획득되는 열영상 내의 상기 관심영역 설정정보의 관심영역의 온도에 이상이 발생되는지를 모니터링하고, 이상이 발생되면 상기 관심영역에 대한 실영상의 이미지를 불꽃 화재감지 인공지능모델 및 연기 화재감지 인공지능모델에 적용하여 불꽃 화재 및 연기 화재 중 어느 하나 이상에 따른 화재의 발생 가능성이 예측되거나 화재가 감지되는지를 검사하는 인공지능 화재 모니터링 과정; 및 상기 제어부가 불꽃 화재 및 연기 화재 중 어느 하나 이상의 감지에 따른 화재 발생 가능성 예측 및 화재 발생의 감지 시 화재 발생 가능성 및 화재 감지에 따른 경보를 발생하는 경보 과정을 포함하는 것을 특징으로 한다.
상기 인공지능 화재 모니터링 과정은, 상기 제어부가 열영상 관심영역 설정부를 통해 미리 설정된 크기의 상기 열영상 내에서 적어도 하나 이상의 관심영역을 설정하고, 설정된 관심영역에 대한 관심영역 설정정보를 생성하여 저장부에 저장하는 열영상 관심영역 설정 단계; 상기 제어부가 이상 온도 검출부를 통해 상기 관심영역별로 이상 온도가 감지되는지를 모니터링하는 이상 온도 모니터링 단계; 상기 제어부가 실영상 관심영역 설정부를 통해 상기 미리 설정된 크기의 상기 실영상 내에서 적어도 하나 이상의 관심영역을 설정하는 실영상 관심영역 설정 단계; 상기 제어부가 불꽃 화재 검출부를 통해 상기 실영상에 대한 관심영역의 이미지를 불꽃 화재감지 인공지능모델에 적용하여 불꽃의 감지 여부에 따른 비화재 및 화재 발생 중 어느 하나를 출력값으로 출력하는 불꽃 화재 검출 단계; 상기 제어부가 연기 화재 검출부를 통해 상기 실영상에 대한 관심영역의 이미지를 연기 화재감지 인공지능모델에 적용하여 연기의 감지 여부에 따른 비화재 및 화재 발생 중 어느 하나를 출력값으로 출력하는 연기 화재 검출 단계; 및 상기 제어부가 화재 가능성 예측부를 통해 상기 불꽃 기반의 비화재 및 화재 발생과, 연기 기반의 비화재 및 화재 발생 출력을 조합하여 화재 발생 가능성 여부 및 화재 발생을 감지하는 화재 가능성 예측 단계를 포함하는 것을 특징으로 한다.
상기 학습 과정은, 상기 제어부가 불꽃을 포함하는 실영상 이미지와, 상기 실영상 이미지가 비화재 이미지 및 화재 발생 이미지인지에 대한 라벨링 정보를 포함하는 학습 데이터에 의해 불꽃 화재감지 인공지능모델을 학습하는 불꽃 화재 학습 단계; 상기 제어부가 연기를 포함하는 실영상 이미지와, 상기 실영상 이미지가 비화재 이미지 및 화재 발생 이미지인지에 대한 라벨링 정보를 포함하는 학습 데이터에 의해 연기 화재감지 인공지능모델을 학습시키는 연기 화재 학습 단계; 및 상기 제어부가 다수의 실영상 이미지 각각에 대해 화재가 발생할 수 있는 부분에 대한 라벨링 정보를 포함하는 학습데이터를 관심영역 설정 인공지능모델에 적용하여 화재 발생 가능성 객체를 학습시키는 관심영역 설정 학습 단계를 포함하되, 상기 열영상 관심영역 설정 단계에서, 상기 제어부가 학습된 상기 관심영역 설정 인공지능모델을 구비하는 실영상 관심영역 설정부를 통해 상기 영상 분리부로부터 출력되는 실영상의 프레임 이미지를 상기 관심영역 설정 인공지능모델에 적용하여 열영상에 대한 관심영역을 설정하는 것을 특징으로 한다.
상기 실영상 관심영역 설정 단계에서, 상기 제어부가 상기 이상 온도 검출부에 의해 이상 온도가 감지된 관심영역을 실영상에 대한 관심영역으로 설정하는 것을 특징으로 한다.
상기 인공지능 화재 모니터링 과정은, 상기 실영상 관심영역 설정 단계 후, 상기 제어부가 상기 이중영상 카메라를 제어하여 상기 이상 온도가 감지되어 실영상의 관심영역으로 설정된 실영상의 상기 관심영역을 확대하고, 확대 촬영된 상기 관심영역의 실영상을 상기 불꽃 화재 검출부 및 연기 화재 검출부로 출력하는 관심영역 확대 단계를 더 포함하는 것을 특징으로 한다.
본 발명은 열영상과 실영상 둘 모두를 적용하여 화재의 발생을 예측 및 감지하므로 예측 및 감지 정확도를 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 획득되는 열영상과 실영상에서 화재가 발생할 가능성이 높은 관심영역을 설정하여 화재를 예측 및 감지하므로 인공지능을 이용한 화재 예측 및 화재 감지 프로세스의 부하를 줄일 수 있는 효과가 있다.
또한, 본 발명은 열영상과 실영상에 의한 복합적인 화재 발생 가능성을 예측하고 화재를 감지하므로 오 감지에 따른 경보를 최소화할 수 있는 효과가 있다.
또한, 본 발명은 열영상에 의한 이상온도 감지 관심영역을 실영상의 관심영역으로 설정하고, 관심영역을 확대하여 획득되는 영상을 불꽃 화재 감지 및 연기 화재 감지 인공지능모델에 적용하여 화재를 감지하므로 화재의 발생 가능성 예측 성능을 향상시키고, 화재 발생을 더 빠르게 감지할 수 있는 효과가 있다.
도 1은 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템의 화재 예측 모듈의 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법을 나타낸 흐름도이다.
도 4는 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법 중 단일 모니터링 모드의 화재 예측 방법을 나타낸 흐름도이다.
도 5는 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법 중 동시 모니터링 모드의 화재 예측 방법을 나타낸 흐름도이다.
도 2는 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템의 화재 예측 모듈의 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법을 나타낸 흐름도이다.
도 4는 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법 중 단일 모니터링 모드의 화재 예측 방법을 나타낸 흐름도이다.
도 5는 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법 중 동시 모니터링 모드의 화재 예측 방법을 나타낸 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템의 구성 및 동작을 상세히 설명하고, 상기 시스템에서의 화재 예측 방법을 설명한다.
도 1은 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템은 적어도 하나 이상의 이중영상 카메라(10) 및 화재 예측 모듈(20)을 포함한다.
상기 이중영상 카메라(10) 및 화재 예측 모듈(20)은 유무선 데이터통신망(1)에 연결되어, 상기 유무선 데이터통신망(1)을 통해 상호 데이터통신을 수행한다.
상기 유무선 데이터통신망(1)은 와이파이(WiFi)망 및 로컬망(Local Area Network: LAN)을 포함하는 인터넷망 등이 될 수 있을 것이다. 상기 유무선 데이터통신망(1)은 3세대(3 Generation: 3G), 4G, 5G 등의 이동통신망을 더 포함할 수도 있을 것이다.
본 발명의 이중영상 카메라(10)는 기존 이중영상 카메라에 없는 팬(Pan), 틸트(Tilt), 줌인(Zoom In), 줌아웃(Zoom Out) 등의 기능을 지원하며, 실영상 촬영부(미도시) 및 열영상 촬영부(미도시)를 포함하여 렌즈가 향하는 화재 감시 영역을 촬영하고, 촬영된 열화상 및 RGB 일반영상(이하 "실영상"이라 함)을 생성하여 화재 예측 모듈(20)로 전송한다.
이중영상 카메라(10)는 화재 예측 모듈(20)로부터 제어데이터를 수신받아 팬, 틸트, 줌인, 줌아웃 등을 수행하고, 그에 따른 열화상 및 실영상을 화재 예측 모듈(20)로 전송할 것이다.
화재 예측 모듈(20)은 이중영상 카메라(10)별로 열영상 및 실영상의 관심영역을 설정하고, 상기 이중영상 카메라(10)로부터 수신되는 열영상에 의해 이상 온도가 감지되면 상기 이중영상 카메라(10)로부터 수신된 실영상의 설정된 상기 관심영역의 이미지를 학습된 불꽃 화재감지 인공지능모델 및 연기 화재감지 인공지능모델에 적용하여 불꽃, 연기, 불꽃에 의한 화재(불꽃 화재) 및 연기에 의한 화재(연기 화재)가 감지되는지를 모니터링하고, 온도 이상, 불꽃, 연기, 불꽃 화재, 연기 화재 중 어느 하나 이상의 감지에 따른 화재 발생 가능성을 예측하고 화재의 발생을 감지하여 경보한다.
화재 예측 모듈(20)의 상세 구성 및 동작은 다음 도 2를 참조하여 상세히 설명한다.
도 2는 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템의 화재 예측 모듈의 구성을 나타낸 도면이다.
화재 예측 모듈(20)은 저장부(100), 통신부(200), 제어부(300) 및 경보부(700)를 포함하고, 실시예에 따라 디스플레이부(500) 및 입력부(600)를 더 포함할 수 있을 것이다.
저장부(100)는 본 발명에 따른 화재 예측 모듈(20)의 전반적인 동작을 제어하기 위한 제어프로그램을 저장하는 프로그램영역, 상기 제어프로그램 수행 중에 발생되는 데이터를 일시 저장하는 임시영역, 상기 제어프로그램 수행에 필요한 데이터 및 제어프로그램 수행 중에 발생되는 데이터를 반영구적으로 저장하는 데이터영역을 포함한다. 상기 데이터영역에는 영상 DB(110), 불꽃 DB(120) 및 연기 DB(130) 등이 구성될 수 있으며, 본 발명에 따라 설정되는 관심영역 설정정보가 저장될 수 있을 것이다.
상기 영상 DB(110)는 상기 이중영상 카메라(10)들로부터 수신되는 실영상 및 열영상을 이중영상 카메라(10)별로 저장하고, 화재 감지를 위한 실영상의 프레임 이미지인 스냅샷 이미지 등을 저장한다.
불꽃 DB(120)는 본 발명에 따른 불꽃 화재감지 인공지능모델을 학습시키기 위한 다수의 스냅샷 이미지 및 각 스냅샷 이미지에 대해 불꽃이 있는지 없는지에 대한 불꽃 존재 라벨링 정보, 불꽃이 발생한 객체 라벨링 정보, 화재인지 비화재인지를 나타내는 화재 라벨링 정보를 포함하는 불꽃 화재 학습 데이터를 저장한다. 즉, 불꽃 DB(120)는 불꽃이 존재하는 스냅샷 이미지, 불꽃이 존재하지 않는 스냅샷 이미지, 불꽃이 존재하되 화재가 아닌 스냅샷 이미지, 불꽃이 존재하되 화재인 스냅샷 이미지 등을 포함할 수 있을 것이다.
연기 DB(130)는 본 발명에 따른 연기 화재감지 인공지능모델을 학습시키기 위한 다수의 스냅샷 이미지 및 각 스냅샷 이미지 대해 연기가 있는지 없는지에 대한 연기 존재 라벨링 정보, 연기가 발생한 객체 라벨링 정보, 화재인지 비화재인지를 나타내는 화재 라벨링 정보를 포함하는 연기 화재 학습 데이터를 저장한다. 즉, 화재 DB(130)는 연기가 존재하는 스냅샷 이미지, 연기가 존재하지 않는 스냅샷 이미지, 연기가 존재하되 화재가 아닌 스냅샷 이미지, 연기가 존재하고 화재인 스냅샷 이미지 등을 포함할 수 있을 것이다.
상기 학습되는 연기 및 불꽃 스냅샷 이미지는 영상에서의 연속되는 프레임에 대한 스냅샷 이미지일 수도 있을 것이다.
연속된 프레임에 대한 스냅샷 이미지가 적용될 경우 해당 인공지능모델은 연속되는 복수의 프레임의 스냅샷 이미지에 대해 이전 이미지와 현재 이미지 간의 변화되는 부분(불꽃, 연기 등)의 변화량에 의해 연기 또는 불꽃의 발생에 의한 화재 가능성을 예측할 수 있을 것이다.
통신부(200)는 유무선 데이터통신망(1)을 통해 적어도 하나 이상의 이중영상 카메라(10)들과 제어부(300)가 데이터통신을 수행할 수 있도록 한다.
디스플레이부(500)는 액정표시장치(Liquid Crystal Display: LCD), 유기EL 표시장치(Organic Electro Luminescence Display) 등의 디스플레이 장치로써, 제어부(300)로부터 텍스트, 그래픽, 정지영상 및 동영상 중 어느 하나 이상을 포함하는 디스플레이 정보를 입력받아 표시한다.
입력부(600)는 다수의 키를 포함하여 눌린 키에 대응하는 키데이터를 제어부(300)로 출력하는 키보드, 상기 디스플레이부(500)의 화면에 커서를 표시하고, 움직임에 따른 커서의 위치를 이동시키고 커서가 위치한 어플리케이션, 데이터 등에 대한 다양한 명령을 선택하거나 실행시키는 마우스, 상기 디스플레이부(500)의 화면에 일체로 구성되어 터치되는 위치에 대응하는 위치신호 및 클릭 신호를 출력하는 터치패드 등 중 어느 하나를 포함하여, 맨 머신 인터페이스(Man-Machine Interface)를 수행한다.
경보부(700)는 상기 제어부(300)의 제어를 받아 경보를 발생시킨다. 상기 경보는 부저음일 수도 있고, 화재 발생 가능성 통지 음성, 화재 발생 통지 음성 등이 될 수도 있을 것이다.
상기 제어부(300)는 학습부(310), 카메라 제어부(320), 영상 획득부(330), 영상 분리부(340), 열영상 관심영역 설정부(350), 이상 온도 검출부(360), 실영상 관심영역 설정부(370), 불꽃 화재 검출부(380), 연기 화재 검출부(390), 화재 가능성 예측부(400) 및 출력 처리부(410)를 포함하고 실시예에 따라 모드 설정부(420)를 더 포함하여 본 발명에 따른 화재 예측 모듈(20)의 전반적인 동작을 제어한다.
구체적으로 설명하면, 학습부(310)는 심층신경망(Deep Neural Network: DNN) 기반의 불꽃 화재감지 인공지능모델, 연기 화재감지 인공지능모델, 관심영역 설정 인공지능모델을 가지고 있으며, 상술한 저장부(100)의 상기 불꽃 DB(120)에 저장된 학습데이터를 상기 불꽃 화재감지 인공지능모델에 적용하여 학습데이터의 이미지로부터 불꽃 감지 여부에 따른 화재 및 비화재 여부를 학습시킨다. 상기 불꽃 화재감지 인공지능모델은 불꽃의 감지 및 불꽃이 감지된 객체에 따른 화재 및 비화재 여부를 학습할 것이다.
또한, 학습부(310)는 상술한 저장부(100)의 상기 연기 DB(130)에 저장된 학습데이터를 상기 연기 화재감지 인공지능모델에 적용하여 학습데이터의 이미지로부터 연기 감지 여부에 따른 화재 및 비화재 여부를 학습시킨다. 상기 연기 화재감지 인공지능모델은 연기의 감지 및 연기가 감지된 객체에 따른 화재 및 비화재 여부를 학습할 것이다.
또한, 학습부(310)는 관심영역 설정 인공지능모델에 다양한 화재를 발생시킬 수 있는 객체들에 대한 이미지를 포함하는 학습데이터를 적용하여 화재가 발생할 수 있는 관심영역을 학습시킨다. 상기 객체는 콘센트, 성냥, 난로, 가스레인지, 소각장, 산, 건물, 양초, 나무, 천 등과 같이 불꽃을 발생시킬 수 있고, 불이 쉽게 붙을 수 있는 객체일 수 있을 것이다.
즉, 상기 관심영역 설정 인공지능모델은 객체 검출 및 객체의 종류를 분류하여 화재를 발생시킬 수 있는 객체를 검출하며, 상기 객체를 포함하는 영역을 경계박스를 관심영역으로 하는 관심영역 정보를 출력한다.
카메라 제어부(320)는 통신부(200)를 통해 이중영상 카메라(10)로 제어데이터를 전송하여 이중영상 카메라(10)의 온/오프, 열영상 촬영부 및 실영상 촬영부의 선택적 구동, 팬, 틸트, 줌인, 줌아웃 등을 제어한다.
영상 획득부(330)는 통신부(200)를 통해 이중영상 카메라(10)로부터 실영상 및 열영상을 획득하여 영상 분리부(340)로 출력한다.
영상 분리부(340)는 영상 획득부(330)로부터 실영상 및 열영상을 입력받고, 열영상을 이상 온도 검출부(360)로, 열영상 관심영역 설정부(350), 실영상을 불꽃 화재 검출부(380) 및 연기 화재 검출부(390)로 출력한다.
열영상 관심영역 설정부(350)는 디스플레이부(500) 및 입력부(600)를 통해 관리자로부터 이중영상 카메라(10)로부터 입력되는 열영상의 영역 중 관심영역을 지정받고, 관리자에 의해 설정된 관심영역에 대한 관심영역 설정정보를 생성하여 저장부(100)에 저장한다.
다른 실시 예에 따라 열영상 관심영역 설정부(350)는 상기 학습부(310)에서 학습된 관심영역 설정 인공지능 모델을 가지고 있으며, 관심영역 설정 인공지능모델에 상기 영상 분리부(340)로부터 입력되는 실영상의 단일 또는 연속되는 프레임의 스냅샷 이미지를 입력받아 상기 실영상 내에서 불꽃이 발생할 수 있는 객체를 포함하는 열영상에 대한 적어도 하나 이상의 열영상 관심영역을 설정하고, 설정된 관심영역 설정정보를 저장부(100)에 저장한다.
이상온도 검출부(360)는 상기 영상 분리부(340)로부터 열영상을 입력받고, 입력되는 열영상의 상기 설정된 열영상 관심영역에서 이상온도가 검출되는지를 모니터링하고, 이상온도의 검출 시 이상온도가 검출된 열영상 관심영역 정보를 실영상 관심영역 설정부(370)로 출력하고, 이상온도가 검출되었음을 통지하는 이상온도 검출정보를 불꽃 화재 검출부(380) 및 연기 화재 검출부(390)로 출력한다.
실영상 관심영역 설정부(370)는 일실시 예에 따라 상기 영상 분리부(340)로부터 실영상을 입력받고 디스플레이부(500)를 통해 표시하고, 입력부(600)를 통해 관리자로부터 실영상 관심영역을 입력받아 실영상 관심영역을 설정하고, 그에 따른 실영상 관심영역 정보를 저장부에 저장할 수 있을 것이다. 상기 실영상 관심영역은 실영상 전체 영역이 될 수도 있고, 하나 이상의 부분영역이 될 수도 있을 것이다.
또한, 실영상 관심영역 설정부(370)는 상기 이상 온도 검출부(360)로부터 이상 온도가 검출된 열영상 관심영역 정보를 입력받아 상기 열영상 관심영역을 실영상 관심영역으로 설정하고, 그에 따른 실영상 관심영역 정보를 저장부(100)에 저장한다.
또한, 실영상 관심영역 설정부(370)는 열영상 관심영역 설정부(350)와 동일하게 관심영역 설정 인공지능모델에 의해 관심영역을 설정할 수도 있을 것이다.
불꽃 화재 검출부(380)는 상기 학습부(310)에서 학습된 불꽃 화재감지 인공지능모델을 가지고 있으며, 상기 영상 분리부(340)로부터 입력되는 실영상의 실영상 관심영역 설정부(370)에서 설정된 실영상 관심영역의 이미지를 상기 불꽃 화재감지 인공지능모델에 적용하여 불꽃에 의한 화재 발생 및 비화재 중 어느 하나를 검출하여 출력한다.
연기 화재 검출부(390)는 상기 학습부(310)에서 학습된 연기 화재감지 인공지능모델을 가지고 있으며, 상기 영상 분리부(340)로부터 입력되는 실영상의 실영상 관심영역 설정부(370)에서 설정된 실영상 관심영역의 이미지를 상기 연기 화재감지 인공지능모델에 적용하여 연기에 의한 화재 발생 및 비화재 중 어느 하나를 검출하여 출력한다.
화재 가능성 예측부(400)는 불꽃 화재 검출부(380) 및 연기 화재 검출부(390)로부터 입력되는 화재 여부 정보에 의해 화재 발생 가능성을 예측하거나 화재의 발생을 감지하여 출력한다.
예를 들어, 화재 가능성 예측부(400)는 불꽃 화재 검출부(380)로부터 불꽃에 의한 화재가 검출되고, 연기 화재 검출부(390)로부터 연기에 의한 화재가 검출되면 화재가 발생한 것으로 판단하고, 불꽃에 의한 화재가 검출되었으나, 연기에 의한 화재가 검출되지 않거나, 불꽃에 의한 화재가 검출되지 않았으나, 연기에 의한 화재가 검출되면 화재 발생 가능성이 있는 것으로 판단하며, 불꽃 화재 검출부(380) 및 연기 화재 검출부(390)에서 화재가 검출되지 않으면 화재가 발생되지 않은 것으로 판단할 수 있을 것이다.
출력 처리부(410)는 상기 영상 획득부(340)에서 획득된 실영상 및 열영상을 디스플레이부(500) 또는 통신부(200)를 통해 유무선 데이터통신망(1)에 접속해 있는 관리자 단말부(미도시)로 표시한다. 이때 출력 처리부(410)는 열영상에 열영상 관심영역을 표시하고, 실영상에 실영상 관심영역을 표시할 수도 있을 것이다.
또한, 출력 처리부(410)는 경보부(700)를 제어하여 화재 가능성 예측부(400)에서 결정되는 화재 가능성 및 화재 발생 여부에 따른 경보를 발생시키고, 화재 가능성 및 화재 발생 여부에 따라 미리 설정되어 있는 관리자의 관리자 단말부로 화재 가능성 및 화재 발생 통지 정보를 전송한다. 상기 관리자 단말부는 컴퓨터 단말기일 수도 있고, 관리자의 전화번호를 가지는 모바일 단말기일 수도 있을 것이다.
모드 설정부(420)는 본원발명에 따른 단일 모니터링 모드 및 동시 모니터링 모드 중 어느 하나를 설정할 수 있는 수단을 디스플레이부(500)에 표시하고, 입력부(600)를 통해 입력받아 상기 두 모드 중 하나를 입력받아 동작 모드를 설정한다. 상기 단일 모니터링 모드는 이중영상 카메라(10)의 열영상 촬영부 및 실영상 촬영부를 동시에 구동하지 않고, 열영상 촬영부에 의해 촬영되는 열영상에 의해서 온도 이상이 검출되는 경우 실영상 촬영부를 구동하여 화재 발생 가능성 예측 및 화재 발생을 모니터링하는 모드이고, 동시 모니터링 모드는 처음부터 이중영상 카메라(10)의 열영상 촬영부 및 실영상 촬영부를 동시에 구동하여 온도 이상 모니터링과 화재 발생 가능성 예측 및 화재 발생을 동시에 모니터링하는 모드이다.
도 3은 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법을 나타낸 흐름도이다.
도 3을 참조하면, 우선 제어부(300)는 학습부(310)를 통해 불꽃 화재감지 인공지능모델을 학습시켜 불꽃 화재 검출부(380)에 적용하고(S10), 연기 화재감지 인공지능모델을 학습시켜 연기 화재 검출부(390)에 적용한다(S20).
또한, 실시 예에 따라 제어부(300)는 학습부(310)를 통해 관심영역 설정 인공지능모델을 학습시킨 후 열영상 관심영역 설정부(350)에 적용한다(S30). 상기 제어부(300)는 동시 모니터링 모드로 동작하기 위해 상기 관심영역 설정 인공지능모델을 실영상 관심영역 설정부(370)에 적용할 수도 있을 것이다.
제어부(300)는 상기 인공지능모델들의 학습 및 적용 후 감시 이벤트가 발생되는지를 모니터링한다(S40). 상기 감시 이벤트는 인공지능모델의 학습 및 적용 후, 디스플레이부(500) 및 입력부(600)를 통해 감시 개시 명령을 입력받아 발생될 수도 있고, 상기 인공지능모델의 적용 완료 시 자동으로 발생될 수도 있을 것이다.
감시 이벤트가 발생되면 제어부(300)는 일실시 예에 따라 단일 모니터링 모드가 설정되어 있는지 동시 모니터링 모드가 설정되어 있는지를 검사하고(S50), 단일 모니터링 모드가 설정되어 있으면 열영상에 의한 온도 이상 모니터링의 단일 동작 수행 중 이상 온도가 검출되면 열영상에 의한 불꽃 화재 감지 및 연기 화재 감지를 수행하는 단일 모니터링 모드에서의 화재 예측 및 감지 동작을 수행한다(S60). 상기 열영상에 의한 온도 이상 모니터링 중 실영상을 획득될 수도 있고, 이중영상 카메라(10)를 제어하여 실영상 촬영부를 오프시킬 수도 있을 것이다.
반면, 동시 모니터링 모드가 설정되어 있으면 제어부(300)는 상기 열영상 및 실영상을 동시에 적용하여 화재 예측 및 화재 감지 동작을 수행한다(S70).
도 3에서는 일실시예에 따라 단일 모니터링 모드 및 동시 모니터링 모드를 설정하여 동작하는 경우를 설명하였으나, 설정 없이 단일 모니터링 모드로만 동작하도록 구성될 수도 있고, 동시 모니터링 모드로만 동작하도록 구성될 수도 있을 것이다.
도 4는 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법 중 단일 모니터링 모드의 화재 예측 방법을 나타낸 흐름도이다.
도 4를 참조하면, 단일 모니터링 모드가 설정되어 있으면 제어부(300)는 이중영상 카메라(20)의 열화상 촬영부를 구동하고(S111), 이중영상 카메라(20)로부터 열화상이 입력되는지를 모니터링한다(S113).
열영상이 입력되면 제어부(300)는 열영상에 대한 관심영역을 설정한다(S115). 상기 관심영역은 상술한 바와 같이 열영상 관심영역 설정부(350)를 통해 이전 또는 열영상 입력 시 관리자로부터 지정받아 설정될 수도 있고, 실시예에 따라 열영상 관심영역 설정부(350)에 포함되는 관심영역 설정 인공지능모델을 통해 설정될 수도 있을 것이다.
관심영역이 설정되면 제어부(300)는 열영상으로부터 상기 설정된 적어도 하나 이상의 관심영역에 대한 온도를 검출한다(S117).
온도가 검출되면 제어부(300)는 검출되는 관심영역의 온도 중 화재 발생 가능성이 있는 온도, 즉 이상 온도가 검출에 의한 화재 발생 가능성 이벤트가 발생하는지를 모니터링한다(S119).
이상 온도가 검출되어 화재 발생 가능성 이벤트가 발생되면 제어부(300)는 경보부(700)를 통해 화재 발생 가능성을 경보하고, 통신부(200)를 통해 관리자에게 화재 발생 가능성을 통지한다(S121).
상기 화재 발생 가능성의 통지 후, 제어부(300)는 이중영상 카메라(10)의 실영상 촬영부를 구동하고(S123), 실영상이 획득되는지를 모니터링한다(S125).
실영상이 획득되면 제어부(300)는 실영상 관심영역 설정부(370)를 통해 실영상 관심영역을 설정한다(126). 상기 실영상 관심영역은 상술한 바와 같이 관리자에 의해 설정될 수도 있고, 이상 온도 검출부(360)에서 이상 온도가 검출된 열영상 관심영역을 실영상 관심영역으로 설정할 수도 있을 것이다.
실영상 관심영역이 설정되면 제어부(300)는 실영상 관심영역에 대한 스냅샷 이미지를 생성하고(S127), 상기 스냅샷 이미지의 컬러를 변환한다. 상기 컬러변환은 RGB 컬러를 YCbCr 컬러로 변환한다(S129).
제어부(300)는 컬러 변환된 스냅샷 이미지를 불꽃 화재감지 인공지능모델 및 연기 화재감지 인공지능모델에 적용에 적용한다(S131).
스냅샷 이미지가 불꽃 화재감지 인공지능모델 및 연기 화재 감지 인공지능모델에 적용되면 제어부(300)는 불꽃 화재감지 인공지능모델로부터 불꽃의 검출 여부, 비화재인지 화재인지에 대한 결과값과 연기 화재감지 인공지능모델로부터 연기의 검출 여부, 비화재인지 화재인지에 대한 결과값을 복합적으로 감지하여 불꽃 화재가 감지되는지, 연기 화재가 감지되는지, 불꽃 및 연기 화재 둘 모두가 감지되는지를 모니터링한다(S133, S135, S137).
연기 화재 및 불꽃 화재 둘 모두 검출되는 경우 제어부(300)는 화재가 발생한 것으로 판단하여 경보부(700)를 통해 화재 경보를 발생하고 통신부(200)를 통해 관리자에게 화재가 발생했음을 통지한다. 이때, 화재의 발생 위치에 대한 정보를 함께 통지할 수 있을 것이다. 상기 위치에 대한 정보는 이중영상 카메라(10)가 설치된 위치 정보 및 실영상 관심영역에 대한 정보를 포함할 수 있을 것이다.
반면, 연기 화재 또는 불꽃 화재만 검출되는 경우, 제어부(300)는 화재 발생 가능성이 있음을 경보부(700)를 통해 경보하고, 통신부(200)를 통해 관리자에게 통지한다(S141).
그러나 불꽃 화재 및 연기 화재 둘 모두가 감지되지 않으면 제어부(300)는 화재 경보가 발생 중이었는지를 판단하고(S143), 화재 경보가 발생 중이었으면, 즉, 화재의 감지 후 화재가 진압되었으면 화재 경보를 해제한 후 종료한다(S145).
도 5는 본 발명에 따른 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법 중 이중 모니터링 모드의 화재 예측 방법을 나타낸 흐름도이다.
도 5를 참조하면, 제어부(300)는 이중영상 카메라(10)의 열영상 촬영부 및 실영상 촬영부 둘 모두를 동시에 구동한다(S211).
이중영상 카메라(10)가 구동되면 제어부(300)는 열영상 및 실영상이 획득되는지를 검사하고(S213), 열영상 및 실영상이 획득되면(S215) 열영상 관심영역 및 실영상 관심영역을 설정한다(S217). 상기 열영상 관심영역 및 실영상 관심영역을 각각 관리자로부터 지정받을 수도 있고, 열영상 관심영역 설정부(350)에 구성되는 열영상 관심영역 설정 인공지능모델에 의해 설정될 수도 있을 것이다.
열영상 관심영역 및 실영상 관심영역이 설정되면 제어부(300)는 온도 이상, 불꽃 화재감지 또는 연기 화재감지에 의한 화재 발생 가능성 이벤트가 발생되는지를 모니터링하고(S219), 온도 이상, 불꽃 화재감지 및 연기 화재감지에 의한 화재 발생 이벤트가 발생되는지를 모니터링한다(S221).
화재 발생 가능성 이벤트가 발생되면 제어부(300)는 경보부(700)를 통해 화재 발생 가능성을 경보하고, 통신부(200)를 통해 관리자에게 화재 발생 가능성 통지 정보를 전송하여 화재 발생 가능성을 통지한다(S223).
반면, 화재 발생 이벤트가 발생되면 제어부(300)는 경보부(700)를 통해 화재 경보를 발생하고(S225), 통신부(200)를 통해 관리자에게 화재 발생 통지 정보를 전송하여 화재 발생을 통지한다(S227).
화재 발생 가능성 이벤트 및 화재 발생 이벤트가 발생하지 않으면 제어부(300)는 이전에 화재 경보가 발생 중이었는지를 검사하여(S229), 화재 경보가 발생 중이었으면 화재 경보를 해제한(S231) 후 종료하고, 화재 경보가 발생 중이지 않았으면 그대로 종료(즉, 상술한 S211 이후의 과정을 반복 수행)한다.
한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
1: 유무선 데이터통신망
10: 이중영상 카메라
20: 화재 예측 모듈 100: 저장부
110: 영상 DB 120: 불꽃 DB
130: 연기 DB 200: 통신부
300: 제어부 310: 학습부
320: 카메라 제어부 330: 영상 획득부
340: 영상 분리부 350: 열영상 관심영역 설정부
360: 이상 온도 검출부 370: 실영상 관심영역 설정부
380: 불꽃 화재 검출부 390: 연기 화재 검출부
400: 화재 가능성 예측부 410: 출력 처리부
420: 모드 설정부 500: 디스플레이부
600: 입력부 700: 경보부
20: 화재 예측 모듈 100: 저장부
110: 영상 DB 120: 불꽃 DB
130: 연기 DB 200: 통신부
300: 제어부 310: 학습부
320: 카메라 제어부 330: 영상 획득부
340: 영상 분리부 350: 열영상 관심영역 설정부
360: 이상 온도 검출부 370: 실영상 관심영역 설정부
380: 불꽃 화재 검출부 390: 연기 화재 검출부
400: 화재 가능성 예측부 410: 출력 처리부
420: 모드 설정부 500: 디스플레이부
600: 입력부 700: 경보부
Claims (12)
- 화재 감시 영역을 촬영하여 상기 화재 감시 영역에 대한 열영상 및 실영상을 전송하는 이중영상 카메라; 및
열영상 및 실영상의 관심영역을 설정하고, 상기 이중영상 카메라로부터 수신되는 열영상에 의해 이상 온도가 감지되면 상기 이중영상 카메라로부터 수신된 실영상의 설정된 상기 관심영역의 이미지를 학습된 불꽃 화재감지 인공지능모델 및 연기 화재감지 인공지능모델에 적용하여 불꽃 및 연기가 감지되는지를 모니터링하고, 불꽃 및 연기 중 어느 하나 이상의 감지에 따른 화재 발생 가능성을 예측하고, 화재의 발생 시 화재를 감지하여 경보하는 화재 예측 모듈을 포함하는 것을 특징으로 하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템
- 제1항에 있어서,
상기 화재 예측 모듈은,
상기 이중영상 카메라와 데이터통신을 수행할 수 있도록 하는 통신부;
열영상 및 실영상을 저장하는 영상 DB를 포함하고, 상기 열영상 및 실영상 내의 적어도 하나 이상의 관심영역에 대한 관심영역 설정정보를 저장하는 저장부;
경보를 발생하는 경보부; 및
상기 통신부를 통해 상기 이중영상 카메라로부터 열영상 및 실영상을 획득하여 상기 영상 DB에 저장하고, 실시간 획득되는 열영상 내의 상기 관심영역 설정정보의 관심영역의 온도에 이상이 발생되는지를 모니터링하고, 온도 이상이 발생되면 관심영역에 대한 실영상의 이미지를 불꽃 화재감지 인공지능모델 및 연기 화재감지 인공지능모델에 적용하여 불꽃 및 연기 중 어느 하나 이상에 따른 화재의 발생 가능성이 예측되거나 화재가 감지되는지를 검사하고, 상기 경보부 및 통신부를 통해 화재 가능성 여부 및 화재 발생 감지에 따른 화재 발생 가능성 및 화재 발생 경보하는 제어부를 포함하는 것을 특징으로 하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템.
- 제2항에 있어서,
상기 제어부는,
상기 이중영상 카메라의 팬, 틸트, 줌인 및 줌아웃을 제어하는 카메라 제어부;
상기 이중영상 카메라로부터 열영상 및 실영상을 획득하는 영상 획득부;
상기 열영상 및 실영상을 분리하여 출력하는 영상 분리부;
미리 설정된 크기의 상기 열영상 내에서 적어도 하나 이상의 관심영역을 설정하고, 설정된 관심영역에 대한 관심영역 설정정보를 생성하여 상기 저장부에 저장하는 열영상 관심영역 설정부;
상기 관심영역별로 이상 온도가 감지되는지를 모니터링하는 이상 온도 검출부;
상기 미리 설정된 크기의 상기 실영상 내에서 적어도 하나 이상의 관심영역을 설정하는 실영상 관심영역 설정부;
상기 실영상에 대한 관심영역의 이미지를 불꽃 화재감지 인공지능모델에 적용하여 불꽃의 감지 여부에 따른 비화재 및 화재 발생 중 어느 하나를 출력값으로 출력하는 불꽃 화재 검출부;
상기 실영상에 대한 관심영역의 이미지를 연기 화재감지 인공지능모델에 적용하여 연기의 감지 여부에 따른 비화재 및 화재 발생 중 어느 하나를 출력값으로 출력하는 연기 화재 검출부; 및
상기 불꽃 기반의 비화재 및 화재 발생과, 연기 기반의 비화재 및 화재 발생 출력을 조합하여 화재 발생 가능성 여부 및 화재 발생을 감지하는 화재 가능성 예측부를 포함하는 것을 특징으로 하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템.
- 제3항에 있어서,
상기 열영상 관심영역 설정부는,
다수의 실영상 이미지 및 상기 실영상 이미지 각각에 대해 화재가 발생할 수 있는 부분에 대한 라벨링 정보를 포함하는 학습데이터에 의해 학습된 관심영역 설정 인공지능모델을 구비하고, 상기 영상 분리부로부터 출력되는 실영상의 프레임 이미지를 상기 관심영역 설정 인공지능모델에 적용하여 열영상에 대한 관심영역을 설정하는 것을 특징으로 하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템.
- 제4항에 있어서,
상기 실영상 관심영역 설정부는,
상기 이상 온도 검출부에 의해 이상 온도가 감지된 관심영역을 실영상에 대한 관심영역으로 설정하는 것을 특징으로 하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템.
- 제5항에 있어서,
상기 카메라 제어부는,
상기 이중영상 카메라를 제어하여 상기 이상 온도가 감지되어 실영상의 관심영역으로 설정된 실영상의 상기 관심영역을 확대하고, 확대 촬영된 상기 관심영역의 실영상을 상기 불꽃 화재 검출부 및 연기 화재 검출부로 출력하는 것을 특징으로 하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템.
- 제6항에 있어서,
상기 제어부는,
상기 관심영역을 표시하는 열영상 및 디스플레이 수단을 통해 출력하고, 상기 경보부를 제어하여 상기 화재 가능성 예측부의 화재 발생 가능성 여부 및 화재 발생 여부에 따른 경보를 발생시키고, 상기 통신부를 통해 상기 화재 가능성 여부 및 화재 발생에 따른 통지 정보를 미리 설정된 관리자의 관리자 단말기로 전송하는 출력 처리부를 더 포함하는 것을 특징으로 하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템.
- 제어부가 불꽃을 포함하는 실영상 이미지와, 상기 실영상 이미지가 비화재 이미지 및 화재 발생 이미지인지에 대한 라벨링 정보를 포함하는 학습 데이터에 의해 불꽃 화재감지 인공지능모델을 학습하고, 연기를 포함하는 실영상 이미지와, 상기 실영상 이미지가 비화재 이미지 및 화재 발생 이미지인지에 대한 라벨링 정보를 포함하는 학습 데이터에 의해 연기 화재감지 인공지능모델을 학습시키는 학습 과정;
상기 제어부가 이중영상 카메라로부터 열영상 및 실영상을 획득하는 이중화상 획득 과정;
상기 제어부가 실시간 획득되는 열영상 내의 상기 관심영역 설정정보의 관심영역의 온도에 이상이 발생되는지를 모니터링하고, 이상이 발생되면 상기 관심영역에 대한 실영상의 이미지를 불꽃 화재감지 인공지능모델 및 연기 화재감지 인공지능모델에 적용하여 불꽃 화재 및 연기 화재 중 어느 하나 이상에 따른 화재의 발생 가능성이 예측되거나 화재가 감지되는지를 검사하는 인공지능 화재 모니터링 과정; 및
상기 제어부가 불꽃 화재 및 연기 화재 중 어느 하나 이상의 감지에 따른 화재 발생 가능성 예측 및 화재 발생의 감지 시 화재 발생 가능성 및 화재 감지에 따른 경보를 발생하는 경보 과정을 포함하는 것을 특징으로 하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법.
- 제8항에 있어서,
상기 인공지능 화재 모니터링 과정은,
상기 제어부가 열영상 관심영역 설정부를 통해 미리 설정된 크기의 상기 열영상 내에서 적어도 하나 이상의 관심영역을 설정하고, 설정된 관심영역에 대한 관심영역 설정정보를 생성하여 저장부에 저장하는 열영상 관심영역 설정 단계;
상기 제어부가 이상 온도 검출부를 통해 상기 관심영역별로 이상 온도가 감지되는지를 모니터링하는 이상 온도 모니터링 단계;
상기 제어부가 실영상 관심영역 설정부를 통해 상기 미리 설정된 크기의 상기 실영상 내에서 적어도 하나 이상의 관심영역을 설정하는 실영상 관심영역 설정 단계;
상기 제어부가 불꽃 화재 검출부를 통해 상기 실영상에 대한 관심영역의 이미지를 불꽃 화재감지 인공지능모델에 적용하여 불꽃의 감지 여부에 따른 비화재 및 화재 발생 중 어느 하나를 출력값으로 출력하는 불꽃 화재 검출 단계;
상기 제어부가 연기 화재 검출부를 통해 상기 실영상에 대한 관심영역의 이미지를 연기 화재감지 인공지능모델에 적용하여 연기의 감지 여부에 따른 비화재 및 화재 발생 중 어느 하나를 출력값으로 출력하는 연기 화재 검출 단계; 및
상기 제어부가 화재 가능성 예측부를 통해 상기 불꽃 기반의 비화재 및 화재 발생과, 연기 기반의 비화재 및 화재 발생 출력을 조합하여 화재 발생 가능성 여부 및 화재 발생을 감지하는 화재 가능성 예측 단계를 포함하는 것을 특징으로 하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템.
- 제9항에 있어서,
상기 학습 과정은,
상기 제어부가 불꽃을 포함하는 실영상 이미지와, 상기 실영상 이미지가 비화재 이미지 및 화재 발생 이미지인지에 대한 라벨링 정보를 포함하는 학습 데이터에 의해 불꽃 화재감지 인공지능모델을 학습하는 불꽃 화재 학습 단계;
상기 제어부가 연기를 포함하는 실영상 이미지와, 상기 실영상 이미지가 비화재 이미지 및 화재 발생 이미지인지에 대한 라벨링 정보를 포함하는 학습 데이터에 의해 연기 화재감지 인공지능모델을 학습시키는 연기 화재 학습 단계; 및
상기 제어부가 다수의 실영상 이미지 각각에 대해 화재가 발생할 수 있는 부분에 대한 라벨링 정보를 포함하는 학습데이터를 관심영역 설정 인공지능모델에 적용하여 화재 발생 가능성 객체를 학습시키는 관심영역 설정 학습 단계를 포함하되,
상기 열영상 관심영역 설정 단계에서, 상기 제어부가 학습된 상기 관심영역 설정 인공지능모델을 구비하는 실영상 관심영역 설정부를 통해 상기 영상 분리부로부터 출력되는 실영상의 프레임 이미지를 상기 관심영역 설정 인공지능모델에 적용하여 열영상에 대한 관심영역을 설정하는 것을 특징으로 하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법.
- 제10항에 있어서,
상기 실영상 관심영역 설정 단계에서, 상기 제어부가 상기 이상 온도 검출부에 의해 이상 온도가 감지된 관심영역을 실영상에 대한 관심영역으로 설정하는 것을 특징으로 하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법.
- 제11항에 있어서,
상기 인공지능 화재 모니터링 과정은,
상기 실영상 관심영역 설정 단계 후, 상기 제어부가 상기 이중영상 카메라를 제어하여 상기 이상 온도가 감지되어 실영상의 관심영역으로 설정된 실영상의 상기 관심영역을 확대하고, 확대 촬영된 상기 관심영역의 실영상을 상기 불꽃 화재 검출부 및 연기 화재 검출부로 출력하는 관심영역 확대 단계를 더 포함하는 것을 특징으로 하는 이중영상 카메라 및 인공지능을 이용한 화재 예측 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210136775A KR102568169B1 (ko) | 2021-10-14 | 2021-10-14 | 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210136775A KR102568169B1 (ko) | 2021-10-14 | 2021-10-14 | 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230053355A true KR20230053355A (ko) | 2023-04-21 |
| KR102568169B1 KR102568169B1 (ko) | 2023-08-18 |
Family
ID=86098851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210136775A KR102568169B1 (ko) | 2021-10-14 | 2021-10-14 | 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102568169B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117010532A (zh) * | 2023-10-07 | 2023-11-07 | 电子科技大学 | 基于多模态深度学习的综合管廊火灾趋势预测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100987786B1 (ko) | 2008-07-23 | 2010-10-13 | (주)에이치엠씨 | 연기검출을 이용한 화재감지 시스템 |
| KR101741107B1 (ko) * | 2015-12-14 | 2017-06-15 | 주식회사 앤다스 | Cctv를 이용한 화재 감시 방법 및 장치 |
| KR20190124454A (ko) * | 2018-04-26 | 2019-11-05 | (주) 비엑스 솔루션 | 열분포 측정이 가능한 화재감지장비 및 그 시스템 |
| KR102218255B1 (ko) * | 2020-09-25 | 2021-02-19 | 정안수 | 갱신 영역 학습을 통한 인공지능 기반의 영상 분석 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 |
| KR102299704B1 (ko) * | 2021-07-08 | 2021-09-08 | (주)진명아이앤씨 | 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템 |
-
2021
- 2021-10-14 KR KR1020210136775A patent/KR102568169B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100987786B1 (ko) | 2008-07-23 | 2010-10-13 | (주)에이치엠씨 | 연기검출을 이용한 화재감지 시스템 |
| KR101741107B1 (ko) * | 2015-12-14 | 2017-06-15 | 주식회사 앤다스 | Cctv를 이용한 화재 감시 방법 및 장치 |
| KR20190124454A (ko) * | 2018-04-26 | 2019-11-05 | (주) 비엑스 솔루션 | 열분포 측정이 가능한 화재감지장비 및 그 시스템 |
| KR102218255B1 (ko) * | 2020-09-25 | 2021-02-19 | 정안수 | 갱신 영역 학습을 통한 인공지능 기반의 영상 분석 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 |
| KR102299704B1 (ko) * | 2021-07-08 | 2021-09-08 | (주)진명아이앤씨 | 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117010532A (zh) * | 2023-10-07 | 2023-11-07 | 电子科技大学 | 基于多模态深度学习的综合管廊火灾趋势预测方法 |
| CN117010532B (zh) * | 2023-10-07 | 2024-02-02 | 电子科技大学 | 基于多模态深度学习的综合管廊火灾趋势预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102568169B1 (ko) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220292944A9 (en) | Fire monitoring system | |
| EP2196967B1 (en) | Methods and apparatus for adaptively streaming video data based on a triggering event | |
| KR101544019B1 (ko) | 합성 영상을 이용한 화재감지시스템 및 방법 | |
| KR101743386B1 (ko) | 비디오 모니터링 방법, 장치 및 시스템 | |
| US20210406574A1 (en) | Mobile surveillance apparatus, program, and control method | |
| KR102050821B1 (ko) | Ptz 카메라를 이용한 화재 검색 방법 | |
| JP6413530B2 (ja) | 監視システム、映像解析装置、映像解析方法およびプログラム | |
| KR20210097500A (ko) | 화재감지장치 및 이를 포함하는 화재감지시스템 | |
| KR20110075250A (ko) | 객체 추적 모드를 활용한 객체 추적 방법 및 장치 | |
| KR20110093040A (ko) | 피사체 감시 장치 및 방법 | |
| KR102568169B1 (ko) | 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템 및 방법 | |
| JP6519805B2 (ja) | カメラシステム及びカメラ装置 | |
| KR101726315B1 (ko) | 이벤트 알림 기능이 있는 네트워크 기반 감시 시스템 및 네트워크 기반 감시 카메라 | |
| US7257235B2 (en) | Monitoring apparatus, monitoring method, monitoring program and monitoring program recorded recording medium readable by computer | |
| KR101656642B1 (ko) | 영상을 이용한 집단 행동 분석 방법 | |
| JP2017011417A (ja) | 表示制御装置、表示制御方法、プログラム | |
| JP2009239507A (ja) | 監視システム | |
| KR102438433B1 (ko) | 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법 | |
| JP2005128999A (ja) | 変化検出装置 | |
| KR20060041555A (ko) | 화력발전소 화재발생 감지 및 경보 시스템 | |
| KR100822709B1 (ko) | 감시장치 | |
| KR102247071B1 (ko) | 자가진단 기능을 갖는 cctv 카메라 시스템 | |
| KR20150107916A (ko) | 스마트기기를 이용한 건물 모니터링 시스템 및 그 모니터링 방법 | |
| KR20060123818A (ko) | 자동 팝업 감시 시스템 및 그 방법 | |
| KR20150012115A (ko) | 이동형 영상 감시 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |