KR101822924B1 - 영상기반 화재 감지 시스템, 방법 및 프로그램 - Google Patents
영상기반 화재 감지 시스템, 방법 및 프로그램 Download PDFInfo
- Publication number
- KR101822924B1 KR101822924B1 KR1020160159074A KR20160159074A KR101822924B1 KR 101822924 B1 KR101822924 B1 KR 101822924B1 KR 1020160159074 A KR1020160159074 A KR 1020160159074A KR 20160159074 A KR20160159074 A KR 20160159074A KR 101822924 B1 KR101822924 B1 KR 101822924B1
- Authority
- KR
- South Korea
- Prior art keywords
- fire
- image
- motion
- pixel
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 33
- 230000033001 locomotion Effects 0.000 claims abstract description 99
- 230000008859 change Effects 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims description 83
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 239000000779 smoke Substances 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 229910052754 neon Inorganic materials 0.000 description 5
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 5
- 239000006185 dispersion Substances 0.000 description 4
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 206010000369 Accident Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B19/00—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow
- G08B19/005—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow combined burglary and fire alarm systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
본 발명은 영상기반 화재 감지 시스템에 있어서, 화재감시 지역의 영상을 촬영하는 카메라; 및 상기 카메라의 영상 정보와 내장된 알고리즘을 이용하여 화재 영역을 판별하는 판단 장치를 포함하고, 상기 판단 장치는, 상기 카메라의 영상을 수신하고 수신된 영상의 프레임간 픽셀의 차이를 검출하여 화재감시 지역에서 모션의 변화를 감지하는 모션 감지 모듈; 상기 모션 감지 모듈에서 모션의 감지가 된 경우 모션의 변화가 있는 픽셀과 전 프레임의 동일 좌표상 픽셀의 색상을 비교하여 플리킹(flicking)을 검출하는 플리킹(flicking) 감지 모듈; 및 상기 플리킹(flicking) 감지 모듈에서 감지된 픽셀을 포함하는 관심지역(ROI: Region of interest)으로 설정하며, 동일 프레임에서 전체 화면과 움직임의 차이를 구분하여 화재 영역을 판별하는 연산 모듈을 구비한다.
본 발명은, 영상기반 화재 감지 시스템 및 방법이 화재 초기 발견되는 미량의 불꽃이 영상에 촬영되어 자체 알고리즘으로 인하여 화재 감지가 어렵거나, 촬영중인 카메라와 이격된 거리로 인하여 프레임에서 확인되는 미세한 반짝임만으로 화재 감지가 어려운 화재 현장의 경우 영상의 픽셀이 나타내는 움직임을 파악하고, 해당 픽셀의 색상차이를 비교함으로써 화재 감지율을 향상시킬 수 있다.
본 발명은, 영상기반 화재 감지 시스템 및 방법이 화재 초기 발견되는 미량의 불꽃이 영상에 촬영되어 자체 알고리즘으로 인하여 화재 감지가 어렵거나, 촬영중인 카메라와 이격된 거리로 인하여 프레임에서 확인되는 미세한 반짝임만으로 화재 감지가 어려운 화재 현장의 경우 영상의 픽셀이 나타내는 움직임을 파악하고, 해당 픽셀의 색상차이를 비교함으로써 화재 감지율을 향상시킬 수 있다.
Description
본 발명은 감시 영역을 촬영한 영상을 기반으로 화재를 감지하는 시스템 및 방법에 관한 것이다.
화재 사고는 수많은 인명 피해를 유발하며 재산상의 손실이 막대하다. 특히 지난 2015년 한해 발생한 화재는 44,435건으로, 하루에 120건의 화재가 발생하였다. 또한, 국민안전처가 발표한 '2016년 상반기 전국 화재 발생 현황'을 확인해보면, 화재 발생은 11시 ~ 17시 사이가 전체의 40.6%를 차지하며 가장 많은 화재가 발생하는 시간대로 확인되었다. 인명피해는 23시 ~ 05시 사이 발생하는 화재에서 전체 사망인원의 32%가 사망한 것으로 확인되었다. 특히, 전술한 바와 같은 화재 발생의 원인은 부주의가 56%를 차지할 정도로 화재에 대한 사전 관심과 예방책을 마련한다면 그 손실 및 위험성을 충분히 저감시킬 수 있다. 이에 따라, 화재를 감지하기 위한 방법들이 요구되고 있다.
현재 주로 사용되고 있는 화재 감지 및 경보 시스템은 열, 연기 등의 센서기반 감지기들이 대부분이며 이들 감지기는 화재가 발생한 후 열이나 연기가 일정 수준 이상 확산되어 센서에 도달해야 비로소 감지가 가능하다. 연기 감시 방식은 센서를 이용한 광전식 스포트형, 광전식 분리형, 이온화식 및 공기흡입형 등이 사용되어 왔다. 그런데, 이와 같은 화재 감지 센서는 열이나 연기가 직접 센서 내로 유입 또는 흡입되어야 화재의 발생을 감지할 수 있다. 이로 인해, 주변 환경에 따라서 화재의 오감지의 가능성이 크며, 이러한 오감지를 방지하기 위해 영상기반 화재 감지 방안이 요구되었다.
영상기반 화재 감지 방법에 관한 종래기술로서 대한민국 등록특허 제10-1620989호(이하 '선행기술'이라 약칭함)는 야간 영상을 포함하는 동영상으로부터 화재를 자동적으로 감지하는 방법 및 이를 수행하는 시스템을 개시한다. 다만, 선행기술은 화재 영역을 판별하는 일련의 과정에서 프레임의 밝기를 기준으로 하여 화재가 발생된 관심 영역을 지정하였다. 이는, 영상에서 파악할 수 있는 화재의 특성을 불빛 또는 화염에 의한 반짝임으로 화재 유무를 검출하는 것으로, 화재 초기에 발생하는 불빛이 작은 불씨의 감지가 어렵거나 화면에 화염이 포함되지 않고 연기만 포함된 화재 현장을 감지하지 못하여 화재 감지율이 낮은 문제점이 있다. 또한, 자전거 깜빡이, 자동차 점멸등, 네온사인 등과 같이 밝기의 변화가 반복되는 조건을 화재와 구별하지 못하여 화재 감지의 오경보율이 높은 문제점이 나타난다.
본 발명의 목적은 화재 초기 발견되는 미량의 불꽃이나 불꽃이 동반되지 않은 연기의 움직임도 감지하여 화재를 감지할 수 있는 영상기반 화재 감지 시스템, 방법 및 프로그램을 제공하는 데 있다.
상기 목적을 달성하기 위하여 본 발명은 화재감시 지역의 영상을 촬영하는 카메라; 및 상기 카메라의 영상 정보와 내장된 알고리즘을 이용하여 화재 영역을 판별하는 판단 장치를 포함하고, 상기 판단 장치는, 상기 카메라의 영상을 수신하고 수신된 영상의 프레임간 픽셀의 차이를 검출하여 화재감시 지역에서 모션의 변화를 감지하는 모션 감지 모듈; 상기 모션 감지 모듈에서 모션의 감지가 된 경우 모션의 변화가 반복되는 플리킹(flicking)을 검출하는 플리킹(flicking) 감지 모듈; 및 상기 플리킹(flicking) 감지 모듈에서 감지된 픽셀을 포함하는 관심지역(ROI: Region of interest)으로 설정하며, 동일 프레임에서 전체 화면과 움직임의 차이를 구분하여 화재 영역을 판별하는 연산 모듈을 구비하는 것을 특징으로 한다.
바람직하게, 상기 모션 감지 모듈은, 상기 카메라의 영상을 수신하여 크기를 변환시키고, 영상을 와이유브이(YUV) 방식으로 변환시킴에 따라 상기 화재 영역의 컬러를 쉽게 검출해낼 수 있다.
바람직하게, 상기 모션 감지 모듈은, 모션의 변화가 있는 픽셀의 전 프레임의 배경 이미지를 업데이트하고, 가우시안 혼합모델 알고리즘으로 움직임 후보 영역을 추출할 수 있다.
바람직하게, 상기 플리킹(flicking) 감지 모듈은, 불꽃 컬러 확률 맵을 계산하는 컬러 공식을 수행하는 알고리즘으로 상기 움직임 후보 영역이 추출된 후 컬러 영역을 추출할 수 있다.
바람직하게, 상기 플리킹(flicking) 감지 모듈은, 상기 움직임 후보 영역과 상기 컬러 영역의 교집합을 계산하여 감지 대상인 화재의 스파크를 감지하고 상기 관심지역(ROI: Region of interest)의 후보 영역으로 설정할 수 있다.
바람직하게, 상기 연산 모듈은, 화재 유사 영상을 자동으로 추출하여 화재 영상과 비교 학습할 수 있는 머신러닝 알고리즘을 사용할 수 있다.
본 발명은 화재감시 지역의 영상을 촬영하는 카메라와 카메라의 영상 정보와 내장된 알고리즘을 기반으로 화재 영역을 판별하는 판단 장치를 구비한 영상기반 화재 감지 시스템에서 화재를 감지하는 영상기반 화재 감지 방법에 있어서, 상기 카메라가 촬영한 영상을 상기 판단 장치가 수신하는 (a)단계; 상기 판단 장치가 상기 (a)단계에서 수신된 영상의 프레임간 픽셀의 차이를 검출하여 화재감시 지역에서 모션의 변화를 감지하는 (b)단계; 상기 판단 장치가 상기 (b)단계에서 모션의 변화를 감지한 경우, 모션의 변화가 있는 픽셀과 전 프레임의 동일 좌표상 픽셀의 색상을 비교하여 플리킹(flicking)을 감지하는 (c)단계; 및 상기 판단 장치가 상기 (c)단계에서 플리킹(flicking)이 감지된 픽셀을 포함하는 관심지역(ROI: Region of interest)을 설정하고, 상기 관심지역(ROI: Region of interest)이 감지된 후 영상의 모멘트 특징과 옵티컬 플로우(Optical flow) 특징 및 타임 도메인(Time domain) 특징을 각각 추출하여 인공신경망 알고리즘으로 분류하고 화재 영역을 판별하는 (d)단계를 포함하는 것을 다른 특징으로 한다.
본 발명은 매체에 저장된 영상기반 화재 감지 프로그램에 있어서, 카메라의 영상 정보와 내장된 알고리즘을 기반으로 화재 영역을 판별하는 판단 장치에 설치되어, 카메라가 촬영한 영상을 상기 판단 장치가 수신하는 (a)단계; 상기 판단 장치가 상기 (a)단계에서 수신된 영상의 프레임간 픽셀의 차이를 검출하여 화재감시 지역에서 모션의 변화를 감지하는 (b)단계; 상기 판단 장치가 상기 (b)단계에서 모션의 변화를 감지한 경우, 모션의 변화가 있는 픽셀과 전 프레임의 동일 좌표상 픽셀의 색상을 비교하여 플리킹(flicking)을 감지하는 (c)단계; 및 상기 판단 장치가 상기 (c)단계에서 플리킹(flicking)이 감지된 픽셀을 포함하는 관심지역(ROI: Region of interest)을 설정하고, 상기 관심지역(ROI: Region of interest)이 감지된 후 영상의 모멘트 특징과 옵티컬 플로우(Optical flow) 특징 및 타임 도메인(Time domain) 특징을 각각 추출하여 인공신경망 알고리즘으로 분류하고 화재 영역을 판별하는 (d)단계를 실행시키는 것을 다른 특징으로 한다.
본 발명에 따르면, 화재 초기 발견되는 미량의 불꽃이 영상에 촬영되어 자체 알고리즘으로 인하여 화재 감지가 어렵거나, 촬영중인 카메라와 이격된 거리로 인하여 프레임에서 확인되는 미세한 반짝임만으로 화재 감지가 어려운 화재 현장의 경우 영상의 픽셀이 나타내는 움직임을 파악하고, 해당 픽셀의 색상차이를 비교함으로써 화재 감지율의 정확도를 향상시킬 수 있는 이점이 있다.
또한, 본 발명에 따르면 자동차 헤드라이트, 자전거 깜빡이, 네온사인과 같이 일정 주기로 반짝거리는 화재 유사 영상을 자동으로 추출하는 머신러닝 알고리즘을 통해 화재 영상을 판별하는 자체 학습기능을 사용하여 화재 감지의 오경보율을 저감시킬 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 영상기반 화재 감지 시스템의 개략도이다.
도 2는 본 발명의 실시예에 따른 영상기반 화재 감지 방법의 순서도이다.
도 3은 본 발명의 실시예에 따른 영상기반 화재 감지 시스템의 시뮬레이션 상태를 나타낸다.
도 4 내지 도 5는 본 발명의 실시예에 따른 실내 카메라 설치시 관심지역 설정을 나타낸다.
도 6 내지 도 7은 본 발명의 실시예에 따른 실외 카메라 설치시 관심지역 설정을 나타낸다.
도 8은 본 발명의 실시예에 따른 오경보 자체 학습결과를 나타낸다.
도 2는 본 발명의 실시예에 따른 영상기반 화재 감지 방법의 순서도이다.
도 3은 본 발명의 실시예에 따른 영상기반 화재 감지 시스템의 시뮬레이션 상태를 나타낸다.
도 4 내지 도 5는 본 발명의 실시예에 따른 실내 카메라 설치시 관심지역 설정을 나타낸다.
도 6 내지 도 7은 본 발명의 실시예에 따른 실외 카메라 설치시 관심지역 설정을 나타낸다.
도 8은 본 발명의 실시예에 따른 오경보 자체 학습결과를 나타낸다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 영상기반 화재 감지 시스템(1)의 개략도이다. 도 1을 참조하면, 본 실시예에 따른 영상기반 화재 감지 시스템(1)은 카메라(1) 및 판단 장치(13)를 포함할 수 있다.
카메라(11)는 화재감시 지역의 영상을 촬영할 수 있다.
본 발명에 실시예에 따른 카메라(11)는 영상을 촬영하여 송신할 수 있는 모든 장치를 포함할 수 있다. 후술하게 될 실시예에서는 영상 촬영 장치로 CCTV(11)를 사용하여 화재 영역을 감지하였다.
다시 도 1을 참조하면, 판단 장치(13)는 모션 감지 모듈(131), 플리킹 감지 모듈(133) 및 연산 모듈(135)을 포함할 수 있다.
판단 장치(13)는 카메라(11)의 영상 정보와 내장된 알고리즘을 이용하여 화재 영역을 판별할 수 있다.
본 발명에 실시예에 따른 판단 장치(13)는 화재 영역으로 판별된 영상을 영상 관제 센터로 송출하거나 화재 경보기와 연동하여 화재 감지 즉시 화재 경보를 실시할 수 있다. 판단 장치(13)는 카메라(11)의 영상 정보를 바탕으로 화재 여부를 분석하는 프로세서로 이해될 수 있다. 판단 장치(13)는 내장된 알고리즘으로 영상 정보만으로도 정확도가 높은 화재 지역을 검출할 수 있다. 판단 장치(13)는 서버의 형태로 제공되어 통합 관제 센터 등에 마련될 수 있다. 판단 장치(13)는 여러 지역의 카메라(11) 정보를 수신할 수 있으며, 최소한의 인력으로 넓은 지역의 화재 감시가 가능하도록 할 수 있다.
모션 감지 모듈(131)은 카메라(11)의 영상을 수신하고 수신된 영상의 프레임간 픽셀의 차이를 검출하여 화재감시 지역에서 모션의 변화를 감지할 수 있다.
본 발명에 실시예에 따른 모션 감지 모듈(131)은 단순한 프레임간 픽셀의 비교를 통하여 변화를 감지하고 픽셀의 변화가 없으면 후속과정을 종료하는 알고리즘을 실행할 수 있다. 반면, 픽셀의 변화가 감지되는 경우 픽셀 수를 카운팅하여 문턱값(T-pixel change)과의 비교를 통해 문턱값(T-pixel change)보다 높은 경우 후속되는 연산을 수행하는 알고리즘을 수행할 수 있다. 다만, 아무리 문턱값(T-pixel change)을 예민하게 설정한다 할 지라도, 화재의 불꽃 모션, 연기 모션 만을 감지하는 것은 극히 어렵다. 화재 감지 대상인 지역에는 보행자, 동물, 자동차 등 언제든지 화재 외의 모션이 발생될 수 있기 때문이다. 이러한 이유로, 본 실시예에 따른 판단 장치(13)는 화재 발생시 발생되는 플리킹 현상을 모션 검출에 AND 조건으로 연계하여 화재 발생 유무를 정확하게 판단할 수 있도록 한다.
플리킹 현상의 용이한 검출을 위해서, 모션 감지 모듈(131)은 카메라(11)의 영상을 수신하여 크기를 변환시키고, 영상을 와이유브이(YUV) 방식으로 변환시킴에 따라 화재 영역의 컬러를 쉽게 검출해낼 수 있다.
본 발명에 실시예에 따른 모션 감지 모듈(131)은 알고리즘의 처리속도를 향상시키기 위해 영상의 사이즈를 줄일 수 있다. 또한, 모션 감지 모듈(131)에 의해 RGB영상을 YUV영상으로 변환할 수 있는데, 이는 조명과 그림자의 영향을 줄이는 효과를 가져올 수 있다. 다만, 원 영상이 YUV라면 모션 감지 모듈(131)은 변환 과정을 생략할 수 있다.
모션 감지 모듈(131)은 모션의 변화가 있는 픽셀의 전 프레임의 배경 이미지를 업데이트하고, 가우시안 혼합모델 알고리즘으로 움직임 후보 영역을 추출할 수 있다.
움직임 후보 영역이란, 단일 프레임 내에서 움직임으로 의심되는 픽셀의 변화가 감지된 픽셀 및 주변픽셀을 지칭할 수 있다. 움직임 후보 영역은 모션 감지 모듈(131)에서 움직임이 있다고 판단된 프레임의 내부에서 설정되는 영역일 수 있다.
플리킹 감지 모듈(133)은 모션 감지 모듈(131)에서 모션의 감지가 된 경우 모션의 변화가 반복되는 플리킹을 감지할 수 있다.
기존 영상기반 화재 감지 시스템에서는 움직임, 밝기 또는 색상을 기준으로 화재를 감지했지만, 본 발명에 따른 영상기반 화재 감지 시스템(1)은 플리킹 감지 모듈(133)을 통해서 반복적인 움직임을 추출하여 화재의 감지율을 향상시키며, 또한 화재 감지의 에러율을 저감시킬 수 있다. 전술한 플리킹은 영상에서 사람 혹은 물체가 움직일때와 다르게 불꽃이 반복되는 움직임을 나타내는 특성을 파악하여 그 특성을 플리킹이라고 정의하였다.
본 발명에 실시예에 따른 플리킹 감지 모듈(133)은 모션 감지 모듈(131)에서 수행한 결과를 바탕으로 반복적인 움직임 후보 영역을 추출할 수 있다. 모션 감지 모듈(131)이 해당 과정을 수행하기 위해 수행하는 알고리즘은 가우시안 혼합모델을 기반으로 배경 이미지를 업데이트할 수 있다. 또한, 플리킹 감지 모듈(133)이 해당 과정을 수행하기 위해 움직임 픽셀의 변화 값을 누적하는 방법을 사용할 수 있다.
가우시안 혼합모델은 패턴을 분류함에 따라 여러 데이터들의 분포 특성을 파악하기 위해 적절한 확률밀도함수를 가정하여 데이터 분포에 대한 모델을 만드는 혼합모델의 일종이다. 가우시안 모델은 하나의 클래스 혹은 관찰된 전체 데이터 집합이 평균을 중심으로 하여 뭉쳐져 있는 분포 형태를 표현하는데 적합한 모델이다. 전술한 가우시안 모델은 데이터들이 평균을 중심으로 하나의 그룹을 형성하여 뭉쳐지는 형태만을 표현하기 때문에, 보다 일반적인 형태의 데이터를 표현하기 위해 해당 모델을 종합하여 가우시안 혼합모델을 사용한다.
가우시안 혼합모델은 통상적으로 사용하는 지능형 CCTV배경제거 알고리즘이다. 영상에서 가우시안 혼합모델을 적용하는 경우, 배경 픽셀을 둘 이상의 물체로 모델링 가능하다. 예를 들어, 초록색의 나무잎과 회색의 도로는 두 개의 평균과 표준편차를 가지는 모델로 표현할 수 있다. 이때, 각 픽셀의 모델별로 각기 다른 평균과 표준편차를 가지므로 g1(μ1, σ1, x), g2(μ2, σ2, x)라고 가정할 수 있다. 전체 표본에서 각 모델에 해당하는 값이 나올 확률이 w1, w2, w3 라고 한다면, 전체 표본에서 해당하는 값이 나올 확률은 해당 모델에서 값이 가지는 확률과 그 모델이 나올 확률을 곱한 것을 누적시킨 것과 같다고 할 수 있다.
여기서 
는 전체 모델의 수이고, i는 각 모델의 인덱스이다.
플리킹 감지 모듈(133)은 불꽃 컬러 확률 맵을 계산하는 컬러 공식을 수행하는 알고리즘으로 움직임 후보 영역이 추출된 후 컬러 영역을 추출할 수 있다.
컬러 영역 이란, 영상의 밝기 또는 색상 차이가 감지된 픽셀 및 주변픽셀을 지칭할 수 있다.
본 발명에 실시예에 따른 플리킹 감지 모듈(133)은 YUV 방식으로 변경된 영상을 Y, U 및 V 채널에서 불꽃 컬러 확률 맵을 계산할 수 있다. 불꽃 컬러 확률은 하기에 식을 통하여 픽셀의 U/V 값을 먼저 구하고 단일 가우시안 모델을 통해 컬러 확률을 계산할 수 있다.
특히, 평균(
) 은 0.4140이고, 분산(
) 은0.1544로 설정할 수 있다. 한편, 보통 불꽃이 붉은색을 띄기 때문에 V값은 U보다 클 수 있다. 때문에, 픽셀의 U/V값은 1보다 작게 나올 수 있다.
플리킹 감지 모듈(133)은 움직임 후보 영역과 컬러 영역의 교집합을 계산하여 감지 대상인 화재의 스파크를 감지하고 관심지역(ROI: Region of interest)(30)의 후보 영역으로 설정할 수 있다.
관심지역(30)이란, 전술한 움직임 후보 영역과 컬러 영역에 모두 해당되는 픽셀 및 주변픽셀을 지칭할 수 있다. 관심지역(30)은 화재로 감지될 가능성이 매우 높은 지역을 지칭할 수 있다. 하기 실시예에서 관심지역(30)은 붉은색 박스형태로 프레임상에 표기되었다.
본 발명에 실시예에 따른 플리킹 감지 모듈(133)은 현재 프레임의 움직임 후보 영역과 컬러 영역의 교집함을 계산하여 전 프레임의 후보 영역과 차이를 비교하여 스파크를 감지하고 해당 스파크를 파이어맵에 누적할 수 있다. 플리킹 감지 모듈(133)은 스파크맵에서 문턱값(T-spark map)보다 큰 부분을 파이어맵에 누적할 수 있다. 플리킹 감지 모듈(133)은 파이어맵에서 가장 높은 픽셀값이 문턱값(T-fire map)보다 크면 픽셀 및 픽셀 주변을 관심지역(30) 후보 영역으로 설정하고 후속단계를 실행하기 위한 알고리즘을 수행할 수 있다. 본 실시예에서, 한 픽셀이 100프레임의 영상에서 20(T-spark map)번 이상 움직일 경우 해당 픽셀은 스파크 픽셀에 해당하며, 플리킹 감지 모듈(133)은 이런 픽셀을 스파크맵에 표시할 수 있다. 이런 픽셀이 지속되는 프레임 수는 파이어맵에 저장될 수 있다. 따라서 반복되는 움직임이 일정 시간 유지되면 파이어맵의 해당 픽셀 값이 높아지고 값이 문턱값(T-fire map)보다 크면 관심지역(30)을 설정할 수 있다. 전술한 과정에 서술된 스파크맵은 반복적인 움직임을 나타내는 후보군을 누적하는 맵이고, 파이어맵은 스파크맵에서 반복적인 움직임이 나타난 후보군의 지속성을 나타내기 위한 맵일 수 있다.
연산 모듈(135)은 플리킹 감지 모듈(133)에서 감지된 픽셀을 포함하는 관심지역(30)을 설정하며, 동일 프레임에서 전체 화면과 움직임의 차이를 구분하여 화재 영역을 판별할 수 있다.
본 발명에 실시예에 따른 연산 모듈(135)은 관심지역(30) 후보 영역에서 글로벌, 로컬, 템퍼럴(temporal) 특징을 추출할 수 있다.
본 실시예에서, 글로벌 특징은 영상의 모멘트(Image moment)특징으로부터 하기의 식을 통해 계산될 수 있다.
이는 기초 모멘트(raw moment)로 지칭할 수 있으며, 영상의 기타 모멘트 특징들을 계산하기 위해 기본적으로 사용될 수 있다. 연산 모듈(135)은 영상 모멘트에서 면적(area), 중심(mass center) 및 분산도(sparsity)를 추출하여 글로벌 특징을 추출할 수 있다. 일예로,
면적: A = M00
중심: Cx = M10/M00, Cy = M01/M00
분산도: S = M11/M00
위와 같은 조건에서 시간에 따른 변화를 나타나기 위해 현 프레임에서 계산되는 모멘트 혹은 현프레임과 전 프레임에서 계산된 모멘트의 차이를 글로벌 특징으로 할 수 있다. 즉, 무게중심의 변화, 면적의 변화, 분산도 등이 글로벌 특징이 될 수 있다.
한편, 로컬특징은 파이어맵에서 관심지역(30)이 감지되면 관심지역(30)내의 영상에서 추출된 컬러나 밝기값 및 Optical Flow 특징 등을 포함할 수 있다. 그 중 밝기 값과 컬러를 나타내는 특징은
Y 평균 값: Ymean = Mean(Y)
Y 분산값: Ystddev = Stddev(Y)
U 평균 값: Umean = Mean(U)
U 분산값: Ustddev = Stddev(U)
V 평균 값: Vmean = Mean(V)
V 분산값: Vstddev = Stddev(V)
등이 포함될 수 있다.
또한, 하기의 식을 이용하여 Optical flow 특징도 추출하여 로컬영역의 움직임 벡터도 추출한다.
OF의 평균값: OFmean = |Mean(OFX)| + |Mean(OFY)|
OF의 분산값: OFmean = Stddev(OFX) + Stddev(OFY)
연산 모듈(135)은 템퍼럴 특징을 추출하기 위하여 해당 과정을 반복적으로 수행할 수 있으며, 해당 반복횟수는 영상의 프레임의 변화횟수와 동일하거나 이상일 수 있다. 연산 모듈(135)은 면적 및 중심에 대해서는 차이를 누적할 수 있다. 이로써, 연산 모듈(135)은 불꽃의 불규칙성을 표현할 수 있다. 또한, 연산 모듈(135)은 불꽃과 전체 화면의 움직임 차이를 구분하는 분산도의 평균을 구할 수 있다.
한편, 연산 모듈(135)은 템퍼럴 특징을 추출하기 위해 Discrete Cosine Transform(DCT)을 적용할 수 있다. 연산 모듈(135)은 전술한 로컬 특징 중 Ymean 특징을 1차원 배열에 순차적으로 저장한 후 해당 1차원 배열에 대해 DCT를 적용할 수 있다. 불꽃인 경우 밝기 값의 변화가 불규칙적이기 때문에 DCT값은 낮은 주파수에서 높은 주파수까지 골고루 분포돼있지만 자동차 테일라이트나 네온사인과 같은 경우 DCT값은 높은 주파수에 집중된다. 이런 특징을 추출 하기 위해 DCT기반의 특징을 하기의 식으로 정의할 수 있다.
Temporal = Max(DCT) * max_i
그중에서 max_i는 DCT 최대치의 인덱스 값이다.
연산 모듈(135)은 화재 유사 영상을 자동으로 추출하여 화재 영상과 비교 학습할 수 있는 머신러닝 알고리즘을 사용할 수 있다.
본 발명에 실시예에 따른 연산 모듈(135)이 사용하는 알고리즘은 하기 서술되는 과정을 수행할 수 있다. 연산 모듈(135)은 관심지역(30) 후보 영역에서 불꽃의 컬러 특징을 파악하기 위해 YUV 평균과 분산 특징을 추출할 수 있다. 연산 모듈(135)은 원본 영상의 Y 채널에서 관심지역(30) 후보 영역에서 광흐름(optical flow)을 계산하고 화면상의 변화되는 벡터의 평균과 분산을 구할 수 있다. 연산 모듈(135)은 관심지역(30) 후보 영역에서 밝기값(Y)에 대해 누적하고 이산 코사인 변환(DCT: Discrete Cosine Transform)을 구할 수 있다. 연산 모듈(135)은 DCT 도메인에서 최대값과 최대값의 빈도수를 곱하는 과정을 수행하여 불꽃을 자동차 헤드라이트, 네온사인과 같이 주기적으로 반짝이는 물체를 구분할 수 있다. 연산 모듈(135)은 16, 30, 1 구조의 인공신경 회로망을 분류기로 사용할 수 있다. 특히, 연산 모듈(135)은 화재가 아님에도 불구하고 화재로 판단한 영상을 자동으로 저장하고 인공신경망 알고리즘의 파라미터를 다시 학습시킴에 따라 오경보 자체학습기능을 가질 수 있음에 주목할 수 있다.
도 2는 본 발명의 실시예에 따른 영상기반 화재 감지 방법의 순서도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 영상기반 화재 감지 방법은 카메라가 촬영한 영상을 수신하는 (a)단계(S11), 모션의 변화를 감지하는 (b)단계(S13), 플리킹을 감지하는 (c)단계(S15) 및 동일 프레임에서 전체 화면과 움직임의 차이를 구분하여 화재 영역을 판별하는 (d)단계(S17)을 포함할 수 있다.
(a)단계(S11)는 카메라(11)가 촬영한 영상을 판단 장치(13)가 수신하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 (a)단계(S11)는 수신된 영상의 크기를 변환시키고 영상의 방식을 YUV 방식으로 변환시킬 수 있다. (a)단계(S11)는 변환과정이 종료된 영상을 (b)단계(S13)를 실행하도록 알고리즘을 수행할 수 있다.
(b)단계(S13)는 판단 장치(13)가 (a)단계(S11)에서 수신된 영상의 프레임간 픽셀의 차이를 검출하여 화재감시 지역에서 모션의 변화를 감지하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 (b)단계(S13)는 (a)단계(S11)를 수행한 영상에서 각 프레임의 픽셀을 비교하는 알고리즘을 수행할 수 있다. (b)단계(S13)는 픽셀의 변화가 없으면 후술되는 단계를 수행하기 위한 과정을 생략하고 화재 상태를 반환할 수 있다. (b)단계(S13)는 차이가 있는 픽셀이 있는 경우, 문턱값(T-pixel change) 보다 큰 픽셀 수를 (c)단계(S15)가 실행하도록 알고리즘을 수행할 수 있다.
(c)단계(S15)는 판단 장치(13)가 (b)단계(S13)에서 모션의 변화를 감지한 경우, 모션의 변화가 있는 픽셀과 전 프레임의 동일 좌표상 픽셀의 색상을 비교하여 플리킹을 감지하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 (c)단계(S15)는 움직임과 컬러 후보의 교집합을 계산하여 스파크를 감지하고, 전 프레임의 후보와 차이를 비교하여 스파크맵에 누적할 수 있다. (c)단계(S15)는 스파크맵에 누적된 스파크를 문턱값(T-spark map)과 비교하여 해당 문턱값(T-spark map)보다 큰 부분을 파이어맵에 누적할 수 있다. (c)단계(S15)는 파이어맵에서 가장 높은 픽셀값이 문턱값(T-fire map)보다 크면 픽셀 주변을 관심지역(30) 후보 영역으로 설정하고 다음단계를 진행하는 알고리즘을 수행할 수 있다. 즉, (c)단계(S15)는 (b)단계(S13)에서 감지한 모션의 변화와 플리킹의 교집합을 산출함으로써 화재 감지의 정확도를 향상시킴에 주목할 수 있다.
(d)단계(S17)는 판단 장치(13)가 (c)단계(S15)에서 플리킹이 감지된 픽셀을 포함하는 관심지역(30)을 설정하고, 관심지역(30)이 감지된 후 영상의 모멘트 특징과 옵티컬 플로우(Optical flow) 특징 및 타임 도메인(Time domain) 특징을 각각 추출하여 인공신경망 알고리즘으로 분류하고 화재 영역을 판별하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 (d)단계(S17)는 머신러닝 알고리즘을 수행할 수 있다. (d)단계(S17)는 머신러닝 알고리즘을 통해 화재 감지의 에러율을 저감시킬 수 있다. (d)단계(S17)는 관심지역(30)에서 글로벌, 로컬, 템퍼럴(temporal) 특징을 추출할 수 있다. (d)단계(S17)는 템퍼럴 특징을 추출하기 위하여 해당 과정을 반복적으로 수행할 수 있으며, 해당 반복횟수는 영상의 프레임의 변화횟수와 동일하거나 이상일 수 있다. 또한, (d)단계(S17)는 반복되는 과정을 통해 불꽃과 불꽃이 아닌 움직임을 구분하는 데이터를 축적할 수 있다. (d)단계(S17)는 영상 모멘트에서 면적(area), 중심(mass center) 및 분산도(sparsity) 추출 글로벌 특징을 추출할 수 있다. (d)단계(S17)는 면적 및 중심에 대해서는 차이를 누적할 수 있다. 이는 불꽃의 불규칙성을 표현할 수 있다. 또한, (d)단계(S17)는 불꽃과 전체 화면의 움직임 차이를 구분하는 분산도의 평균을 구할 수 있다.
(d)단계(S17)는 관심지역(30) 후보 영역에서 불꽃의 컬러 특징을 파악하기 위해 YUV 평균과 분산 특징을 추출할 수 있다. (d)단계(S17)는 원본 영상의 Y 채널에서 관심지역(30) 후보 영역에서 광흐름(optical flow)을 계산하고 화면상의 변화되는 벡터의 평균과 분산을 구할 수 있다. (d)단계(S17)는 관심지역(30) 후보 영역에서 밝기값(Y)에 대해 누적하고 DCT를 구할 수 있다. (d)단계(S17)는 DCT 도메인에서 최대값과 최대값의 빈도수를 곱하는 과정을 수행하여 불꽃을 자동차 헤드라이트, 네온사인과 같이 주기적으로 반짝이는 물체를 구분할 수 있다. (d)단계(S17)는 16, 30, 1 구조의 인공신경회로망을 분류기로 사용할 수 있다.
본 발명의 실시예에 따른 판단 장치(13)에 설치된 영상기반 화재 감지 프로그램을 포함할 수 있다.
영상기반 화재 감지 프로그램은 카메라의 영상 정보와 내장된 알고리즘을 기반으로 화재 영역을 판별하는 판단 장치에 설치되어, (a) 카메라가 촬영한 영상을 상기 판단 장치가 수신하는 단계; (b) 상기 판단 장치가 상기 (a)단계에서 수신된 영상의 프레임간 픽셀의 차이를 검출하여 화재감시 지역에서 모션의 변화를 감지하는 단계; (c) 상기 판단 장치가 상기 (b)단계에서 모션의 변화를 감지한 경우, 모션의 변화가 있는 픽셀과 전 프레임의 동일 좌표상 픽셀의 색상을 비교하여 플리킹(flicking)을 감지하는 단계; 및 (d) 상기 판단 장치가 상기 (c)단계에서 플리킹(flicking)이 감지된 픽셀을 포함하는 관심지역(30)을 설정하고, 관심지역(30)이 감지된 후 영상의 모멘트 특징과 옵티컬 플로우(Optical flow) 특징 및 타임 도메인(Time domain) 특징을 각각 추출하여 인공신경망 알고리즘으로 분류하고 화재 영역을 판별하는 단계를 실행시킬 수 있다. 본 발명의 실시예에 따른 영상기반 화재 감지 프로그램이 수행하는 각 단계는 전술한 영상기반 화재 감지 방법의 각 단계와 대응되는 바 중복 설명은 생략한다.
이하, 영상기반 화재 감지 시스템(1), 방법 및 프로그램을 여러 환경에서 시뮬레이션 후 획득한 실시예를 서술한다.
<
실시예
>
도 3은 본 발명의 실시예에 따른 영상기반 화재 감지 시스템(1)의 시뮬레이션 상태를 나타낸다.
본 실시예에서는, 실내 및 실외에 일정 기간 동안 시범운영을 진행하였다. 특히, 영상기반 화재 감지 시스템(1)을 인하대학교 하이테크센터에 설치하여 수천 시간 동안의 시범운영을 진행하였다. 또한, 덴마크 화재 연구소의 실내 화재 경보 실험실을 통해 테스트를 진행하였다.
<
실시예
>
의 결과
도 4 내지 도 5는 본 발명의 실시예에 따른 실내 카메라(11) 설치시 관심지역(30) 설정을 나타낸다.
도 4를 참조하면, 프레임 좌측 하단에 위치한 조명기구에 대해서는 관심지역(30)의 설정이 이루어지지 않고, 프레임의 가운데에 위치한 화재 지역을 관심지역(30)으로 설정한 것을 확인할 수 있다.
도 5를 참조하면, 프레임 중앙 상단에 위치한 점조명은 관심지역(30)으로 설정이 이루어지지 않고, 프레임의 가운데에 위치한 화재 지역을 관심지역(30)으로 설정한 것을 확인할 수 있다.
도 6 내지 도 7은 본 발명의 실시예에 따른 실외 카메라(11) 설치시 관심지역(30) 설정을 나타낸다.
도 6을 참조하면, 주간에 진행된 실시예로 프레임의 밝기가 밝은 상태에서도 화재 지역을 관심지역(30)으로 설정한 결과를 확인할 수 있다.
도 7을 참조하면, 주간에 진행된 실시예로 원거리에 위치한 화재 지역을 관심지역(30)으로 설정한 것을 확인할 수 있다.
도 8은 본 발명의 실시에예 따른 오경보 자체 학습결과를 나타낸다.
도 8을 참조하면 화면 우측 중앙에 위치한 자동차 후미등과 주변은 관심영역(30)으로 설정되지 않은 것을 확인할 수 있다.
전술한 도 4 내지 도 8의 결과를 통하여, 본 발명의 실시예에 따른 영상기반 화재 감지 시스템(1)이 정확하게 관심지역(30)을 설정하는 것을 확인할 수 있다. 다시 말해, 움직임과 밝기를 종합하여 관심지역(30)을 설정하는 과정과, 화재 유사 영상을 자동으로 추출하여 화재 현상과 분류할 수 있는 머신러닝 알고리즘이 영상기반 화재 감지 시스템(1) 및 방법의 감지율을 향상시키고, 에러율을 저감시킬 수 있음을 확인할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
1: 영상기반 화재 감지 시스템
11: 카메라
13: 판단 장치
131: 모션 감지 모듈
133: 플리킹 감지 모듈
135: 연산 모듈
30: 관심지역
S11: (a)단계
S13: (b)단계
S15: (c)단계
S17: (d)단계
11: 카메라
13: 판단 장치
131: 모션 감지 모듈
133: 플리킹 감지 모듈
135: 연산 모듈
30: 관심지역
S11: (a)단계
S13: (b)단계
S15: (c)단계
S17: (d)단계
Claims (8)
- 화재감시 지역의 영상을 촬영하는 카메라; 및
상기 카메라의 영상 정보와 내장된 알고리즘을 이용하여 화재 영역을 판별하는 판단 장치를 포함하고,
상기 판단 장치는,
상기 카메라의 영상을 수신하고 수신된 영상의 프레임간 픽셀의 차이를 검출하여 화재감시 지역에서 모션의 변화를 감지하는 모션 감지 모듈;
상기 모션 감지 모듈에서 모션의 감지가 된 경우 모션의 변화가 반복되는 플리킹(flicking)을 검출하는 플리킹(flicking) 감지 모듈; 및
상기 플리킹(flicking) 감지 모듈에서 감지된 픽셀을 포함하는 관심지역(ROI: Region of interest)으로 설정하며, 동일 프레임에서 전체 화면과 움직임의 차이를 구분하여 화재 영역을 판별하는 연산 모듈을 구비하고,
상기 플리킹 감지 모듈은,
상기 모션 감지 모듈에서 감지된 모션 정보 및 상기 플리킹 감지 모듈에서 감지된 플리킹 정보를 교집합 계산하여 상기 관심지역의 후보 영역으로 설정하는 것을 특징으로 하는 영상기반 화재 감지 시스템.
- 제 1 항에 있어서,
상기 모션 감지 모듈은,
상기 카메라의 영상을 수신하여 크기를 변환시키고, 영상을 와이유브이(YUV) 방식으로 변환시킴에 따라 상기 화재 영역의 컬러를 쉽게 검출해낼 수 있는 것을 특징으로 하는 영상기반 화재 감지 시스템.
- 제 1 항에 있어서,
상기 모션 감지 모듈은,
모션의 변화가 있는 픽셀의 전 프레임의 배경 이미지를 업데이트하고, 가우시안 혼합모델 알고리즘으로 움직임 후보 영역을 추출하는 것을 특징으로 하는 영상기반 화재 감지 시스템.
- 제 3 항에 있어서,
상기 플리킹(flicking) 감지 모듈은,
불꽃 컬러 확률 맵을 계산하는 컬러 공식을 수행하는 알고리즘으로 상기 움직임 후보 영역이 추출된 후 컬러 영역을 추출하는 것을 특징으로 하는 영상기반 화재 감지 시스템.
- 제 4 항에 있어서,
상기 플리킹(flicking) 감지 모듈은,
상기 움직임 후보 영역과 상기 컬러 영역의 교집합을 계산하여 감지 대상인 화재의 스파크를 감지하고 상기 관심지역(ROI: Region of interest)의 후보 영역으로 설정하는 것을 특징으로 하는 영상기반 화재 감지 시스템.
- 제 1 항에 있어서,
상기 연산 모듈은,
화재 유사 영상을 자동으로 추출하여 화재 영상과 비교 학습할 수 있는 머신러닝 알고리즘을 사용하는 것을 특징으로 하는 영상기반 화재 감지 시스템.
- 화재감시 지역의 영상을 촬영하는 카메라와 카메라의 영상 정보와 내장된 알고리즘을 기반으로 화재 영역을 판별하는 판단 장치를 구비한 영상기반 화재 감지 시스템에서 화재를 감지하는 영상기반 화재 감지 방법에 있어서,
(a) 상기 카메라가 촬영한 영상을 상기 판단 장치가 수신하는 단계;
(b) 상기 판단 장치가 상기 (a)단계에서 수신된 영상의 프레임간 픽셀의 차이를 검출하여 화재감시 지역에서 모션의 변화를 감지하는 단계;
(c) 상기 판단 장치가 상기 (b)단계에서 모션의 변화를 감지한 경우, 모션의 변화가 있는 픽셀과 전 프레임의 동일 좌표상 픽셀의 색상을 비교하여 플리킹(flicking)을 감지하는 단계; 및
(d) 상기 판단 장치가 상기 (c)단계에서 플리킹(flicking)이 감지된 픽셀을 포함하는 관심지역(ROI: Region of interest)을 설정하고, 상기 관심지역(ROI: Region of interest)이 감지된 후 영상의 모멘트 특징과 옵티컬 플로우(Optical flow) 특징 및 타임 도메인(Time domain) 특징을 각각 추출하여 인공신경망 알고리즘으로 분류하고 화재 영역을 판별하는 단계를 포함하는 것을 특징으로 하는 영상기반 화재 감지 방법.
- 카메라의 영상 정보와 내장된 알고리즘을 기반으로 화재 영역을 판별하는 판단 장치에 설치되어,
(a) 카메라가 촬영한 영상을 상기 판단 장치가 수신하는 단계;
(b) 상기 판단 장치가 상기 (a)단계에서 수신된 영상의 프레임간 픽셀의 차이를 검출하여 화재감시 지역에서 모션의 변화를 감지하는 단계;
(c) 상기 판단 장치가 상기 (b)단계에서 모션의 변화를 감지한 경우, 모션의 변화가 있는 픽셀과 전 프레임의 동일 좌표상 픽셀의 색상을 비교하여 플리킹(flicking)을 감지하는 단계; 및
(d) 상기 판단 장치가 상기 (c)단계에서 플리킹(flicking)이 감지된 픽셀을 포함하는 관심지역(ROI: Region of interest)을 설정하고, 상기 관심지역(ROI: Region of interest)이 감지된 후 영상의 모멘트 특징과 옵티컬 플로우(Optical flow) 특징 및 타임 도메인(Time domain) 특징을 각각 추출하여 인공신경망 알고리즘으로 분류하고 화재 영역을 판별하는 단계를 실행시키기 위하여 매체에 저장된 영상기반 화재 감지 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160159074A KR101822924B1 (ko) | 2016-11-28 | 2016-11-28 | 영상기반 화재 감지 시스템, 방법 및 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160159074A KR101822924B1 (ko) | 2016-11-28 | 2016-11-28 | 영상기반 화재 감지 시스템, 방법 및 프로그램 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101822924B1 true KR101822924B1 (ko) | 2018-01-31 |
Family
ID=61082961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160159074A KR101822924B1 (ko) | 2016-11-28 | 2016-11-28 | 영상기반 화재 감지 시스템, 방법 및 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101822924B1 (ko) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109520415A (zh) * | 2018-09-18 | 2019-03-26 | 武汉移动互联工业技术研究院有限公司 | 通过摄像头实现六自由度传感的方法及系统 |
| CN109614908A (zh) * | 2018-12-04 | 2019-04-12 | 西安理工大学 | 一种火焰燃烧状态检测系统及检测方法 |
| KR20190130186A (ko) * | 2018-04-16 | 2019-11-22 | 세종대학교산학협력단 | 화재 감시 방법 및 그 장치 |
| KR102064746B1 (ko) | 2018-04-09 | 2020-01-10 | 미소에이스 주식회사 | 머신 러닝을 기반으로 한 화재 감시 시스템 |
| KR20200043010A (ko) * | 2018-10-17 | 2020-04-27 | 포인드 주식회사 | 카메라 입력 영상을 딥러닝 활용한 행동 감지 시스템 및 방법 |
| KR20200065281A (ko) * | 2018-11-30 | 2020-06-09 | (주)아르게스마린 | 영상 감시 시스템 |
| KR102144974B1 (ko) * | 2019-11-08 | 2020-08-14 | 주식회사 알체라 | 화재 검출 시스템 |
| US20200368568A1 (en) * | 2018-06-04 | 2020-11-26 | Gaoli Ge | Electric heater fire extinguishing strategy customization mechanism |
| KR20220168490A (ko) | 2021-06-16 | 2022-12-23 | 동아대학교 산학협력단 | 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법 |
| KR102521726B1 (ko) * | 2022-06-30 | 2023-04-17 | 주식회사 아이미츠 | 화재 확산 방향을 예측할 수 있는 인공지능 기반의 화재 감지 시스템 및 그 화재 확산 방향 예측 방법 |
| KR20230061877A (ko) * | 2021-10-29 | 2023-05-09 | 에이치디한국조선해양 주식회사 | 실내 소방 시스템 |
| CN116246215A (zh) * | 2023-05-11 | 2023-06-09 | 小手创新(杭州)科技有限公司 | 基于视觉算法的识别新进物品的方法、桶盖及智能回收桶 |
| KR20230090870A (ko) * | 2021-12-15 | 2023-06-22 | 가천대학교 산학협력단 | 딥 러닝 기반 화재 감시 시스템 |
-
2016
- 2016-11-28 KR KR1020160159074A patent/KR101822924B1/ko active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| 송수호 외 3명. 적응적 누적 영상차이를 이용한 화재감지 기법. 한국정보과학회: 한국정보과학회 학술발표논문집. 2015.6. 1336-1338 (3 pages).* |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102064746B1 (ko) | 2018-04-09 | 2020-01-10 | 미소에이스 주식회사 | 머신 러닝을 기반으로 한 화재 감시 시스템 |
| KR20190130186A (ko) * | 2018-04-16 | 2019-11-22 | 세종대학교산학협력단 | 화재 감시 방법 및 그 장치 |
| KR102060242B1 (ko) | 2018-04-16 | 2020-02-11 | 세종대학교산학협력단 | 화재 감시 방법 및 그 장치 |
| US20200368568A1 (en) * | 2018-06-04 | 2020-11-26 | Gaoli Ge | Electric heater fire extinguishing strategy customization mechanism |
| CN109520415A (zh) * | 2018-09-18 | 2019-03-26 | 武汉移动互联工业技术研究院有限公司 | 通过摄像头实现六自由度传感的方法及系统 |
| KR20200043010A (ko) * | 2018-10-17 | 2020-04-27 | 포인드 주식회사 | 카메라 입력 영상을 딥러닝 활용한 행동 감지 시스템 및 방법 |
| KR102113489B1 (ko) * | 2018-10-17 | 2020-05-21 | 포인드 주식회사 | 카메라 입력 영상을 딥러닝 활용한 행동 감지 시스템 및 방법 |
| KR20200065281A (ko) * | 2018-11-30 | 2020-06-09 | (주)아르게스마린 | 영상 감시 시스템 |
| KR102127014B1 (ko) * | 2018-11-30 | 2020-06-25 | (주)아르게스마린 | 영상 감시 시스템 |
| CN109614908B (zh) * | 2018-12-04 | 2022-02-18 | 西安理工大学 | 一种火焰燃烧状态检测系统及检测方法 |
| CN109614908A (zh) * | 2018-12-04 | 2019-04-12 | 西安理工大学 | 一种火焰燃烧状态检测系统及检测方法 |
| KR102144974B1 (ko) * | 2019-11-08 | 2020-08-14 | 주식회사 알체라 | 화재 검출 시스템 |
| WO2021091021A1 (ko) * | 2019-11-08 | 2021-05-14 | 주식회사 알체라 | 화재 검출 시스템 |
| KR20220168490A (ko) | 2021-06-16 | 2022-12-23 | 동아대학교 산학협력단 | 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법 |
| KR20230061877A (ko) * | 2021-10-29 | 2023-05-09 | 에이치디한국조선해양 주식회사 | 실내 소방 시스템 |
| KR102627729B1 (ko) * | 2021-10-29 | 2024-01-23 | 에이치디한국조선해양 주식회사 | 실내 소방 시스템 |
| KR20230090870A (ko) * | 2021-12-15 | 2023-06-22 | 가천대학교 산학협력단 | 딥 러닝 기반 화재 감시 시스템 |
| KR102624333B1 (ko) * | 2021-12-15 | 2024-01-11 | 가천대학교 산학협력단 | 딥 러닝 기반 화재 감시 시스템 |
| KR102521726B1 (ko) * | 2022-06-30 | 2023-04-17 | 주식회사 아이미츠 | 화재 확산 방향을 예측할 수 있는 인공지능 기반의 화재 감지 시스템 및 그 화재 확산 방향 예측 방법 |
| CN116246215A (zh) * | 2023-05-11 | 2023-06-09 | 小手创新(杭州)科技有限公司 | 基于视觉算法的识别新进物品的方法、桶盖及智能回收桶 |
| CN116246215B (zh) * | 2023-05-11 | 2024-01-09 | 小手创新(杭州)科技有限公司 | 基于视觉算法的识别新进物品的方法、桶盖及智能回收桶 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101822924B1 (ko) | 영상기반 화재 감지 시스템, 방법 및 프로그램 | |
| KR101953342B1 (ko) | 멀티 센서 화재감지 방법 및 시스템 | |
| KR101237089B1 (ko) | 랜덤 포레스트 분류 기법을 이용한 산불연기 감지 방법 | |
| US7859419B2 (en) | Smoke detecting method and device | |
| Peng et al. | Real-time forest smoke detection using hand-designed features and deep learning | |
| CN106650584B (zh) | 火焰检测方法和系统 | |
| KR101168760B1 (ko) | 화염 검출 방법 및 장치 | |
| CN100545867C (zh) | 航拍交通视频车辆快速检测方法 | |
| JP5218906B2 (ja) | 煙検出装置及び煙検出方法 | |
| US8922674B2 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras | |
| CN112069975A (zh) | 一种基于紫外、红外、视觉的综合火焰检测方法 | |
| CN103069434A (zh) | 多模式视频事件索引 | |
| JP4653207B2 (ja) | 煙検出装置 | |
| CN104598895A (zh) | 一种基于视频图像分析的火焰检测方法与装置 | |
| EP2000952B1 (en) | Smoke detecting method and device | |
| CN111126293A (zh) | 一种火焰和烟雾异常情况检测方法及系统 | |
| CN104811586A (zh) | 场景变换视频智能分析方法、装置、网络摄像机及监控系统 | |
| KR20120035734A (ko) | 화재 검출 방법 | |
| KR101196678B1 (ko) | 실시간 화재 감시 장치 및 방법 | |
| CN101930540A (zh) | 基于视频的多特征融合的火焰检测装置和方法 | |
| KR101044903B1 (ko) | 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법 | |
| JP7125843B2 (ja) | 障害検知システム | |
| CN114120171A (zh) | 基于视频帧的火灾烟雾检测方法、装置、设备及存储介质 | |
| CN102254396A (zh) | 基于视频的入侵检测方法及装置 | |
| CN107729811B (zh) | 一种基于场景建模的夜间火焰检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |