KR20190056750A - 영상 불꽃 감지 장치 및 방법 - Google Patents

Abstract

본 발명은 영상 불꽃 감지 장치 및 방법에 관한 것으로서, 불꽃 영상이 입력되면, 움직임 감지를 판단하는 단계; 판단 결과, 움직임이 감지되면, 관심 영역(ROI)을 추출하고, YUV를 RGB로 변환하는 단계; RGB 파이어 컬러인지를 판단하는 단계; 판단 결과, RGB 파이어 컬러인 경우, RGB를 YCrCb로 변환하는 단계; 크로마비가 파이어 컬러인지 판단하는 단계; 및 연속적인 플리커인지를 판단하여, 연속적인 플리커인 경우 불꽃으로 판단하는 단계;를 포함하는 영상 불꽃 감지 방법 및 장치가 제공된다.

Description

영상 불꽃 감지 장치 및 방법 {Apparatus and method for detecting by using image process}

본 발명은 영상 화재 감지 장치에 관한 것으로, 보다 상세하게는 영상 처리를 이용한 영상 불꽃 감지 장치 및 방법에 관한 것이다.

종래에 화재 감시를 위해서는 구조물의 천정 등에 설치된 화염센서나 연기센서 혹은 온도센서와 같은 화재 감지기를 이용하고 있다. 즉, 화재 감지기에서 열이나 온도 등을 이용해서 화재가 감지되면 이 감지신호를 수신반에서 수신하여 화재 발생지점의 표시와 화재 경보의 수행 등을 하는 시스템이다.

그러나, 상기와 같은 여러가지 센서들이 화재가 아닌 다른 원인에 의해서도 동작될 수 있고, 이러한 경우 오보의 가능성은 항상 존재하며, 비화재보 발생으로 인한 화재 감시 시스템의 동작 신뢰성 저하는 치명적이기 까지 하다. 따라서, 센서의 동작을 신뢰하기 어려울 뿐만 아니라, 빈번한 오동작을 모두 현장에 직접 가서 육안으로 확인하기에는 어려움이 따르고, 이러한 번거로움 등으로 인하여 실제 화재가 감지되고서도 경보를 발하는 것을 회피하게 되어 중대한 안전사고의 발생과, 화재의 초기진화의 실패 등으로 인한 인명, 재산상의 손실을 감수하고 있는 실정이다.

한편, 이러한 문제점을 해결하기 위해 화재 감지기와 화재 현장의 영상을 실시간으로 촬영하는 카메라 수단을 상호 유기적으로 결합함으로써 화재 감지시에 화재 현장의 상황이나 실제 화재의 발생 혹은 오작동 여부 등을 현장에 직접 가지 않고도 모니터링 할 수 있도록 한 영상 화재 감지 장치가 고안되었다.

그러나 이러한 종래의 영상 화재 감지 장치는 영상 처리 시간의 지연으로 인해 실시간 감시가 어려운 문제가 있었으며, 화재가 아닌 다른 종류의 불빛을 화재로 감지하여 오동작하는 문제점이 있었다.

한국공개특허 제10-2015-0109830호

본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 본 발명이 해결하고자 하는 과제는 화재가 아닌 다른 종류의 불빛을 화재로 감지하여 오동작하는 것을 방지할 수 있는 영상 불꽃 감지 장치 및 방법을 제공하기 위한 것이다.

본 발명의 예시적인 실시예에 따르면, 불꽃 영상이 입력되면, 움직임 감지를 판단하는 단계; 판단 결과, 움직임이 감지되면, 관심 영역(ROI)을 추출하고, YUV를 RGB로 변환하는 단계; RGB 파이어 컬러인지를 판단하는 단계; 판단 결과, RGB 파이어 컬러인 경우, RGB를 YCrCb로 변환하는 단계; 크로마비가 파이어 컬러인지 판단하는 단계; 및 연속적인 플리커인지를 판단하여, 연속적인 플리커인 경우 불꽃으로 판단하는 단계;를 포함하는 영상 불꽃 감지 방법 및 장치가 제공된다.

본 발명에 따르면, 화재가 아닌 다른 종류의 불빛을 화재로 감지하여 오동작하는 것을 방지할 수 있는 영상 불꽃 감지 장치를 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 영상 불꽃 감지장치의 개략적인 블록 구성도.
도 2는 본 발명의 실시예에 따른 영상 불꽃 감지장치의 소프트웨어 블록 구성도.
도 3은 본 발명의 실시예에 따른 영상 불꽃 감지장치의 애플리케이션 구성 흐름도.
도 4는 본 발명의 실시예에 따른 영상 불꽃 감지 방법의 흐름도.
도 5는 본 발명의 다른 실시예에 따른 영상 불꽃 감지 방법의 흐름도.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 영상 불꽃 감지장치의 개략적인 블록 구성도이며, 도 2는 본 발명의 실시예에 따른 영상 불꽃 감지장치의 소프트웨어 블록 구성도이며, 도 3은 본 발명의 실시예에 따른 영상 불꽃 감지장치의 애플리케이션 구성 흐름도이며, 도 4는 본 발명의 실시예에 따른 영상 불꽃 감지 방법의 흐름도이고, 도 5는 본 발명의 다른 실시예에 따른 영상 불꽃 감지 방법의 흐름도이다.

1) 보드 스펙은 아래와 같다.

CPU

- Alllwinner A20 Dual-Core CPU

- Dual Cortex-A7 , run at 912Mhz

- VFPv4 floating point

Memory

- 4GBytes Nand Flash

- 1GBytes DDR3

- 32GBytes micro SDcard

USB

- 1 USB 2.0 OTG

- 2 USB host interface

- 4 USB Support

Video Input

- CSI0 1080p@30fps

Video Output

- HDMI1.4, Type A interface

- CVBS

Network

- 10/100Mbps

2) Board 구동 하기 위한 관련 Software porting 및 구현

Boot Part

- 회사 logo display 관련 구현

- HDMI Display 구현

- F/W upgrade 최적화

Linux Part

- Linux 3.4.39 Porting

- GC2145 Image Sensor Driver Porting

- Sony IMX323 Image Sensor Porting

- GPIO Device Driver 구현

- Ethernet Device Driver Porting

- IIC 최적화

- Frame Buffer 최적화

RootFS

- entry point 변경

- 관련 util 및 library 추가

Application

- OpenCV Porting 및

input/output, frame format 및 draw 기능 등 추가

- OpenMP Porting

- Python, Numpy Porting

- Visual Flame Detector Application 에 대해

Python -> C/C++ 로 변경 및

Gpio control , Red Rectangle Draw 기능 등 구현

도 4의 영상불꽃 감지 방법의 흐름도를 살펴보면, 우선 불꽃 영상이 입력된다. 그 후, 움직임 감지를 판단하는 과정을 수행한다.

판단 결과, 움직임이 감지되면, 관심 영역(ROI)을 추출하고, YUV를 RGB로 변환하는 과정을 수행한다.

그리고 나서, RGB 파이어 컬러인지를 판단하는 과정을 수행한다.

판단 결과, RGB 파이어 컬러인 경우, RGB를 YCrCb로 변환하는 과정을 수행한다.

크로마비가 파이어 컬러인지 판단하는 과정을 수행한다.

만약, 그럴 경우 연속적인 플리커인지를 판단하여, 연속적인 플리커인 경우 불꽃으로 판단하게 된다.

3) 플리커(모션) 디텍션 개선 방안

종래 기술에서는 Flicker 검출을 위해 최소 3 frame 간 움직임 검출하였으나, 본 발명의 실시예의 경우

* Flicker 검출을 위해 2 frame 간 움직임 검출

*current frame 과 previous frame 간의 Y Color 차분 이용

*current frame 에 대해 이진화된 flicker 와 flame 에 대해 교차 적용 시:

mismatching 제거 됨.

4) 현재 알고리즘 보완사항

* 현재의 color 기반 알고리즘상 flame detecting 은 가능하나,

* flame-like object 에 대해 flame으로 오 검출할 확률이 높음.

*따라서, machine learning 의 일부분인 SVM(Support Vector Machine)구현 검토가 필요 함.

SVM(Support Vector Machine)구현 검토시 체크사항

* Color features

red, gray, saturation 에 대한 평균, 표준편차, 왜도, 첨도

* Geometric features

circularity, squareness, aspect ratio, solidity ratio

* Structural features

entropy, energy, contrast, homogeneity

5) Detection process - Fire color detection

- Flicker와 마찬가지로 Sequence 단위 Pixel 검출

- 실제 화염은 R color space 색만을 띄지 않으며, 다양한 색이 혼합

- RGB(0-255) color space 에서 Fire color를 다음과 같이 규정

- HSI color space에서 S (saturation) color 를 사용하여 다음과 같은 조건을 고려한 분리

▶ (Fire is Main light source, 밤) 채도 옅은 경향 (낮은 S)

▶ (Fire is not main light source, 낮) 채도가 짙은 경향 (높은 S)

1) RGB 조건, 2) S 영역, 3) I 영역(intensity, 밝기)을 교차 적용하여 최종적으로 Fire-colored pixel을 검출

6) 오검출 오브젝트 Filtering

- 용접 Arc 및 Spatter, 화재와 유사한 색의 작업자, 조명시설, 역광 등 화재로 오인 가능성이 높은 오브젝트가 영상 내 존재하는 경우 오검출 상황 발생

- 화면 내에서 빠르게 튀며 화재와 유사한 Color를 지니는 spatter 및 작업자를 화재로 오검출

- 오검출 오브젝트 Filtering을 위한 추가적인 예외처리 조건이 요구됨

7) Color 조건 추가를 통해 유사색의 오브젝트 Filtering

- YCrCb color space 적용

- 다양한 화재 이미지의 실험적 분석

- 화재 pixel(Fire flame)과 유사 화재 영역(Fire-like object) 간의 Chroma ratio의 분포가 차이점을 보임

- Fire detection 관련 기술보고서 및 학술논문 내용 종합

- 각 위치에서의 pixel이 가지는 Chroma ratio(Cb/Cr) 를 계산한 후 threshold 적용

- 기존 Color 조건(RGB, HSV) 과 같이 적용하여 Fire detection의 정확성 증가

8) Fire detection 및 Non-fire 영역 오검출 Filtering 여부 확인을 위한 실험

- 움직임 검출 조건 및 고유색 검출 조건, 오검출 오브젝트 Filtering 조건을 모두 적용한 알고리즘을 통해 Fire detection 수행

- 화재 및 화재로 오인될 수 있는 오브젝트가 공존하는 영상에 대하여 수행

▶ 검출 결과, 다수의 영상에서 화재 Pixel 인식

▶ 오검출 가능성 높은 오브젝트의 대부분이 Filtering됨을 확인

▶ 오검출 오브젝트 단독 영상에서는 화재 자체를 인식하지 않음

▶ 기존 RGB/HSV 적용 알고리즘에 비해 정확성 증가 확인

이상에서 설명한 것은 본 발명에 따른 영상 불꽃 감지 장치 및 방법의 예시적인 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이, 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

Claims (1)

1. 불꽃 영상이 입력되면, 움직임 감지를 판단하는 단계;
   판단 결과, 움직임이 감지되면, 관심 영역(ROI)을 추출하고, YUV를 RGB로 변환하는 단계;
   RGB 파이어 컬러인지를 판단하는 단계;
   판단 결과, RGB 파이어 컬러인 경우, RGB를 YCrCb로 변환하는 단계;
   크로마비가 파이어 컬러인지 판단하는 단계; 및
   연속적인 플리커인지를 판단하여, 연속적인 플리커인 경우 불꽃으로 판단하는 단계;를 포함하는 영상 불꽃 감지 방법.

Images