KR20230064388A - 복합 영상 기반 화재 감지 시스템 - Google Patents

Abstract

본 발명은 복합 영상 기반 화재 감지 시스템에 관한 것이다.
본 발명은 감지 영역을 촬영하여 HSV(Hue Saturation Value)와 스팩트로그램 정보를 포함하는 RGB 영상을 획득하는 색상 카메라; 거리 정보를 포함하는 스테레오 영상을 획득하는 스테레오 카메라; 영상 내 객체의 온도 정보를 포함하는 열화상 영상을 획득하는 열화상 카메라; 상기 색상 카메라를 통해 촬영된 RGB 영상에서 화염 예상 객체를 검출하고, 상기 열화상 영상을 통해 검출한 해당 화염 예상 객체의 온도와 RGB 영상에 포함된 스펙트로그램 정보를 이용하여 화염을 감지하는 화염 감지부; 상기 RGB 영상에 포함된 HSV 정보와 스펙트로그램 정보를 이용하여 연기를 감지하는 연기 감지부; 및 상기 RGB 영상을 통해 검출한 화염의 방향과 상기 스테레오 영상을 통해 측정한 화염의 거리를 통해 실시간으로 화염의 위치를 추적하는 화염 위치 추적부를 포함한다.

Description

복합 영상 기반 화재 감지 시스템{Composite image based fire detection system}

본 발명은 화재 감지 시스템에 관한 것으로, 더욱 상세하게는 화재 및 비화재를 감지하고, 화염의 위치를 실시간으로 추적할 수 있는 복합 영상 기반 화재 감지 시스템에 관한 것이다.

열화상 영상 및 RGB 영상 기반의 화재 감지 기술들이 많이 소개되고 있으며 화염, 온도, 연기 등을 분석하여 화재를 감지한다.

종래에는 영상 기반 화재 감지 기술로서, 등록특허공보 10-1998639("열화상 카메라와 색상 카메라의 복합 영상을 이용한 지능형 발화지점 감시 시스템", 2019.07.04., 이하 '선행문헌 1'이라고 함), 등록특허공보 10-1224548("화재 영상 감지시스템 및 그 방법", 2013.01.15., 이하 '선행문헌 2'이라고 함)와 같은 기술에는 복합 영상을 이용하여 화재 감지와 화재 발생 위치를 추적하는 기술이 개시되어 있다.

그러나, 선행문헌 1은 RGB 영상을 통해 발화지점의 방향은 알 수 있지만 정확한 거리 위치는 측정하기 어렵다. 또한, 열화상 영상의 온도 분석만으로는 전등, 태양광 등을 화재로 인식할 수 있으며, 이는 사람이 RGB 영상을 보고 판단해야 하는 번거로움이 있다. 선행문헌 2는 Lazer Range Finder를 통해 화재 발생 위치는 추적할 수 있지만 화염의 실시간 위치 추적에는 제한적이다. 또한, 색상 분석을 통해 화염을 감지하기 때문에 전등이나 태양광의 간섭에 매우 취약한 문제가 있다.

등록특허공보 10-1998639(2019.07.04.) 등록특허공보 10-1224548(2013.01.15.)

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 전등 및 태양광과 같은 비화재를 구분하여 화재 감지 정확성을 높이며, 실시간 화염의 위치를 추적하는 것을 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 복합 영상 기반 화재 감지 시스템은 감지 영역을 촬영하여 HSV(Hue Saturation Value)와 스팩트로그램 정보를 포함하는 RGB 영상을 획득하는 색상 카메라; 거리 정보를 포함하는 스테레오 영상을 획득하는 스테레오 카메라; 영상 내 객체의 온도 정보를 포함하는 열화상 영상을 획득하는 열화상 카메라; 상기 색상 카메라를 통해 촬영된 RGB 영상에서 화염 예상 객체를 검출하고, 상기 열화상 영상을 통해 검출한 해당 화염 예상 객체의 온도와 RGB 영상에 포함된 스펙트로그램 정보를 이용하여 화염을 감지하는 화염 감지부; 상기 RGB 영상에 포함된 HSV 정보와 스펙트로그램 정보를 이용하여 연기를 감지하는 연기 감지부; 및 상기 RGB 영상을 통해 검출한 화염의 방향과 상기 스테레오 영상을 통해 측정한 화염의 거리를 이용하여 실시간으로 화염의 위치를 추적하는 화염 위치 추적부를 포함한다.

상기 화염 감지부는 기설정된 온도를 기준으로, 검출된 객체가 화염 객체인지 비화염 객체인지를 판단할 수 있다.

상기 화염 감지부는 RGB 영상을 분석한 스팩트로그램에서 해당 객체의 주파수 영역(0~20Hz) 내 신호 값이 기설정된 신호 값 이상인 경우 해당 객체를 화염으로 판단할 수 있다.

상기 화염 감지부는 열화상 영상에서 온도를 통해 객체의 화염 여부를 판단하되, 기설정된 온도보다 높은 온도로 측정되고, RGB 영상을 시간 기준으로 분석한 스팩트로그램에서 해당 화염 예상 객체의 주파수 영역(0~20Hz) 내 신호 값이 기설정된 주파수 신호 값 보다 작으면 비화재로 판단할 수 있다.

상기 연기 감지부는, 색상 카메라를 통해 촬영된 영상에서 연기 색상의 객체를 획득하여 채도와 명도 값을 변환하고, 검출된 연기 색상 객체가 배경 값 대비 각각 기설정 채도 값과 기설정 명도 값이 검출되면 연기로 감지할 수 있다.

상기 연기 감지부는 연기와 유사한 색상의 물체와 구별하기 위해, RGB 영상을 시간 기준으로 스팩트로그램을 추가로 분석하여 연기 객체를 결정할 수 있다.

본 발명의 일 실시예에 따르면, 전등 및 태양광과 같은 비화재 구분 및 화재 감지가 우수하여 화재로 의한 경제적인 피해를 줄일 수 있으며, 화재 및 소방 산업의 새로운 시장 형성을 기대할 수 있는 효과가 있다.

또한, 본 발명은 화염의 위치를 실시간으로 추적함으로써, 대피 경로를 제공하여 인명피해를 줄이는 응용 산업에도 활용하여 다양한 부가가치를 창출할 수 있다.

도 1은 본 발명에 따른 복합 영상 기반 화재 및 비화재 감지 시스템을 설명하기 위한 구성블록도.
도 2의 (a) 내지 (e)는 화염을 감지하는 과정을 설명하기 위한 참고도.
도 3의 (a) 내지 (b)는 비화염을 감지하는 과정을 설명하기 위한 참고도.
도 4의 (a) 내지 (d)는 연기를 감지하는 과정을 설명하기 위한 참고도.
도 5는 스테레오 영상을 통해 산출된 화염과의 거리를 설명하기 위한 참고도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

도 1은 본 발명에 따른 복합 영상 기반 화재 및 비화재 감지 시스템을 설명하기 위한 구성블록도이다.

도 1에 도시된 바와 같이, 도 1은 본 발명에 따른 복합 영상 기반 화재 및 비화재 감지 시스템은 색상 카메라(100), 스테레오 카메라(200), 열화상 카메라(300), 화염 감지부(400), 연기 감지부(500) 및 화염 위치 추적부(600)를 포함한다.

색상 카메라(100)는 감지 영역을 촬영하여 RGB 영상을 획득한다. 이후, RGB 영상을 통해 HSV(Hue Saturation Value)와 스팩트로그램 정보를 분석할 수 있다.

스테레오 카메라(200)는 스테레오 영상을 획득하여 카메라와 객체 사이 거리를 분석할 수 있다.

열화상 카메라(300)는 영상 내 객체의 온도 정보를 포함하는 열화상 영상을 획득한다. 이러한 열화상 카메라(300)는 객체에서 방출하는 열복사를 감지하여 다양한 색깔로 시각화한 영상을 획득할 수 있다.

화염 감지부(400)는 도 2의 (a)에 도시된 바와 같이, 색상 카메라(100)를 통해 촬영된 RGB 영상(RGB1)에서 화염 예상 객체(Fo1)를 검출하고, 상기 열화상 영상을 통해 검출한 해당 화염 예상 객체의 온도와 RGB 영상을 통해 분석한 스펙트로그램 정보를 이용하여 화염을 감지한다. 여기서, 검출된 객체가 화염 객체인지 비화염 객체인지를 판단하는 기준은 기설정된 온도(예를 들어, 사람의 체온)을 기준으로 판단한다. 도 2의 (b)에 도시된 바와 같이, 촬영된 RGB 영상(RGB2)의 사람의 손(o1)과 화염 예상 객체(Fo1)를 도 2의 (c)에서와 같이, 각각 주파수 영역내(0~20Hz)에서 분석하고, 그 분석된 각각 스팩트로그램 정보(도 2의 (d)와 (E))를 이용하여 사람의 손(o1)의 스팩트로그램과 화염 예상 객체(Fo1)의 스팩트로그램이 상이함을 확인할 수 있다. 즉, 화염 감지부(400)는 RGB 영상을 분석한 스팩트로그램을 통해 화염(Fo1)에 대한 주파수 영역내(0~20Hz) 신호 값이 기설정된 주파수 신호 값보다 큰 값을 갖는 경우, 해당 화염 예상 객체를 화염으로 결정한다.

이에 반해, 화염 감지부(400)는 도 3의 (a)에 도시된 바와 같이, 화염 예상 객체(Fo2)가 태양광이거나 전등인 경우, 온도를 통해 객체가 화염인지의 여부를 판단하기 때문에 화염으로 인식될 수 있다. 이에, 화염 감지부(400)는 도 3의 (b)에서와 같이, RGB 영상을 시간 기준으로 분석한 스팩트로그램을 통해 다시 한번 추가 분석을 수행한다. 즉, 화염 감지부(400)는 시간을 기준으로 분석한 스펙트로그램에서 화염(Fo1)에 대한 주파수 영역내(0~20Hz) 신호 값이 기설정된 주파수 신호 값보다 작으면 비화재로 간주한다. 즉, 화염 예상 객체가 화재 위험이 없는 태양광이거나 전등으로 판단한다.

연기 감지부(500)는 색상 카메라(100)를 통해 획득한 RGB 영상을 분석한 HSV 정보와 스펙트로그램 정보를 이용하여 연기를 감지한다. 예를 들어 연기 감지부(500)는 도 4의 (a)에 도시된 바와 같이, 색상 카메라를 통해 촬영된 RGB 영상(RGB 3)에서 연기 색상의 객체(So1)를 획득하고, 도 4의 (b)에서와 같이, 획득한 연기 색상의 객체(So1)의 채도 히스토그램과 명도 도 4의 (c)에 도시된 바와 같이, 히스토그램을 각각 분석하고, 획득한 연기 색상의 객체(So1)와 배경 값 대비 각각 0~0.1 채도 값과 0.5~1 명도 값이 검출되면 연기로 판단할 수 있다. 여기서, 연기 감지부(500)는 연기와 유사한 색상의 물체와 구별하기 위해, 도 4의 (d)에서와 같이, RGB 영상(RGB 3)에서 시간을 기준으로 스팩트로그램을 추가로 분석하여 연기 객체를 결정할 수도 있다.

화염 위치 추적부(600)는 RGB 영상을 통해 검출한 화염 예상 객체의 방향과 스테레오 영상을 통해 화염 예상 거리를 측정하여 실시간으로 화염의 위치를 추적한다. 한편, 화염 위치 추적부(600)는 색상 카메라(100)를 통해 획득한 RGB 영상(RGB 2)의 모든 공간에서 시간에 따른 스펙트로그램 분석과 온도 분석을 통해 화염의 발생 방향과 화염의 유무를 감지하여 화염의 위치를 추적할 수 있다. 그리고, 화염 위치 추적부(600)는 도 5에 도시된 바와 같이, 스테레오 영상(ST 1)을 통해 획득한 화염(F1)과의 거리를 측정하고, 실시간으로 화염의 위치를 추적할 수 있다.

여기서, 실시간으로 추적되는 화염의 위치가 기설정된 시간 이상 고정되는 경우, 화재가 발생한 것으로 보지 않고 전열기구의 열원으로 판단하여 해당 정보를 제공할 수도 있다.

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (1)

1. 감지 영역을 촬영하여 HSV(Hue Saturation Value)와 스팩트로그램 정보를 포함하는 RGB 영상을 획득하는 색상 카메라;
   거리 정보를 포함하는 스테레오 영상을 획득하는 스테레오 카메라;
   영상 내 객체의 온도 정보를 포함하는 열화상 영상을 획득하는 열화상 카메라;
   상기 색상 카메라를 통해 촬영된 RGB 영상에서 화염 예상 객체를 검출하고, 상기 열화상 영상을 통해 검출한 해당 화염 예상 객체의 온도와 RGB 영상에 포함된 스펙트로그램 정보를 이용하여 화염을 감지하는 화염 감지부;
   상기 RGB 영상에 포함된 HSV 정보와 스펙트로그램 정보를 이용하여 연기를 감지하는 연기 감지부; 및
   상기 RGB 영상을 통해 검출한 화염의 방향과 상기 스테레오 영상을 통해 측정한 화염의 거리를 이용하여 실시간으로 화염의 위치를 추적하는 화염 위치 추적부를 포함하는 복합 영상 기반 화재 감지 시스템.

Images