KR20160136948A

KR20160136948A - 부분 영역 기반의 화염 탐지 장치 및 방법

Info

Publication number: KR20160136948A
Application number: KR1020150071247A
Authority: KR
Inventors: 최경택; 천민규; 이동성; 최진영; 최종원
Original assignee: 주식회사 에스원; 서울대학교산학협력단
Priority date: 2015-05-21
Filing date: 2015-05-21
Publication date: 2016-11-30
Also published as: KR101689863B1

Abstract

본 발명은 화염 탐지 장치 및 방법에 관한 것으로서, 상세하게는 영상에서 화염으로 추정되는 부분을 추출하고 화염으로 추정되는 부분에서 화염에 해당하는 부분이 특징적 모양을 가진다는 점과 연속적으로 랜덤하게 변화된다는 점을 이용하여 화염 발생 여부를 판단하는 부분 영역 기반의 화염 탐지 장치 및 방법에 관한 것이다. 이를 위하여, 본 발명에 따른 부분 영역 기반의 화염 탐지 방법은 영상에서 화염으로 추정되는 부분인 이미지 패치를 추출하는 단계와, 상기 이미지 패치에서 특징점을 추출하는 단계와, 모든 특징점에 대하여 트레이닝 셋을 기반으로 학습 된 분류 알고리즘을 적용하여 화염과 유사한 이미지 패치를 획득하는 단계와, 상기 화염과 유사한 이미지 패치 중에서 화염의 랜덤 특성이 없는 이미지 패치를 제거하는 단계와, 남아 있는 이미지 패치에서 시공간 필터를 적용하여 화염으로 추정되는 픽셀에 대한 확률을 계산하는 단계와, 상기 계산한 확률이 일정 값 이상이면 화염으로 탐지하는 단계를 포함한다.

Description

부분 영역 기반의 화염 탐지 장치 및 방법{Part-based flame detection device and method}

본 발명은 화염 탐지 장치 및 방법에 관한 것으로서, 상세하게는 영상에서 화염으로 추정되는 부분을 추출하고 화염으로 추정되는 부분에서 화염에 해당하는 부분이 특징적 모양을 가진다는 점과 연속적으로 랜덤하게 변화된다는 점을 이용하여 화염 발생 여부를 판단하는 부분 영역 기반의 화염 탐지 장치 및 방법에 관한 것이다.

화재 감시 기술은 화염 탐지 기술과 연기 탐지 기술을 포함한다. 현재까지 연구되어 상용화된 화염 감시 기술은 탐지율보다 오탐율이 높은 편이다. 특히 화염 탐지 기술에서 오탐율이 상대적으로 높은데, 이것은 펄럭이는 붉은 깃발, 깜박이는 자동차 라이트나 주기적인 움직임 등에서 오탐이 자주 발생하기 때문이다.

종래 화염 탐지 기술은 크게 픽셀(pixel) 기반의 화염 탐지 기술과 전체 영역(blob) 기반의 탐지 기술로 나뉜다. 픽셀 기반의 화염 탐지 기술의 경우 화염 자체의 형태를 적용하기 힘들기 때문에 화염의 형태가 아니면서 활발한 움직임을 나타내는 물체에 대해 쉽게 화염으로 탐지하게 되는 오탐률이 높다.

전체 영역 기반의 탐지 기술의 경우 화염 형태를 고려하여 화염을 탐지할 수 있으나 화염의 경우 그 형태가 매우 다양하여 제한적인 학습 영상만으로 그 특징을 구분 짓는 것이 쉽지 않다.

또한 상당수의 화염 탐지 기술이 화염의 불안정성(irregularity)을 중요한 구분자로 이용하는데 기존의 물체 인식에 많이 이용되는 지도 학습(supervised learning)의 경우 물체에 안정적인 어떤 특징이 있다고 가정하기 때문에 이를 학습시키는데 무리가 있다. 이외에도 많은 화염 탐지 기술은 지정변수(parameter)에 높은 의존도가 있기 때문에 기술이 개발되는 환경을 벗어나는 경우 탐지율이 확연히 떨어지는 문제점이 있다.

등록특허 제10-1396036호

본 발명은 상기한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 화염의 오탐율을 줄일 수 있는 화염 탐지 장치 및 방법을 제공하는 것이다.

이를 위하여, 본 발명에 따른 부분 영역 기반의 화염 탐지 방법은 영상에서 화염으로 추정되는 부분인 이미지 패치를 추출하는 단계와, 상기 이미지 패치에서 특징점을 추출하는 단계와, 모든 특징점에 대하여 트레이닝 셋을 기반으로 학습 된 분류 알고리즘을 적용하여 화염과 유사한 이미지 패치를 획득하는 단계와, 상기 화염과 유사한 이미지 패치 중에서 화염의 랜덤 특성이 없는 이미지 패치를 제거하는 단계와, 남아 있는 이미지 패치에서 시공간 필터를 적용하여 화염으로 추정되는 픽셀에 대한 확률을 계산하는 단계와, 상기 계산한 확률이 일정 값 이상이면 화염으로 탐지하는 단계를 포함한다.

또한, 본 발명에 따른 부분 영역 기반의 화염 탐지 장치는 영상에서 화염으로 추정되는 부분인 이미지 패치를 추출하는 후보군 추출부와, 상기 이미지 패치에서 특징점을 추출하는 디스크립터부와, 모든 특징점에 대하여 트레이닝 셋을 기반으로 학습 된 분류 알고리즘을 적용하여 화염과 유사한 이미지 패치를 획득하는 형태 분류부와, 상기 화염과 유사한 이미지 패치 중에서 화염의 랜덤 특성이 없는 이미지 패치를 제거하는 랜덤 특성 분류부와, 남아 있는 이미지 패치에서 화염으로 추정되는 픽셀에 대한 확률을 계산하고 상기 계산한 확률이 일정 값 이상이면 화염으로 판단하는 화염 탐지부를 포함한다.

상술한 바와 같이, 본 발명에 따른 화염 탐지 장치 및 방법은 화염으로 추정되는 부분인 이미지 패치를 추출하고 이미지 패치에 대하여 형태 분류(appearance classifier) 및 랜덤 분류(random classifier)를 통해 화염을 탐지함으로써 화염의 오탐률을 상당히 줄일 수 있는 효과가 있다.

도 1은 본 발명에 따른 화염 탐지 장치의 내부 구성도.
도 2는 본 발명에 따른 화염 탐지 방법의 순서도.
도 3은 본 발명에 따른 화염 탐지 방법에서 이미지 패치를 추출하는 과정의 순서도.
도 4는 영상에서 이미지 패치를 추출하는 과정을 도식적으로 나타낸 도면.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.

본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.

도 1은 본 발명에 따른 부분 영역 기반의 화염 탐지 장치의 내부 구성도를 나타낸 것이다.

도 1을 참조하면, 화염 탐지 장치는 후보군 추출부(10), 디스크립터부(20), 형태 분류부(30), 랜덤 특성 분류부(40), 화염 탐지부(50) 등을 포함한다.

여기서, 후보군 추출부(10)는 확률맵 계산부(12) 및 이미지 패치 추출부(14)를 포함하고, 화염 탐지부(50)는 확률맵 계산부(12), 필터링부(52) 및 화염 판단부(54)를 포함한다. 후보군 추출부(10)와 화염 탐지부(50)는 확률맵 계산부(12)를 공유한다.

본 발명에 따른 화염 탐지 장치는 일반 컴퓨터(PC)나 전용 화염 탐지 장비로 이루어질 수 있으며, 화염 탐지 장치를 구성하는 각 부분은 하드웨어 또는 소프트웨어로 구현될 수 있다.

후보군 추출부(10)는 카메라(미도시)로부터 각 프레임의 영상을 입력받아 영상에서 픽셀 기반으로 화염으로 추정되는 부분을 추출한다. 여기서 영상 내 화염으로 추정되는 부분을 이미지 패치(patch)라고 한다.

구체적으로 후보군 추출부(10)는 확률맵 계산부(12) 및 이미지 패치 추출부(14)를 포함한다. 확률맵 계산부(12)는 각 프레임의 영상을 입력받아 영상을 구성하는 전체 픽셀에 대한 확률을 계산하여 확률 맵(probability map)을 작성한다.

확률맵 계산부(12)는 아래의 수학식 1을 이용하여 각 픽셀의 확률을 구하고 각 픽셀의 확률 집합인 확률 맵을 작성한다.

여기서,

이고,

이다. 그리고 F는 픽셀의 색상(R, G, B, H, S, V)이고, W는 색상의 가중치(weight)이다.

이미지 패치 추출부(14)는 확률맵 계산부(12)로부터 확률 맵을 입력받아 확률 맵에서 지역적 최대값(local maximum)에 해당하는 점을 추출하고, 추출한 점을 기준으로 주변 영상을 추출한다. 확률 맵에서 지역적 최대값에 해당하는 점을 기준으로 하여 추출한 주변 영상이 화염으로 추정되는 부분이며 이것이 이미지 패치에 해당한다.

디스크립터부(20)는 후보군 추출부(10)로부터 이미지 패치를 입력받아 각 이미지 패치에서 특징점(feature)인 구분자(descriptor)를 추출한다.

형태 분류부(30)는 디스크립터부(20)에서 추출한 모든 특징점에 대하여 분류 알고리즘을 적용하여 화염과 유사한 이미지 패치를 획득한다. 즉, 본 발명에 따른 형태 분류부(30)는 트레이닝 셋을 기반으로 학습된 SVM(Support Vector Machine)을 이용하여 상기 추출한 이미지 패치에서 화염의 형태와 유사한 이미지 패치만을 남긴다.

랜덤 특성 분류부(40)는 형태 분류부(30)에서 획득한 이미지 패치에서 랜덤 특성이 없는 이미지 패치를 제거한다.

화염의 경우 이전 프레임에서 나타난 이미지 패치와 동일한 형태의 이미지 패치가 존재하지 않는 랜덤 특성이 있고, 화염이 아닌 물체의 경우 랜덤 특성이 없어서 이전 프레임에서 나타난 이미지 패티와 동일한 형태의 이미지 패치가 존재한다. 이러한 화염의 랜덤 특성을 이용하여 화염 오탐지 물체를 제거할 수 있다.

즉, 랜덤 특성 분류부(40)는 이전 프레임에서 획득한 이미지 패치를 모두 소정의 메모리 공간(dictionary)에 저장해 놓고, 현재 프레임에서 획득한 이미지 패치와 비교하여 동일한 이미지 패치가 존재하는 경우 랜덤 특성이 없다고 판단하여 해당 이미지 패치를 제거한다.

화염 탐지부(50)는 랜덤 특성 분류부(40)를 거치면서 남아 있는 이미지 패치에서 화염으로 추정되는 픽셀에 대한 확률을 계산하고 그 계산한 확률값이 일정 값을 초과하면 화염으로 판단한다.

구체적으로 화염 탐지부(50)는 확률맵 계산부(12), 필터링부(52), 화염 판단부(54) 등을 포함한다.

필터링부(52)는 랜덤 특성 분류부(40)를 거치면서 남아 있는 이미지 패치에서 시공간 필터(Spatio-Temporal Filter)를 적용하여 화염으로 추정되는 픽셀을 추출한다.

확률맵 계산부(12)는 필터링부(52)에서 추출된 모든 픽셀에 대한 확률을 계산하여 확률 맵을 작성한다. 확률 맵은 상기 수학식 1을 이용하여 작성할 수 있다.

화염 판단부(54)는 확률맵 계산부(12)를 통해 얻은 확률맵에서 확률값이 일정 값(임계치)를 초과하면 화염으로 판단하고, 알람(경보)을 출력한다.

도 2는 본 발명에 따른 부분 영역 기반의 화염 탐지 방법의 순서도를 나타낸 것이다.

도 2에서의 각 과정은 화염 탐지 장치에서 수행되는 프로세스로서, 일반 컴퓨터나 전용 화염 탐지 장비의 마이크로프로세서에서 수행될 수 있다.

도 2를 참조하면, 먼저 카메라의 영상으로부터 화염으로 추정되는 부분인 이미지 패치를 추출한다(S10).

이미지 패치를 추출하는 단계는 도 3 및 도 4를 참조하여 좀더 구체적으로 설명한다.

우선 영상을 구성하는 픽셀마다 확률을 구하여 전체 픽셀에 대한 확률 맵을 작성한다(S12).

다음 주어진 확률 맵에서 지역적 최대값에 해당하는 점(1)을 추출한다(S14).

그리고 지역적 최대값에 해당하는 점(1)을 기준으로 하여 주변 영상을 화염으로 추정되는 부분인 이미지 패치(2)로 추출한다(S16). 이미지 패치(2)는 도 4에 도시된 바와 같이, 다양한 스케일로 추출될 수 있다.

화염으로 추정되는 부분인 이미지 패치가 추출되면 이미지 패치에서 특징점(구분자)를 추출한다(S20). 특징점(구분자)는 각 이미지 패치에서 SIFT 등과 같은 구분자 추출 알고리즘을 이용하여 얻을 수 있다.

특징점 추출 단계에서 추출한 모든 특징점에 대하여 트레이닝 셋(training set)을 기반으로 학습된 방법론(Linear SVM with a kernel mapping)을 적용하여 각 이미지 패치에서 화염의 형태와 유사한 이미지 패치를 획득한다(S30). 즉, 각 이미지 패치 중 화염으로 추정되는 형태(Appearance model)의 이미지 패치를 얻는다.

다음, 화염의 형태와 유사한 이미지 패치에서 화염과 비슷한 형태이지만 화염의 랜덤 특성이 없는 이미지 패치를 제거한다(S40). 즉, 이미지 패치를 제거하는 단계는 현재 획득한 이미지 패치를 이전에 획득하여 소정의 공간(dictionary)에 저장해 둔 이미지 패치와 비교하여 동일한 이미지 패치가 존재하는 경우, 그 이미지 패치를 제거하는 방식으로 진행된다.

다음, 마지막으로 남아 있는 이미지 패치에 대한 확률을 계산하고(S50), 그 확률값이 임계치를 초과하면 화염으로 탐지한다(S60).

즉, 이미지 패치에 대한 확률을 계산하는 단계는 이미지 패치에서 시공간 필터링을 통해 화염으로 추정되는 픽셀에 대한 확률 맵을 작성하고, 확률 맵에서 확률값이 임계치를 초과하는 경우 화염으로 판단한다. 최종 화염으로 판단되면 화염 탐지 장치는 알람(경고)을 출력하여 관리자나 주변에 화재 발생을 알린다.

한편, 상술한 부분 영역 기반의 화염 탐지 방법은 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정의 기록 매체에 기록해 둘 수 있다.

예컨대, 기록 매체는 각 재생 장치의 내장형으로 하드 디스크, 플래시 메모리, RAM, ROM 등이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다.

이 경우, 컴퓨터로 읽을 수 있는 기록 매체에 기록한 프로그램은, 영상에서 화염으로 추정되는 부분인 이미지 패치를 추출하는 단계와, 상기 이미지 패치에서 특징점을 추출하는 단계와, 모든 특징점에 대하여 트레이닝 셋을 기반으로 학습 된 분류 알고리즘을 적용하여 화염과 유사한 이미지 패치를 획득하는 단계와, 상기 화염과 유사한 이미지 패치 중에서 화염의 랜덤 특성이 없는 이미지 패치를 제거하는 단계와, 남아 있는 이미지 패치에서 시공간 필터를 적용하여 화염으로 추정되는 픽셀에 대한 확률을 계산하는 단계와, 상기 계산한 확률이 일정 값 이상이면 화염으로 탐지하는 단계를 포함하는 부분 영역 기반의 화염 탐지 방법을 실행할 수 있다.

본 발명의 명세서에서 설명하는 기능적 동작과 구현물은 디지털 전자회로로 구현되거나 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나 이들 중 하나 이상의 조합으로 구현될 수 있다. 본 발명의 명세서에서 설명하는 구현물은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 데이터 처리 장치의 동작을 제어하기 위하여 또는 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.

본 발명의 도면은 동작과정을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 특정한 순서로 그러한 동작들을 수행해야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해해서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.

또한 본 발명의 명세서에서 특정한 실시형태를 설명하였다. 실시형태들은 이하의 특허청구범위에 속한다. 예컨대, 청구항에 기재된 동작들은 상이한 순서로 수행되면서 여전히 바람직한 결과를 성취할 수 있다.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다.

따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

10: 후보군 추출부 12: 확률맵 계산부
14: 이미지 패치 추출부 20: 디스크립터부
30: 형태 분류부 40: 랜덤 특성 분류부
50: 화염 탐지부 52: 필터링부
54: 화염 판단부

Claims

영상에서 화염으로 추정되는 부분인 이미지 패치를 추출하는 단계와,
상기 이미지 패치에서 특징점을 추출하는 단계와,
모든 특징점에 대하여 트레이닝 셋을 기반으로 학습 된 분류 알고리즘을 적용하여 화염과 유사한 이미지 패치를 획득하는 단계와,
상기 화염과 유사한 이미지 패치 중에서 화염의 랜덤 특성이 없는 이미지 패치를 제거하는 단계와,
남아 있는 이미지 패치에서 시공간 필터를 적용하여 화염으로 추정되는 픽셀에 대한 확률을 계산하는 단계와,
상기 계산한 확률이 일정 값 이상이면 화염으로 탐지하는 단계를 포함하는 부분 영역 기반의 화염 탐지 방법.
제1항에 있어서,
상기 이미지 패치를 추출하는 단계는 상기 영상을 구성하는 전체 픽셀에 대한 확률 맵(probability map)을 작성하는 과정과,
상기 확률 맵에서 지역적 최대 값(local maximum)에 해당하는 점을 기준으로 하여 주변 영상을 화염으로 추정되는 부분인 이미지 패치로 추출하는 과정을 포함하는 것을 특징으로 하는 부분 영역 기반의 화염 탐지 방법.
제2항에 있어서,
상기 화염으로 추정되는 픽셀에 대한 확률 맵은 아래의 수학식을 이용하여 작성하는 것을 특징으로 하는 부분 영역 기반의 화염 탐지 방법.

여기서,

이고,

이며,
F는 픽셀의 색상, W는 색상의 가중치이다.
제1항에 있어서,
상기 분류 알고리즘은 SVM(Support Vector Machine)인 것을 특징으로 하는 부분 영역 기반의 화염 탐지 방법.
제1항에 있어서,
상기 이미지 패치를 제거하는 단계는 현재 획득한 이미지 패치를 이전에 획득하여 소정의 공간에 저장되어 있는 이미지 패치와 비교하여 동일한 이미지 패치가 존재하는 경우 그 이미지 패치를 제거하는 것을 특징으로 하는 부분 영역 기반의 화염 탐지 방법.
영상에서 화염으로 추정되는 부분인 이미지 패치를 추출하는 후보군 추출부와,
상기 이미지 패치에서 특징점을 추출하는 디스크립터부와,
모든 특징점에 대하여 트레이닝 셋을 기반으로 학습 된 분류 알고리즘을 적용하여 화염과 유사한 이미지 패치를 획득하는 형태 분류부와,
상기 화염과 유사한 이미지 패치 중에서 화염의 랜덤 특성이 없는 이미지 패치를 제거하는 랜덤 특성 분류부와,
남아 있는 이미지 패치에서 화염으로 추정되는 픽셀에 대한 확률을 계산하고 상기 계산한 확률이 일정 값 이상이면 화염으로 판단하는 화염 탐지부를 포함하는 부분 영역 기반의 화염 탐지 장치.
제6항에 있어서,
상기 후보군 추출부는 상기 영상을 구성하는 전체 픽셀에 대한 확률 맵(probability map)을 작성하고, 상기 확률 맵에서 지역적 최대 값(local maximum)에 해당하는 점을 기준으로 하여 주변 영상을 화염으로 추정되는 부분인 이미지 패치로 추출하는 것을 특징으로 하는 부분 영역 기반의 화염 탐지 장치.
제6항에 있어서,
상기 화염 탐지부는 상기 남아 있는 이미지 패치에서 시공간 필터링을 통해서 화염으로 추정되는 픽셀에 대한 확률 맵을 작성하고 상기 확률 맵에서 확률이 임계치를 초과하면 화염으로 판단하는 것을 특징으로 하는 부분 영역 기반의 화염 탐지 장치.
제7항 또는 제8항에 있어서,
상기 확률 맵은 아래의 수학식을 이용하여 작성하는 것을 특징으로 하는 부분 영역 기반의 화염 탐지 장치.

여기서,

이고,

이며,
F는 픽셀의 색상, W는 색상의 가중치이다.
제6항에 있어서,
상기 형태 분류부는 SVM(Support Vector Machine) 알고리즘을 이용하여 화염의 형태와 유사한 이미지 패치를 획득하는 것을 특징으로 하는 부분 영역 기반의 화염 탐지 장치.
제6항에 있어서,
상기 랜덤 특성 분류부는 현재 획득한 이미지 패치를 이전에 획득하여 소정의 공간에 저장되어 있는 이미지 패치와 비교하여 동일한 이미지 패치가 존재하는 경우 그 이미지 패치를 제거하는 것을 특징으로 하는 부분 영역 기반의 화염 탐지 장치.
제1항 내지 제5항 중 어느 한 항에 의한 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.