KR100615672B1

KR100615672B1 - Ｘｙ축 투영그래프를 이용한 화재 감시시스템 및 이를이용한 화재 감시방법과 화재 감시방법이 구현된 컴퓨터판독가능 기록매체

Info

Publication number: KR100615672B1
Application number: KR1020060042077A
Authority: KR
Inventors: 김동근; 김원호
Original assignee: 주식회사 센텍
Priority date: 2006-05-10
Filing date: 2006-05-10
Publication date: 2006-08-28

Abstract

본 발명은 화재 및 산불 감시시스템에 이용할 목적으로, XY축으로 투영시킨 그래프를 이용하여 화재 발생시에 발생하는 연기 및 화염의 위치를 자동 검출하는 XY축 투영그래프를 이용한 화재 감시시스템 및 이를 이용한 화재 감시방법과 화재 감시방법이 구현된 컴퓨터 판독가능 기록매체에 관한 것이다. 특히, 입력된 비디오 영상으로부터 잡음 필터링 등의 전처리를 거친 후에 X축과 Y축 방향으로 영상을 투영시켜 XY축 투영그래프를 생성하고, 배경영상의 XY축 투영그래프와의 차이에 의하여 변화된 영역을 검출하는 방법으로 XY 축 방향의 변화를 감시함으로써 옥외 환경에서도 연기 및 화염에 의한 화재발생의 오검출 빈도를 효과적으로 줄일 수 있으며, 1차원 배열인 XY축 투영그래프의 변화를 조사함으로써 군집화 과정 없이 매우 효과적으로 변화된 사각영역을 검출할 수 있기 때문에 효과적인 실시간 시스템 구축이 용이하여 화재 또는 산불 발생으로 인한 인적 및 물적 피해를 최소화할 수 있다.

화재, 산불, 연기, 투영그래프

Description

ＸＹ축 투영그래프를 이용한 화재 감시시스템 및 이를 이용한 화재 감시방법과 화재 감시방법이 구현된 컴퓨터 판독가능 기록매체{Fire Observation System Using XY axis projection Graph and Its Fire Observation Method and Computer-Readable Recording Medium to Realize Fire Observation Method}

도 1은 본 발명에 따른 화재 감시시스템의 구성도.

도 2는 본 발명에 따른 화재 감시방법을 개략적으로 도시한 흐름도.

도 3은 본 발명에 따른 X축 투영그래프를 나타내는 도면.

도 4는 본 발명에 따른 Y축 투영그래프를 나타내는 도면.

도 5는 변동처리부에 의한 사각영역 검출을 나타내는 도면.

도 6는 본 발명의 일실시예에 따른 화재 감시방법의 작동순서도.

<도면의 주요부분에 대한 부호의 설명>

10 : 카메라 20 : 영상획득부

30 : 영상전처리부 40 : 투영그래프 생성부

50 : 배경영상 갱신부 60 : 변동처리부

70 : 화재발생 판단부 80 : 화재발생 경보부

90 : 메모리버퍼

본 발명은 화재 및 산불 감시시스템에 이용할 목적으로, XY축으로 투영시킨 그래프의 차이를 이용하여 화재 발생시에 발생하는 연기 및 화염의 위치를 자동 검출하는 XY축 투영그래프를 이용한 화재 감시시스템 및 이를 이용한 화재 감시방법과 화재 감시방법이 구현된 컴퓨터 판독가능 기록매체에 관한 것이다.

최근의 화재 감시방법은 육안에 의한 화재 감시의 한계로 인해 열 센서에 의한 화재감시, 연기 센서에 의한 감시, 영상을 통한 화재감시 등을 들 수 있다. 열 센서 및 연기 센서에 의한 방법은 옥내환경과 같은 제한된 영역 내에서는 효과적으로 사용될 수 있으나, 산불과 같이 감시지역이 옥외환경일 경우 사용하기 매우 어렵다.

본 발명은 카메라로부터 획득한 비디오 영상으로부터 화재 및 산불을 자동 감시하는 방법이다. 먼저 비디오 영상으로부터 화재 및 산불을 감시하는 기존의 방법은 다음과 같다.

우선 첫째로 입력된 영상으로부터 화염 또는 연기에 속한 색상 또는 강도(intensity)의 범위를 설정하여 이진 영상을 생성하고, 구해진 이진 영상을 군집화하여 변화영역을 검출하고, 색상 또는 강도의 통계 정보를 이용하여 검출된 영역이 화염 또는 연기인지 여부를 판단하는 방법이다. 이러한 방법은 화소 단위로 변화영역을 검출하고 판단하기 때문에 영상 내에서 잡음에 의해 변화가 심한 경우, 특히 옥외 환경에서는 적용하기 어렵다.

둘째로 배경영상을 생성한 다음 배경영상과 현재영상의 화소 단위 차이를 계산하여 변화된 화소를 구하고, 이들 화소들을 군집화하여 영역을 찾고, 변화된 영역에서의 특징을 구하여 연기 또는 화염을 판단하는 방법이 있다. 이러한 방법 역시 배경영상과 현재 입력영상이 화소 단위로 일치하여야 정확히 구할 수 있는 단점이 있다.

셋째로 전체 영상의 화소 평균 및 표준편차를 이용하여 영상변화를 구하는 방법이 있다. 이러한 방법은 영상의 전체분포가 정규분포라고 가정하고 있으나 실제는 오류 등의 여러 요인에 의해 정규분포가 아닐 수 있으며, 국부적으로 일어난 화재의 경우에는 전체평균과 표준편차에 영향을 미칠 정도로 크게 영상이 변화할 때까지 화재를 검출할 수 없다.

마지막으로 웨이블릿 변환을 통한 주파수 영역에서의 처리 방법은 화재 감시 방법은 효과적인 방법일 수 있으나 국부적인 화재 발생과 계산량의 증가로 인해 실시간 처리에 문제가 있다.

이상에서 상술된 바와 같이 기존의 방법들은 이동영역을 화소 단위로 추출한 다음, 보다 큰 영역을 찾기 위하여 군집화하는 과정이 필요하며, 특히 영상을 획득한 시간, 태양조명, 계절 및 바람 등의 날씨 및 시간에 따른 영향으로 배경영상을 추출하는 것이 어려운 옥외 영상에 적용하기 위해 서는 보다 많은 전처리 및 후처리 절차를 필요로 한다.

본 발명은 상기의 문제점을 해결하기 위해 안출된 것으로서 입력된 영상으로 부터 잡음 필터링 등의 영상 전처리를 거친 후에 X축과 Y축 방향으로 영상의 투영그래프를 생성하고, 배경영상의 투영그래프와의 차이를 이용하여 변화 영역을 군집화 과정 없이 효과적으로 검출함으로써 잡음에 의한 오검출을 줄이고, 실시간 처리가 가능하여 옥내뿐 아니라 옥외 환경에서도 보다 안정적으로 변화영역을 자동감시 할 수 있는 XY축 투영그래프를 이용한 화재 감시시스템 및 이를 이용한 화재 감시방법과 화재 감시방법이 구현된 컴퓨터 판독가능 기록매체를 제공함에 그 목적이 있다.

본 발명은 상기의 목적을 달성하기 위해 아래와 같은 특징을 갖는다.

화재를 감시하고자 하는 대상지점의 영상을 촬상하는 카메라와; 상기 카메라로부터 출력되는 영상신호를 전송받아 저장하는 영상획득부와; 상기 영상획득부에 저장된 영상신호를 처리 속도가 증가되고 노이즈가 제거되도록 전처리과정을 수행하는 영상전처리부와; 상기 영상전처리부에 의해 전처리 된 영상신호를 X축과 Y축으로 투영시켜 평균을 구하는 방식으로 획득되는 XY축 투영그래프를 생성하는 투영그래프 생성부와; 투영그래프 생성부로부터 생성된 XY축 투영그래프 중 배경영상의 XY축 투영그래프를 생성하며 일정시간 경과됨에 따라 배경영상을 갱신하여 XY축 투영그래프를 생성하는 배경영상 갱신부와; 상기 투영그래프 생성부로부터 실시간 출력되는 XY축 투영그래프와 배경영상 갱신부로부터 출력되는 XY축 투영그래프의 비교차데이터를 검출하고 이로부터 변동이 발생된 사각영역을 검출하는 변동처리부와; 상기 변동처리부로부터 비교차데이터를 전송받아 화재여부를 판별하는 화재발 생 판단부;를 포함하여 이루어진다.

여기서 상기 화재발생 판단부에 의해 화재가 발생된 것으로 판단될 경우 화재발생을 표시하기 위한 화재발생 경보부가 더 포함됨이 바람직하며, 상기 화재발생 판단부에서는 변동처리부로부터 비교차데이터를 통해 설정된 임계치보다 큰 비교차를 가지는 XY축 내의 사각영역 검출데이터를 전송받아 사각영역 내의 영상 색상 또는 밝기데이터의 평균 및 표준편차를 구하여 변동처리부로부터 재차 전송받는 실시간 사각영역 내의 영상 색상 또는 밝기데이터의 평균 및 표준편차와 비교하여 화재발생여부를 판단한다.

또한 상기 전처리과정은 영상을 축소하는 서브 샘플링 또는 입력되는 영상신호에 포함된 공간 노이즈를 제거하기 위한 공간 미디언 필터링으로 이루어진다.

아울러 본 발명에 따른 화재 감시방법은 카메라에 의해 촬상되는 영상을 이용하여 화재여부를 감시하는 화재 감시방법에 있어서, 상기 카메라에 의해 촬상되는 영상을 획득하고 획득된 영상신호를 영상전처리부에서 전처리과정을 수행하는 제 1단계와; 실시간으로 촬상되는 영상과 비교할 수 있도록 배경영상 갱신부에 의해 배경영상이 생성되는 제 2단계와; 상기 투영그래프 생성부에 의해 실시간으로 촬상되는 영상이 X축과 Y축으로 투영되는 XY축 투영그래프가 생성되는 제 3단계와; 변동처리부에 의해 상기 투영그래프 생성부로부터 실시간 출력되는 XY축 투영그래프와 배경영상의 XY축 투영그래프 간에 비교차데이터를 검출하고 변동이 발생한 사각영역을 검출하는 제 4단계와; 상기 변동처리부로부터 비교차데이터 및 사각영역 데이터를 전송받아 화재발생 판단부에 의해 화재여부가 판별되는 제 5단계;를 포함 하여 구성된다.

여기서 상기 제 1단계에서의 전처리과정은 영상을 축소하는 서브 샘플링 또는 입력되는 영상신호에 포함된 공간 노이즈를 제거하기 위한 공간 미디언 필터링으로 이루어지며, 상기 제 1단계에서 전처리된 영상을 쿼드 트리(quad tree), 옥트 트리 (oct tree)를 포함하는 스케일 분할방식을 이용하여 영상을 부분영역으로 분리하여 상기 제 2단계 내지 제 5단계를 수행하는 것을 특징으로 한다.

또한 상기 제 3단계에서의 투영그래프 생성은 다음의 수식 4 및 수식 5에 의해 각각 X축 투영그래프와 Y축 투영그래프가 구해진다.

(수식 4)

(수식 5)

아울러 상기 제 5단계에서의 화재발생 판단부에 의한 화재여부 판별은 변동처리부로부터 비교차데이터를 통해 설정된 임계치보다 큰 비교차를 가지는 XY축 내의 사각영역 검출데이터를 전송받아 사각영역 내의 영상 색상 또는 밝기데이터의 평균 및 표준편차를 구하여 변동처리부로부터 재차 전송받는 실시간 사각영역 내 영상 색상 또는 밝기데이터의 평균 및 표준편차와 비교하여 이루어지는 것을 특징으로 한다.

또한 상기 변동처리부에 의한 사각영역 검출은 다음의 수식 6과 수식 7에 의해 각각 X축 방향 변동그래프 및 Y축 방향 변동그래프를 구하고 이를 다음의 수식 8과 수식 9에 의해 그 결과값이 양자 모두 1인 것으로 검출되는 X축 Y축간의 영역을 사각영역으로 검출한다.

DX(x,t)=│bProjX(x,t)- cProjX(x,t)│, x=0,...,M-1 (수식 6)

DY(y,t)=│bProjY(y,t)- cProjY(y,t)│, y=0,...,N-1 (수식 7)

If DX(x,t)> Th 1, then BX(x,t)= 1, else BX(x,t)= 0 (Th 1 : X축 설정임계치) (수식 8)

If DY(y,t)> Th 2, then BY(y,t)= 1, else BY(y,t)= 0 (Th 2 : Y축 설정임계치) (수식 9)

또한 상기 제 5단계에서는 다음의 수식 10에 의해 사각영역 내의 영상 색상 또는 밝기데이터의 평균 및 표준편차를 구하는 과정과, 다음의 수식 11에 의해 버퍼에 유지하는 과정 및 다음의 수식 12, 수식 13, 수식 14, 수식 15에 의해 연기와 불꽃의 진위여부를 판단하는 과정을 포함한다.

F(t):Rect(i,t), m(i,t), s(i,t), i=1,...,L(t) (수식 10)

F(t-1):Rect(i,t-1), m(i,t-1), s(i,t-1), i=1,...,L(t-1)

：

F(t-K):Rect(i,t-K), m(i,t-K), s(i,t-K), i=1,...,L(t-K) (수식 11)

Rect(j,t-k)<...<Rect(j,t-1)<Rect(j,t) (수식 12)

s(j,t-k),...,s(j,t-1),s(j,t)< Th 4 (Th 4는 표준편차의 설정임계치) (수식 13)

mSmoke - sSmoke < m(j,t), m(j,t-1),..., m(j,t-K) < mSmoke + sSmoke (수식 14)

mFlame - sFlame < m(j,t), m(j,t-1),..., m(j,t-K) < mFlame + sFlame (수식 15)

아울러 본 발명에 따른 컴퓨터 판독가능 기록매체는 상기 화재 감시방법을 실행할 수 있는 프로그램을 기록한 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명한다.

도 1은 본 발명에 의한 화재 감시시스템의 구성도이다.

도면을 참조하면 본 발명에 따른 화재 감시시스템은 크게 카메라(10), 영상획득부(20), 영상전처리부(30), 투영그래프 생성부(40), 배경영상 갱신부(50), 변동처리부(60), 화재발생 판단부(70), 화재발생 경보부(80)으로 구성된다.

여기서 상기 카메라(10)는 비디오 영상을 얻을 수 있는 카메라로서 고정된 형태로 영상을 촬상할 수 있음은 물론이나 별도로 구성되는 팬/틸트(pan/tilt) 제어장치 또는 컨트롤러에 의해 회전이나 상하조절 가능한 형태의 카메라로 구성됨이 바람직하다.

또한 상기 영상획득부(20)는 카메라(10)로부터 출력되는 영상신호를 입력받아 일정시간 간격으로 영상 프레임을 획득하고 저장할 수 있는 프레임 그래버 장치 또는 신호처리장치로 구성되며, 이에 따라 저장된 영상 프레임을 후술될 영상전처리부(30)로 전송한다.

여기서 상기 영상전처리부(30)는 획득된 영상에서 계산 속도를 빠르게 하기 서브 샘플링하거나 잡음이 심한 경우 잡음을 제거하기 위해 공간 미디언 필터링을 수행하며, 이러한 영상의 전처리는 선택적으로 채택되어 수행될 수 있음은 물론이다.

한편 상기 투영그래프 생성부(40)는 획득 및 전처리된 영상을 X축과 Y축 방향으로 투영시켜 각 축 방향으로 평균을 구하는 방법으로 투영그래프를 검출하는데, 이에 따라 X축 투영그래프는 세로방향으로의, Y축 투영그래프는 가로방향으로의 변화를 감시할 수 있게 된다.

이러한 X축 투영그래프와 Y축 투영그래프는 하나의 화소정보를 갖는 것이 아니라 가로 세로 방향의 평균값을 가지게 됨으로써 잡음에 덜 민감하며, 이들을 이용하면 화소 군집화 과정 없이 빨리 변화 영역을 검출할 수 있게 된다.

아울러 상기 배경영상 갱신부(50)는 후술될 변동처리부(60)에 의해 변화가 없는 것으로 판단되는 입력영상을 이용하여 현재의 배경영상을 갱신하고, 변화가 발생된 것으로 판단되는 입력영상은 배경영상의 갱신에 포함시키지 않는다.

또한 일정시간 계속 변화가 없을 때는 현재의 입력영상을 배경영상으로 초기화하여 배경영상에 누적되는 오류를 최소화한다.

한편 상기 변동 처리부(60)는 배경영상과 현재 입력영상으로부터 얻은 XY축의 투영그래프 사이의 비교차데이터를 검출하여 변화가 발생된 사각영역을 효율적으로 찾아낸다.

이에 따라 변화가 발생된 사각영역은 후술될 화재발생 판단부(70)에 의해 설 정임계치 이상인 사각영역의 XY축 좌표 위치와 크기, 사각영역의 영상색상 또는 밝기정보의 평균 및 표준편차 등의 데이터가 메모리 버퍼(90)에 저장된다.

상기 화재발생 판단부(70)는 최근의 K개의 영상으로부터 변화된 영역을 검출하여 메모리 버퍼에 저장된 사각형의 위치, 크기, 영상 색상 또는 밝기정보의 평균 및 표준편차 등의 데이터와 현재의 입력영상으로부터 구한 상기 데이터를 비교하여 화재발생 여부를 판단한다.

현재 입력영상에서 임계치 이상의 사각영역 크기가 하나도 발견되지 않은 경우는 화재가 발생하지 않은 것으로 판단하고, 점진적으로 변하는 영상에 적응시키기 위하여 현재의 입력영상과 배경영상의 가중 평균을 계산하여 배경영상 갱신부(50)에 의해 배경영상이 갱신되도록 할 수 있다.

한편 상기 화재발생 경보부(80)는 화재가 발생한 것으로 판단될 경우 알람 장치를 이용하여 화재방생 상황을 운영자에게 통보하기 위해 마련된다.

도 2는 본 발명에 따른 화재 감시방법을 개략적으로 도시한 흐름도이고, 도 3은 본 발명에 따른 X축 투영그래프를 나타내는 도면이며, 도 4는 도 3은 본 발명에 따른 Y축 투영그래프를 나타내는 도면이고, 도 5는 변동처리부에 의한 사각영역 검출을 나타내는 도면이다.

도면을 참조하면, 본 발명에 따른 화재 감시방법은 크게 카메라(10)에 의해 촬상된 입력영상을 전처리하는 제 1단계와, 배경영상을 생성하는 제 2단계와, XY축 투영그래프를 생성하는 제 3단계와, 비교차데이터를 통해 변화가 발생한 사각영역 을 검출하는 제 4단계 및 화재여부를 판별하는 제 5단계로 구성된다.

상기 제 1단계에서는 화재 감시대상 지역에 배치된 카메라(10)에 의해 영상이 촬상되고 이에 따라 촬상 영상은 영상획득부(20)에 의해 영상 프레임을 획득하고 저장하게 되며, 이는 다시 영상전처리부(30)에 의해 전처리과정이 수행된다.

상기 전처리과정으로는 계산 속도를 빠르게 하기 서브 샘플링 또는 잡음이 심한 경우 잡음을 제거하기 위해 공간 미디언 필터링을 들 수 있으며, 이는 공지된 기술이므로 구체적인 설명은 생략한다.

이에 따라 제 2단계에서는 전처리된 영상신호 중 화재발생 판단부(70)에 의해 변화가 없는 것으로 판단된 영상신호의 일부가 설정에 따라 배경영상으로 채택되는데, 이는 실시간으로 전송되는 영상신호와 비교하여 현재 화재가 발생하는지를 판단하기 위함이다.

배경영상이 생성되면 제 3단계로 현재 실시간으로 전송되는 전처리된 영상신호는 투영그래프 생성부(40)에 의해 XY축 투영그래프로 변화된다.

이때 배경영상은 영상신호의 형태로 형성되어 투영그래프 생성부(40)에서 실시간 입력영상과 함께 투영그래프로 변화될 수 있으며, 투영그래프의 형태로 형성되어 실시간 입력영상의 투영그래프와 변동처리부(50)에서 비교될 수도 있다.

이는 배경영상이 화재발생 판단부(70)에 의해 변화가 없는 것으로 판단된 이전 입력영상 중 일정 영상을 채택한 것이므로 처리속도 향상을 위해 재차 투영그래프 변경과정을 거치지 않고 투영그래프 형태로 배경영상을 채택한 것이다.

하지만 보다 신뢰성 있는 배경영상의 채택을 위해 후술될 가중평균 방식에 의해 배경영상을 채택할 경우에는 영상신호 단계에서 이전 배경영상과 현재 입력영상 중 변화가 없는 것으로 판단된 입력영상을 가중처리하여 새로운 배경영상을 생성하므로 별도로 투영그래프 생성부(40)를 통해 투영그래프의 형태로 생성되어야 할 것이다.

이에 따라 XY축 투영그래프가 생성되면 제 4단계를 통해 배경영상과 실시간 입력영상 간에 비교차데이터가 산출되며 이를 통해 변화가 있는 것으로 판단되는 사각영역이 검출되게 된다.

여기서 비교차데이터는 X축 및 Y축 좌표 위치와 크기, 영상색상 또는 밝기 등에 관한 데이터를 비교한 것으로 이는 설정에 따라 다양하게 채택될 수 있음은 물론이다.

이에 따라 사각영역이 검출되게 되면 제 5단계에서 화재발생 판단부(70)에 의해 화재 발생여부가 판별되는데, 이러한 화재 발생여부 판단방법은 최근의 K개의 영상으로부터 변화된 영역을 검출하여 메모리 버퍼에 저장된 사각형의 위치, 크기, 영상 색상 또는 밝기정보의 평균 및 표준편차 등의 데이터와 현재의 입력영상으로부터 구한 상기 데이터를 비교하여 이루어진다.

한편 상기 제 1단계에서 전처리과정을 수행한 영상을 쿼드 트리(quad tree), 옥트 트리(oct tree)를 포함하는 스케일 분할방식을 이용하여 영상을 부분영역으로 분리하여 상기 제 2단계 내지 제 5단계를 수행할 수 있는데, 이는 보다 정확하고 세밀한 감시를 위해 하나의 영상 프레임을 분할하여 분할된 여러 개의 영상 중 선 택하여 제 2단계 내지 제 5단계를 수행할 수 있으며, 분할된 모든 영상에 대해 각각 제 2단계 내지 제 5단계를 수행할 수도 있다.

도 6는 본 발명의 일실시예에 따른 화재 감시방법의 작동순서도이다.

도면을 참조하여 이하에서는 본 발명의 일실시예에 따른 화재 감시방법의 작동과정을 상세히 설명하도록 한다.

우선 S200은 비디오 영상 시퀀스로 카메라(10)와 영상 획득부(20)에 의해 획득된 그레이 스케일 또는 컬러 영상 프레임이다.

S210은 영상전처리부(30)에 대응하는 단계로 서브 샘플링과 공간 미디언 필터링을 포함하고 있으며, 획득되는 영상의 화질과 구현되는 하드웨어의 성능에 따라 선택적으로 사용할 수 있다.

서브 샘플링은 M×N 크기의 영상을 (M/m)×(N/n) 크기로 서브 샘플링하여 영상의 축소된 영상을 만드는 단계이다. 공간 미디언 필터링(median filtering)은 입력된 영상 프레임에 포함된 공간 잡음을 제거하기 위해 수행한다. 비선형 잡음 처리 능력이 우수한 미디언 필터링을 적용하며 시간제약을 최소화하기 위해 3×3 윈도우를 사용하여 필터링 처리를 한다. 컬러 영상의 경우 각 채널별로 미디언 필터링을 수행한다. 시간 t에 현재 영상 프레임은 I(x,y,t)로 표현한다. I(x,y,t)가 컬러 영상일 경우에는 [수식1]과 같이 3개의 채널로 표현된다.

[수식1]

I(x,y,t)=(Ir(x,y,t), Ig(x,y,t), Ib(x,y,t))

S220은 배경영상의 갱신부(50)에 대응하는 단계이다. S260에 의해 일정시간 동안 계속 변화가 없는 것으로 판단되면 [수식2]에 의해 시간 t+1의 배경영상, B(x,y,t+1)을 현재의 입력영상, I(x,y,t)로 초기화하여 배경영상에 누적된 오류를 초기화한다.

일정시간 이내의 영상 프레임에서 변화가 없는 것으로 판단되면 [수식3]에 의해 현재의 배경영상, B(x,y,t)와 현재의 입력영상, I(x,y,t)를 가중평균하여 다음 시간인 t+1에서의 배경영상, B(x,y,t+1)을 계산한다.

[수식2]

B(x,y,t+1)=I(x,y,t)

[수식3]

B(x,y,t+1)=(1-α)B(x,y,t)+αI(x,y,t) (0<α<1)

S230은 XY축 투영그래프 생성부(40)에 대응하는 단계이다. 획득 및 전 처리된 영상을 X축과 Y축 방향으로 투영(projection)시켜 각 행(row)과 열(column)별로 평균을 구하는 방법으로 투영그래프를 계산한다.

X축 투영그래프는 [수식4]에 의해 계산하며, Y축 투영그래프는 [수식5]에 의해 구해진다. [수식4]와 [수식5]의 투영 그래프는 현재 입력영상을 한번 스캔하는 것으로 간단히 계산된다.

투영그래프 cProjX(x,t)는 영상의 너비인 M 크기의 일차원 배열 형태이고, 투영그래프 cProjY(x,t)는 영상의 높이인 N 크기의 일차원 배열 형태이므로 메모리 사용량은 극히 적다. 도 3a 및 도 3b는 각각 배경영상의 X축 투영그래프 bProjX(x,t)와 연기를 포함하고 있는 입력영상의 X축 투영그래프 cProjX(x,t)의 예를 보인다.

도 4a 및 도 4b는 배경영상의 Y축 투영그래프 bProjY(y,t)와 연기를 포함하고 있는 입력영상의 Y축 투영그래프 cProjY(x,t)의 예를 보인다.

배경영상과 입력영상의 투영그래프의 차이를 계산하면 영상에서 변화가 발생한 영역을 1차원 배열의 값을 조사하는 것으로 손쉽게 검출할 수 있다. 또한 화소 단위의 값이 아니라 각 축 방향으로 투영된 평균값을 이용하기 때문에 잡음 등에 보다 안정적이다.

[수식4]

[수식5]

S240과 S250은 XY축 투영그래프의 변동 처리부(60)에 대응한다.

S240은 현재의 입력영상으로부터 계산된 XY축 투영그래프 cProjX(x,t), cProjY(y,t)와 배경영상의 XY축 투영그래프 bProjX(x,t), bProjY(y,t)를 이용하여 X축 방향 변동 그래프 DX(x,t)가 [수식6]과 같이 계산되고, Y축 방향 변동그래프 DY(y,t)는 [수식7]과 같이 계산된다.

변동그래프 DX(x,t)와 DY(y,t)는 각 축 방향으로의 변화 정보를 갖고 있다. 1차원 배열인 변동 그래프 DX(x,t)와 DY(y,t)를 조사하여 변동이 있는 곳을 1로 없는 곳을 0으로 표시하는 1차원 배열인 BX(x,t)와 BY(y,t)를 계산한다. DX(x,t)와 DY(y,t)는 중간결과이므로 구현에서는 차이의 절대값을 직접 설정임계치과 비교하게 되므로 메모리를 사용하지 않는다.

도 5a는 X축의 변화 정도를 나타내는 변동그래프 DX(x,t)를 도시한 것이며 도 5b는 Y축의 변화 정도를 나타내는 변동 그래프 DY(y,t)를 도시한 것이다.

DX(x,t)=│bProjX(x,t)- cProjX(x,t)│, x=0,...,M-1 (수식 6)

DY(y,t)=│bProjY(y,t)- cProjY(y,t)│, y=0,...,N-1 (수식 7)

[수식6]

DX(x,t)=│bProjX(x,t)- cProjX(x,t)│, x=0,...,M-1

[수식7]

DY(y,t)=│bProjY(y,t)- cProjY(y,t)│, y=0,...,N-1

[수식8]

If DX(x,t)> Th 1, then BX(x,t)= 1, else BX(x,t)= 0 (Th 1 : X축 설정임계치)

[수식9]

If DY(y,t)> Th 2, then BY(y,t)= 1, else BY(y,t)= 0 (Th 2 : Y축 설정임계치)

S250은 XY 각 축 방향의 변동 정보를 갖고 있는 1차원 배열인 BX(x,t)와 BY(y,t)를 이용하여 변화가 있는 사각 영역을 손쉽게 찾아낸다. X축 방향 변화정보를 갖고 있는 BX(x,t)를 조사하여 연속으로 1인 곳을 찾아내서 사각형의 가로 부분인 (left, right)를 찾고, BY(y,t)를 조사하여 사각형의 세로 부분인 (top, bottom)을 찾아낼 수 있다. 변화가 있는 사각영역은 하나 이상일 수 있다. 시간 t의 입력영상 I(x,y,t)에서 변동이 있는 사각영역을, Rect(i,t) ,i=1,...,L(t)라 한다. 여기서 L(t)은 변동이 있는 사각영역의 수가 된다. 사각영역은 모두 손쉽게 찾을 수 있으나 사각형의 크기가 설정임계치(Th 3)인 사각영역의 수는 하나 또는 두 개 이내로 제한할 수 있다. 도 5c는 검출된 사각영역의 예를 보인다.

한편 S260, S270, S280은 화재발생 판단부(70)에 대응하는 단계이다.

S260은 변동이 있는 사각영역, Rect(i,t),i=1,...,L(t)에서 사각영역의 면적이 설정임계치 이상을 갖는 사각영역이 하나도 검출되지 않았으면 현재 입력영상에서 변화된 부분이 없는 것으로 판단하고 현재 입력영상 I(x,y,t)와 배경영상 B(x,y,t)를 가중 평균하여 다음 시간인 t+1의 배경영상 B(x,y,t+1)를 계산한다.

이러한 방법은 날씨 등의 태양 조명등에 의해 점진적으로 변하는 환경에도 배경영상이 능동적으로 적응토록 하는 장점이 있다.

S270은 설정임계치(Th3) 이상을 갖는 사각영역을 이용한 변동부분의 특징정보를 버퍼링하는 단계로 최근 K개의 영상 프레임에서 구한 변동이 있는 사각형의 위치 및 색상 또는 밝기의 통계 정보를 유지한다.

F(t)는 시간 t에서의 특징을 의미하며, Rect(i,t)는 시간 t에서 i번째 변동 사각형의 (left, right, top, bottom) 좌표, m(i,t는 Rect(i,t)에 대응하는 입력영상 I(x,y,t)에서의 영상의 색상 또는 강도 값의 평균이며, s(i,t)는 표준편차이다.

현재 입력영상에서 계산된 특징데이터:

[수식10]

F(t):Rect(i,t), m(i,t), s(i,t), i=1,...,L(t)

버퍼에 저장된 최근 영상에서 계산된 특징데이터:

[수식11]

F(t-1):Rect(i,t-1), m(i,t-1), s(i,t-1), i=1,...,L(t-1)

：

F(t-K):Rect(i,t-K), m(i,t-K), s(i,t-K), i=1,...,L(t-K)

S280은 현재 입력영상 프레임에서 계산된 특징인 F(t)를 최근의 K개의 프레임으로부터 계산하여 버퍼에 저장된 F(t-1),...,F(t-K)와 비교하여 화재 발생여부를 판단한다.

화재발생 판단하는 방법은 F(t)의 특징 중에서 위치 정보인 Rect(i,t)를 이용하여 F(t-1),...,F(t-K)에 저장된 Rect(i,t-1),...,Rect(i,t-K) 에서 사각형의 위치가 겹치는 사각형 Rect(j,t-1),...,Rect(j,t-K)를 찾아내고, [수식12]와 같이 사각형의 크기가 점진적으로 커지는지를 판단한다.

여기서 시간 t-1에서 j번째 사각형 Rect(j,t-1)는 시간 t에서의 i번째 사각형 Rect(i,t)와 영역이 겹치는 사각형을 의미한다.

화재 발생시에 영역이 점진적으로 커지는 부분으로 판단되면, 사각영역의 색상 또는 밝기정보의 표준 편차가 설정임계치(Th4)보다 작은가를 판단한다. 이유는 사각영역 내에 동일한 색상을 유지하고 있는지를 보기 위함이다.

[수식14]는 연기를 검출하기 위한 것으로, [수식12] 및 [수식13]을 만족하는 사각형에서의 색상의 평균과 표준편차가 미리 계산된 연기의 평균(mSmoke)과 표준편차(sSmoke) 이내에 있는지를 판단하고, [수식15]는 불꽃을 검출하기 위한 것으로 미리 계산된 불꽃의 평균(mFlame)과 표준편차(sFlame) 이내에 있는지를 판단하여 불꽃을 검출한다.

연기에 의해 현재 입력영상의 사각영역과 동일 색상 통계정보를 갖는지를 확인한다. [수식12] 내지 [수식14]를 만족하면 연기검출에 의해 화재가 발생한 것으로 판단한다.

또한 [수식12], [수식13] 및 [수식15]를 만족하면 화염 검출에 의해 화재가 발생한 것으로 판단한다.

[수식12]

Rect(j,t-k)<...<Rect(j,t-1)<Rect(j,t)

[수식13]

s(j,t-k),...,s(j,t-1),s(j,t)< Th 4 (Th 4는 표준편차의 설정임계치)

[수식14]

mSmoke - sSmoke < m(j,t), m(j,t-1),..., m(j,t-K) < mSmoke + sSmoke

[수식15]

mFlame - sFlame < m(j,t), m(j,t-1),..., m(j,t-K) < mFlame + sFlame

화재가 발생하였을 때, 화염, 특히 연기의 경우 동일 위치를 포함하는 형태에서 점점 커지기 때문에 영역의 크기 정보는 매우 중요한 정보이다. 사각영역이 겹치지 않고 이동하는 경우는 차량 또는 인위적인 물체에 의한 이동으로 판단된다.

산불 감시의 경우는 사각영역의 크기 변화만으로도 효율적으로 산불발생을 감시할 수 있다. 상기 기술한 방법에서 버퍼에 유지하고 있어야 하는 특징정보의 수는 최근 프레임의 수에 의존한다. K는 영상의 샘플링 간격과 사용할 수 있는 메모리에 따라 적절히 사용한다. 예를 들면, K=0인 경우는 버퍼에 하나의 특징 정보도 유지하지 않는 경우로, 현재 입력영상으로부터 계산된 특징 F(t)와 연기 또는 화염의 색상 통계 정보만으로 판단하는 경우이다.

K=1인 경우는 버퍼에 최근의 영상프레임의 특징정보를 버퍼에 유지하는 경우로, 현재 입력영상으로부터 계산된 특징 F(t)와 연기 또는 화염의 색상 통계 정보와 함께 사용하면 더 정확히 화재발생 여부를 판단할 수 있다.

이러한 화재발생 여부 판단에 따라 화재가 발생한 것으로 판단할 경우 S290으로 화재경보 발생부(80)를 통해 화재 경보가 울리게 된다.

본 발명의 의한 화재 감시방법은 컴퓨터에서 프로그램 코드로서 구현하는 것이 가능하다. 이러한 화재 감시방법이 구현된 프로그램은 컴퓨터가 읽을 수 있는 기록매체에 기록되어 컴퓨터 시스템으로 하여금 읽고 이에 따라 작업이 수행될 수 있게 된다.

이러한 기록매체는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM,CD-ROM,자기테이프,플로피디스크,광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

상기에서 기술된 바와 같이 본 발명은 화소 단위 계산이 아니라 XY 축 방향의 변화를 감지함으로써 옥외 환경에서도 연기 및 화염에 의한 화재발생의 오검출 빈도를 효과적으로 줄일 수 있으며, XY축 투영그래프의 변화에 의해 군집화 과정 없이 매우 효과적으로 변화된 사각영역을 검출할 수 있어, 실시간 시스템으로 구축에 용이함으로써, 화재 또는 산불 발생으로 인한 인적 및 물적 피해를 최소화할 수 있다.

Claims

화재를 감시하고자 하는 대상지점의 영상을 촬상하는 카메라와;

상기 카메라로부터 출력되는 영상신호를 전송받아 저장하는 영상획득부와;

상기 영상획득부에 저장된 영상신호를 처리 속도가 증가되고 노이즈가 제거되도록 전처리과정을 수행하는 영상전처리부와;

상기 영상전처리부에 의해 전처리 된 영상신호를 X축과 Y축으로 투영시켜 평균을 구하는 방식으로 획득되는 XY축 투영그래프를 생성하는 투영그래프 생성부와;

투영그래프 생성부로부터 생성된 XY축 투영그래프 중 배경영상의 XY축 투영그래프를 생성하며 일정시간 경과됨에 따라 배경영상을 갱신하여 XY축 투영그래프를 생성하는 배경영상 갱신부와;

상기 투영그래프 생성부로부터 실시간 출력되는 XY축 투영그래프와 배경영상 갱신부로부터 출력되는 XY축 투영그래프의 비교차데이터를 검출하고 이로부터 변동이 발생된 사각영역을 검출하는 변동처리부와;

상기 변동처리부로부터 비교차데이터를 전송받아 화재여부를 판별하는 화재발생 판단부;를 포함하여 이루어지는 것을 특징으로 하는 XY축 투영그래프를 이용한 화재 감시시스템.
제 1항에 있어서,

상기 화재발생 판단부에 의해 화재가 발생된 것으로 판단될 경우 화재발생을 표시하기 위한 화재발생 경보부가 더 포함되는 것을 특징으로 하는 XY축 투영그래프를 이용한 화재 감시시스템.
제 1항에 있어서,

상기 화재발생 판단부에서는 변동처리부로부터 비교차데이터를 통해 설정된 임계치보다 큰 비교차를 가지는 XY축 내의 사각영역 검출데이터를 전송받아 사각영역 내의 영상 색상 또는 밝기데이터의 평균 및 표준편차를 구하여 변동처리부로부터 재차 전송받는 실시간 사각영역 내 영상 색상 또는 밝기데이터의 평균 및 표준편차와 비교하여 화재발생여부를 판단하는 것을 특징으로 하는 XY축 투영그래프를 이용한 화재 감시시스템.
제 1항에 있어서,

상기 전처리과정은 영상을 축소하는 서브 샘플링 또는 입력되는 영상신호에 포함된 공간 노이즈를 제거하기 위한 공간 미디언 필터링으로 이루어지는 것을 특징으로 하는 XY축 투영그래프를 이용한 화재 감시시스템.
카메라에 의해 촬상되는 영상을 이용하여 화재여부를 감시하는 화재 감시방법에 있어서,

상기 카메라에 의해 촬상되는 영상을 획득하고 획득된 영상신호를 영상전처리부에서 전처리과정을 수행하는 제 1단계와;

실시간으로 촬상되는 영상과 비교할 수 있도록 배경영상 갱신부에 의해 배경영상이 생성되는 제 2단계와;

상기 투영그래프 생성부에 의해 실시간으로 촬상되는 영상이 X축과 Y축으로 투영되는 XY축 투영그래프가 생성되는 제 3단계와;

변동처리부에 의해 상기 투영그래프 생성부로부터 실시간 출력되는 XY축 투영그래프와 배경영상의 XY축 투영그래프 간에 비교차데이터를 검출하고 변동이 발생한 사각영역을 검출하는 제 4단계와;

상기 변동처리부로부터 비교차데이터 및 사각영역 데이터를 전송받아 화재발생 판단부에 의해 화재여부가 판별되는 제 5단계;를 포함하여 구성되는 것을 특징으로 하는 XY축 투영그래프를 이용한 화재 감시방법.
제 5항에 있어서,

상기 제 1단계에서의 전처리과정은 영상을 축소하는 서브 샘플링 또는 입력되는 영상신호에 포함된 공간 노이즈를 제거하기 위한 공간 미디언 필터링으로 이루어지는 것을 특징으로 하는 XY축 투영그래프를 이용한 화재 감시방법.
제 5항에 있어서,

상기 제 1단계에서 전처리과정을 수행한 영상을 쿼드 트리(quad tree), 옥트 트리 (oct tree)를 포함하는 스케일 분할방식을 이용하여 영상을 부분영역으로 분리하여 상기 제 2단계 내지 제 5단계를 수행하는 것을 특징으로 XY축 투영그래프를 이용한 화재 감시방법.
제 5항에 있어서,

상기 제 3단계에서의 투영그래프 생성은 다음의 수식 4 및 수식 5에 의해 각각 X축 투영그래프와 Y축 투영그래프가 구해지는 것을 특징으로 하는 XY축 투영그래프를 이용한 화재 감시방법.

(수식 4)

(수식 5)
제 5항에 있어서,

상기 제 5단계에서의 화재발생 판단부에 의한 화재여부 판별은 변동처리부로부터 비교차데이터를 통해 설정된 임계치보다 큰 비교차를 가지는 XY축 내의 사각영역 검출데이터를 전송받아 사각영역 내의 영상 색상 또는 밝기데이터의 평균 및 표준편차를 구하여 변동처리부로부터 재차 전송받는 실시간 사각영역 내 영상 색상 또는 밝기데이터의 평균 및 표준편차와 비교하여 이루어지는 것을 특징으로 하는 XY축 투영그래프를 이용한 화재 감시방법.
제 5항에 있어서,

상기 변동처리부에 의한 사각영역 검출은 다음의 수식 6과 수식 7에 의해 각각 X축 방향 변동그래프 및 Y축 방향 변동그래프를 구하고 이를 다음의 수식 8과 수식 9에 의해 그 결과값이 양자 모두 1인 것으로 검출되는 X축 Y축간의 영역을 사각영역으로 검출하는 것을 특징으로 하는 XY축 투영그래프를 이용한 화재 감시방법.

DX(x,t)=│bProjX(x,t)- cProjX(x,t)│, x=0,...,M-1 (수식 6)

DY(y,t)=│bProjY(y,t)- cProjY(y,t)│, y=0,...,N-1 (수식 7)

If DX(x,t)> Th 1, then BX(x,t)= 1, else BX(x,t)= 0 (Th 1 : X축 설정임계치) (수식 8)

If DY(y,t)> Th 2, then BY(y,t)= 1, else BY(y,t)= 0 (Th 2 : Y축 설정임계치) (수식 9)
제 9항에 있어서,

상기 제 5단계에서는 다음의 수식 10에 의해 사각영역 내의 영상 색상 또는 밝기데이터의 평균 및 표준편차를 구하는 과정과, 다음의 수식 11에 의해 버퍼에 유지하는 과정 및 다음의 수식 12, 수식 13, 수식 14, 수식 15에 의해 연기와 불꽃의 진위여부를 판단하는 과정을 포함하는 것을 특징으로 하는 XY축 투영그래프를 이용한 화재 감시방법.

F(t):Rect(i,t), m(i,t), s(i,t), i=1,...,L(t) (수식 10)

F(t-1):Rect(i,t-1), m(i,t-1), s(i,t-1), i=1,...,L(t-1)

：

：

F(t-K):Rect(i,t-K), m(i,t-K), s(i,t-K), i=1,...,L(t-K) (수식 11)

Rect(j,t-k)<...<Rect(j,t-1)<Rect(j,t) (수식 12)

s(j,t-k),...,s(j,t-1),s(j,t)< Th 4 (Th 4는 표준편차의 설정임계치) (수식 13)

mSmoke - sSmoke < m(j,t), m(j,t-1),..., m(j,t-K) < mSmoke + sSmoke (수식 14)

mFlame - sFlame < m(j,t), m(j,t-1),..., m(j,t-K) < mFlame + sFlame (수식 15)
상기 제 5항 내지 제 11항 중 어느 한 항에 기재된 방법을 실행할 수 있는 프로그램을 기록한 것을 특징으로 하는 XY축 투영그래프를 이용한 화재 감시방법이 구현된 컴퓨터 판독가능 기록매체.