KR20140017222A - 감시시스템의 영상 융합을 통한 객체 감시 방법 - Google Patents

Abstract

본 발명은 태양이나 인공조명과 같은 광원이 존재하는 경우 빛의 가시광선 부분을 탐지하여 획득한 가시광선 영상(visible image)과, 객체에서 방사하는 열적외선을 탐지하여 획득된 열적외선 영상(thermal image)을 자동으로 융합한 영상을 통해 사람이나 자동차와 같은 관심 객체의 움직임을 신속하고 정확하게 탐지할 수 있다.

Description

감시시스템의 영상 융합을 통한 객체 감시 방법{MONITORING METHOD THROUGH IMAGE FUSION OF SURVEILLANCE SYSTEM}

본 발명은 감시시스템의 영상 융합을 통한 객체 감시 방법에 관한 것으로서, 더욱 상세하게는 태양이나 인공조명과 같은 광원이 존재하는 경우 빛의 가시광선 부분을 탐지하여 획득한 가시광선 영상(visible image)과, 객체에서 방사하는 열적외선을 탐지하여 획득된 열적외선 영상(thermal image)을 자동으로 융합한 영상을 통해 사람이나 자동차와 같은 관심 객체의 움직임을 탐지하고 추적하는 감시시스템의 영상 융합을 통한 객체 감시 방법에 관한 것이다.

보통, 감시시스템은 CCTV카메라에서 회득된 영상을 기반으로 사람이나 자동차와 같은 관심 객체의 움직임을 탐지하고 추적하는 데 그 목적이 있다.

이때, 사용되는 대부분의 카메라는 빛의 가시광선 부분만을 의존하여 영상을 생성하게 되는데, 즉 광원이 없는 야간의 경우는 영상획득이 어렵다는 문제점이 있고, 결국 이러한 문제점은 감시시스템이 활용적인 측면을 보면 태양이나 인공조명과 같은 광원이 존재하는 경우에만 활용할 수 있다는 또 다른 문제점을 초래하게 된다.

또한, 현재 감시시스템에서는 RGB camera(가시광선 영역)와 IR camera(열적외선 영역) 두 대가 서로 비슷한 위치에 설치되어 있다. 그러나, 카메라의 중심이라고 할 수 있는 렌즈의 중심위치와 주점 위치가 두 대의 카메라가 각각 다르므로 서로 비슷한 영역을 촬영할 수는 있어도 정확히 같은 영역을 촬영할 수는 없다.

따라서 두 영상의 대상지역을 맞추어주는 영상 등록(image registration)이 정밀히 이루어져야 영상 융합(image fusion)이 가능하다. 영상 등록 작업을 위해서는 두 영상에서 각각 대응점(corresponding points)을 구해야 한다.

종래의 영상 등록의 과정에서 상술한 작업은 수동(manual)으로 사람이 대응점을 직접 찾아서 입력하는 방식으로 이루어져 작업의 효율성과 정확성이 떨어지는 문제점이 있었다.

특허문헌 1 : 대한민국 등록특허공보 제10-0478442호(2005.03.14)

본 발명은 상술한 문제점들을 해결하기 위한 것으로서, 더욱 구체적으로 가시광선 영상(visible image)과는 달리, 객체에서 방사하는 열적외선을 탐지하여 환경적으로 낮과 밤에 모두 영상 취득이 가능하고, 안개나 연기 등으로 가시광선 영역에서는 촬영하지 못했던 부분까지도 모두 영상화가 가능한 열적외선 영상(thermal image)을 취득하여, 서로 다른 영상 특성을 지니는 가시광선 영상(visible image)과 자동으로 융합하여 환경적으로 제약을 받지않고 객체의 탐지를 가능하게 하는 감시시스템의 영상 융합을 통한 객체 감시 방법을 제공하는 것을 목적으로 한다.

상술한 목적을 달성하기 위한 본 발명에 따른 감시시스템의 영상 융합을 통한 객체 감시 방법은 감시시스템의 가시광선 카메라와 열적외선 카메라가 각각 가시광선 영상과 열적외선 영상을 촬영하는 단계, 감시시스템의 가스광선 영상 모델링부와 열적외선 영상 모델링부가 각각 가시광선 영상과 열적외선 영상의 백그라운드를 가우시언 혼합모델(GMM:Gaussian mixture model)를 통해 모델링 하는 단계, 감시시스템의 영상 매칭부가 가시광선 영상과 열적외선 영상의 대응점을 찾고, 블랍(Blob)을 추출하여 두 영상을 매칭시키는 단계, 영상 매칭부에 의한 영상의 매칭이 완료되면, 감시시스템의 주 제어부가 대응점의 개수가 4개 이상인지 판단하는 단계, 대응점의 개수가 4개 이상인 경우 감시시스템의 영상 등록부가 열적외선 영상을 기준영상인 가시광선 영상에 등록하는 단계, 및 감시시스템의 영상 융합부가 영상 융합의 기준이 되는 가시광선 영상을 기반으로 열적외선 영상을 융합하는 단계를 포함하는 것을 특징으로 한다.

특히, 본 발명에 따른 감시시스템의 영상 융합을 통한 객체 감시 방법에 있어서, 백그라운드 모델링 단계는 가시광선 영상 모델링부와 열적외선 영상 모델링부가 영상의 모든 픽셀에 대한 가우시언 혼합 모델의 파라미터를 결정하는 단계, 가시광선 영상 모델링부와 열적외선 영상 모델링부가 가우시언을 갱신하는 단계, 가시광선 영상 모델링부와 열적외선 영상 모델링부가 모든 가우시언들을 가중치/분산값(ω/σ)에 따라 정렬시키는 단계, 및 가시광선 영상 모델링부와 열적외선 영상 모델링부가 높은 가중치와 낮은 분산 값을 가지는 가우시언을 백그라운드 프로세스로서 선택하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 감시시스템의 영상 융합을 통한 객체 감시 방법은 영상등록과정을 사람이 인위적으로 대응점을 지정해 주는 방식이 아닌 자동으로 수행될 수 있도록 매칭시키는 방법을 사용함으로써 야간이나 안개가 낀 환경적 요인의 제약을 받지않고 객체를 보다 신속하고 정확하게 감시할 수 있는 효과가 있습니다.

도 1은 본 발명에 따른 감시시스템의 블록도,
도 2는 본 발명에 따른 감시시스템의 영상 융합 방법의 흐름도,
도 3은 본 발명에 따른 감시시스템에 의한 모델링 방법의 흐름도,
도 4은 본 발명에 따른 감시시스템에 의해 촬영된 주간 가시광선 영상의 백그라운드 모델링 결과 도면,
도 5는 본 발명에 따른 감시시스템에 의해 촬영된 주간 열적외선 영상 백그라운드 모델링 결과 도면,
도 6는 본 발명에 따른 감시시스템에 의해 촬영된 야간 가시광선 영상 백그라운드 모델링 결과 도면,
도 7은 본 발명에 따른 감시시스템에 의해 촬영된 야간 열적외선 영상 백그라운드 모델링 결과 도면,
도 8 및 도 9는 본 발명에 따른 영상 매칭부(170)부에 의한 특정 프레임의 주간 영상에 대한 대응점 추출결과 도면,
도 10은 본 발명에 따른 영상 등록부(180)에 의한 특정 프레임의 야간 영상에 대한 등록결과 도면,
도 11은 본 발명에 따른 영상 등록 후 열적외선 영상에서 백라운 모델링이 블랍 특성과 위치정보를 이용하여 오직 움직이는 객체만을 추출한 결과 도면,
도 12는 본 발명에 따른 영상 융합부에 의한 영상융합 결과 도면, 및
도 13은 본 발명에 따른 영상 융합부에 의한 객체 기반 영상 융합 결과 도면이다.

이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명에 따른 감시시스템의 블록도 이다.

도 1에 도시된 바와 같이, 본 발명에 따른 감시시스템은 주제어부(110), 가시광선 카메라(120), 열적외선 카메라(130), 가시광선 영상 모델링부(140), 열적외선 모델링부(150) 블랍 추출부(160), 영상 매칭부(170), 영상 등록부(180), 영상 융합부(190) 및 데이터 베이스 부(110a)을 포함한다.

상기 가시광선 카메라(120)는 태양이나 인공조명과 같은 광원이 객체에 조사되어 반사되는 광원을 통해 객체의 영상을 촬영한다.

상기 열적외선 카메라(130)는 객체에서 방사하는 열적외선을 탐지하여 객체의 영상을 촬영한다.

상기 가시광선 카메라(120)와 상기 열적외선 카메라(130)에 의해 촬영된 영상은 각각 상기 데이터 베이부(110a)의 가시광선 영상DB(111a)과 열적외선 영상DB(112a)에 저장된다.

상기 가시광선 영상 모델링부(140)는 상기 가시광선 카메라(120)가 촬영한 영상의 백그라운드를 모델링하고, 상기 열적외선 영상 모델링부(150)는 상기 열적외선 가시광선 카메라(120)가 촬영한 영상의 백그라운드를 모델링하는데, 보다 구체적으로 백그라운드 모델링의 적응적인 부분과 정확도 부분을 고려하여 확률기반의 가우시언 혼합모델(Gaussian mixture model)을 구현하여 이용한다.

상기 블랍 추출부(160)는 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)에 의해 모델링된 영상으로부터 블랍(Blob)을 추출한다.

한편, 상기 영상 매칭부(170)는 상기 블랍 추출부(160)가 추출한 블랍을 통해 모델링된 가시광선 영상과, 열적외선 영상을 매칭시킨다.

더욱 구체적으로, 상기 영상 매칭부(170)는 SURF(Speeded Up Robust Features) 매칭 기법을 사용하여 영상을 매칭하게 되는데, 상기 SURF(Speeded Up Robust Features) 기법은 영상의 회전, 스케일, 조명 변화에 강인한 특성을 가지며, 처리속도 또한 SIFT(Scale Invariant Feature Transform)방법에 비해 매우 빠르며 결과는 SIFT와 유사하다.

상기 영상 등록부(180)는 상기 영상 매칭부(170)에 의해서 얻어진 두 영상의 대응점들을 이용하여 영상을 등록하게 되는데, 두 영상의 영상 좌표 시스템(image coordinate system)을 동일하게 맞추어 주는 영상 변환(image transformation) 방식, 특히 대응점이 최소 4점이 있으면 가능한 투영의 영상 변환(projective image transform) 방식을 통해 영상 등록 작업이 이루진다.

본 발명은 영상등록과정을 사람이 인위적으로 대응점을 지정해 주는 방식이 아닌 자동으로 수행될 수 있도록 매칭 방법을 사용하므로, 정확도를 높이기 위해 대응점들 개수의 중복성(redundancy)을 높이고, 최소제곱법(least square method)을 이용하여 변환 행렬(transformation matrix)를 계산한다.

상기 영상 융합부(190)는 광원이 존재하는 주간(day time)의 영상과 야간(night time)의 영상을 융합하게 되는데, 이때 영상 융합은 기준이 되는 가시광선 영상을 기반으로 열적외선 영상에서 탐지된 객체(사람 등)의 블랍을 기반으로 융합한다.

본 발명에 따른 또 다른 실시예로서, 감시방법에 대하여, 도 2를 참조하여 상세하게 설명한다.

도 2는 본 발명에 따른 감시방법의 플로우 차트이다.

먼저, 상기 가시광선 카메라(120)는 태양이나 인공조명과 같은 광원이 객체에 조사되어 반사되는 광원을 통해 객체의 영상을 촬영하는 단계를 수행하고(S100), 동 시간대에 상기 열적외선 카메라(130)는 객체에서 방사하는 열적외선을 탐지하여 객체의 영상을 촬영하는 단계를 수행한다(S100`).

한편, 상기 가시광선 카메라(120)와 상기 열적외선 카메라(130)가 촬영한 영상은 각각 상기 주 제어부(110)에 의해 가시광선 영상DB(111a)와 열적외선 영상DB(112a)에 저장된다.

상기 가시광선 영상 모델링부(140)는 상기 가시광선 카메라(120)가 촬영한 영상의 특정 프레임에 대하여 백그라운드를 모델링하는 단계를 수행하고(S200), 동시에 상기 열적외선 영상 모델링부(150)는 상기 열적외선 가시광선 카메라(120)가 촬영한 동 시간대의 프레임 영상에 대하여 백그라운드를 모델링하는 단계를 수행한다(S200`).

상기 백그라운드 모델링은 포괄적이고 적응적인 백그라운드 모델링(Background) 기법이 요구되며, 다음과 같은 상황에 대처할 수 있는 모델링 기법이 궁극적으로는 필요시 된다.

즉, 조도의 변화에도 적응적으로 대처하고, 그림자 효과를 제거하며, 나뭇잎이 바람에 흔들리는 것과 같은 작은 움직임을 객체로 탐지하지 않으며, 영상의 첫 scene에 객체가 존재하더라도 그 상태로 모델링을 초기화 할 수 있어야 한다.

확률기반에서는 연속된 영상을 이용하여 각 픽셀에서 배경 모델을 생성하고, 이렇게 생성된 배경 모델과 입력 영상과의 색상 및 명도 값 차이를 이용하여 움직이는 객체를 분리해 낸다.

이때 특징값으로 화소 밝기값 뿐만이 아니라 시간에 따른 차이, 평균, 분산, 최대, 최소 등이 사용된다. 이러한 값들로 단순 정규 분포나 혼합 정규 분포, 비모수 밀도 추정, 예측기 기반 등에 따라 배경 모델을 생성하게 되며, 얻어진 배경 모델에 해당하지 않는 화소 값들을 전경으로 검출하게 된다.

특히, 혼합 정규 분포를 이용한 백그라운드 모델링은 백그라운드 모델링과 학습 과정의 수학적인 기반으로 인해, 시간의 변화에 따라 물체 검출이 안정적이며 multimodal 분포를 가지는 다양한 배경들을 모델링할 수 있다.

각각의 화소에 대하여 배경의 분포를 여러 개의 정규분포의 결합으로 모델링하고, 각 정규 분포를 학습 및 초기화하기 때문에 다양한 배경의 변화를 안정적으로 학습하게 된다.

상술한 바와 같은 기본적인 알고리즘을 사용하여 백그리운드를 모델링하는 기법인 가우시언 혼합모델(GMM:Gaussian mixture model)에 대하여 설명한다.

도 3은 본 발명에 따른 감시시스템에 의한 모델링 방법을 설명하기 위한 흐름도 이다.

먼저, 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)는 영상의 모든 픽셀에 대한 가우시언 혼합 모델의 파라미터를 결정하는 단계를 수행한다(S210).

즉, 시간 t에 입력되는 화소값 x의 확률밀도 p(x)는 평균 μ와 분산 Σ로 표현되는 K개의 정규 분포 η를 각각의 비율 ω에 따라 가중합(weighted sum)으로 표현된다

어떤 시간 t에서 특정 픽셀 값에 대해 알고 있는 것은 그 픽셀 값의 히스토리이고, 여기서 P(Xt)는 특정 픽셀에 대한 확률이다. K는 가우시언 개수로서 메모리부(본원발명에서의 데이터베이스 부일 수 있음.)에 저장하고 성능에 따라 결정할 수 있는데, 보통은 3에서 5 사이 값으로 정의해 준다.

ωi는 가중치를 추정한 값으로 시간 t에서 어느 가우시언 i에 속할지 결정해 주는 계수로 이해하면 된다. μi, Σi는 i번째 가우시언의 평균값과 공분산 행렬을 의미하고, N은 가우시언 확률밀도함수(PDF)를 나타낸다.

이후, 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)는 on-line K means 추정방법을 사용하여, 가우시언을 갱신하는 단계를 수행한다(S220).

보다 구체적으로, 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)는 새로운 픽셀값 X_{t +1}이 현존하는 가우시언 분포도 내에서 2.5σ 범위 안에 속하는지 판단하는 단계를 수행한다(S221).

상기 새로운 픽셀값 X_{t +1}이 현존하는 가우시언 분포도 내에서 2.5σ 범위 안에 속하지 않는다면, 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)는 새로운 픽셀값 X_{t +1}이 임의의 K개의 가우시언 분포에도 매치되지 않는 것으로 여기고, 가장 낮은 확률 분포로서 배치하는 단계를 수행한다(S222).

이때, 새 픽셀 값을 평균으로 가지며, 높은 분산 값, 낮은 가중치를 가지도록 배정한다.

반면, 상기 새로운 픽셀값 X_{t +1}이 현존하는 가우시언 분포도 내에서 2.5σ 범위 안에 속한다면 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)는 가우시언에 매치된 경우로 여기고, 아래의 [수학식 2]와 같이 가우시언의 요소값 들이 갱신되도록 하는 단계를 수행한다(S223).

상기 [수학식 2]를 보면 새로운 픽셀 값이 매치되는 그 가우시언의 요소 중 평균과 분산만이 갱신된다. 즉, 나머지 가우시언 분포의 평균과 분산 값은 그대로 유지한다. 그러나 모든 가우시언들의 가중치는 모두 다음과 같이 갱신된다.

위 식에서 Mi,t+1은 매치된 가우시언에서만 1의 값을 가지며, 나머지 가우시언에 대해서는 모두 0의 값을 갖는다. 위와 같은 방법이 가지는 장점은 어떤 픽셀이 백그라운드로서 모델링 될 때, 현존하는 백그라운드 모델을 destroy하지 않고, 원래 분포도 또한 혼합 분포안에 남겨지게 된다.

예를 들어, 만약 객체가 배경 될 만큼 오랫동안 멈추어 있다가 다시 움직여도 그전의 백그라운드를 설명하는 분포도는 여전히 존재한다. 물론 같은 평균과 분산을 가지고 낮은 가중치를 부여받는다.

영상의 모든 픽셀 변화에 대해서 가우시언 혼합 모델의 파라미터가 결정되고 갱신됨에 따라서 본 발명에서는 그 중 어느 가우시언이 가장 백그라운드 프로세스로서 근접하고 확률적 기반이 있는지에 관심이 있다.

이러한 것을 모델링하기 위해서, 어느 가우시언 모델이 백그라운드 프로세스로서 대표될만 한가를 결정해야 한다. 그러기 위해서 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)는 우선 모든 가우시언들을 가중치/분산값(ω/σ)에 따라 정렬시키는 단계를 수행한다(S230).

ω/σ 이값은 분포도가 더 많은 가중치(즉, evidence)를 가지거나 분산 값이 작아질 때 증가하는 값이다. 따라서, 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)는 높은 가중치와 낮은 분산 값을 가지는 가우시언을 백그라운드 프로세스로서 선택하는 단계를 수행한다(S240).

Gaussian 1: most likely background distribution

:

:

Gaussian k: less probable

위에서 정렬한 것처럼 가우시언 1은 가장 확률이 높은 분포가 되고 마지막 가우시언k는 가장 적은 확률을 가지는 분포가 되며 궁극적으로는 새로운 분포로 대체된다. 그리고 나서, 다음을 만족하는 첫 백그라운드 분포도가 백그라운드 모델(프로세스)로서 선택이 된다.

상기 수학식 4에서 T는 데이터가 백그라운드에 의해 account되어야하는 최소 portion값으로, 즉 배경이라고 생각되는 값의 가중치의 최소값이다. 보통 T값을 작게 정의한다는 것은 백그라운드 모델을 거의 유니모달 분포로서 생각한다는 것으로 이 경우에 가장 확률이 높은 백그라운드(주로 가우시언1)만이 프로세싱된다. T값을 큰 값으로 정의하면 멀티 모달 분포를 나타내게 된다.

상술한 바와 같이 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)에 의한 각각 가시광선 영상과 열적외선 영상의 백그라운드 모델링의 실험결과를 보다 구체적으로 살펴본다.

도 4는 주간에 취득한 가시광선 영상과 백그라운드 모델링의 결과인 움직이는 객체에 대한 블랍 추출 영상이다. 도 5는 같은 시간에 동일 객체에 대해 취득한 열적외선 영상과 블랍 추출영상 결과이다.

상기 도 4 및 도 5에서 알 수 있듯이 가시광선 영상과 열적외선 영상의 특성은 매우 상이하다. 영상의 반사특성이 크게 다르므로 원 영상을 이용하여 매칭을 수행하는 것은 매우 어려운 점이 많다.

그러나 각각의 백그라운드 모델링 영상은 오직 움직이는 객체에 대한 블랍을 추출한 영상이므로 두 영상은 유사성을 지니게 된다. 또한 모델링결과도 객체의 모양에 대해 정확하게 추출된다.

한편, 도 6은 야간에 취득한 가시광선 영상과 백그라운드 모델링의 결과인 움직이는 객체에 대한 블랍 추출 영상이다.

도 7은 같은 시간에 동일 객체에 대해 취득한 열적외선 영상과 블랍 추출영상 결과이다.

상기 도 6 및 도 7에서 알 수 있듯이 야간에 가시광선 영상은 광원이 없거나 약한 관계로 영상 취득의 어려운 점이 있다.

그리고 원래의 영상을 기반으로 하는 백그라운드 모델링 결과 영상도 객체를 제대로 추출하지 못한다. 그러나 야간의 열적외선 영상 특성은 광원이나 조명에 관계없이 늘 일정한 영상을 취득한다. 백그라운드 모델링 결과도 블랍추출이 정확하게 이루어진 것을 알 수 있다.

도 5의 주간 열적외선 영상과 그림 7의 야간 열적외선 영상의 특성은 거의 유사함을 알 수 있다. 이러한 열적외선 영상의 특성을 이용하여, 야간에 가시광선 영상의 단점을 영상 융합을 이용하여 극복할 수 있는 것이다.

상기 백그라운드 모델링 단계(200, 200`) 이후, 상기 영상 매칭부(170)은 모델링된 가시광선 영상과, 열적외선 영상을 매칭시키는 단계를 수행한다(S300).

한편, 상기 배그라운드 모델링 단계(200, 200`)와 영상 매칭단계(S300) 사이에 상기 블랍 추출부(160)에 의한 블랍 추출단계가 더 수행되는 것이 바람직하다.

매칭이란 두 장의 영상에서 서로 같은 대응점(corresponding points)를 자동으로 찾는 방법을 말하는데, 대부분의 매칭 기법은 영상들 사이에서, view point 변화, 촬영 시기변화, 촬영 각도 변화, 스케일 변화 등을 고려하여 같은 대응점을 찾게 된다.

그러나 이러한 가정은 같은 특성을 같은 영상일 때 극대화될 수 있다. 본 발명에서처럼 두 영상의 특성이 매우 상이하게 다른 경우는 일반적인 매칭 기법이 적용되기가 어렵다.

따라서 본 발명에서는 두 영상의 블랍 추출 영상에 대해 회전/스케일/조도 변화에 강인한 SURF(Speeded Up Robust Features)방법을 이용하여 매칭을 수행한다.

대응점 매칭은 스케일, 영상 융합 작업중에 하나지만, 조명, 시점이 변한 환경에서 대응점을 찾는 과정은 매우 어렵다.

따라서, 본 발명에서는 SIFT(Scale Invariant Feature Transform) 기법에 비해 추출과정이 단순하고, 정합 속도가 매우 빠르며, 비슷한 정합 성능을 보이는 대응점 매칭 알고리즘인 SURF(Speeded Up Robust Features) 기법을 사용하였다.

알고리즘의 과정은 특징점 추출(interest point detection)과 표현자 생성(interestpoint description)의 두 단계로 나눠진다. 특징점 추출 단계에서는 원본 영상에서 특정 영역의 사각형의 넓이를 빠르게 구할 수 있는 적분영상(integral image)을 생성한다. 생성된 적분 영상을 아래의 [수학식 5]와 같이 근사화된 고속 헤시안 검출기(fasthessian detector)를 거쳐 특징점을 추출한다.

그러나 SURF 방법도 주어진 영상특성에 기반하여 매칭을 수행하는 방식이므로, 본 발명에서와 같이 전혀 다른 영상특성을 갖는 두 영상(가시광선 영상, 열적외선 영상)에 대해서는 한계를 가진다.

즉, 특이점 추출하는 단계에서는 각각의 영상에서 후보 점들을 추출할 수 있지만, 두 영상의 대응점에 해당하는 표현자 비교단계에서 영상 특성의 불일치로 인하여 서로 같은 점을 비교하는 부분이 어렵다.

가시광선 영상과 열적외선 영상 자체는 매우 다른 특성을 지니지만, 영상 스트리밍에서 움직이는 객체에 대한 백그라운드 모델링을 수행한 결과는 매우 유사한 특성을 지닌다.

따라서, 이러한 서로 다른 영상특성을 고려하고 한계를 극복하기 위하여 본 발명에서는 움직이는 객체 중심(moving objects)의 매칭 방법을 수행하였다.

이하, 본 발명에서 회전/스케일/조도 변화에 강인한 매칭 방법을 이용하여 가시광선 영상과 열적외선 영상을 실험한 결과를 기술한다.

가시광선 영상과 열적외선 영상은 촬영 위치는 서로 다르나 동일한 시간에 촬영된 것을 기반으로 한다. 사용한 데이터는 도 8 및 도 9에 도시된 바와 같이 실험실에서 취득한 동영상 데이터이고, 각각 영상에서 움직이고 있는 객체에 대한 대응점을 추출한 결과이다.

참고로, 도 8 및 도 9는 본 발명에 따른 영상 매칭부(170)부에 의한 특정 프레임의 주간 영상에 대한 대응점 추출결과 도면이다.

도 8 및 도 9에 도시된 바와 같이 영상 스트리밍내에서 각각의 움직이는 객체, 즉 사람에 대하여 매칭을 수행하고, 각각의 대응점 결과들을 본 발명에서 구현한 프로그램 내에서 저장하게 된다.

이는 단지 하나의 영상에서 매칭한 결과 만을 이용하는 것이 아니라 다수개의 영상에서 수행한 매칭 결과들을 누적하여 시스템 내에서 오매칭의 오류를 최소화하고, 추후 영상 등록과정에서 RMSE오차를 체크하여 최종 영상 융합의 정확도를 높이고, 결과에 대한 신뢰도를 높이기 위함이다.

상기 영상 매칭부(170)에 의한 영상의 매칭이 완료되면, 상기 주 제어부(110)는 대응점의 개수가 4개 이상인지 판단하는 단계를 수행한다(S330).

상기 `S330`단계에서 대응점의 개수가 4개 이하인 경우 영상의 다른 프레임에 대한 상기 백그라운드 모델링 단계(S200, S200`) 이후의 과정을 재실행한다.

상기 `S330`단계에서 대응점의 개수가 4개 이상인 경우 상기 영상 등록부(180)는 영상 등록 단계를 수행한다(S500).

영상등록을 수행시 본 발명에서는 특징점 바탕 방식을 기반으로 하여 둘 이상의 영상에서 여러 개의 특징을 찾아 비교한다. 두 영상 속에서 몇 개의 특징점의 대응관계를 알면 두 영상의 변환 관계를 결정할 수 있기 때문에, 그로부터 영상 속의 다른 점들의 대응관계를 계산할 수 있다. 영상 등록 알고리즘은 기준영상과 맞출 영상 사이의 변환관계에 따라 여러 가지로 분류될 수도 있다. 본 발명에서는 변위, 회전, 확대·축소, 어파인 변환 등을 포함한 선형 변환을 기본으로 수행하였다. 특히 투영의 변환(projective transformation)방식으로 영상 등록을 수행하였는데, 상기 투영의 변환은 다음과 같다.

상기 투영의 변환(projective transformation)은 3차원 공간에 있는 물체를 2차원 공간에 투영시키는 변환을 의미한다.

즉 상기 영상 등록부(180)는 등록하고자하는 영상과 기준영상과의 관계를 3차원 공간상에 있다고 가정하고, 투영의 변환 행렬(projective transformation matrix)를 통하여 변환하는 단계를 수행한다(S510).

즉, 회전과 크기에 의해 변형된 모습을 다시 원래의 모습으로 바꿀 수 있는 변환을 의미하는 것이다.

위 식에서 Hp는 투영의 변환 행렬(projective transformation matrix)이다.

상기 영상 등록부(180)는 맞출 영상과 기준 영상 사이의 대응점들을 기준으로 상기 투영의 변환 행렬을 계산하고, 정확도 평가를 위하여 상기 투영의 변환 행렬로 변환된 대응점들의 평균제곱근오차가 잉여도 이하인지 여부를 판단하여(S520), 잉여도 이하의 정확도가 얻어진 후에만, 영상을 등록하는 단계를 수행한다(S530).

이하에서는 투영의 변환(projective transformation)방법을 이용하여 가시광선 영상과 열적외선 영상을 등록하는 결과를 기술한다. 가시광선 영상과 열적외선 영상은 촬영 위치는 서로 다르나 동일한 시간에 촬영된 것을 기반으로 한다.

사용한 데이터는 실험실에서 취득한 동영상 데이터이고, 두 영상의 대응점은 상기 `S300`단계에서 수행한 매칭기법을 통하여 누적하여 획득하였다. 이를 통하여 영상등록의 핵심 파라미터인 변환 행렬을 구하고, 실제 적용된 영상에 야간에 촬영된 영상으로, 도 10과 같다.

참고로, 도 10은 본 발명에 따른 영상 등록부(180)에 의한 특정 프레임의 야간 영상에 대한 등록결과 도면이다.

도 10에서 좌상단에 있는 영상이 등록하고자하는 영상으로 열적외선 영상이고, 좌하단의 영상이 기준영상이 되는 가시광선 야간 영상이다. 이 두영상간의 관계를 변환 행렬로 계산하여 우상단의 영상과 같이 영상등록이 된다. 즉, 우상단의 변환영상은 기준영상인 가시광선 영상과 정확이 매치되는 영상으로서 두 영상이 오버레이 되었을 때 객체들이(픽셀들이 표현하고 있는) 일치하게 된다.

도 11은 본 발명에 따른 영상 등록 후 열적외선 영상에서 백라운 모델리으이 블랍 특성과 위치정보를 이용하여 오직 움직이는 객체만을 추출한 결과 도면, 의한 특정 프레임의 야간 영상에 대한 등록결과 도면인데, 이는 다음 단계인 상기 영상 융합부(190)이 영상 융합(image fusion)과정에서 블랍 베이스로 융합을 할 때 필요한 핵심 결과물이다.

상기 영상 융합부(190)는 상기 가시광선 영상과 상기 열적외선 영상을 융합하는 단계를 수행한다(S600).

먼저, 상기 영상 융합부(190)는 상기 블랍기반으로 영상을 융합할지 여부를 판단한 후(S610), 관심대상만을 강조하기 위해 융합할 경우 블랍기반으로 영상을 융합하기 위하여 열적외선 영상에서 블랍을 추출하는 단계를 수행하여(S620), 영상을 융합하는 단계를 수행한다(S630).

그러나, 상기 가시광선 영상과 상기 열적외선 영상의 전체적인 융합을 위해서는 블랍를 추출하는 상기`S620`단계를 생략하고 바로 영상을 융합하는 단계를 수행(S630)한다.

영상 융합(image fusion)이란 서로 다른 공간해상도, 분광해상도 또는 다시기해상도를 갖는 영상들을 통합함으로서 보다 정보집약적인 영상을 생성하는 것이다. 융합된 영상은 서로 다른 특성을 가진 데이터들의 퓨전을 통해 향상된 분석 능력과 좀더 신뢰할 수 있는 결과를 제공한다.

영상 융합의 주된 목적은 단일 데이터로부터 얻을 수 있는 것보다 많은 정보를 획득하기 위함이다. 본 발명에서의 영상 융합의 목적은 야간에 가시광선 센서에서는 취득 할 수 없는 여러 정보를 보완하기 위하여 열적외선 영상의 장점을 융합하여 감시시스템의 한계를 극복하는 데 있다.

즉 한 데이터만(가시광선 영상)으로는 분석이 되지 않는 특정한 개체 정보 강조(사람이나 차량 등의 객체)하기 위함으로, 이를 통하여 영상의 정보들을 더욱 강화시키고, 분석의 유용함을 증가시키는 것이다. 융합을 통해 영상의 효용성을 높이고 모호치를 감소시키며 분류 정확도를 증가시킬 수 있다

본 발명에서는 영상 융합을 위하여 픽셀 레벨 퓨전 방식을 구현하였다. 픽셀 레벨에서의 영상 융합은 픽셀 값 간의 연산을 통해 이루어지는 퓨전으로 가장 일반적으로 사용된다. 픽셀 레벨에서 퓨전을 수행하기 위해서는 각 영상들간의 상호등록(co-registration)이 이루어져야 한다.

이 부분은 영상등록 과정에서 수행된 것을 이용한다. 영상 전체를 통합하게 되므로 각기 기하보정된 영상들이 기하학적으로 불일치할 경우 퓨전 영상에 인공적인 색상이나 개체를 유발하여 분석의 오차가 발생한다.

또한 센서의 표정, 해상도, 데이터형식이 상이한 영상들을 통합할 때 차이가 나타날 수 있다. 이러한 부분을 고려하기 위하여 영상등록 과정이 정밀하게 이루어져야 한다는 조건이 필요하다. 또한 두 영상의 특성이 매우 상이한 것을 고려하여 본 발명에서는 영상 전체를 융합하는 방식뿐만이 아니라 가장 중요도가 높은 사람 객체에 대해서 그 객체만을 추출하여 융합하는 개체레벨의 융합 방식을 수행하였다.

도 12에서 좌상단 영상은 열적외선 원영상이고, 좌하단 영상은 가시광선 야간 원영상이다. 이 두 영상을 상술한 바와 같은 서로 매칭하고(S300) 영상등록 과정을 수행(S500)하여 최종적으로 영상 융합한(S600) 결과가 우상단 영상이다. 이 결과를 변환 영상이 우하단 영상이다. 결과에서 보이듯이 영상융합 시 위치정확도가 매우 정밀하게 이루어진 것을 알 수 있다.

참고로, 도 12는 본 발명에 따른 영상 융합부에 의한 영상융합 결과 도면이다.

또한 야간에 가시광선 영상에서 객체가 전혀 탐지되지 않는 경우라도 블랍기반으로 영상을 융합하게 된다면, 관심객체를 특별히 강조하여 새로운 영상을 만들 수 있다.

즉, 도 13은 도 12와 동일한 프레임 294번째에 대하여 픽셀 기반 영상융합에서 업그레이드하여 객체 기반 영상 융합을 수행한 결과이다. 좌상단의 열적외선 원영상을 우상단의 그림처럼 영상 등록을 수행하고, 우하단의 그림처럼 백그라운드 모델링 결과인 블랍정보를 이용하여 영상에서 블랍만을 추출한다.

이후 좌하단의 결과처럼 상기 `S620`단계를 포함하여 블랍이라는 객체만을 기반으로 하여 가시광선 영상과 융합을 수행한 것이다. 이는 관심대상만을 강조한 융합 방식으로 사용자가 데이터의 분석 및 판단 처리를 상당히 용이하게 한다. 결과 영상에서 보이듯이 가시광선 영상에서의 사람 객체와 열적외선 영상에서 추출한 사람 객체가 정확하게 일치하면서 융합이 성공적으로 수행된 것을 알 수 있다.

이상과 같이, 본 발명은 비록 한정된 실 시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 하기에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

100 : 감시시스템
110 : 주제어부 120 : 가시광선 카메라
130 : 열적외선 카메라 140 : 가시광선 영상 모델링부
150) : 열적외선 모델링부 160 : 블랍 추출부
170 : 영상 매칭부 180 : 영상 등록부
190 : 영상 융합부 110a : 데이터 베이스 부

Claims (7)

1. 객체를 감시하는 감시시스템의 영상 융합을 통한 객체감시 방법에 있어서,
   (A) 상기 감시시스템의 가시광선 카메라(120)와 열적외선 카메라(130)가 각각 가시광선 영상과 열적외선 영상을 촬영하는 단계;
   (B) 상기 감시시스템의 가스광선 영상 모델링부(140)와 열적외선 영상 모델링부(150)가 각각 상기 가시광선 영상과 열적외선 영상의 백그라운드를 가우시언 혼합모델(GMM:Gaussian mixture model)를 통해 모델링 하는 단계;
   (C) 상기 감시시스템의 영상 매칭부(170)가 상기 가시광선 영상과 상기 열적외선 영상의 대응점을 찾고, 블랍(Blob)을 추출하여 두 영상을 매칭시키는 단계;
   (D) 상기 영상 매칭부(170)에 의한 영상의 매칭이 완료되면, 상기 감시시스템의 주 제어부(110)가 상기 대응점의 개수가 4개 이상인지 판단하는 단계;
   (E) 상기 `(D)`단계에서 대응점의 개수가 4개 이상인 경우 상기 감시시스템의 영상 등록부(180)가 상기 열적외선 영상을 기준영상인 상기 가시광선 영상에 등록하는 단계; 및
   (F) 상기 감시시스템의 영상 융합부(190)가 영상 융합의 기준이 되는 상기 가시광선 영상을 기반으로 상기 열적외선 영상을 융합하는 단계;를 포함하는 것을 특징으로 하는 감시시스템의 영상 융합을 통한 객체 감시 방법.
   
2. 제 1항에 있어서,
   상기 백그라운드 모델링 단계(B)는
   (B-1) 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)가 영상의 모든 픽셀에 대한 가우시언 혼합 모델의 파라미터를 결정하는 단계;
   (B-2) 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)가 가우시언을 갱신하는 단계;
   (B-3) 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)가 모든 가우시언들을 가중치/분산값(ω/σ)에 따라 정렬시키는 단계;
   (B-4) 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)가 높은 가중치와 낮은 분산 값을 가지는 가우시언을 백그라운드 프로세스로서 선택하는 단계;를 포함하는 것을 특징으로 하는 감시시스템의 영상 융합을 통한 객체 감시 방법.
   
3. 제 2항에 있어서,
   상기 가우시언 혼합 모델의 파라미터는
   
   로 정의되고,
   여기서, 시간 t에 입력되는 화소값 x의 확률밀도 p(x)는 평균 μ와 분산 Σ로 표현되는 k개의 정규 분포 η를 각각의 비율 ω에 따라 가중합(weighted sum)으로 표현되고,
   상기 P(Xt)는 특정 픽셀에 대한 확률, K는 3에서 5 사이의 값을 갖는 가우시언 개수, ωi는 가중치를 추정한 값, μi, Σi는 i번째 가우시언의 평균값과 공분산 행렬, N은 가우시언 확률밀도함수,인 것을 특징으로 하는 감시시스템의 영상 융합을 통한 객체 감시 방법.
   
4. 제 3항에 있어서,
   상기 가우시언 갱신단계(B-2)는
   (B-2-1) 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)가 새로운 픽셀값 X_{t +1}이 현존하는 가우시언 분포도 내에서 2.5σ 범위 안에 속하는지 판단하는 단계;
   (B-2-2) 상기 새로운 픽셀값 X_{t +1}이 현존하는 가우시언 분포도 내에서 2.5σ 범위 안에 속하지 않는다면, 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)가 새로운 픽셀값 X_{t +1}이 임의의 k개의 가우시언 분포에도 매치되지 않는 것으로 여기고 가장 낮은 확률 분포로서 배치하는 단계; 및
   (B-2-3) 상기 새로운 픽셀값 X_{t +1}이 현존하는 가우시언 분포도 내에서 2.5σ 범위 안에 속한다면 상기 가시광선 영상 모델링부(140)와 상기 열적외선 영상 모델링부(150)가 가우시언에 매치된 경우로 여기고, 가우시언의 요소 값들이 갱신되도록 하는 단계;를 포함하는 것을 특징으로 하는 감시시스템의 영상 융합을 통한 객체 감시 방법.
   
5. 제 1항에 있어서,
   상기 영상 매칭부(170)는
   상기 가시광선 영상과 상기 열적외선 영상 사이에서, view point 변화, 촬영 시기변화, 촬영 각도 변화, 스케일 변화를 고려하여 대응점을 찾는 것을 특징으로 하는 감시시스템의 영상 융합을 통한 객체 감시 방법.
   
6. 제 1항에 있어서,
   상기 영상 등록 단계(E)는
   (E-1) 상기 영상 등록부(180)가 등록하고자하는 상기 열적외선 영상과 기준영상인 상기 가시광선 영상이 3차원 공간상에 있다고 가정하고, 대응점들을 투영의 변환 행렬을 통해 변환하는 단계;
   (E-2) 상기 영상 등록부(180)가 상기 투영의 변환 행렬에 의해 변환된 대응점들의 평균제곱근오차가 잉여도 이하인지 판단하는 단계; 및
   (E-3) 상기 영상 등록부(180)가 대응점들의 평균제곱근오차가 잉여도 이하인 경우 영상을 등록하는 단계;를 포함하는 것을 특징으로 하는 감시시스템의 영상 융합을 통한 객체 감시 방법.
   
7. 제 1항에 있어서,
   상기 영상 융합하는 단계(F)에서
   상기 영상 융합부(190)는 영상에서 관심대상만을 강조하기 위해 상기 열적외선 영상에서 객체의 블랍을 추출하여 상기 가시광선 영상과 상시 열적외선 영상을 융합하는 것을 특징으로 하는 감시시스템의 영상 융합을 통한 객체 감시 방법.
   
   
   

Images