KR101350922B1 - 열화상 카메라를 사용한 객체 추적 방법 및 장치 - Google Patents

Abstract

열화상 카메라를 사용한 객체 추적 방법 및 장치가 개시되어 있다. 객체 추적 방법은 추적 대상 객체의 온도 범위 및 배경의 온도 범위를 설정하는 단계, 열화상 카메라를 기반으로 추적 대상 객체에 대한 제1 열화상 영상을 획득하는 단계, 추적 대상 객체의 온도 범위 및 배경의 온도 범위를 기반으로 제1 열화상 영상에서 배경을 분리하여 제2 열화상 영상을 생성하는 단계와 제2 열화상 영상을 기반으로 추적 대상 객체를 추적하는 단계를 포함할 수 있다.

Description

열화상 카메라를 사용한 객체 추적 방법 및 장치{METHOD AND APPARATUS FOR OBJECT TRACKING BASED ON THERMO-GRAPHIC CAMERA}

본 발명은 객체 추적 방법에 관한 것으로서 보다 상세하게는 온도를 기준으로 배경과 추적 대상 객체를 구분하도록 하여 객체 추출에 대한 부하를 줄이도록 한 열화상 카메라를 사용한 객체 추적 방법 및 장치에 관한 것이다.

객체를 인식하고 추적하는 기술은 영상 합성, 모션 캡처, 보안 감시 시스템, Human Computer Interaction(HCI)등의 많은 분야에서 널리 적용된다. 특히 최근 실생활에서의 보안, 감시에 대한 요구사항이 늘어남에 따라 비디오 감시 시스템에서의 객체 인식 및 추적 기술은 날로 그 중요성이 증가하고 있다.

최근까지 객체 인식 및 추적을 위한 많은 알고리즘들이 개발되어 왔다. 객체 인식 및 추적을 위한 많은 알고리즘으로 예를 들어, 적응적 배경 생성과 배경 차분 기법, 영역 기반의 객체 추적 기법, 그리고 형태 정보 기반 객체 추출 기법 등이 있다. 하지만 기존의 영상 처리 시스템의 이동 물체 검출 기법은 아직 안정성에 있어서 문제점이 존재한다. 또한, 검출하는 과정에 따른 파워 소모와 정확성, 처리 속도에 있어서도 역시 문제점들이 존재한다.

영상에서 객체 인식이란 입력된 영상에서 목표 객체의 위치를 찾아내는 일련의 과정을 말한다. 영상에서 객체 인식을 수행함에 있어 같은 객체라고 하더라도 개개의 영상 안에서는 객체의 크기, 방향, 위치, 포즈 등이 다르게 나타날 수 있다. 또한 한 영상 내에 여러 개의 객체가 포함되어 있거나, 목표 객체가 다른 객체에 의해 가리워져 그 일부분만 볼 수 있는 경우도 발생할 수 있다. 이러한 모든 조건하에서도 강인하게 동작하는 객체 인식 방법은 쉽지 않은 문제이다. 그 동안 영상에서 객체 인식 기법에 대한 많은 연구가 진행되어 왔고 현재에도 여러 가지 접근 방식이 활발하게 모색되고 있다.

이러한 영상에서 객체를 인식하는 기술은 다양한 기술 분야에서 활용될 수 있다. 예를 들어, 영상에서 객체를 인식하는 기술은 군사 시설, 공항, 주차장, 지하철, 고속도로, 할인점, 주유소, 건설 현장, 유치원, 병원 교통 시스템, ATM 및 편의점 등 다양한 곳에서 보안을 위해 사용할 수 있다. 현재 이러한 영상 보안 시장은 지속적으로 증가하고 있다. 또한, 영상을 편집하는 기술에서도 영상에서 객체를 인식하는 기술이 사용될 수 있다. 이러한 다양한 분야에서 사용되기 위해 영상에서 객체를 인식하기 위한 정확도를 높이기 위한 기술이 필요하다.

한편, 최근에는 사람이나 차량과 같은 대상을 야간에도 명확하게 파악하기 위하여 열화상 카메라를 이용한 객체인식과 추적 시스템이 도입되고 있으나 일반적인 카메라 객체 인식 및 추적 알고리즘을 그대로 이용하고 있어 열화상 카메라의 특성을 효율적으로 활용하고 있지 못한 상황이다.

특히, 열화상 카메라의 경우 가시광과 달리 대기온도나 주변 열원 등에 의한 노이즈가 상당히 많으며, 이러한 공간적 노이즈에 의해 실제 관심 영역인 객체를 명확하게 구분하기 어렵다. 이는 전체 감지 온도 범위에 대해서 대기 온도나 주변 열원 등과 같은 노이즈성 환경이 전체 영상 데이터 중 대부분을 차지하게 되어 실제 관심 객체에는 충분한 데이터가 할당될 수 없기 때문이다.

따라서, 열화상 카메라를 대기 온도에 대한 노이즈가 존재하지 않는 일반 가시광 카메라와 동일한 조건으로 객체 인식 과정을 수행할 경우 객체를 식별하지 못하는 상황이 빈번하게 발생한다.

본 발명의 목적은 열화상 카메라를 통해 얻어지는 영상의 배경과 전경을 온도 설정을 통해 분리하도록 하여 객체 추출의 부하를 줄이면서 노이즈나 일부의 온도가 표출되지 않는 객체 상태에 둔감하도록 한 열화상 카메라를 사용한 객체 추적 방법 및 장치를 제공하는 것이다.

본 발명의 다른 목적은 열화상 영상을 추적 대상 객체에 더 많은 데이터가 할당되도록 변환한 후 이를 대상으로 배경과 추적 대상에 대한 온도를 설정하는 것으로 배경과 전경을 분리하면서 배경과 추적 대상의 온도가 유사한 영역에 대해서만 기존의 백그라운드 모델링 방식을 적용함으로써 객체 추출의 부하를 줄이면서 신뢰성을 높이도록 한 열화상 카메라를 사용한 객체 추적 방법 및 장치를 제공하는 것이다.

본 발명의 또 다른 목적은 열화상 영상을 추적 대상 객체에 더 많은 데이터가 할당되도록 변환한 후 추출된 객체로부터 관심 영역이나 특징을 확인하여 해당 객체가 추적 대상 객체인지 분류하도록 하여 객체 식별 신뢰성을 높인 열화상 카메라를 사용한 객체 추적 방법 및 장치를 제공하는 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 실시예에 따른 객체 추적 방법은 객체 추적 장치를 이용한 객체 추적 방법에 관한 것으로, 사용자 설정 정보를 수신한 상기 객체 추적 장치가 객체 추적 장치가 추적 대상 객체의 온도 범위 및 배경의 온도 범위를 설정하는 단계; 상기 객체 추적 장치가 열화상 카메라를 통해 상기 추적 대상 객체에 대한 제1 열화상 영상을 획득하는 단계; 상기 객체 추적 장치가 상기 추적 대상 객체의 온도 범위 및 상기 배경의 온도 범위를 기반으로 상기 제1 열화상 영상에서 상기 배경을 분리하여 제2 열화상 영상을 생성하는 단계; 및 상기 객체 추적 장치가 상기 제2 열화상 영상을 기반으로 상기 추적 대상 객체를 추적하는 단계를 포함하는 것을 특징으로 한다.

상기 객체 추적 장치가 상기 제2 열화상 영상을 생성하는 단계는, 상기 제1 열화상 영상에 대한 히스토그램 평활화를 수행하는 단계; 및 상기 히스토그램 평활화된 상기 제1 열화상 영상의 온도 범위 중 상기 추적 대상 객체의 온도 범위에 제1 가중치를 부여하고 상기 배경의 온도 범위에 제2 가중치를 부여한 후 상기 배경을 분리하여 제2 열화상 영상을 생성하는 단계를 포함하되, 상기 제1 가중치는 상기 제2 가중치보다 큰 값인 것을 특징으로 한다.

상기 객체 추적 장치가 상기 제2 열화상 영상을 생성하는 단계는, 상기 추적 대상 객체의 온도 범위와 상기 배경의 온도 범위가 겹치는 픽셀 영역이 존재하는 경우 해당 픽셀 영역에 대한 배경 분리는 백그라운드 모델링 방식을 기준으로 실시하는 단계를 포함할 수 있다.

상기 추적 대상 객체의 온도 범위 및 상기 배경의 온도 범위는, 외부 온도에 대한 환경 정보를 수신하거나 상기 제1 열화상 영상으로부터 산출하여 상기 추적 대상 객체나 배경의 온도 범위를 보정하거나 추적 대상 객체의 이동 여부에 따라 상기 추적 대상 객체나 배경의 온도 범위를 보정한 값일 수 있다.

상기 추적 대상 객체의 온도 범위 및 상기 배경의 온도 범위는, 상기 외부 온도에 대한 환경 정보가 제1 임계값 이하인 경우나 상기 추적 대상 객체가 이동하는 경우 상기 추적 대상 객체의 온도 범위나 상기 배경의 온도 범위의 상한값 및 하한값이 더 낮게 보정되고, 상기 외부 온도에 대한 환경 정보가 제2 임계값 이상인 경우, 상기 추적 대상 객체의 온도 범위나 상기 배경의 온도 범위의 상한값 및 하한값이 더 높게 보정될 수 있다.

상기 제2 열화상 영상을 기반으로 상기 추적 대상 객체를 추적하는 단계는, 상기 제2 열화상 영상에서 움직임이 존재하는 픽셀을 추출하는 단계; 상기 추출된 픽셀에서 잡음을 제거하고 블럽을 생성하여 그룹화하는 단계; 상기 그룹화된 블럽이 상기 추적 대상 객체인지 여부를 판단하는 단계; 및 상기 그룹화된 블럽이 상기 추적 대상 객체인 경우, 상기 추적 대상 객체를 추적하는 단계를 포함할 수 있다.

상기 그룹화된 블럽이 상기 추적 대상 객체인지 여부를 판단하는 단계는, 상기 그룹화된 블럽이 상기 추적 대상 객체의 종류에 따른 열분포 패턴에 일치되는지 여부를 판단하는 단계일 수 있다.

상기 추적 대상 객체의 온도 범위 및 배경의 온도 범위를 설정하는 단계는 사용자가 직접 입력하는 온도 범위 정보를 이용하거나 열화상 영상의 히스토그램 분석을 통해 중심 영역과 주변 영역을 구분하여 제공한 기준을 통해 얻어진 사용자 설정을 객체와 배경의 온도 범위로 이용할 수 있다.

본 발명의 다른 실시예에 따른 객체 추적 장치는 프로세서를 포함하는데, 상기 프로세서는 사용자 입력정보를 기준으로 추적 대상 객체의 온도 범위 및 배경의 온도 범위를 설정하고, 상기 추적 대상 객체에 대한 제1 열화상 영상을 획득하며, 상기 추적 대상 객체의 온도 범위 및 상기 배경의 온도 범위를 기반으로 상기 제1 열화상 영상에서 상기 배경을 분리하여 제2 열화상 영상을 생성하고, 상기 제2 열화상 영상을 기반으로 상기 추적 대상 객체를 추적하는 것을 특징으로 한다.

상기 프로세서는, 상기 제1 열화상 영상에 대한 히스토그램 평활화를 수행하고, 상기 히스토그램 평활화된 상기 제1 열화상 영상의 온도 범위 중 상기 추적 대상 객체의 온도 범위에 제1 가중치를 부여하고 상기 배경의 온도 범위에 제2 가중치를 부여한 후 상기 배경을 분리하여 제2 열화상 영상을 생성하도록 구현되되, 상기 제1 가중치는 상기 제2 가중치보다 큰 값일 수 있다.

상기 프로세서는, 상기 제2 열화상 영상을 생성하기 위해 배경을 분리할 때 상기 추적 대상 객체의 온도 범위와 상기 배경의 온도 범위가 겹치는 온도 범위의 픽셀 영역이 존재한다면 해당 픽셀 영역에 대한 배경 분리는 백그라운드 모델링 방식을 기준으로 실시할 수 있다.

상기 추적 대상 객체의 온도 범위 및 상기 배경의 온도 범위는, 외부 온도에 대한 환경 정보를 수신하거나 상기 제1 열화상 영상으로부터 산출하여 상기 추적 대상 객체나 배경의 온도 범위를 보정하거나 추적 대상 객체의 이동 여부에 따라 상기 추적 대상 객체나 배경의 온도 범위를 보정한 값일 수 있다.

상기 추적 대상 객체의 온도 범위 및 상기 배경의 온도 범위는, 상기 외부 온도에 대한 환경 정보가 제1 임계값 이하이거나 상기 추적 대상 객체가 이동하는 경우, 상기 추적 대상 객체의 온도 범위나 상기 배경의 온도 범위의 상한값 및 하한값이 더 낮게 보정되고, 상기 외부 온도에 대한 환경 정보가 제2 임계값 이상인 경우, 상기 추적 대상 객체의 온도 범위나 상기 배경의 온도 범위의 상한값 및 하한값이 더 높게 보정될 수 있다.

상기 프로세서는, 상기 제2 열화상 영상에서 움직임이 존재하는 픽셀을 추출하고, 상기 추출된 픽셀에서 잡음을 제거하고 블럽을 생성하여 그룹화하며, 상기 그룹화된 블럽이 상기 추적 대상 객체인지 여부를 판단하고, 상기 그룹화된 블럽이 상기 추적 대상 객체인 경우, 상기 추적 대상 객체를 추적할 수 있다.

상기 프로세서는, 상기 그룹화된 블럽이 상기 추적 대상 객체인지 여부를 판단하기 위해 상기 그룹화된 블럽이 상기 추적 대상 객체의 종류에 따른 열분포 패턴에 일치되는지 여부를 판단할 수 있다.

상기 프로세서는, 칼만 필터를 기반으로 상기 추적 대상 객체를 추적하도록 구현되고, 상기 칼만 필터는 상기 제2 열화상 영상에 대한 정보를 기반으로 상기 추적 대상 객체를 추적할 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 열화상 카메라를 사용한 객체 추적 방법 및 장치는 열화상 카메라를 통해 얻어지는 영상의 배경과 전경을 온도 설정을 통해 분리하도록 하여 객체 추출의 부하를 줄이면서 노이즈나 일부의 온도가 표출되지 않는 객체 상태에 둔감하도록 하여 감시 영상 품질을 높이고 객체 식별 및 추적의 신뢰성을 높이는 효과가 있다.

본 발명의 실시예에 따른 열화상 카메라를 사용한 객체 추적 방법 및 장치는 열화상 영상을 추적 대상 객체에 더 많은 데이터가 할당되도록 변환한 후 이를 대상으로 배경과 추적 대상에 대한 온도를 설정하는 것으로 배경과 전경을 분리하면서 배경과 추적 대상의 온도가 유사한 영역에 대해서만 기존의 백그라운드 모델링 방식을 적용함으로써 객체 추출의 부하를 줄이면서 식별과 추적의 신뢰성을 높일 수 있는 효과가 있다.

본 발명의 실시예에 따른 열화상 카메라를 사용한 객체 추적 방법 및 장치는 열화상 영상을 추적 대상 객체에 더 많은 데이터가 할당되도록 변환한 후 추출된 객체로부터 관심 영역이나 특징을 얻어 데이터베이스의 내용과 비교하는 것으로 그 종류를 확인하여 해당 객체가 추적 대상 객체인지 분류하도록 하여 객체 식별 신뢰성을 높일 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 열화상 카메라를 기반으로 객체를 추적하는 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 열화상 카메라를 기반으로 객체를 추적하는 영상을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 객체 추적 방법을 나타낸 순서도이다.
도 4는 본 발명의 실시예에 따른 객체 판단 방법을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 추적 대상 객체를 칼만 필터를 기반으로 추적하는 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 모델링에 기반한 전경과 배경의 분리 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 열화상 카메라를 기반으로 객체를 추적하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 객체 추적 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 객체 추적 장치를 나타낸 개념도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.

열화상 카메라는 객체가 발산하는 적외선 방사를 측정하여 표면 온도의 2차원 화상을 0에서 255 사이의 값으로 이미지화한 온도 기반 이미지를 촬상할 수 있다. 열화상 카메라에서 촬영된 영상은 외부 온도에 의한 간섭이 적을수록 배경과 객체가 뚜렷하게 구분될 수 있다. 열화상 카메라를 통해 원거리에 위치한 객체를 촬영할 경우, 대기의 영향에 의해 프레임마다 객체를 촬상한 픽셀의 변화가 빈번히 발생할 수 있다. 따라서, 열화상 카메라에서 촬영된 영상의 경우, 가시 영역에서 객체의 분리에 주로 사용하는 차영상(image subtraction) 기법만으로는 배경과 객체를 분리하기가 어렵다.

또한, 기존의 열화상 영상을 기반으로 하는 객체 식별 방법은 난로와 같은 높은 온도의 복사체가 촬영 범위에 존재하는 경우, 촬영된 열화상 영상에서 노이즈가 발생할 수 있는 것은 물론이고 높은 온도의 복사체가 없는 경우에도, 열화상 카메라에 의해 촬영되는 열화상 영상 내 온도 대부분이 대기 온도와 같은 특정한 온도 범위에 집중적으로 분포할 수 있는데 관심 대상인 객체(예를 들어, 차, 사람 등)의 데이터보다 대기 온도나 관심 대상이 아닌 복사체 온도와 같은 노이즈성 온도 범위의 데이터가 월등히 큰 경우가 대부분이어서 객체 식별에 어려움이 발생하고 있다. 본 발명의 실시예에서는 이러한 열화상 카메라를 기반으로 객체를 식별할 경우 발생할 수 있는 문제점을 해결하기 위한 방법에 대해 개시한다.

도 1은 본 발명의 실시예에 따른 열화상 카메라를 기반으로 객체를 추적하는 방법을 나타낸 개념도이다.

도 1에서는 객체를 추적함에 있어서, 열화상 영상에서 백그라운드(background)와 포그라운드(foreground)를 분리하여 객체에 대한 추적을 수행하는 방법에 대해 개시한다. 백그라운드는 영상에서 동적 객체를 제외한 움직이지 않는 영역을 의미하고, 포그라운드는 영상에서 움직이는 객체에 해당하는 영역을 의미한다. 이하, 본 발명의 실시예에서는 백그라운드를 배경, 포그라운드를 전경이라는 용어로 사용한다.

본 발명의 실시예에 따르면, 열화상 카메라를 통해 획득한 열화상 영상에서 사용자가 이미 알고 있는 배경에 대한 온도 정보와 전경에 대한 온도 정보를 기반으로 배경과 전경을 분리할 수 있는데 이러한 방식은 기존 방식에 비해 배경 판단을 위한 부하가 작으며 오류 가능성도 더욱 낮다.

도 1을 참조하면, 출입구를 통과하는 사람(100)의 이미지를 나타낸다. 출입구와 건물은 배경, 출입구를 통해 출입하는 사람(100)은 객체 즉, 전경으로 분류될 수 있다. 열화상 카메라에서 출입구를 통과하는 사람을 추적하는 경우를 가정하면 이러한 경우, 배경에 해당하는 건물과 출입구에 해당하는 열화상 영상 정보는 객체(100)를 추적함에 있어 불필요한 정보일 수 있다. 따라서, 배경에 해당하는 열화상 영상 정보는 고려하지 않고 전경(100)에 해당하는 열화상 영상 정보만을 고려하여 객체를 추적할 수 있다.

배경에 해당하는 열화상 영상에 대한 영상 데이터의 크기를 줄이거나 제거하기 위해서는 배경의 온도 정보를 기반으로 배경에 해당하는 부분의 화소 정보의 가중치를 낮게 줄 수 있다. 이러한 방법을 사용함으로써 배경에 해당하는 부분의 열화상 영상에 대한 정보량의 크기를 줄일 수 있다. 반대로 전경에 해당하는 열화상 영상 부분에 대해서는 가중치를 높게 주어 해당 온도 범위의 열화상 영상에 대한 정보량을 높일 수 있다. 이러한 배경과 전경에 서로 다른 가중치를 부여하거나 전경에 대해서만 객체를 추적하는 방법을 통해 객체 추적 장치에서 객체 추적을 정확하게 수행할 수 있다. 추가적으로 전경과 배경에 대한 온도의 변화가 존재하거나 전경의 온도와 배경의 온도가 유사할 경우 등을 감안하여 추가적으로 기존의 적응형 백그라운드 모델링(학습에 기반한 배경과 전경 분리 방식)을 더 적용할 수 있다.

즉, 극단적으로 배경에 대한 온도 범위를 설정하고 전경에 대한 온도 범위를 설정하여 배경과 전경을 구분할 수 있으며, 이러한 정보를 이용하여 이전 프레임과의 차분 영상을 통해 얻어지는 블럽에 대한 노이즈 제거나 전경 객체 선택 시 정확도가 높아질 수 있다.

도 2는 본 발명의 실시예에 따른 열화상 카메라를 기반으로 객체를 추적하는 영상을 나타낸 개념도이다.

도 2에서는 열화상 카메라를 통해 촬상된 영상에서 배경의 온도 범위와 객체의 온도 범위를 기반으로 변환된 영상을 나타낸다.

도 2를 참조하면, 원본 영상에서 전경(200, 210)을 정확하게 분리하기 위해 전경(200, 210)에 해당하는 영상 데이터의 크기를 증가시킬 수 있다. 예를 들어, 원본 영상에 대하여 히스토그램 이퀄라이징을 수행한 후에 차량(200) 또는 사람(210)과 같이 객체의 온도 영역의 픽셀에 대해 가중치를 부여하여 객체(200, 210)의 온도 범위에 해당하는 영상 데이터의 크기를 증가시킬 수 있다. 또한 배경에 해당하는 배경의 온도 범위에 대해서는 낮은 가중치를 부여할 수 있다. 이러한 방법을 사용함으로써 전경(200, 210)에 해당하는 데이터량이 증가할 수 있고, 전경(200, 210)과 배경을 좀 더 명확하게 분리할 수 있다.

본 발명의 실시예에 따르면 객체를 추적하기 위한 영상 변환에 사용되는 히스토그램 이퀄라이징(equalizing) 방법은 예를 들어, 원본 영상에 대하여 BUBO(Bin Underflow and Bin Overflow)를 기반으로 한 히스토그램 이퀄라이징일 수 있다.

BUBO는 히스토그램 이퀄라이징 방법 중 하나로 전역적인 상한값과 하한값을 이용하여 히스트그램 명암도(gray level)의 발생 빈도를 제한하고 보상함으로서 화질을 개선하는 방법이다. 히스토그램은 디지털 영상 안에서 화소들에 대한 밝기값의 분포를 나타냄으로써 영상의 특징을 제공할 수 있는데, BUBO와 같은 히스토그램 평활화를 수행하는 경우 특정한 온도 대역이 아닌 전체적인 온도 대역에 평탄한 분포를 가진 히스토그램을 생성할 수 있다. BUBO에서 두 개의 한계값에 의해 조정된 히스토그램을 이용하여 변환 함수를 구하게 되면 한계값에 의해 조정된 명암도 영역은 직선의 형태로 나타나게 되므로, 그 명암도 영역에서의 직선의 기울기 만큼의 동일한 정도로 밝기값이 향상될 수 있다. 대기 온도에 대한 영상 정보를 줄이기 위해 열화상 영상에 대해 BUBO에 기반한 히스토그램 이퀄라이징만을 실시할 경우, 감시 대상에 대한 정보도 또한 줄어들기 때문에 원하는 감시 대상을 정확하게 검출하기 어려울 수 있다.

이러한 문제점을 해결하기 위해 본 발명의 실시예에 따르면, 배경에 해당하는 온도 영역(예를 들어, 대기 온도)에 해당하는 온도 영역에는 작은 값의 가중치를 부여하여 배경에 해당하는 열화상 영상의 데이터 크기를 감소시킬 수 있다. 반대로 전경에 해당하는 온도 영역(예를 들어, 사람의 온도 영역, 이동중인 차의 온도 영역)에 해당하는 부분에 해당하는 열화상 영상 부분의 경우 큰 값의 가중치를 부여함으로서 전경에 해당하는 부분의 열화상 영상의 데이터 크기를 증가시킬 수 있다.

도 3은 본 발명의 실시예에 따른 객체 추적 방법을 나타낸 순서도이다.

도 3에서는 추적 대상 객체의 열화상 데이터의 크기를 증가시키고 블럽 그룹화를 사용하여 객체를 추적하는 방법에 대해 예시적으로 개시한다. 하지만, 블럽 그룹화가 아닌 다른 방법에 의해 객체를 추적할 수 있고, 이러한 실시예 또한 본 발명의 권리 범위에 포함된다는 것에 주의한다.

도 3을 참조하면, 전경(예를 들어, 추적 대상 객체)의 온도 범위와 배경의 온도 범위를 설정한다(단계 S300).

본 발명의 실시예에 따르면 전경의 온도 범위와 배경의 온도 범위를 수동 혹은 자동적 판단을 참조하여 사용자가 설정하여 전경과 배경을 분리할 수 있다. 전경의 온도 범위는 추적 대상 객체의 온도 범위일 수 있고, 배경의 온도 범위는 대기 온도에 해당하는 온도 범위일 수 있다. 설정된 온도 범위는 사용자가 직접 입력하는 값(온도범위 직접 입력 혹은 대상 선택에 따른 자동 온도 범위 적용)일 수도 있고, 열화상 영상에 대한 히스토그램 분석을 통해 대부분의 데이터가 모여 있는 중심 영역(주로 대기 온도와 같은 노이즈 영역)과 중심 영역에서 벗어나 있으면서 소정의 데이터를 가진 영역(대기와 온도가 다른 객체일 가능성이 높은 영역)을 구분한 후 이에 대한 정보를 사용자에게 제공함으로써 사용자가 이를 기반으로 배경과 전경의 온도 범위를 설정하거나 이를 그대로 반영하도록 한 값일 수 있다.

한편, 필요한 경우 상기 설정된 온도 범위를 주변 환경 정보를 기반으로 보정한 값일 수도 있다. 이에 대해서는 추가적으로 개시한다.

전술한 바와 같이 원본 영상에 대한 히스토그램 평활화 및 가중치 부여를 수행하여 전경과 배경을 분리함으로써 더욱 정확한 전경과 배경의 분리가 가능해진다.

이후 전경과 배경의 온도 범위가 겹치는지 여부에 대해 판단한다(단계 S310).

전경과 배경의 온도 범위가 겹치는지 여부에 따라 전경과 배경을 분리하기 위한 방법을 서로 다르게 사용할 수 있다. 전경과 배경의 온도가 겹치지는 않더라도 일정한 임계값 내의 유사 범위에 존재하는 경우에도 전경과 배경을 분리하기 위한 방법을 서로 다르게 사용할 수 있다. 이하, 본 발명의 실시예에서는 설명의 편의상 전경과 배경의 온도 범위가 겹칠 경우에 다른 전경 및 배경 분리 방법을 적용하는 것을 가정하여 설명한다.

만일 전경과 배경의 온도 범위가 겹치는 경우, 해당 온도 범위에 대응되는 픽셀 영역에 대해서는 알려져 있는 다양한 백그라운드 모델링 방식을 통해 전경과 배경을 분리 방법을 사용하여 전경과 배경을 분리한다(단계 S320).

전경과 배경의 온도 범위가 겹치는 범위의 픽셀 영역이 존재할 경우, 열화상 영상에서 온도를 기반으로 배경을 분리할 때 전경에 해당하는 열화상 영상의 부분의 정보도 함께 분리될 수 있다. 따라서, 전경과 배경의 온도 범위가 겹치는 범위인 경우, 온도 기반의 전경 및 배경 분리 방법이 아닌 배경 모델링에 기반한 전경 및 배경 분리 방법을 통해 열화상 영상에서 전경과 배경 분리할 수 있다. 그러나 이러한 경우에서도 이러한 영역은 전체 영상에 비해 작기 때문에 백그라운드 모델링의 부하가 줄어들게 된다. 백그라운드 모델링을 통해 전경과 배경 분리하는 방법에 대해서는 추가적으로 개시한다.

이후 전경과 배경의 온도 범위가 겹치지 않은 영역에 대해서는 설정된 배경의 온도 범위를 기반으로 전경과 배경을 분리한다(단계 S330).

전경의 온도 범위와 배경의 온도 범위가 겹치지 않은 경우, 단계 S300을 통해 설정한 전경의 온도 범위 및 배경의 온도 범위를 기반으로 열화상 영상에서 배경에 해당하는 온도 범위 부분의 열화상 영상 데이터와 전경에 해당하는 온도 범위 부분의 열화상 영상 데이터를 분리할 수 있다. 온도 범위를 기반으로 전경과 배경을 분리하는 단계 S330을 수행한 후에도 추가적으로 학습 또는 모델링을 통한 전경 및 배경 분리 단계인 단계 S320을 수행하여 전경과 배경에 대한 추가적으로 분리 단계를 수행할 수도 있다.

설정된 배경의 온도 범위를 기반으로 전경과 배경을 분리하기 위해 좀 더 전경과 배경의 구분을 뚜렷하게 하기 위해 열화상 영상을 히스토그램 평활화하고, 분리된 배경 부분과 전경 부분에 서로 다른 가중치를 부여할 수 있다. 단계 S330과 같이 전경과 배경의 온도 범위가 겹치지 않은 경우, 설정된 배경 및 전경의 온도 범위를 기반으로 전경과 배경을 분리하기 위해 히스토그램 평활화를 수행하고 분리된 배경 부분과 전경 부분에 대해 서로 다른 가중치를 부여한다. 이러한 방법을 사용함으로써 전경에 해당하는 열화상 영상 부분의 데이터 크기를 증가시키고 배경에 해당하는 열화상 영상 부분의 데이터 크기는 감소시킬 수 있다. 예를 들어, 전경에 해당하는 부분에는 큰 가중치를 부여하고, 배경에 해당하는 부분에는 낮은 가중치를 부여하여 전경에 해당하는 부분에 데이터가 집중되도록 할 수 있다.

추가적으로 객체에 따라 가중치를 객체의 부위별로 서로 다르게 부여할 수도 있다. 예를 들어, 사람의 경우, 몸의 중심 또는 얼굴과 같은 객체 트래킹시 중요한 특징으로 사용될 수 있는 부분이 존재할 수 있다. 이러한 경우, 몸의 중심 또는 얼굴 부분의 온도 영역을 다른 부분보다 좀 더 큰 가중치를 부여함으로써 해당 부분의 데이터 크기를 증가시킬 수 있다.

그 다음 분리된 전경 영상 즉 제 2 열화상 영상에서 픽셀을 추출한다(단계 S340).

단계 S320 및 단계 S330을 기반으로 전경과 배경을 분리한 후 전경에 해당하는 열화상 영상에서 추적 대상 객체에 대한 픽셀을 추출함으로써 신속한 후보 객체에 대한 정보를 얻을 수 있다. 이 경우 차영상을 통해서 움직이는 픽셀들을 추출할 수 있는데 이미 온도를 기준으로 배경 부분을 제거하였으므로 움직이는 픽셀들에 대한 객체 가능성이 높아진다.

이후 추출된 픽셀에 대한 잡음을 제거한다(단계 S350).

단계 S340을 통해 객체가 될 가능성이 있는(객체 온도 범위인) 픽셀에 대한 잡음을 제거할 수 있다. 객체의 추출 과정에서 하나의 픽셀 그룹(블럽)이 여러 개의 작은 그룹으로 분리될 수도 있는데 이러한 문제점을 해결하기 위해 가우시안 필터링을 통해 떨어진 부분에 대한 그룹화를 수행하고 레이블링을 기반으로 일정 크기 이하의 블럽(blob)들은 제외하여 잡음을 1차적으로 제거할 수 있다.

이제 가까운 블럽을 그룹화한다(단계 S360).

객체가 사람인 경우, 사람이 착용한 옷의 두께, 가방 우산 등 사람이 지니고 있는 각종 물체들에 의해 사람의 체온이 차단되어 사람의 신체가 하나의 블럽으로 나타나지 않을 수 있다. 이러한 문제점을 해결하기 위해 각 블럽별 픽셀들의 무게 중심과 그 분포를 이용하여 블럽의 그룹화를 수행할 수 있다.

그 다음 그룹화된 블럽이 객체인지 여부를 판단한다(단계 S370).

추적 대상 객체를 사람이라고 가정하면, 단계 S360을 통해 그룹화한 블럽이 사람인지 여부에 대해 판단할 수 있다. 여기서는 기본적으로 특정한 추적 대상 객체의 온도 분포 패턴을 이용하여 객체 여부를 판단할 수 있는데, 필요한 경우 일반적인 가로와 세로의 비율이나 주성분 분석(principle component analysis, PCA)를 더 활용하여 객체를 식별할 수 있다. 예를 들어, 블럽 그룹화를 통해 추출한 ROI(region of interest) 영역의 크기를 이용하여 잡음인지 객체인지 여부를 판단하고 사람이 직립 보행을 수행한다는 점을 이용하여 입력된 ROI의 영역의 가로와 세로의 비율이 임계값보다 작을 경우 사람이 아닌 것으로 판단하고 임계값보다 클 경우에는 미리 학습되어 있는 PCA 분류기를 통해 판단 한 후 그 온도 분포 패턴이 대응되는 추적 대상 객체 종류의 온도 분포 패턴과 일치하는 지를 확인할 수 있다. 물론, 이들 중 일부는 생략될 수 있다.

단계 S370에서 객체가 사람인지 여부를 판단하기 위해서 열분포 패턴의 일치여부를 확인할 수 있는데, 그와 병행하거나 선택적으로 사용되는 가로 및 세로의 비율, PCA에 기반한 주성분 분석은 다른 다양한 방법으로 대체되거나 생략될 수 있다. 또한, 객체가 사람이 아닌 경우에도 객체의 특징 정보를 기반으로 그룹화된 블럽이 원하는 객체인지 여부에 대해 판단할 수 있다.

만일 판단 결과 해당 그룹화된 블럽이 추적 대상 객체인 경우 해당 객체를 추적한다(단계 S380).

단계 S370의 판단 결과 그룹화된 블럽이 객체인 경우, 객체 추적 알고리즘(예를 들어, 칼만 필터)에 기반하여 객체를 추적할 수 있다. 물론 단계 S370의 판단 결과 그룹화된 블럽이 객체가 아닌 경우, 객체 추적을 수행하지 않을 수 있다.

도 4에서는 객체의 외곽선 정보, 특정 부위에 대한 정보, 온도 분포 패턴 등을 산출하고 이를 미리 산출되어 저장된 객체의 특징 정보와 비교하여 객체를 식별하는 방법에 대해 개시한다.

도 4는 본 발명의 실시예에 따른 객체 판단 방법을 나타낸 순서도이다.

도 4에서는 외곽선 정보(예를 들어, 가로 및 세로의 비율), 아다부스트를 이용한 얼굴 검출 및 PCA에 기반한 주성분 분석, 분류기를 이용한 분류, 온도 분포 패턴 등을 통해 획득한 특징 정보를 기반으로 영상에 촬상된 객체(예를 들어, 사람)를 식별하는 방법에 대해 개시한다.

도 4를 참조하면, 객체의 외곽선 정보, 특정 부위(얼굴, 차량의 바퀴, 차량의 헤드라이트 등) 검출 여부, 분류기에 의한 분류 정보, 온도 분포 패턴 등을 기반으로 영상에 촬상된 객체가 추적대상 객체인지 여부에 대해 판단한다(단계 S400).

이를 통해서 우선적으로 열화상 카메라가 촬상한 객체가 추적하고자 하는 추적 대상 객체인지 여부에 대해 탐색할 수 있다.

이후 객체의 특정 부위를 검출한다(단계 S410).

객체의 특징 부위는 예를 들어 SVM(Support Vector Machine), SIFT(Scale Invariant Feature Transform), SURT(Speeded Up Robust Features), FAST(Features from Accelerated Segment Test), 아다부스트, 랜덤 포레스트 등 다양한 분류기나 특징 추출 알고리즘이 이용될 수 있으며, 이러한 특징 부위는 스케일이나 회전에 강인한 영상 내 특징들이 존재하는 소정의 영역일 수 있다. 다른 예로서 아다부스트 알고리즘을 이용하여 객체의 얼굴을 검출할 경우 특징을 가지는 소정의 영역으로 얼굴 영역을 선택할 수 있다.

이후 특징 추출 알고리즘을 이용하여 추출된 객체의 특정 부위에 대한 특징 정보를 획득한다(단계 S420).

특징 추출 알고리즘은 객체의 특정 부위에 대한 특징 정보를 산출하기 위한 알고리즘이다. 예를 들어, 객체가 사람이고 아다부스트를 이용하여 추출된 객체의 특정 부위가 사람의 얼굴인 경우, PCA와 같은 특징 정보 추출 알고리즘을 사용하여 객체에서 특징 부위에 대한 특징 정보를 산출할 수 있다. PCA는 사람의 얼굴에서 고유 벡터를 찾는 방법으로 사람의 얼굴 데이터에서 상관 행렬을 산출하고 상관 행렬의 고유 벡터를 산출함으로서 사람의 얼굴에서 특징 정보를 산출할 수 있다.

또 다른 방법으로 특정 부위 혹은 전체 객체에 대한 외형 배치, 온도의 분포를 특징으로 산출할 수도 있다.

이후 데이터 베이스를 기반으로 객체를 식별한다(단계 S430).

데이터 베이스는 객체 및 객체에 대응되는 특징 정보를 포함할 수 있다. 미리 저장된 객체의 특징 정보와 단계 S420을 기반으로 산출된 객체의 특징 정보를 비교함으로서 현재 영상에 존재하는 객체의 종류를 대략적으로 식별할 수 있다. 예를 들어, 데이터 베이스에 등록된 특징 정보와 단계 S420을 통해 획득된 객체의 특징 정보가 일정 부분 유사한 경우, 촬상된 객체를 데이터 베이스를 기반으로 사람, 동물, 차량 등 기 설정된 범주의 대상 중 하나로 식별할 수 있다.

특히, 열화상 영상은 대기 잡음이나 다양한 환경적 열잡음에 의해 실제 추적 대상 객체에 대한 영상 품질 낮아 이러한 특징 추출이 어렵지만 본 발명의 실시예에 따른 영상 품질 개선을 통해 추적하고자 하는 객체에 대한 데이터가 증가하면서 배경의 온도 범위에 해당하는 데이터가 감소할 경우 이러한 객체 식별에 대한 신뢰성이 높아지게 된다.

도 5는 본 발명의 실시예에 따른 추적 대상 객체를 칼만 필터를 기반으로 추적하는 방법을 나타낸 개념도이다.

도 5에서는 도 3 및 도 4와 같이 전술한 방법을 통해 식별된 객체를 칼만 필터를 사용하여 추적하는 방법에 대해 개시한다.

칼만 필터는 동적인 시스템에서 상태 변수(state variable)를 기반으로 수식화될 수 있다. 상태 변수는 시스템 정보를 포함할 수 있다. 칼만 필터에 과거에 필터링된 추정치(filtered estimates)와 현재의 측정치가 입력된 경우, 현재 상태에 대해 필터링된 추정치와 미래 상태에 대한 예측 추정치(predicted estimates)를 출력할 수 있다. 추정을 위한 입력되는 데이터에는 잡음 성분이 추가될 수 있으므로 올바르게 필터링된 추정치 및 미래 상태에 대한 예측을 위해서는 적절한 모델링이 필요하다. 칼만 필터는 상태 방정식(state equation)과 측정 방정식(measurement equation)으로 모델링될 수 있다.

본 발명의 실시예에 따르면, 칼만 필터를 모델링시 입력되는 상태 변수가 히스토그램을 평활화한 후 추적 대상 객체의 온도 범위 및 배경의 온도 범위에 대해 가중치를 적용한 값을 기반으로 산출될 수 있다. 히스토그램 평활화 및 가중치 부여 후 결정된 상태 변수를 칼만 필터에 입력함으로서 기존의 객체 추적 방법보다 정확하게 미래 상태에 대한 예측을 수행할 수 있어 효과적으로 객체를 트래킹할 수 있다. 즉, 본 발명의 실시예에 따르면, 칼만 필터에 히스토그램을 평활화한 후 추적 대상 객체의 온도 범위에 대해 가중치를 곱한 값을 기반으로 산출된 상태 변수를 입력함으로서 기존의 객체 추적 방법보다 더욱 효과적으로 객체의 이동에 대해 예측할 수 있다. 칼만 필터는 예측 단계와 보정 단계가 수행될 수 있다. 본 발명의 실시예에 따른 칼만 필터의 예측 단계에서 사용하는 상태 방정식은 아래의 수학식 1과 같이 표현될 수 있다.

<수학식 1>

는 특정 시간 k에 예측되는 객체의 상태 정보,

는 특정 시간 k에서 이전 상태에 기반한 상태 전이 행렬이고,

는 특정 시간 k-1에 예측되는 객체의 상태 정보,

는 특정 시간 k의 사용자 입력에 의한 상태 전이 행렬 및 잡음 변수 등에 의해 결정되는 변수일 수 있다.

수학식 1을 참조하면, 특정 시간 k-1에 예측되는 객체의 상태 정보에 입력되는 상태 정보는 열화상 카메라를 기반으로 획득한 영상을 평활화한 히스토그램에서 객체의 온도 범위 및 배경의 온도 범위에 대해 각각의 가중치를 곱하여 획득한 정보일 수 있다. 이러한 방법을 사용함으로서 객체의 특정 시간 k에 예측되는 객체의 상태에 대해 정확하게 예측할 수 있다.

도 6은 본 발명의 실시예에 따른 모델링에 기반한 전경과 배경의 분리 방법을 나타낸 개념도이다.

도 6에서는 전술한 도 3의 단계 S320의 전경과 배경의 온도 범위가 동일한 경우, 학습 또는 모델링을 통한 전경과 배경 분리 방법을 사용하여 전경과 배경을 분리하는 방법에 대해 개시한다.

배경 모델링은 배경 영상 획득 과정을 통해 수행될 수 있다. 배경 영상 획득 과정은 연속 영상으로부터 움직이는 물체를 분리한 배경 영상을 얻는 과정이다. 새로운 영상 프레임과 배경 영상의 차이를 통해 연속 영상으로부터 움직이는 물체와 배경을 분리할 수 있다. 아래의 수학식 2는 연속 영상으로부터 움직이는 물체와 배경을 분리하는 수식을 나타낸다.

<수학식 2>

는 영상 좌표이고,

는 평균 필터를 적용한 상위 단계 i번째 영상 들의 화소별 분산값,

은 일정 시간 동안 획득된 영상의 수,

는 배경으로 선택된 영상,

는 초기 배경 영상을 나타낸다. 수학식 2를 참조하면, n개의 프레임을 비교하여 화소별 분산값이 최소인 화소를 초기 배경 영상의 화소로 설정할 수 있다.

도 6에서는 주위 환경 변화를 고려한 적응 배경 모델을 나타낸다.

배경 영상은 날씨 등과 같은 주위 환경 변화에 따라 배경의 새로운 반영이 필요하다. 날씨, 밤낮 등의 주위 환경 변화가 존재하는 연속 영상으로부터 움직이는 객체만을 찾도록 하기 위해서는 주위 환경 변화에 따라 적응 가능한 배경 모델을 구현할 수 있다.

분리된 움직이는 물체의 외곽 경계선인 윤곽선 집합(contour sets)(600)과 연속 영상 프레임을 이용하여 배경 영상

(620)를 갱신하게 된다. 배경 영상은 아래의 수학식 3과 같이 갱신될 수 있다.

<수학식 3>

수학식 3에서

는 현재 배경 영상(640)이고,

는 갱신된 배경 영상(630),

는 현재 영상(640)을 나타낸다. 또한 마스크 영상(650)

는 아래의 수학식 4과 같이 표현될 수 있다.

<수학식 4>

수학식 4는 윤곽선 집합

(600)의 내부를 1로 외부를 0으로 설정할 수 있다.

즉, 배경 영상은 현재의 영상의 배경 정보, 현재 영상 정보, 마스크 영상 정보를 기반으로 갱신될 수 있다.

도 7은 본 발명의 실시예에 따른 열화상 카메라를 기반으로 객체를 추적하는 방법을 나타낸 개념도이다.

도 7에서는 열화상 카메라를 기반으로 객체를 추적시 주변 환경 요소를 고려하는 방법에 대해 개시한다.

열화상 카메라를 기반으로 촬영되는 영상은 밤과 낮에 따른 기온 차이 및 계절에 따른 기온 차이로 인해 서로 다른 영상 데이터가 될 수 있다. 따라서, 시간, 계절에 따라 열화상 카메라에서 획득되는 영상의 온도 범위가 다른 값을 가질 수 있다. 이러한 센싱된 온도값, 즉 환경 정보는 사용자가 입력하거나, 별도의 센서를 이용하여 얻거나, 열화상 카메라가 제공하거나 혹은 열화상 영상으로부터 산출된 것일 수 있다.

도 7을 참조하면, 주변의 환경을 고려하여 객체의 온도 범위에 대한 보정이 수행될 수 있다. 추적 대상 객체의 온도 범위(700)를 설정받고, 얻거나 산출한 센싱된 온도값(720)에 대한 정보(환경 정보)를 고려하여 보정된 추적 대상 객체의 온도 범위(760)를 산출할 수 있다. 센싱된 온도값(720)은 별도의 센서로부터 얻거나 사용자로부터 얻을 수도 있으나 기본적으로 열화상 카메라 자체에서 얻어지는 영상으로부터 예측할 수도 있다.

예를 들어, 차량의 이동을 탐지하는 경우, 계절에 따라 차량의 온도 차이가 클 수 있다. 이러한 경우, 현재 기온을 변수로 객체의 온도 범위에 대한 보정을 수행하여 추적 객체의 온도 범위를 설정할 수 있다. 예를 들어, 현재 기온이 낮은 경우(예를 들어, 겨울이나 밤), 객체의 온도 범위에 대한 하한값 및 상한값이 상대적으로 낮은 값으로 보정될 수 있다. 반대로 현재 기온이 높은 경우(예를 들어, 여름이나 낮), 객체의 온도 범위에 대한 하한값 및 상한값이 상대적으로 높은 값으로 보정될 수 있다. 온도 범위를 보정함에 있어서, 온도 범위에 대한 임계값을 설정하여 보정을 수행할 수 있다. 예를 들어, 제1 임계값 이하인 경우, 배경과 전경에 대해 입력받은 온도 범위의 상한값 및 하한값을 낮은 값으로 보정하고, 제2 임계값 이상인 경우, 배경과 전경에 대해 입력받은 온도 범위의 상한값 및 하한값을 높은 값으로 보정할 수 있다. 제1 임계값 이하 또는 제2 임계값 이상이 아닌 경우, 배경과 전경에 대해 입력받은 온도 범위의 상한값 및 하한값을 보정하지 않고 사용할 수 있다.

객체 주변의 온도뿐만 아니라 객체의 움직임 여부(740)에 따라 객체의 온도 범위에 대한 보정이 수행될 수 있다. 사람과 같은 항온을 유지하는 객체는 추적을 수행시 움직임 여부에 따른 객체의 온도 범위에 대한 보정을 하지 않아도 된다. 하지만, 차량과 같이 움직임이 존재하는지 여부에 따라 온도가 달라지는 객체의 경우, 추적을 수행시 움직임 여부에 따라 온도 범위에 대한 보정을 수행할 수 있다. 예를 들어, 객체가 이동시에는 현재 기온 및 객체의 이동시의 온도를 고려하여 객체의 온도 범위를 설정하고 설정하여 설정된 온도 범위에 대해 가중치를 부여할 수 있다. 반대로, 객체가 이동하지 않을 경우, 객체의 이동시의 온도를 고려하지 않고 객체의 온도 범위를 설정하여 설정된 온도 범위에 대해 가중치를 부여할 수 있다.

또한, 본 발명의 실시예에 따르면, 객체를 추적함에 있어서, 객체의 특정한 부분을 검출하여 검출된 특정 부위를 기반으로 객체에 대한 추적을 수행할 수도 있다.

도 8은 본 발명의 실시예에 따른 객체 추적 방법을 나타낸 개념도이다.

도 8을 참조하면, 객체가 사람이고 특징 영역 추출 방식를 이용하여 선택된 객체의 특정 부위가 사람의 머리나 얼굴인 경우, 특징 정보 추출 알고리즘을 사용하여 객체에서 특징 부위에 대한 특징 정보를 산출할 수 있다. 이러한 특징 정보로는 온도 분포 특징, 구체적 객체의 외곽선이나 기하학적 배치 특징 등이 될 수 있다.

예를 들어, 사람이 객체인 경우, 옷으로 인해 노출된 머리 부분(800)을 제외한 부분에서 사람의 온도 범위에 해당하는 열화상이 획득되지 않을 수 있다. 이러한 문제점을 해결하기 위해 객체를 판별하고 추적하기 위한 객체의 특정 부위를 미리 설정할 수 있다. 예를 들어, 사람의 경우, 머리 부분(800)을 기반으로 객체 인식이 수행되도록 설정할 수 있고, 차량의 경우, 엔진이 위치한 본네트 부위를 기반으로 객체 인식이 수행되도록 설정할 수 있다. 즉, 본 발명의 실시예에 따르면, 객체를 인식하기 위해 객체의 온도 특징을 가장 잘 나타낼 수 있는 객체의 특정 부위를 미리 설정함으로서 더욱 정확한 객체 인식을 수행할 수 있도록 할 수 있다.

도 9는 본 발명의 실시예에 따른 객체 추적 장치를 나타낸 개념도이다.

도 9를 참조하면, 객체 추적 장치는 열화상 카메라(900)와 온도 설정부(910), 영상 변환부(920), 배경 분리부(930), 타겟 객체 결정부(940), 추적부(950)를 구비한 프로세서(960)를 포함할 수 있다. 여기서, 프로세서(960)에 해당하는 구성은 원격지 영상 처리 서버에 구성될 수도 있다.

열화상 카메라(900)는 객체가 발산하는 적외선 방사를 측정하여 표면 온도의 2차원 화상을 특정 범위의 값(예를 들어, 0~ 255 사이의 값)으로 이미지화할 수 있다.

온도 설정부(910)는 전경의 온도 범위 및 배경의 온도 범위에 대해 설정할 수 있다. 예를 들어, 추적 대상 객체가 사람인 경우, 사람이 가질 수 있는 온도 범위를 설정하거나 사람을 설정하여 그에 따른 온도가 추적 대상 객체의 온도 범위로 설정되도록 할 수 있고 배경의 온도는 대기 온도 범위와 관심이 없는 난로의 온도 범위, 조명의 온도 범위 등으로 설정할 수 있다. 온도 설정부(910)가 설정한 온도를 기반으로 영상 변환부(920)에서 전경에 해당하는 온도 범위의 영상에 대해 영상 데이터를 증가시킬 수 있다.

한편, 이러한 온도 범위의 설정은 사용자가 직접 입력하는 값(온도범위 직접 입력 혹은 대상 선택에 따른 자동 온도 범위 적용)에 따라 이루어질 수도 있고, 열화상 영상에 대한 히스토그램 분석을 통해 대부분의 데이터가 모여 있는 중심 영역(주로 대기 온도와 같은 노이즈 영역)과 중심 영역에서 벗어나 있으면서 소정의 데이터를 가진 영역(대기와 온도가 다른 객체일 가능성이 높은 영역)을 구분한 후 이에 대한 정보를 사용자에게 제공함으로써 사용자가 이를 기반으로 배경과 전경의 온도 범위를 선택하거나 이를 그대로 반영하도록 선택한 결과에 따라 이루어질 수 있다.

영상 변환부(920)에서는 온도 설정부(910)에서 전경에 해당하는 온도 범위에 존재하는 영상 데이터에 대한 정보량을 증가시킬 수 있다. 예를 들어, 열화상 카메라에서 촬상된 영상에 대한 히스토그램 평활화를 수행하고 온도 설정부(910)에서 설정한 전경의 온도 범위에 가중치를 적용하여 영상을 획득할 수 있다. 전경에 포함되는 객체에 대해 서로 다른 가중치를 적용할 수도 있다. 예를 들어, 사람의 머리 부분에는 객체의 다른 부분보다 상대적으로 높은 가중치를 적용할 수 있고, 온도 패턴의 분포가 사람에 가까울수록 가중치를 높게 적용할 수도 있다.

배경 분리부(930)는 전경과 배경을 분리할 수 있다. 설정 온도에 따라 전경과 배경을 분리할 수 있으며, 배경과 전경의 온도가 겹치는 영역이 있는 경우 해당 영역은 선택적으로 모델링에 기반하여 배경을 분리할 수 있다.

타겟 객체 결정부(940)는 영상 변환부(920)에서 변환된 영상을 기반으로 영상에서 타겟 객체를 결정할 수 있다. 이때 전술한 바와 같이 객체의 외곽선 정보, 특징 영역 정보, 온도 분포 등과 같은 객체 식별 방법을 기반으로 객체의 종류를 판단할 수 있다.

추적부(950)는 칼만 필터와 같은 추적 알고리즘을 기반으로 결정된 객체에 대한 추적을 수행할 수 있다. 객체의 열화상 정보는 추적 수행시 칼만 필터의 객체의 상태 정보로 입력될 수 있다.

도 9에서는 설명의 편의상 각 구성부를 기능상으로 분리하여 표현하였으나, 구현에 따라 하나의 구성부가 복수의 구성부로 구성되거나 복수의 구성부가 하나의 구성부로 생성될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (16)

1. 객체 추적 장치를 이용한 객체 추적 방법에 있어서,
   사용자 설정 정보를 수신한 상기 객체 추적 장치가 추적 대상 객체의 온도 범위 및 배경의 온도 범위를 설정하는 단계;
   상기 객체 추적 장치가 열화상 카메라를 통해 상기 추적 대상 객체에 대한 제1 열화상 영상을 획득하는 단계;
   상기 객체 추적 장치가 상기 추적 대상 객체의 온도 범위 및 상기 배경의 온도 범위를 기반으로 상기 제1 열화상 영상에서 상기 배경을 분리하여 제2 열화상 영상을 생성하는 단계; 및
   상기 객체 추적 장치가 상기 제2 열화상 영상을 기반으로 상기 추적 대상 객체를 추적하는 단계를 포함하고,
   상기 추적 대상 객체의 온도 범위 및 상기 배경의 온도 범위는,
   외부 온도에 대한 환경 정보를 수신하거나 상기 제1 열화상 영상으로부터 산출하여 상기 추적 대상 객체나 배경의 온도 범위를 보정하거나 추적 대상 객체의 이동 여부에 따라 상기 추적 대상 객체나 배경의 온도 범위를 보정한 값인 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 방법.
   
2. 제1항에 있어서, 상기 객체 추적 장치가 상기 제2 열화상 영상을 생성하는 단계는,
   상기 제1 열화상 영상에 대한 히스토그램 평활화를 수행하는 단계; 및
   상기 히스토그램 평활화된 상기 제1 열화상 영상의 온도 범위 중 상기 추적 대상 객체의 온도 범위에 제1 가중치를 부여하고 상기 배경의 온도 범위에 제2 가중치를 부여한 후 상기 배경을 분리하여 제2 열화상 영상을 생성하는 단계를 포함하되,
   상기 제1 가중치는 상기 제2 가중치보다 큰 값인 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 방법.
   
3. 제1항에 있어서, 상기 객체 추적 장치가 상기 제2 열화상 영상을 생성하는 단계는,
   상기 추적 대상 객체의 온도 범위와 상기 배경의 온도 범위가 겹치는 픽셀 영역이 존재하는 경우 해당 픽셀 영역에 대한 배경 분리는 백그라운드 모델링 방식을 기준으로 실시하는 단계를 포함하는 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 방법.
   
4. 삭제
5. 제1항에 있어서, 상기 추적 대상 객체의 온도 범위 및 상기 배경의 온도 범위는,
   상기 외부 온도에 대한 환경 정보가 제1 임계값 이하인 경우나 상기 추적 대상 객체가 이동하는 경우 상기 추적 대상 객체의 온도 범위나 상기 배경의 온도 범위의 상한값 및 하한값이 더 낮게 보정되고,
   상기 외부 온도에 대한 환경 정보가 제2 임계값 이상인 경우, 상기 추적 대상 객체의 온도 범위나 상기 배경의 온도 범위의 상한값 및 하한값이 더 높게 보정되는 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 방법.
   
6. 제1항에 있어서, 상기 제2 열화상 영상을 기반으로 상기 추적 대상 객체를 추적하는 단계는,
   상기 제2 열화상 영상에서 움직임이 존재하는 픽셀을 추출하는 단계;
   상기 추출된 픽셀에서 잡음을 제거하고 블럽을 생성하여 그룹화하는 단계;
   상기 그룹화된 블럽이 상기 추적 대상 객체인지 여부를 판단하는 단계; 및
   상기 그룹화된 블럽이 상기 추적 대상 객체인 경우, 상기 추적 대상 객체를 추적하는 단계를 포함하는 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 방법.
   
7. 제6항에 있어서, 상기 그룹화된 블럽이 상기 추적 대상 객체인지 여부를 판단하는 단계는,
   상기 그룹화된 블럽이 상기 추적 대상 객체의 종류에 따른 열분포 패턴에 일치되는지 여부를 판단하는 단계인 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 방법.
   
8. 제1항에 있어서, 상기 추적 대상 객체의 온도 범위 및 배경의 온도 범위를 설정하는 단계는 사용자가 직접 입력하는 온도 범위 정보를 이용하거나 열화상 영상의 히스토그램 분석을 통해 중심 영역과 주변 영역을 구분하여 제공한 기준을 통해 얻어진 사용자 설정을 객체와 배경의 온도 범위로 이용하는 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 방법.
   
9. 객체 추적 장치에 있어서, 상기 객체 추적 장치는 프로세서를 포함하고,
   상기 프로세서는 사용자 입력정보를 기준으로 추적 대상 객체의 온도 범위 및 배경의 온도 범위를 설정하고,
   상기 추적 대상 객체에 대한 제1 열화상 영상을 획득하며,
   상기 추적 대상 객체의 온도 범위 및 상기 배경의 온도 범위를 기반으로 상기 제1 열화상 영상에서 상기 배경을 분리하여 제2 열화상 영상을 생성하고,
   상기 제2 열화상 영상을 기반으로 상기 추적 대상 객체를 추적하며,
   상기 추적 대상 객체의 온도 범위 및 상기 배경의 온도 범위는,
   외부 온도에 대한 환경 정보를 수신하거나 상기 제1 열화상 영상으로부터 산출하여 상기 추적 대상 객체나 배경의 온도 범위를 보정하거나 추적 대상 객체의 이동 여부에 따라 상기 추적 대상 객체나 배경의 온도 범위를 보정한 값인 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 장치.
   
10. 제9항에 있어서, 상기 프로세서는,
    상기 제1 열화상 영상에 대한 히스토그램 평활화를 수행하고,
    상기 히스토그램 평활화된 상기 제1 열화상 영상의 온도 범위 중 상기 추적 대상 객체의 온도 범위에 제1 가중치를 부여하고 상기 배경의 온도 범위에 제2 가중치를 부여한 후 상기 배경을 분리하여 제2 열화상 영상을 생성하도록 구현되되,
    상기 제1 가중치는 상기 제2 가중치보다 큰 값인 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 장치.
    
11. 제9항에 있어서, 상기 프로세서는,
    상기 제2 열화상 영상을 생성하기 위해 배경을 분리할 때 상기 추적 대상 객체의 온도 범위와 상기 배경의 온도 범위가 겹치는 온도 범위의 픽셀 영역이 존재한다면 해당 픽셀 영역에 대한 배경 분리는 백그라운드 모델링 방식을 기준으로 실시하는 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 장치.
    
12. 삭제
13. 제9항에 있어서, 상기 추적 대상 객체의 온도 범위 및 상기 배경의 온도 범위는,
    상기 외부 온도에 대한 환경 정보가 제1 임계값 이하이거나 상기 추적 대상 객체가 이동하는 경우, 상기 추적 대상 객체의 온도 범위나 상기 배경의 온도 범위의 상한값 및 하한값이 더 낮게 보정되고,
    상기 외부 온도에 대한 환경 정보가 제2 임계값 이상인 경우, 상기 추적 대상 객체의 온도 범위나 상기 배경의 온도 범위의 상한값 및 하한값이 더 높게 보정되는 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 장치.
    
14. 제9항에 있어서, 상기 프로세서는,
    상기 제2 열화상 영상에서 움직임이 존재하는 픽셀을 추출하고,
    상기 추출된 픽셀에서 잡음을 제거하고 블럽을 생성하여 그룹화하며,
    상기 그룹화된 블럽이 상기 추적 대상 객체인지 여부를 판단하고,
    상기 그룹화된 블럽이 상기 추적 대상 객체인 경우, 상기 추적 대상 객체를 추적하는 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 장치.
    
15. 제14항에 있어서, 상기 프로세서는,
    상기 그룹화된 블럽이 상기 추적 대상 객체인지 여부를 판단하기 위해 상기 그룹화된 블럽이 상기 추적 대상 객체의 종류에 따른 열분포 패턴에 일치되는지 여부를 판단하는 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 장치.
    
16. 제14항에 있어서, 상기 프로세서는,
    칼만 필터를 기반으로 상기 추적 대상 객체를 추적하도록 구현되고,
    상기 칼만 필터는 상기 제2 열화상 영상에 대한 정보를 기반으로 상기 추적 대상 객체를 추적하는 것을 특징으로 하는 열화상 카메라를 사용한 객체 추적 장치.
    

Images