KR20200075734A

KR20200075734A - 열 카메라에 의해 캡처된 이미지에서의 변화를 향상시키기 위한 방법, 장치 및 시스템

Info

Publication number: KR20200075734A
Application number: KR1020190145926A
Authority: KR
Inventors: 윈첼 토마스
Original assignee: 엑시스 에이비
Priority date: 2018-12-18
Filing date: 2019-11-14
Publication date: 2020-06-26
Also published as: JP6929923B2; EP3671625A1; TW202038186A; KR102206815B1; EP3671625B1; CN111339817B; US10789688B2; JP2020115323A; CN111339817A; TWI751460B; US20200193574A1

Abstract

열 카메라(102)에 의해 캡처된 이미지 시퀀스(103)의 이미지(103a)에서의 변화를 향상시키기 위한 방법, 장치(104), 및 시스템(100)이 제공된다. 상기 이미지 시퀀스(103)의 부분인 이미지(103a)가 수신되고(S02), 시퀀스에서의 다른 이미지(103b)와 관련하여 변화된 이미지에서의 픽셀(408)이 식별된다(S04). 상기 식별된 픽셀의 강도 값에 기초하여, 이미지에서 변화된 픽셀 뿐만 아니라 변화되지 않은 픽셀의 강도 값을 재분배하는데 사용되는 함수(212, 212a, 212b, 212c, 212d, 212e)가 결정된다(S06). 상기 함수는 상기 식별된 픽셀의 강도 값의 범위(514)에서 제1 강도 값(602)에 대한 최대값(601)을 가지며, 상기 제1 강도 값으로부터 거리가 증가함에 따라 감소한다.

Description

열 카메라에 의해 캡처된 이미지에서의 변화를 향상시키기 위한 방법, 장치 및 시스템{METHOD, DEVICE, AND SYSTEM FOR ENHANCING CHANGES IN AN IMAGE CAPTURED BY A THERMAL CAMERA}

본 발명은 열 이미지를 처리하는 분야에 관한 것이다. 구체적으로, 본 발명은 열 카메라에 의해 캡처된 이미지 시퀀스의 이미지에서의 변화를 향상시키기 위한 방법, 장치 및 시스템에 관한 것이다.

오늘날 열 카메라는 감시 목적으로 자주 사용된다. 열 카메라는 장거리와 어려운 환경에서 물체를 검출하고 분류하는데 사용할 수 있는 뛰어난 검출기로, 종종 가시광 카메라보다 훨씬 좋다. 그러나, 가시광 카메라에 비해 열 카메라의 해상도가 일반적으로 낮기 때문에, 이러한 검출 전위는 자동 모션 검출 시스템과 같은 자동 시스템에서 이용하기 어렵다. 해상도가 낮기 때문에, 장면에서 작거나 먼 물체는 캡처된 열 이미지 중 하나 또는 몇 픽셀만 덮을 수 있다. 열 이미지로부터 장면의 움직임이 감지되면, 작거나 먼 물체는 움직이는 움직이는 물체로 감지되는 대신 노이즈로 쉽게 오인될 수 있다. 또한, 대부분의 모션 검출 엔진은 열 카메라 이미지가 아닌 가시광 카메라 이미지에 최적화된다.

이러한 문제는 EP3016383 A1에서 인식된다. 이러한 문서에서, 이미지 시퀀스에서 이전 이미지 이후에 변경된 이미지 시퀀스에서의 이미지의 픽셀을 향상시키는 것이 제안된다. 이렇게 하면, 장면에서 작거나 먼 움직이는 물체가 이미지에서 더 크게 나타난다. 즉, 물체는 이미지에서 증가된 픽셀 양을 커버한다. 따라서 노이즈로 오인될 가능성이 적고 움직이는 물체로 검출될 가능성이 높다.

EP3016383 A1은 픽셀 값에 오프셋을 얻거나 추가함으로써 이전 프레임 이후에 변경된 픽셀을 향상시키는 간단한 접근법을 갖는다. 그러나, 열 이미지 시퀀스로부터 움직이는 물체를 정확하게 검출할 가능성을 추가로 개선하기 위해, 열 이미지 시퀀스에서의 변화를 더욱 향상시키는 방법이 필요하다.

상기를 고려하여, 따라서 본 발명의 목적은 상기 문제점을 완화하고 열 이미지 시퀀스에서의 변화의 향상을 추가로 개선하는 것이다.

제1 양태에 따르면, 상기 목적은 열 카메라에 의해 캡처된 이미지 시퀀스의 이미지에서의 변화를 향상시키는 방법에 의해 달성된다. 상기 방법은:

열 카메라에 의해 캡처된 이미지 시퀀스의 부분인 이미지를 수신하는 단계;

상기 이미지를 상기 이미지 시퀀스에서의 다른 이미지와 비교함으로써 상기 이미지 시퀀스에서 다른 이미지와 관련하여 변화된 이미지에서의 픽셀을 식별하는 단계;

상기 식별된 픽셀의 강도 값들에 기초하여, 상기 이미지에서 픽셀의 강도 값들을 재분배하기 위한 함수를 결정하는 단계 - 상기 함수는 상기 식별된 픽셀의 상기 강도 값들의 범위에서 제1 강도 값(intensity value)에 대한 최대값(maximum)을 가지며, 상기 함수가 상기 제1 강도 값보다 상기 범위 밖의 강도 값에 더 낮은 값을 할당하도록 상기 제1 강도 값으로부터 거리가 증가함에 따라 감소함(decay) -, 및

상기 결정된 함수를 사용함으로써 상기 다른 이미지와 관련하여 변화된 상기 이미지에서의 픽셀의 강도 값들 및 상기 다른 이미지와 관련하여 변화되지 않은 상기 이미지에서의 픽셀의 강도 값들을 재분배함으로써, 상기 이미지에서 변화를 향상시키는 단계를 포함한다.

이러한 방법을 사용하면, 상기 시퀀스에서의 다른 이미지 이후에 변화된 픽셀이 식별된다. 상기 식별된 픽셀의 강도 값들에 기초하여, 이미지에서 강도 값들을 재분배할 때 나중에 사용될 함수가 결정된다. 이렇게 함으로써, 재분배 동작을 수행할 때 이들 강도 값들이 원하는 방식으로 상기 이미지에서 강조되도록 상기 이미지에서 변화된 픽셀의 강도 값들 이후에 함수가 조정될 수 있다.

상기 함수는 상기 이미지에서 변화될 뿐만 아니라 변화되지 않은 픽셀의 강도 값들을 재분배하는데 사용된다. 다시 말해서, 상기 다른 이미지와 관련하여 변화된 픽셀과 상기 다른 이미지와 관련하여 변화되지 않은 픽셀 모두의 강도 값들이 재분배된다. 이는 상기 이미지에서 모든 픽셀, 또는 상기 이미지에서 적어도 대부분의 픽셀을 포함할 수 있다. 이러한 형태로 인해, 변화된 픽셀의 강도 값들 범위 내에서 최대값과 상기 최대값으로부터 거리가 증가함에 따라 감소함에 따라, 상기 함수는 여러 가지 목적으로 사용된다. 보다 구체적으로, 변화된 픽셀의 강도에 해당하는 픽셀 강도에 더 높은 가중치를 부여하는 경향이 있을 뿐만 아니라, 변화된 픽셀의 강도 범위 내에 있지 않은 픽셀 강도를 억제하는 경향이 있다. 이러한 방식으로, 변화된 픽셀의 강도 범위 내의 강도 값을 갖는 픽셀과 그 강도 범위 밖의 강도 값을 갖는 픽셀 사이에서 콘트라스트(contrast)가 증가된다. 결과적으로, 예를 들어 상기 이미지의 처리에 나중에 적용되는 움직임 검출기(motion detector)를 사용함으로써, 움직이는 물체는 원래 이미지와 비교하여 향상된 이미지에서 구별 및 검출하기가 더 쉬울 것이다.

상기 식별된 픽셀의 강도 값들의 범위는 일반적으로 상기 식별된 픽셀의 최소 강도 값과 최대 강도 값 사이의 강도 값의 간격을 의미한다.

상기 이미지에서 픽셀의 강도 값들을 재분배하기 위한 함수는 픽셀에서의 강도 값을 가중치에 맵핑(map)하는 함수이다. 따라서 상기 함수는 상기 이미지에서 픽셀의 강도 값들을 가중하기 위한 함수로 간주될 수 있다. 상기 함수는 상기 함수에 의해 강도 값에 할당된 가중치에 의해 상기 이미지에서의 각각의 픽셀의 강도 값을 가중함으로써 상기 이미지에서의 모든 픽셀의 강도 값들을 재분배하는데 사용될 수 있다.

거리가 증가함에 따라 상기 함수가 감소한다는 것은 거리가 증가함에 따라 함수가 감소함을 의미한다. 상기 감소는 스트릭트(strict)하거나 스트릭트하지 않을 수 있다. 그러나, 상기 함수가 범위 내에 있는 제1 강도 값보다 상기 범위 밖의 강도 값에 더 낮은 값을 할당하기 때문에, 상기 함수는 상기 식별된 픽셀의 강도 값들의 범위의 일부에 대해 적어도 거리에 따라 스트릭트하게 감소한다.

상기 함수의 감소율(rate of decay)은 상기 식별된 픽셀의 강도 값들의 변동에 기초하여 결정될 수 있으며, 더 큰 변동(variation)은 더 낮은 감소율을 제공한다. 이러한 방식으로, 상기 함수는 상기 변화된 픽셀의 강도 값들의 변동에 적용될 수 있다. 보다 구체적으로, 상기 식별된 픽셀의 강도 값들의 변동과 관련하여 감소율이 너무 빠르게 되는 것을 피할 수 있는데, 이는 변화된 픽셀 중 일부가 적절히 향상되지 않기 때문이다. 반대로, 상기 식별된 픽셀의 강도 값들의 변동과 관련하여 감소율이 너무 느린 것을 피할 수 있는데, 이는 변화된 픽셀의 강도 범위 내의 강도 값들을 갖는 픽셀과 해당 강도 범위 밖의 강도 값들을 갖는 픽셀 사이의 콘트라스트가 적은 것을 야기하기 때문이다. 예를 들어, 상기 식별된 픽셀의 강도 값들이 히스토그램에서 좁은 피크로 표시되면, 변화된 픽셀의 강도 값들이 히스토그램에서 더 넓은 피크로 표시되는 것과 비교하여 더 빠르게 감소하는 함수가 사용될 수 있다.

상기 식별된 픽셀의 강도 값들의 변동은 상기 식별된 픽셀의 강도 값들의 범위의 폭에 기초하여 결정될 수 있다. 대안으로, 상기 식별된 픽셀의 강도 값들의 변동은 상기 식별된 픽셀의 강도 값들의 표준 편차(standard deviation)에 기초하여 계산될 수 있다.

상기 함수의 감소율은 다른 이미지와 관련하여 변화된 것으로 식별되지 않는 이미지에서의 픽셀의 강도 값들의 변동에 추가로 기초할 수 있고, 여기서 상기 다른 이미지와 관련하여 변화된 것으로 식별되지 않는 이미지에서의 픽셀의 강도 값들의 더 큰 변동은 더 낮은 감소율을 제공한다. 이러한 경우에도, 변동은 관련된 픽셀의 강도 값들의 범위의 폭 또는 표준 편차에 기초하여 계산될 수 있다. 이러한 방식으로, 변화된 픽셀의 강도 값의 변동뿐만 아니라, 변화되지 않은 픽셀의 강도 값들의 변동도 고려된다. 예를 들어, 변화되지 않은 픽셀과 변화된 픽셀의 강도 값들의 변동 사이의 관계는 상기 함수의 감소율을 설정할 때 고려될 수 있다. 변화되지 않은 픽셀의 강도 값들의 변동이 변화된 픽셀의 변동과 관련하여 큰 경우, 예를 들어 더 낮은 감소율을 갖는 함수를 갖는 것이 유리할 수 있다. 이러한 상황은 단지 몇개의 픽셀만이 다른 이미지와 관련하여 변화된 것으로 식별될 때 발생할 수 있다. (가능한 경우) 몇 개의 변화된 픽셀로부터의 변동을 추정함으로써, 상기 이미지에서의 변화를 적절히 향상시키기에 너무 빠른 감소율에 도달할 수 있다는 것이 밝혀졌다. 또한, 변화되지 않은 픽셀의 변동을 고려함으로써, 더 낮은 감소율을 갖는 함수에 도달하여, 상기 이미지에서 변화의 향상을 향상시킬 수 있다.

상기 결정된 함수가 최대값을 갖는 제1 강도 값을 선택하기 위해 상이한 접근법이 취해질 수 있다.

하나의 접근법에서, 상기 제1 강도 값은 상기 식별된 픽셀의 강도 값들의 모드(mode)에 해당한다. 상기 모드는 상기 식별된 픽셀의 가장 빈번한 강도 값이다. 상기 모드는 상기 강도 값들의 히스토그램으로부터 추출될 수 있다.

다른 접근법에서, 상기 제1 강도 값은 상기 식별된 픽셀의 강도 값의 범위의 중간점(mid-point)에 해당한다. 이는 히스토그램 계산이 필요없는 제1 강도 값을 설정하는 간단한 방법이다.

또 다른 접근법에서, 상기 제1 강도 값은 상기 식별된 픽셀의 강도 값들의 평균 값에 해당한다. 이는 또한 제1 강도 값을 설정하는 간단한 방법을 제공한다.

추가의 접근법은 상기 식별된 픽셀의 강도 값의 분배의 중간값 또는 무게 중심(center of gravity)을 포함한다.

특정 상황에서 선택하는 접근법은 예를 들어, 상기 식별된 픽셀의 상기 강도 값들의 분배 형상에 의존할 수 있다. 상기 분대칭 형상의 분배의 경우 평균값이 수행될 수 있는 반면, 보다 복잡한 형상의 분배의 경우 모드 또는 범위의 중간점이 바람직할 수 있다. 일부 경우에서, 상기 선택은 상기 식별된 픽셀의 강도 값들이 강도 스케일에서 위치되는 곳에 의존할 수 있다. 예를 들어, 상기 변화된 픽셀의 강도 값의 범위가 강도 스케일의 상부에 위치하는 경우, 상기 제1 강도 값을 변화된 픽셀의 강도 값들의 범위의 하부 끝(end)에 있도록 설정하거나 그 반대로 하는 것이 유리할 수 있다.

상기 함수는 상기 제1 강도 값을 중심으로 대칭일 수 있다. 이는 상기 식별된 픽셀의 강도 값들의 분배가 대략 대칭인 경우에 적절할 수 있다.

대안으로, 상기 함수는 상기 제1 강도 값을 중심으로 기울어질(skewed) 수 있다. 상기 함수가 기울어짐으로써 이의 테일(tail) 중 하나가 다른 테일보다 무겁다는 것을 의미한다. 비대칭 함수를 사용하는 이유는 상기 제1 강도보다 낮은 강도 값보다 상기 제1 강도보다 높은 강도 값을 더 강조하거나 그 반대로 할 수 있기 때문이다.

예를 들어, 상기 함수는 낮은 강도 값보다 높은 강도 값에 대해 테일이 무거워지도록 기울어질 수 있다. 이는 예를 들어, 인간 또는 동물의 체온보다 차가운 환경에서 인간 또는 동물을 검출하는 것을 다루는 적용에 사용될 수 있다. 높은 강도 값들에 대해 테일이 무거울수록 배경과 비교하여 인간과 관련된 강도 값을 더 강조할 수 있게 한다.

더 따뜻한 환경에서 사람 또는 동물이 검출되는 반대 상황에서, 더 무거운 테일이 더 낮은 강도 값으로 대신 위치될 수 있다.

실제로, 예를 들어 열 카메라에 위치된 온도 센서는 주위 온도를 결정하는데 사용될 수 있고, 비대칭도(skewness)의 측면은 측정된 주위 온도에 기초하여 결정될 수 있다. 주위 온도가 관심 물체의 일반적인 온도보다 낮은 경우, 상기 함수의 비대칭도는 낮은 강도 값보다 높은 강도 값에 대해 더 무거운 테일을 갖도록 설정되거나 그 반대일 수 있다. 주위 온도는 열 카메라에서 볼로미터 유형의 열 검출기를 사용하여 측정될 수 있다.

상기 함수는 매개변수 함수(parametric function)일 수 있다. 예를 들어, 상기 함수는 가우스 함수(대칭 경우) 또는 비대칭 가우스 함수(비대칭 경우)일 수 있다. 이는 상기 식별된 픽셀의 강도 값들로부터 추출된 일부 파라미터로부터 상기 함수가 쉽게 결정될 수 있다는 점에서 유리하다.

상기 이미지 시퀀스에서 다른 이미지와 관련하여 변화된 이미지에서의 픽셀을 식별하는 단계는 상기 이미지 시퀀스에서의 다른 이미지의 해당하는 픽셀의 강도 값으로부터 임계 값보다 더 큰 강도 값을 갖는 이미지에서의 픽셀을 식별하는 단계를 포함할 수 있다. 임계값을 적용함으로써, 작고 중요하지 않은 변화(예를 들어 노이즈)가 제외될 수 있다.

제2 양태에 따르면, 열 카메라에 의해 캡처된 이미지 시퀀스의 이미지에서 변화를 향상시키기 위한 장치가 제공되며, 상기 장치는:

열 카메라에 의해 캡처된 이미지 시퀀스의 부분인 이미지를 수신하도록 구성된 수신기(receiver);

상기 이미지를 상기 이미지 시퀀스에서 다른 이미지와 비교함으로써 상기 이미지 시퀀스에서의 다른 이미지와 관련하여 변화된 상기 이미지에서의 픽셀을 식별하도록 구성된 변화 검출기(change detector);

상기 식별된 픽셀의 강도 값에 기초하여, 상기 이미지에서 픽셀의 강도 값을 재분배하기 위한 함수를 결정하도록 구성된 재분배 함수 결정기(redistribution function determiner) - 상기 함수는 상기 식별된 강도 값의 범위에서 제1 강도 값에 대한 최대값을 가지고, 상기 함수가 상기 제1 강도 값보다 범위 밖의 강도 값에 더 낮은 값을 할당하도록 제1 강도 값으로부터의 거리가 증가함에 따라 감소함 -, 및

상기 결정된 함수를 사용하여 상기 다른 이미지와 관련하여 변화된 상기 이미지에서 픽셀의 강도 값들 및 상기 다른 이미지와 관련하여 변화되지 않은 이미지에서의 픽셀의 강도 값들을 재분배함으로써, 상기 이미지에서 변화를 향상시키도록 구성된 강도 값 재분배기(intensity value redistributor);를 포함한다.

제3 양태에 따르면, 열 카메라에 의해 캡처된 이미지 시퀀스의 이미지에서 변화를 향상시키기 위한 시스템이 제공되며: 상기 시스템은:

이미지 시퀀스를 캡처하도록 구성된 열 카메라,

상기 열 카메라에 의해 캡처된 상기 이미지 시퀀스의 이미지들을 수신하도록 배치된 제2 양태에 따른 장치를 포함한다.

제4 양태에 따르면, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1 양태의 방법을 수행하게 하는 컴퓨터 코드 명령어들이 저장된 컴퓨터 판독 가능 저장 매체가 제공된다. 상기 컴퓨터 판독 가능 저장 매체는 비-일시적 컴퓨터 판독 가능 저장 매체일 수 있다.

제2, 제3 및 제4 양태는 일반적으로 제1 양태와 동일한 특징 및 장점을 가질 수 있다. 또한, 본 발명은 달리 명시되지 않는 한 가능한 모든 특징의 조합에 관한 것임을 추가로 유의한다.

본 발명의 전술한 것뿐만 아니라, 추가적인 목적, 특징 및 장점은 첨부된 도면을 참조하여 이하의 예시적이고 비-제한적인 상세한 설명을 통해 보다 잘 이해될 것이고, 동일한 참조 번호는 유사한 요소에 사용될 것이다.
도 1은 실시 형태들에 따른 열 카메라에 의해 캡처된 이미지 시퀀스에서의 변경을 향상시키기 위한 시스템을 개략적으로 도시한다.
도 2는 실시 형태들에 따른 열 카메라에 의해 캡처된 이미지 시퀀스에서의 변경을 향상시키기 위한 장치를 개략적으로 도시한다.
도 3은 실시 형태들에 따른 열 카메라에 의해 캡처된 이미지 시퀀스에서의 변경을 향상시키기 위한 방법의 흐름도이다.
도 4는 실시 형태들에 따라 다른 이미지와 관련하여 변경된 현재 이미지의 픽셀을 식별하는 방법을 개략적으로 도시한다.
도 5a는 현재 이미지의 강도 값들의 히스토그램의 일례를 도시한다.
도 5b는 다른 이미지와 관련하여 변경된 현재 이미지의 강도 값들의 히스토그램의 일례를 도시한다.
도 5c는 변경이 강화된 이미지의 강도 값의 히스토그램의 일례를 도시한다.
도 6은 실시 형태들에 따라 이미지에서 픽셀의 강도 값을 재분배하는데 사용될 수 있는 함수의 다양한 예들을 개략적으로 도시한다.

이하, 본 발명의 실시 형태들이 도시된 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 시스템(100)을 도시한다. 시스템(100)은 열 카메라(102)에 의해 캡처된 이미지 시퀀스의 이미지에서 변화를 향상시키기 위해 사용될 수 있다. 시스템(100)은 열 카메라(102) 및 이미지 향상 장치(image enhancement device; 104)를 포함한다. 시스템(100)은 또한 움직임 검출기(106)를 포함할 수 있다. 이미지 향상 장치(104)는 열 카메라(102)의 통합 부분일 수 있다. 예를 들어, 이미지 향상 장치(104)는 열 카메라(102)의 이미지 처리 파이프라인(image processing pipeline)에 내장될 수 있다. 따라서, 열 카메라의 분리된 구성 요소일 필요는 없지만, 구성 요소, 예를 들어 프로세서를 열 카메라의 다른 부분과 공유될 수 있다. 대안으로, 그리고 도 1에 도시된 바와 같이, 이미지 향상 장치(104)는 열 카메라(102)와 별도로 제공될 수 있다.

시스템(100)은 모니터링 또는 감시 목적으로 사용될 수 있다. 따라서 열 카메라는 모니터링 카메라일 수 있다. 시스템(100)은 예를 들어, 주변 감시와 같이 대부분의 시간이 정적인 장면에서 움직임 검출을 위해 사용될 수 있다. 이러한 목적으로 사용될 때, 시스템(100)은 이미지에서 변화를 향상시킴으로써 움직임 검출의 성능을 향상시키는 역할을 하므로, 움직임 검출기(106)에 대해 더욱 가시적이고 검출하기 쉽다.

열 카메라(102)는 열 센서를 이용하여 장면 내의 열 차이를 시각화한다. 당업계에 공지된 바와 같이, 열 센서는 장면에서 물체에 의해 방출되는 열 에너지를 검출하고 검출된 열 에너지를 전기 신호로 변환하여 열 이미지 또는 열 비디오, 즉 열 이미지의 시퀀스(103)를 생성한다. 따라서 생성된 이미지의 픽셀의 강도 값들은 장면에서 물체에 의해 방출되는 열 에너지를 나타내고, 이는 방출하는 물체의 온도에 의존한다. 열 카메라(102)는 따라서 인간 또는 동물과 같은 따뜻한 물체가 주위, 쿨러(cooler), 배경에 대해 두드러지는 일련의 열 이미지(103)를 제공할 수 있고, 그 반대도 제공할 수 있다. 본 발명이 사용될 수 있는 다른 물체의 예들은 자동차 또는 드론(drone)과 같은 상이한 유형의 전동 차량이다. 예로서, 도 5a는 더 차가운 배경에서 인간을 도시하는 열 이미지의 강도 값의 히스토그램(500)을 개략적으로 도시한다. 인간은 히스토그램(500)에서 피크(502)로 나타난다.

시스템(100)은 열 카메라(102)가 절대적으로 보정되는지 여부에 관계없이 이미지 시퀀스(103)의 이미지에서의 변화를 향상시킬 수 있다. 절대적으로 보정된 열 카메라의 경우 열 이미지(103)의 강도 값은 온도 스케일에 대해 보정된다. 이는 그 온도가 열 이미지(103)의 강도 값으로부터 직접 판독될 수 있음을 의미한다.

열 카메라(102)는 열 이미지의 시퀀스(103)를 이미지 향상 장치(104)에 제공하도록 배치된다. 이미지 향상 장치(104)가 열 카메라(102)와 분리된 경우, 열 이미지 시퀀스(103)는 케이블을 통하거나 네트워크를 통해 무선으로 열 카메라(102)로부터 장치(104)로 전송될 수 있다. 이미지 향상 장치(104)는 차례로 시퀀스(103)의 이미지를 처리하여 이미지에서의 변화가 향상된 향상된 이미지의 시퀀스(105)를 생성한다. 처리의 결과로서, 주변의 배경에서 더욱 선명하게 보이도록 이미지에서의 변화가 향상된다. 예를 들어, 처리는 이미지에서 변화된 픽셀과 배경 사이의 콘트라스트를 증가시킨다. 이미지 향상 장치(104)는 열 카메라(102)의 처리 체인 또는 파이프라인의 초기에 위치될 수 있다. 일부 실시 형태들에서, 이미지 향상 장치(104)는 심지어 이미지 미가공 데이터에서 작동한다. 처리 체인의 초기에 이미지 데이터는 일반적으로 높은 공간 해상도 및/또는 높은 비트 해상도(픽셀 당 더 많은 비트)와 같은 고해상도로 표현된다. 처리 체인에서 나중에(예를 들어, 움직임 검출 이전에), 이미지 데이터의 해상도는 예를 들어 공간 해상도 및/또는 비트 해상도를 감소시킴으로써 축소될 수 있다. 초기 단계에서 높은 해상도로 변화를 향상시킴으로써, 축소에 의해 손실될 수 있는 변화가 검출 및 향상될 수 있다. 이러한 방식으로, 변화의 향상은 처리 체인에서 초기에 수행될 경우 더 큰 영향을 미친다.

일부 경우에서, 이는 열 카메라(102)에 의해 캡처된 이미지 시퀀스(103)에서 움직이는 물체의 검출을 개선하기 위해 이용될 수 있다. 보다 상세하게, 향상된 이미지 시퀀스(105)는 움직임 검출기(106)에 입력될 수 있다. 움직임 검출기(106)는 알려진 움직임 검출 알고리즘을 구현하는 상업적으로 이용 가능한 표준 움직임 검출기(106)일 수 있다. 움직임 검출기(106)는 열 이미지를 처리하도록 특별히 적용될 필요는 없다. 오히려, 종종 경우와 같이, 움직임 검출기(106)는 가시광 카메라에 의해 캡처된 이미지에서 움직음을 검출하도록 설계될 수 있다. 이미지에서의 변화가 향상된 이미지 시퀀스(105)에서 향상되기 때문에, 원래의 이미지 시퀀스(103)가 이의 입력에 제공된 경우에 비해 움직임 검출기(106)에 대해 검출하기가 더 쉽다. 예를 들어, 전술한 바와 같이, 변화는 열 이미지에서 하나 또는 몇 개의 픽셀만을 커버(cover)하는 장면에서 작거나 먼 움직이는 물체를 검출하는 것이 개선된다. 이미지 향상 장치(104)에 의해 수행되는 처리는 일부 경우에 움직임 검출 이전에 열 이미지 시퀀스(103)의 사전-처리로 보여질 수 있다.

다른 경우에서, 이미지에서의 변화의 향상은 형상 검출을 수행하는 것과 같이 이미지의 시퀀스(103)에서 움직이는 물체의 식별을 향상시키기 위해 이용될 수 있다. 따라서 시스템(100)은 움직임 검출기(106) 대신에 또는 추가로 형상 검출기(shape detector)를 포함할 수 있다. 형상 검출기를 사용함으로써, 움직임을 검출할 뿐만 아니라, 어떤 종류의 물체가 움직이는지 식별할 수 있다.

도 2는 이미지 향상 장치(104)를 보다 상세히 도시한다. 이미지 향상 장치(104)는 수신기(202), 변화 검출기(204), 재분배 함수 결정기(206), 및 강도 값 재분배기(208)를 포함한다.

이미지 향상 장치(104)는 따라서 장치(104)의 기능을 구현하도록 구성된 다양한 구성 요소(202, 204, 206, 208)를 포함한다. 특히, 각각의 예시된 구성 요소는 장치(104)의 기능에 해당한다. 일반적으로, 장치(104)는 구성 요소(202, 204, 206, 208)를 구현, 보다 구체적으로 이들의 기능을 구현하도록 구성된 회로(circuitry)를 포함할 수 있다.

하드웨어 구현에서, 각각의 구성 요소(202, 204, 206, 208)는 구성 요소의 기능을 제공하도록 전용적이고 구체적으로 설계된 회로에 해당할 수 있다. 회로는 하나 이상의 애플리케이션 특정 집적 회로 또는 하나 이상의 필드 프로그래밍 가능한 게이트 어레이와 같은 하나 이상의 집적 회로의 형태일 수 있다. 예로서, 변화 검출기(204)는 사용시 이미지 시퀀스에서 다른 이미지와 관련하여 변화된 이미지에서의 픽셀을 식별하는 회로를 포함할 수 있다.

소프트웨어 구현에서, 회로는 대신 비-휘발성 메모리와 같은 (비-일시적) 컴퓨터 판독 가능 매체에 저장된 컴퓨터 코드 명령어들과 관련하여 장치(104)가 본 발명에서 설명된 임의의 방법을 수행하도록 하는 마이크로프로세서와 같은 프로세서의 형태일 수 있다. 비-휘발성 메모리의 예들은 판독 전용 메모리, 플래시 메모리, 강유전성 RAM, 자기 컴퓨터 저장 장치, 광 디스크 등을 포함한다. 소프트웨어의 경우, 구성 요소(202, 204, 206, 208)는 프로세서에 의해 실행될 때, 장치(104)가 구성 요소의 기능을 수행하도록 하는 컴퓨터 판독 가능 매체에 저장된 컴퓨터 코드 명령어들의 일부에 각각 해당할 수 있다.

하드웨어 및 소프트웨어 구현의 조합을 갖는 것이 또한 가능하다는 것을 이해할 것이며, 이는 일부 구성 요소(202, 204, 206, 208)의 기능이 하드웨어로 구현되고 다른 구성 요소는 소프트웨어로 구현됨을 의미한다.

열 카메라(102)에 의해 캡처된 이미지 시퀀스(103)의 이미지에서 변화를 향상시킬 때 이미지 향상 장치(104)의 작동이 도 1, 2 및 도 3의 흐름도를 참조하여 설명될 것이다.

도 3의 단계 S02에서, 이미지 향상 장치(104)의 수신기(202)는 열 카메라(102)에 의해 캡처된 이미지 시퀀스(103)를 수신한다. 이미지 시퀀스(103)는 열 카메라(102)에 의해 캡처됨에 따라 순차적으로 수신될 수 있다. 특히, 수신기(202)는 향상될 예정인 현재 이미지(103a) 및 시퀀스(103)의 다른 이미지(103b)를 수신한다. 다른 이미지(103b)는 이미지 시퀀스(103)에서 현재 이미지(103a)에 앞서거나, 이미지 시퀀스(103)에서 현재 이미지(103a)보다 늦을 수 있다. 다른 이미지(103b)는 시퀀스(103)에서 현재 이미지(103a)에 인접할 수 있다 예를 들어, 시퀀스(103)에서 현재 이미지(103a)의 바로 앞 이미지일 수 있다. 그러나, 원칙적으로 시퀀스(103)에서 임의의 이전 또는 이후 이미지일 수 있다.

예를 들어, 도 4는 시퀀스(103)에서 현재(103a) 및 이전(103b) 이미지를 도시한다. 이전 이미지(103b) 및 현재 이미지(103a) 각각은 제1 물체(402), 제2 물체(404) 및 배경(406)을 도시한다. 예에서, 물체들(402, 404)은 인간으로서 도시된다. 제1 물체(402)는 이전 프레임(103b)과 현재 프레임(103a) 사이에서 움직이고, 제2 물체(404)는 정지된다. 이러한 사실을 설명하기 위해, 이전 프레임(103b)에서 제1 물체(402)의 위치는 점선으로 현재 이미지(103a)에 표시된다.

현재 이미지(103a) 및 다른 이미지(103b)는 변화 검출기(204)에 입력된다. 단계 S04에서, 변화 검출기(204)는 다른 이미지(103b)와 관련하여 변화된 이미지(103a)에서의 픽셀을 식별한다. 이를 위해, 변화 검출기(204)는 현재 이미지(103a)를 다른 이미지(103b)와 픽셀 단위로 비교하여 어느 픽셀들이 변화되었는지를 볼 수 있다. 이러한 방식으로, 이미지(103a)에서의 변화가 신속하게 식별될 수 있다. 어떤 픽셀들이 변화되었는지를 결정하기 위해, 변화 검출기(204)는 임계값(threshold)을 적용할 수 있다. 이전 프레임 이후의 임계값보다 크게 변화된 강도 값을 갖는 픽셀은 변화된 픽셀로 식별될 수 있다. 다른 픽셀은 변화되지 않은 픽셀로 식별된다. 임계값의 값은 열 센서에서 노이즈의 변동성에 따라 설정될 수 있다. 구체적으로, 열 카메라의 경우, 임계값은 열 카메라에 대한 신호-대-노이즈 비율인 노이즈 등가 온도차(NETD)와 관련될 수 있다. 예를 들어, 센서 노이즈의 두배의 표준 편차와 같은 임계값이 사용될 수 있다. 이러한 방식으로, 변화 검출기(204)에 의해 식별된 이미지(103a)에서의 대부분의 변화는 노이즈의 결과가 아니라 장면에서의 변화에 해당할 것이다.

대안으로 또는 추가로, 변화 검출기(204)는 식별된 픽셀의 세트로부터 분리된 픽셀 또는 작은 그룹의 연속 픽셀을 제거할 수 있다. 예를 들어, 변화 검출기(204)는 그룹에서의 연속 픽셀의 수가 임계값보다 작은 경우 식별된 픽셀의 세트로부터 픽셀 그룹을 제거할 수 있다. 이러한 방식으로, 식별된 픽셀 세트는 각각의 그룹에서 연속 픽셀의 수가 임계값 이상인 연속 픽셀의 그룹만 포함한다.

변화 검출기(204)는 또한 2개 이상의 이미지, 예를 들어 3개의 이미지를 비교할 수 있다. 각각의 연속 이미지 쌍 사이에서 변화된 픽셀은 변화된 픽셀로 식별될 수 있다.

변화 검출기(204)는 다른 이미지(103b)와 관련하여 변화된 현재 이미지(103a)에서의 픽셀의 표시(indication, 210)를 재분배 함수 결정기(206)로 전송할 수 있다. 표시는 변화된 것으로 발견된 픽셀의 경우의 하나의 값(예를 들어 "1")과 변화된 것으로 발견되지 않은 픽셀의 경우의 다른 값(예를 들어, "0")을 취하는 마스크(mask)의 형태일 수 있다.

도 4의 예로 되돌아가면, 단계 S04에서, 변화 검출기(204)는 현재 이미지(103a)에서 또는 이전 이미지(103b)에서와 같이 위치될 때 제1 물체(402)에 해당하는 현재 이미지(103a)의 픽셀이 변화되었음을 발견할 것이다. 또한, 변화 검출기(204)는 제2 물체(404) 및 배경이 정지하기 때문에, 제2 물체(404) 또는 배경(406)에 해당하는 현재 이미지(103a)에서의 픽셀이 변화되지 않았음을 추가로 발견할 것이다. 이러한 발견에 기초하고, 도 4에 도시된 바와 같이, 변화 검출기(204)는 이전 이미지 이후에 픽셀(408)이 변화된 표시(210)를 생성할 수 있다. 변화된 픽셀(408)은 도 4에서 검은색으로 도시된다. 도 4의 예는 본 발명의 원리를 설명하기 위해 간략화된다. 실제 상황에서, 제1 물체(402) 내부의 많은 픽셀이 실질적으로 동일한 온도를 가지며, 따라서 물체 내부의 픽셀의 값은 물체가 움직여도 본질적으로 동일하기 때문에, 제1 물체(402) 내부의 모든 픽셀이 변경된 것으로 식별되지는 않을 것이다. 그러나, 물체(402)의 경계에 있는 대부분의 픽셀은 이들 픽셀이 배경 픽셀에서 물체 픽셀로의 변화을 나타내며, 그 반대도 마찬가지이기 때문에 변화된 것으로 식별될 수 있다.

상기 예에서, 변화 검출기(204)는 다른 이미지(103b)와 관련하여 임계값 이상으로 변화된 현재 이미지(103a)에서의 모든 픽셀을 변화 픽셀로 식별하였다. 다른 실시 형태들에서, 변화 검출기(204)는 또한 변화의 방향을 고려할 수 있다. 예를 들어, 변화 검출기(204)는 다른 이미지(103b)와 관련하여 임계값 이상으로 증가된 현재 이미지(103a)에서의 픽셀만을 변화된 픽셀로 식별할 수 있다. 이는 배경보다 따뜻한 물체가 관심이 있을 때 관련이 있을 수 있다. 대안으로, 변화 검출기(204)는 다른 이미지(103b)와 관련하여 임계값보다 더 감소된 현재 이미지(103b)에서의 픽셀을 변경된 픽셀로서 식별할 수 있다. 이는 배경보다 차가운 물체가 관심이 있을 때 관련이 있을 수 있다.

변화된 픽셀을 식별할 때 변화의 방향(강도 값에서의 증가 또는 감소)을 고려할 필요가 없다는 것이 밝혀졌다. 본 발명은 변화 방향에 관계없이 변화된 모든 픽셀이 변화된 픽셀로 식별되는 도 4에 도시된 상황에서 여전히 만족스럽게 작동한다. 이는 배경보다 따뜻하거나 차가운 물체가 관심이 있는지 여부를 알고 있을 때 특히 유용하다. 이러한 변화 픽셀 중 일부는 원칙적으로 현재 이미지(103a)에서 배경에 속할 것이다. 그러나, 실제로 회절(diffraction)로 인해 물체의 윤곽이 선명하지 않다. 이는 물체의 윤곽에 있는 픽셀이 배경과 물체 픽셀의 혼합일 것이다. 두 프레임들 사이의 움직임이 회절과 동일한 크기인 한(일반적으로 각각의 방향에서 2-3 픽셀과 같은 몇 픽셀), 변화된 픽셀을 식별할 때 변화의 방향을 고려할 필요가 없다. 물체의 윤곽에서 변화된 픽셀은 어쨌든 물체와 배경 픽셀의 혼합일 것이고, 우수한 결과로 포함될 수 있다.

단계 S06에서, 재분배 함수 결정기(206)는 현재 이미지(103a)에서 픽셀의 강도 값을 재분배할 때 사용될 수 있는 함수(212)를 결정하기 위해 진행한다. 함수(212)의 결정은 변화 검출기(204)에 의해 식별된 바와 같이 변화된 픽셀(408)의 강도 값에 기초한다. 그렇게 하기 위해, 재분배 함수 결정기(206)는 변화 검출기(204)에 의해 생성된 표시(210)를 사용하여 현재 이미지(103a)로부터 변화 픽셀(408)의 강도 값을 추출할 수 있다. 예를 들어, 표시(210)가 마스크로서 제공되는 경우, 이는 마스킹 절차(masking procedure)에 의해 수행될 수 있다.

도 5a는 현재 이미지(103a)에서 모든 픽셀의 강도 값의 히스토그램(500)을 개략적으로 도시한다. 히스토그램(500)은 현재 이미지(103a)에서 픽셀의 강도 값이 분배되는 방법을 도시한다. 히스토그램(500)은 강도 스케일의 하부에서 제1 피크(501) 및 강도 스케일의 상부에서 제2 피크(502)를 갖는다. 제1 피크(501)는 장면에서 배경(406)에 의해 방출되는 열 에너지와 관련되고, 제2 피크(502)는 제1 물체(402)와 제2 물체(404)에 의해 방출되는 열 에너지와 관련된다. 이는 따라서 물체(402 및 404)가 배경(406)보다 따뜻한 일례이다. 그러나, 반대의 상황, 즉 물체가 배경보다 차가운 상황이 될 수 있다. 도 5b는 현재 이미지(103a)의 변화된 픽셀(408)의 강도 값의 히스토그램(510)을 도시한다. 히스토그램(510)은 현재 이미지(103a)에서 변화된 픽셀(408)의 강도 값이 분배되는 방법을 도시한다. 이러한 경우, 히스토그램(510)은 제1 이동하는 물체(402)에 의해 방출되는 열 에너지에 주로 해당하는 하나의 피크(512)를 갖는다. 히스토그램(510)에서 알 수 있는 바와 같이, 변화된 픽셀(408)의 강도 값은 최소 강도 값 "Imin"과 최대 강도 값 "Imax"사이의 범위(514)에서의 값을 취한다.

재분배 함수 결정기(206)는 일반적으로 함수(212)를 결정하기 위해 강도 값 또는 이의 특성의 분배와 같은 변화된 픽셀(408)의 강도 값을 분석할 수 있다. 도 6은 함수(212)가 5개의 예시적인 함수들(212a, 212b, 212c, 212d, 212e)에 의해 보일 수 있는 것을 도시한다. 히스토그램(510)의 형상은 단지 참조를 위해 도 6에도 도시된다. 축척대로 그려지지 않는다.

함수들(212a, 212b, 212c, 212d, 212e)은 공통된 몇 가지 특성을 갖는다. 먼저, 이들은 변화된 픽셀(408)의 강도 값의 범위(514) 내에서 제1 강도 값(602)에 대해 최대값(601)을 갖는다. 최대값(601)은 값 1을 취할 수 있는데, 이는 함수가 값 1을 제1 강도 값에 할당한다는 것을 의미한다. 최대값(601)은 범위(514) 내에 위치될 수 있고, 상부 끝점 "Imax"에서와 같이 하나의 이의 끝점 중 하나에 있지 않을 수 있다. 이는 범위(514)가 강도 스케일의 상부 끝에 근접하면 특히 유리하나, 그렇지 않으면 함수(212)를 사용하여 재분배될 때 범위(514)에서의 강도가 포화될 위험이 있기 때문이다. 함수(212c 및 212e)의 경우, 최대값(601)은 하나의 제1 강도 값에 대해서는 달성되지 않고 범위(514)의 하위-범위 내의 강도 값에 대해서는 달성된다.

둘째로, 함수들(212a, 212b, 212c, 212d, 212e)은 제1 강도 값(602)으로부터 강도에서 거리가 증가함에 따라 감소한다. 함수들(212a, 212b, 212d)에 대해 감쇠가 스트릭트하지만, 함수들(212c 및 212e)에 대해서는 감쇠가 하위-범위의 강도에 대해 스트릭트하지 않다.

셋째로, 함수들(212a, 212b, 212c, 212d, 212e)은 제1 강도 값(602)보다 범위(514) 밖의 강도 값에 더 낮은 값을 할당한다. 함수들(212a, 212b, 212d, 212e)은 범위 내의 각각의 강도 값보다 범위(514) 밖의 강도 값에 더 낮은 값을 할당한다. 그러나 이는 함수(212d)의 경우가 아니다.

함수(212)는 일반적으로 이들 공통 특성에 의해 설정된 경계 내에서 변할 수 있으며, 도 6에 도시된 것보다 더 많은 예가 고려될 수 있다. 예를 들어, 함수(212)는 제1 강도 값(602) 중심에서 대칭일 수 있거나(함수 212a, 212b, 212c, 212e 참조), 제1 강도 값 중심에서 비대칭일 수 있다(함수 212d 참조). 예를 들어, 함수(212)는 제1 강도 값(602)을 중심으로 기울어질 수 있다. 함수(212d)에 의해 예시된 바와 같이, 함수(212)는 낮은 강도 값보다 높은 강도 값에 대해 더 무거운 테일을 가질 수 있다. 이는 낮은 강도보다 높은 강도를 강조하는 역할을 한다. 이는 이미지가 배경보다 따뜻한 물체를 도시하는 상황에서 관련될 수 있다. 뜨거운 사바나에 있는 동물과 같이 관심있는 물체가 배경보다 차가운 반대 상황에서, 테일은 낮은 강도에 대해 더 무거울 수 있다. 함수(212)는 연속적(함수 212a, 212b, 212c, 212d 참조) 또는 불연속적(함수 212e 참조)일 수 있다. 또한, 함수(212)는 매끄럽거나(예를 들어, 미분 가능한 함수 212a, 212b, 212d 참조), 평활하지 않을 수 있다(함수 121e 참조).

재분배 함수 결정기(206)는 전술한 공통 특성을 갖는 함수(212)를 결정하기 위해 매개변수 함수를 사용할 수 있다. 매개변수 함수는 예를 들어 가우스 함수 또는 비대칭 가우스 함수일 수 있다. 함수(212a 및 212b)는 가우스 함수를 개략적으로 도시하고, 함수(212d)는 비대칭 가우스 함수를 개략적으로 도시한다. 매개변수 함수는 한 세트의 매개변수로 완전히 정의된다. 재분배 함수 결정기(206)는 변화된 픽셀(408)의 분배의 다양한 특성들에 기초하여, 변화된 픽셀(408)의 강도 값들에 기초하여 매개변수 함수의 매개변수를 결정할 수 있다. 이들 특성은 강도 값의 평균, 강도 값의 모드, 강도 값 범위의 중간점 및 강도 값의 변동성 중 하나 이상을 포함할 수 있다. 예를 들어, 함수 최대값의 위치는 강도 값의 평균, 강도 값의 모드, 또는 강도 값 범위의 중간점에 기초하여 결정될 수 있다. 또한, 함수의 폭(함수의 감소율과 반비례함)은 변화된 픽셀(408)의 강도 값의 변동성에 따라 설정될 수 있고, 경우에 따라서는 현재 이미지(103a)에서 변화되지 않은 픽셀의 변동성에 따라 설정될 수 있다.

예를 들어, 가우스 함수는 하기의 형태이다:

.

이는 세개의 매개변수를 갖는다: 게인 매개변수 a, 위치 매개변수 b 및 곡선의 폭을 제어하는 매개변수 c(및 1/c는 곡선의 감소율을 제어함). 게인 파라미터 a는 1과 동일하게 설정될 수 있지만, 이는 필수 요건이 아니다.

가우스 함수는 x = b에 대해 이의 최대값을 갖는다. 따라서, 위치 파라미터 b는 제1 강도 값(602)에 해당한다. 재분배 함수 결정기(206)는 위치 파라미터 b를 변화된 픽셀(408)의 강도 값들(즉, 히스토그램(510)은 최대값을 갖는 강도값)의 모드, 변화된 픽셀(408)의 강도 값의 평균값 및 범위(514)의 중간점(즉, Imin + (Imax - Imin)/2) 중 하나와 동일하게 설정될 수 있다.

함수의 폭, 즉 파라미터 c는 변화된 픽셀(408)의 강도 값들의 변동에 따라 설정될 수 있다. 일반적으로, 강도 값들의 변동이 클수록, 함수의 폭은 넓어진다. 변화된 픽셀의 강도 값들의 변동은 변화된 픽셀(408)의 강도 값들의 표준 편차로부터, 또는 변화된 픽셀(408)의 강도 값들의 범위(514)의 폭으로부터 결정될 수 있다. 예를 들어, 재분배 함수 결정기(206)는 일부 인자 d에 대해 폭 파라미터 c를 c = d(Imax - Imin)로 설정할 수 있다. 도 6의 함수(212a, 212b)를 참조하면, 인자 d는 함수 212a보다 함수 212b에 대해 더 크게 설정된다.

인자 d는 특정 적용에 적합한 것으로 실험적으로 발견되는 고정된 값을 가질 수 있다. 대안으로, 인자 d는 변화된 것으로 식별되지 않은 현재 이미지(103a)에서 픽셀에 대한 강도의 변동성(variablility)에 따라 설정될 수 있다. 예를 들어, 인자 d는 변화되지 않은 픽셀의 강도 값의 변동성에 비례할 수 있다. 변동성은 표준 편차를 계산하거나 관련된 강도 값의 범위의 폭을 계산함으로써 다시 추정될 수 있다.

도 3에서 단계 S08에 따라, 함수(212)가 결정되면, 강도 값 재분배기(208)는 함수(212)를 사용하여 향상된 이미지 시퀀스(102)를 생성하기 위해 현재 이미지(103a)에서의 픽셀의 강도 값을 재분배한다. 다시 말하면, 함수(212)는 변화된 픽셀(408)과 변화되지 않은 픽셀 모두에서 강도 값을 재분배하는데 사용된다. 강도 값의 재분배는 현재 이미지(103a)에서 대부분의 픽셀에, 바람직하게 현재 이미지(103a)에서 모든 픽셀에 적용된다.

보다 구체적으로, 함수(212)는 현재 이미지(103a)에서의 픽셀들에 대한 가중치(weighting factor)를 계산하기 위해 사용될 수 있다. 픽셀에서의 강도 값에 대해 함수(212)를 평가함으로써 픽셀에 대한 가중치가 계산된다. 이어서, 시퀀스(105)의 향상된 이미지는 픽셀에서의 강도 값을 이들의 해당하는 가중치로 곱함으로써 결정된다. 예를 들어, 픽셀에서의 강도 값을 I로 나타내고 함수(212)를 f로 나타내면, 시퀀스(105)의 향상된 이미지에서 픽셀의 강도 값이 I·f(I)로 계산된다.

전술한 함수(212)의 특성으로 인해, 함수(212)는 일반적으로 범위(514) 밖의 강도 값보다 범위(514) 내의 강도 값에 더 큰 가중치를 할당할 것이다. 구체적으로, 더 큰 가중치가 배경(406)의 강도 값보다 제1 움직이는 물체(402)에 해당하는 변화된 픽셀의 강도 값에 적용될 것이다. 결과적으로, 제1 물체(402)와 배경(406) 사이의 콘트라스트가 증가된다. 특히, 제1 물체(402)와 유사하게 인간인 제2 물체(404)는 이의 강도 값이 일반적으로 범위(514) 내에 있기 때문에 배경(406)보다 더 큰 가중치를 부여받을 것이다.

따라서 함수(212)를 적용한 효과는 이미지에서의 강도 값이 재분배된다는 것이다. 즉, 강도 값의 분배는 제1 분배에서 제2 분배로 변화된다. 이는 도 5a 및 도 5c에 추가로 예시된다. 도 5a는 현재 이미지(103a)의 히스토그램(500)을 도시하고, 도 5c는 시퀀스(105)의 향상된 이미지, 즉 현재 이미지(103a)에서의 강도 값의 재분배 후의 히스토그램(520)을 도시한다. 도 5c로부터, 배경의 강도(피크(521)에 해당함)는 물체(402, 404)의 강도(피크(522)에 해당함)로부터 더 분리되도록 더 낮은 강도로 시프트됨을 알 수 있다.

상기 예에서, 장면에서 오직 하나의 유형의 물체, 즉 인간(402 및 404)만이 존재한다. 적용에 따라, 장면에서 일부 유형의 물체가 존재할 수 있다. 상이한 유형의 물체는 상이한 온도와 관련될 수 있고, 따라서 강도 값의 히스토그램에서 상이한 피크로 나타날 수 있다. 특히, 변화된 픽셀의 강도 값과 관련된 히스토그램에서 일부 뚜렷한 피크가 있을 수 있다. 다시 말해서, 히스토그램은 멀티-모달일 수 있다. 이러한 상황에서, 히스토그램에서 다른 피크는 서로 별도로 고려될 수 있다. 보다 구체적으로, 히스토그램에서 각각의 피크에 대해 전술한 방식으로 함수가 결정될 수 있다. 따라서 각각의 함수는 피크 중 하나와 관련된 범위 내의 강도에 대해 최대값을 가지며, 거리가 멀어 질수록 감소하여 최대값이 도달되는 강도보다 범위 밖의 강도 값들에 더 낮은 값을 할당한다. 상이한 피크는 서로에 대해 상이한 가중치를 부여받을 수 있다. 가중치들 간의 관계는 예를 들어, 피크들 사이의 강도 비율을 나타낼 수 있다. 상이한 가중치는 전술한 게인 파라미터 a가 상이한 피크마다 상이하게 함으로써 구현될 수 있다. 결정된 함수는 예를 들어 각각의 강도 값에 대한 함수의 최대값을 취함으로써 하나의 함수로 병합될 수 있다. 복수의 함수를 하나의 함수로 병합하기 위한 다른 옵션이 존재하는 것을 이해한다. 이는 중첩되는 강도 값에 대한 함수의 평균값을 취하고, 변화된 픽셀에 해당하는 강도 값에 대한 함수의 최대값을 취하며, 변화되지 않은 픽셀에 해당하는 강도 값에 대한 함수의 최소값을 취하는 것을 포함한다. 하나의 함수는 상기에 따라 이미지에서의 모든 픽셀의 강도 값을 재분배하는데 사용될 수 있다.

당업자는 전술한 실시 형태들을 여러 방식으로 변형할 수 있고 상기 실시 형태들에 도시된 바와 같이 본 발명의 장점을 여전히 이용할 수 있음을 이해할 것이다. 따라서, 본 발명은 도시된 실시 형태들로 제한되지 않고 첨부된 청구 범위에 의해서만 정의되어야 한다. 또한, 당업자가 이해하는 바와 같이, 도시된 실시 형태들이 결합될 수 있다.

Claims

열 카메라(102)에 의해 캡처된 이미지 시퀀스(103)의 이미지(103a)에서의 변경을 향상시키는 방법으로,
열 카메라(102)에 의해 캡처된 이미지 시퀀스(103)의 부분인 이미지(103a)를 수신하는 단계(S02),
상기 이미지(103a)를 상기 이미지 시퀀스(103)에서의 다른 이미지(103b)와 비교함으로써 상기 이미지 시퀀스(103)에서 다른 이미지(103b)와 관련하여 변화된 상기 이미지(103a)에서 픽셀(408)을 식별하는 단계(S04),
상기 식별된 픽셀(408)의 강도 값에 기초하여, 상기 이미지(103a)에서 픽셀의 강도 값을 재분배하기 위한 함수(212, 212a, 212b, 212c, 212d, 212e)를 결정하는 단계(S06) - 상기 함수(212, 212a, 212b, 212c, 212d, 212e)는 상기 식별된 픽셀(408)의 강도 값의 범위(514)에서 제1 강도 값(602)에 대해 최대값(601)을 가지며, 상기 함수가 상기 제1 강도 값(602)보다 범위(514) 밖의 강도 값에 더 낮은 값을 할당하도록 상기 제1 강도 값(601)으로부터 거리가 증가함에 따라 감소됨 -, 및
상기 결정된 함수(212, 212a, 212b, 212c, 212d, 212e)를 사용함으로써 상기 다른 이미지(103b)와 관련하여 변화된 상기 이미지(103a)에서의 픽셀의 강도 값 및 상기 다른 이미지(103b)와 관련하여 변화되지 않은 상기 이미지(103a)에서의 픽셀의 강도 값을 재분배하여, 상기 이미지(103a)에서 변화를 향상시키는 단계(S08)를 포함하는 방법.
제1항에 있어서, 상기 함수(212, 212a, 212b, 212c, 212d, 212e)의 감소율은 상기 식별된 픽셀(408)의 강도 값의 변동에 기초하여 결정되고, 더 높은 변동은 더 낮은 감소율을 제공하는 방법.
제2항에 있어서, 상기 식별된 픽셀(408)의 강도 값의 변동은 상기 식별된 픽셀(408)의 강도 값의 범위(514)의 폭에 기초하여 결정되는 방법.
제2항 또는 제3항에 있어서, 상기 함수(212, 212a, 212b, 212c, 212d, 212e)의 감소율은 상기 다른 이미지(103b)와 관련하여 변화된 것으로 식별되지 않는 상기 이미지(103a)에서의 픽셀의 강도 값의 변동에 더 기초하고, 상기 다른 이미지(103b)와 관련하여 변화된 것으로 식별되지 않은 상기 이미지(103a)에서의 픽셀의 강도 값의 변동이 클수록 더 낮은 감소율을 제공하는 방법.
제1항에 있어서, 상기 제1 강도 값(602)은 상기 식별된 픽셀(408)의 강도 값의 모드에 해당하는 방법.
제1항에 있어서, 상기 제1 강도 값(602)은 상기 식별된 픽셀(408)의 강도 값의 범위(514)의 중간점에 해당하는 방법.
제1항에 있어서, 상기 제1 강도 값(602)은 상기 식별된 픽셀(408)의 강도 값의 평균값에 해당하는 방법.
제1항에 있어서, 상기 함수(212, 212a, 212b, 212c, 212e)는 상기 제1 강도 값(602)을 중심으로 대칭인 방법.
제1항에 있어서, 상기 함수(212, 212d)는 상기 제1 강도 값(602)을 중심으로 기울어지는 방법.
제9항에 있어서, 상기 함수(212, 212d)는 더 낮은 강도 값보다 더 높은 강도 값에 대해 더 두꺼운 테일을 갖도록 기울어지는 방법.
제1항에 있어서, 상기 함수(212, 212a, 212b, 212d)는 가우스 함수 또는 비대칭 가우스 함수인 방법.
제1항에 있어서, 상기 이미지 시퀀스(103)에서 다른 이미지(103b)와 관련하여 변화된 상기 이미지(103a)에서의 픽셀을 식별하는 단계(S04)는 상기 이미지 시퀀스(103)에서 상기 다른 이미지(103b)의 해당하는 픽셀의 강도 값으로부터 임계값 이상으로 상이한 강도 값을 갖는 상기 이미지(103a)에서의 픽셀을 식별하는 단계를 포함하는 방법.
열 카메라(102)에 의해 캡처된 이미지 시퀀스(103)의 이미지(103a)에서 변화를 향상시키기 위한 장치(104)로서,
열 카메라(102)에 의해 캡처된 이미지 시퀀스(103)의 부분인 이미지(103a)를 수신하도록 구성된 수신기(202),
상기 이미지(103a)를 상기 이미지 시퀀스(103)에서의 다른 이미지(103b)와 비교함으로써 상기 이미지 시퀀스(103)에서 다른 이미지(103b)와 관련하여 변화된 이미지(103a)에서의 픽셀(408)을 식별하도록 구성된 변화 검출기(204),
상기 식별된 픽셀(408)의 강도 값에 기초하여, 상기 이미지(103a)에서의 픽셀의 강도 값을 재분배하기 위한 함수(212, 212a, 212b, 212c, 212d, 212e)를 결정하도록 구성된 재분배 함수 결정기(206) - 상기 함수(212, 212a, 212b, 212c, 212d, 212e)는 상기 식별된 픽셀(408)의 강도 값의 범위(514)에서 제1 강도 값(602)에 대한 최대값(601)을 가지며, 상기 함수가 상기 제1 강도 값(602)보다 범위(514) 밖의 강도 값에 더 낮은 값을 할당하도록 상기 제1 강도 값(602)으로부터 거리가 증가함에 따라 감소됨 -, 및
상기 결정된 함수(212, 212a, 212b, 212c, 212d, 212e)를 사용함으로써 상기 다른 이미지(103b)와 관련하여 변화된 상기 이미지(103a)에서의 픽셀의 강도 값 및 상기 다른 이미지(103b)와 관련하여 변화되지 않은 상기 이미지(103a)에서의 픽셀의 강도 값을 재분배하여, 상기 이미지(103a)에서 변화을 향상시키도록 구성된 강도 값 재분배기(208)를 포함하는 장치.
열 카메라(102)에 의해 캡처된 이미지 시퀀스(103)의 이미지(103a)에서 변경을 향상시키기 위한 시스템(100)으로서,
이미지 시퀀스(103)를 캡처하도록 구성된 열 카메라(102),
상기 열 카메라(102)에 의해 캡처된 상기 이미지 시퀀스(103)의 이미지(103a, 103b)를 수신하도록 배치된 제13항에 따른 장치(104)를 포함하는 시스템.
프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항의 방법을 수행하게 하는 컴퓨터 코드 명령어들이 저장된 컴퓨터 판독 가능 저장 매체.