KR20220035029A - 변화하는 장면의 적외선 화상에서의 레머넌스를 제거하는 방법 및 장치 - Google Patents

Abstract

본 명세서는 적외선 촬상 장치에 의하여 캡처된 화상들의 시퀀스 중 한 화상(f_n)으로부터 레머넌스 아티팩트들을, 촬상 처리 장치에 의하여, 제거하는 방법에 관한 것으로서, 이 방법은,
- 화상(f_n) 내의 레머넌스 구역을 복원하여, 복원된 화상을 생성하고,
- 복원된 화상에 기초하여 화상(f_n) 내의 적어도 일부 픽셀들에 대한 레머넌스 측정치를 생성하고,
- 적어도 일부 픽셀들의 각각에 대한 레머넌스 추정치)에 기초하여 화상(f_n)의 적어도 일부 픽셀들로부터 레머넌스 아티팩트들을 제거하는
것을 구비하며, 각 레머넌스 추정치는 상기 시퀀스 내의 복수의 화상들의 레머넌스 측정치들에 기초하여 생성된다.

Description

변화하는 장면의 적외선 화상에서의 레머넌스를 제거하는 방법 및 장치

본 특허출원은, 여기에 참조로 포함되어 있는 내용으로서, 2019년 4월 30일에 출원되어 출원번호 FR1904565호로 지정된 프랑스 특허출원을 우선권으로 주장한다.

본 특허 명세서는 일반적으로는 적외선 촬상 분야, 상세하게는 적외선 화상으로부터 레머넌스(remanence)를 제거하기 위한 방법 및 장치에 관한 것이다.

마이크로볼로미터들은 화상 장면의 열(thermal)화상들을 캡처하기 위하여 사용되는 비냉각형 적외선(IR) 카메라의 유형이다. 그런 IR 카메라들은 픽셀 어레이를 형성하는 IR-감지 검출기들의 배열을 일반적으로 구비한다. 픽셀 어레이의 각 픽셀은 그 픽셀에서 측정된 온도를, 대응하는 전기 신호로, 일반적으로 전압으로 변환시키며, 이것은 결국 ADC(아날로그 디지털 변환기)에 의하여 디지털 출력 신호로 변환된다.

마이크로볼로미터의 각 픽셀은 기판 상에 걸쳐져 있는 멤브래인(membrane)을 구비한다. 이 멤브래인은, 픽셀을 가열하는 IR 광으로부터 에너지를 흡수하는 흡수층을 구비하여, IR 광의 강도의 함수로서 그 온도가 증가된다. 멤브래인은 예를 들어 서멀층(thermal layer)을 또한 구비하는데, 이것은 저항(resistance)이 온도 증가에 의하여 변경되는 특성을 가져서, 흡수층에 열적으로 연결되어 있는, 이 서멀층의 저항의 변화를 검출함으로써 픽셀을 판독할 수 있다.

마이크로볼로미터와 같은 비냉각형 IR 센서들은, 픽셀 어레이가 높은 온도의 플럭스(flux)를 받는 경우에 발생하는, 레머넌스와 같은 이미징 아티팩트(imaging aritfact)를 겪게 된다. 예를 들어, 그런 높은 온도의 플럭스는 태양 또는 다른 강한 열원에 의하여 발생될 수 있으며, 이것은 관련된 픽셀들의 저항률(resistivity)의 변경을 일으킨다. 이 픽셀의 온도가 떨어진 후 이들 픽셀의 저항이 정상 레벨로 되돌아오는데는 시간이 걸리며, 이것은 그 플럭스 레벨에 따라서, 수 분 동안 또는 수 일까지도 지속할 수 있는 화질의 퇴화를 발생시킨다.

기계적 셔터들을 갖는 카메라의 경우에, 레머넌스 아티팩트를 제거하는 알고리즘은 비교적 단순하다. 그러나, 비냉각형의 무셔터 IR 센서에 의하여 캡처된 화상으로부터 레머넌스 아티팩트를 제거하는 것은 기술적인 어려움이 있다.

본 명세서의 실시형태들의 목적은 종래 기술의 하나 이상의 어려움을 적어도 부분적으로 다루는 것이다.

일 측면에 따르면, 적외선 촬상 장치에 의하여 캡처된 화상들의 시퀀스 중 한 화상으로부터 레머넌스 아티팩트를, 촬상 처리 장치에 의하여, 제거하는 방법을 제공하며, 이 방법은, 복원된 화상을 생성하도록 화상 내의 레머넌스 구역을 복원하고, 복원된 화상에 기초하여 화상 내의 적어도 일부 픽셀들에 대한 레머넌스 측정치를 생성하고, 적어도 일부 픽셀들의 각각에 대한 레머넌스 추정치에 기초하여 화상의 적어도 일부 픽셀들로부터 레머넌스 아티팩트를 제거하는 것을 구비하며, 각 레머넌스 추정치는 그 시퀀스 내의 복수의 화상들의 레머넌스 측정치들에 기초하여 생성된다.

일 실시형태에 따르면, 레머넌스 추정치는 평균 레머넌스 추정치이다 예를 들어, 평균 레머넌스 추정치는 적어도 일부 픽셀들의 각각에 대한 순시(instantaneous) 평균 레머넌스의 추정치에 대응한다.

일 실시형태에 따르면, 화상 내의 적어도 일부 픽셀들에 대한 레머넌스 측정치를 생성하는 것은, 화상의 적어도 일부 픽셀들의 각 픽셀값으로부터, 복원된 화상에서 대응하는 픽셀의 픽셀값을 감산하는 것을 구비한다.

일 실시형태에 따르면, 이 방법은 화상 내의 레머넌스의 구역을 검출하는 것을 더 구비한다.

일 실시형태에 따르면, 레머넌스의 구역은 화상의 픽셀들의 75% 미만을 구비한다.

일 실시형태에 따르면, 이 방법은, 시퀀스 내의 하나 이상의 이전 화상 및 화상의 레머넌스 측정치들의 이동 평균을 산출함으로써, 적어도 일부 픽셀들의 각각에 대하여 레머넌스 추정치를 산출하는 것을 더 구비한다.

일 실시형태에 따르면, 이동 평균은 시퀀스 내의 m 개의 화상들의 슬라이딩 윈도우에 기초하며, m은 20과 150 사이에 있다.

일 실시형태에 따르면, 이 방법은 칼만 필터링(Kalman filtering)을 적용함으로써 적어도 일부 픽셀들의 각각에 대한 레머넌스 추정치를 산출하는 것을 더 구비한다.

일 실시형태에 따르면, 칼만 필터링을 적용함으로써 레머넌스 추정치를 산출하는 것은, 적어도 일부 픽셀들의 각각의 이전 보정된 레머넌스 추정치 및 레머넌스의 지수적 감소의 모델에 기초하여 화상의 적어도 일부 픽셀들의 각각의 레머넌스를 연역적으로 추정하고, 대응하는 레머넌스 측정치에 기초하여, 화상의 적어도 일부 픽셀들의 각각에 대하여, 추정된 레머넌스를 보정하여 귀납적으로 추정치를 얻는 것을 구비한다.

일 실시형태에 따르면, 이 방법은, 화상들의 시퀀스가, 화상으로부터 레머넌스 아티팩트들을 제거하기 이전에 변화하는 장면에 해당하는지를 검출하는 것을 더 구비한다.

다른 측면에 따르면, 화상 처리 장치의 프로세서에 의하여 실행될 때, 상기 방법을 실현하게 하는 컴퓨터 지시를 저장하는 비일시적 저장 매체를 제공한다.

다른 측면에 따르면, 적외선 촬상 장치에 의하여 캡처된 화상들의 시퀀스 중 한 화상 및 그 시퀀스 내의 하나 이상의 이전 화상의 하나 이상의 레머넌스 측정치들을 저장하는 하나 이상의 메모리와, 복원된 화상을 생성하도록 화상 내의 레머넌스의 구역을 복원하고, 그 복원된 화상에 기초하여 화상 내의 적어도 일부 픽셀들에 대한 레머넌스 측정치를 생성하고, 적어도 일부 픽셀들의 각각에 대한 레머넌스 추정치에 기초하여 그 화상의 적어도 일부 픽셀들로부터 레머넌스 아티팩트를 제거함으로써 화상으로부터 레머넌스 아티팩트들을 제거하도록 구성된 하나 이상의 프로세서들을 구비하는 화상 처리 장치를 제공하며, 각 레머넌스 추정치는 그 시퀀스 내의 복수의 화상들의 레머넌스 측정치에 기초하여 생성된다.

일 실시형태에 따르면, 레머넌스 추정치는 평균 레머넌스 추정치이다. 예를 들어, 평균 레머넌스 추정치는 적어도 일부 픽셀들의 각각에 대한 순시 평균 레머넌스의 추정치에 해당한다.

다른 측면에 따르면, 마이크로볼로미터 어레이와 전술된 화상 처리 장치를 구비하는 적외선 활상 장치를 제공한다.

다른 측면에 따르면, 전술된 적외선 촬상 장치를 구비하는 적외선 카메라를 제공한다.

또 다른 측면에 따르면, 적외선 촬상 장치에 의하여 캡처된 화상들의 시퀀스 중 한 화상으로부터 레머넌스 아티팩트들을, 촬상 처리 장치에 의하여, 제거하는 방법을 제공하며, 이 방법은, 시퀀스의 이전 화상의 픽셀들 값들과 화상의 픽셀들 값들 사이의 차에 기초하여 그 화상에서의 적어도 일부 픽셀들에 대한 레머넌스 측정치를 생성하고, 적어도 일부 픽셀들의 각각에 대한 레머넌스 추정치에 기초하여 화상의 적어도 일부 픽셀들로부터 레머넌스 아티팩트들을 제거하는 것을 구비하며, 각 레머넌스 추정치는, 레머넌스 측정치 및 적어도 일부 픽셀들의 하나 이상의 이전 레머넌스 추정치들 그리고 레머넌스의 지수적 감소 모델에 기초하여 생성된다.

일 실시형태에 따르면, 레머넌스 추정치는 평균 레머넌스 추정치이다. 예를 들어, 평균 레머넌스 추정치는 적어도 일부 픽셀들의 각각에 대한 순시 평균 레머넌스의 추정치에 해당한다.

일 실시형태에 따르면, 화상에서 적어도 일부 픽셀들 x에 대한 레머넌스 측정치를 생성하는 것은, 다음을 산출하는 것을 포함한다.

[수식 1]

여기서 f_n은 화상이고 f_n-1은 이전 화상이다.

일 실시형태에 따르면, 이 방법은 칼만 필터링을 적용함으로써 적어도 일부 픽셀들의 각각에 대한 레머넌스 추정치를 생성하는 것을 더 구비한다.

일 실시형태에 따르면, 칼만 필터링을 적용함으로써 레머넌스 추정치를 생성하는 것은, 적어도 일부 픽셀들의 각각의 이전의 보정된 레머넌스 추정치와 그 레머넌스의 지수적 감소의 모델에 기초하여 화상의 적어도 일부 픽셀들의 각각의 레머넌스를 연역적으로 추정하고, 화상의 적어도 일부 픽셀들 각각에 대하여, 대응하는 레머넌스 측정치에 기초하여 추정된 레머넌스를 보정하여 귀납적으로 추정값을 얻는 것을 구비한다.

일 실시형태에 따르면, 이 방법은, 화상으로부터 레머넌스 아티팩트를 제거하기 이전에 화상들의 시퀀스가 정지 장면에 대응하는지를 검출하는 것을 구비한다. 또 다른 측면에 따르면, 화상 처리 장치의 프로세서에 의하여 실행될 때, 전술의 방법을 실현시키는 컴퓨터 지시를 저장하는 비일시적 저장 매체를 제공한다.

다른 측면에 따르면, 적외선 촬상 장치에 의하여 캡처된 화상들의 시퀀스 중 한 화상과 그 시퀀스 내의 하나 이상의 이전 화상의 하나 이상의 레머넌스 측정치를 저장하는 하나 이상의 메모리와, 그 시퀀스의 이전 화상의 픽셀들 값들과 그 화상의 픽셀 값들 사이의 차에 기초하여 그 화상에서의 적어도 일부 픽셀들에 대한 레머넌스 추정치를 생성하고, 그 레머넌스 추정치 및 적어도 일부 픽셀들의 레머넌스의 하나 이상의 이전의 추정치들 그리고 그 레머넌스의 지수적 감소 모델에 기초하여 생성된 레머넌스의 추정치에 기초하여 화상의 적어도 일부 픽셀들로부터 레머넌스 아티팩트를 제거함으로써, 화상으로부터 레머넌스 아티팩트를 제거하도록 구성된 하나 이상의 프로세서를 구비하는 촬상 처리 장치를 제공한다.

일 실시형태에 따르면, 레머넌스 추정치는 평균 레머넌스 추정치이다. 예를 들어, 평균 레머넌스 추정치는 적어도 일부 픽셀들의 각각에 대한 순시 평균 레머넌스의 추정치에 대응한다.

또 다른 측면에 따르면, 마이크로볼로미터의 어레이와 전술된 화상 처리 장치를 구비하는 적외선 촬상 장치를 제공한다.

또 다른 측면에 따르면, 전술된 적외선 촬상 장치를 구비하는 적외선 카메라를 제공한다.

전술된 특징 및 장점 뿐만 아니라, 다른 특징 및 장점이, 첨부 도면을 참조하여 그것으로 한정되지 않는 일 예로서 제공된 특정 실시형태의 다음의 설명에서 상세하게 설명될 것이다.
도 1은 본 명세서의 일 예의 실시형태에 따르는 IR 촬상 장치를 개략적으로 나타낸다.
도 2는 일 예의 실시형태에 따르는 도 1의 화상 처리 회로를 더 상세하게 개략적올 나타낸다.
도 3은 레머넌스 아티팩트를 구비하는 화상을 나타낸다.
도 4는 픽셀의 레머넌스의 지수적 감소를 나타내는 그래프이다.
도 5는 본 명세서의 일 예의 실시형태에 따라서 화상으로부터 레머넌스를 제거하는 방법의 동작을 나타내는 일반 플로우 다이어그램이다.
도 6은 300개 화상들의 시퀀스에서 레머넌스를 겪는 픽셀 x의 시뮬레이션된 픽셀 값들의 예를 보여주는 그래프이다.
도 7은 레머넌스 영역 K를 갖는 마이크로볼로미터 어레이 전체에 걸쳐서 시뮬레이션된 픽셀 값들의 일 예를 보여주는 그래프이다.
도 8은 마이크로볼로미터 어레이 전체에 걸쳐서 시뮬레이션된 픽셀 값들의 다른 예를 보여주는 그래프이다.
도 9는 레머넌스 추정치와 평균 레머넌스값 사이의 차의 분포를 나타내는 그래프이다.
도 10은 n=1000 연속 화상들의 시퀀스를 따르는 한 픽셀의 레머넌스의 추정치들의 값과 다양한 방법을 사용한 추정된 레머넌스를 나타내는 그래프이다.
도 11은 본 명세서의 일 예의 실시형태에 따라서 레머넌스 추정치들을 생성하도록 칼만 필터링을 실행하는 방법의 동작을 나타내는 플로우 다이어그램이다.
도 12는 칼만 필터의 적용을 위한 유효 시계열의 잠재 구조를 나타낸다.

동일한 특징은 각 도면에서 동일한 참조부호로 지정된다. 특히, 여러 실시형태들에서 공통인 구조적 및/또는 기능적 특징들은 동일한 참조부호를 가질 수 있으며, 동일한 구조적, 치수적 및 물질적 특성이 배치될 수 있다.

다른 지시가 없다면, 두 구성요소가 서로 접속되어 있다고 언급된다면, 이것은 도전체 이외의 어떤 중간 구성요소도 없는 직접 접속을 의미하며, 두 구성요소들이 서로 연결되거나 또는 결합되었다고 언급된다면, 이것은 이 두 구성요소들이 접속될 수 있거나 또는 하나 이상의 다른 구성요소들을 경유하여 연결되거나 결합될 수 있음을 의미한다.

다음의 명세서에서, 다른 지시가 없다면, 용어 "앞", "뒤", "상면", "하면", "왼쪽", "오른쪽" 등과 같은 절대 위치 한정어, 용어 "위", "아래", "상측", "하측" 등과 같은 상대 위치 한정어, 또는 "수평의", "수직의" 등과 같은 배향의 한정어가 언급되는 경우, 도면에 도시된 배향, 또는 일반적 사용시와 같이 배향된 마이크로볼로미터가 언급된다.

특별한 언급이 없다면, 표현 "대략", "약", "실질적으로" 및 "정도의"는 10% 이내, 바람직하게는 5% 이내를 의미한다.

도 1은 IR 광에 민감한 픽셀 어레이(102)를 구비하는 IR 촬상 장치(100)를 나타낸다. IR 촬상 장치(100)는 예를 들어 IR 카메라의 부분을 형성한다. 일부 실시형태들에 있어서, 픽셀 어레이(102)는, 7 내지 16 ㎛ 또는 그 이상의 범위의 파장을 갖는 광과 같은, 장-파장 IR 광에 민감하다.

도 1의 예에서, 픽셀 어레이(102)는 12행 및 12열로 배열된 144개의 마이크로볼로미터 픽셀들(104)을 구비한다. 다른 실시형태들에 있어서, 픽셀 어레이(102)는 픽셀의 임의의 수의 행과 열을 구비할 수 있다. 일반적으로 픽셀 어레이(102)는 예를 들어 640 x 480, 또는 1024 x 768 마이크로볼로미터 픽셀들을 구비한다.

도 1의 예에서, 어레이(102)의 픽셀들의 각 열은 대응하는 기준 구조물(106)과 관련되어 있다. 기능적으로 화면 구성요소는 아니지만, 이 구조물은, 촬상(또는 활성) 마이크로볼로미터 픽셀들(104)과의 구조적 유사성에 의하여, 여기서는 이 구조물을 "기준 픽셀"이라고 언급할 것이다. 또한, 출력 블록(OUTPUT)(108)은 픽셀 어레이(102)의 각 열과 기준 픽셀들(106)의 각각에 결합되어 있으며, 기준 픽셀들(106)과 함께 픽셀 어레이(102)에 의하여 캡처된 신호들 또는 판독값들을 구비하는 미가공 화상(RAW)을 제공한다.

볼로미터 유형의 픽셀 어레이의 일 예로는, 예를 들어 본 출원인에게 양도된, 미국 특허 US7,700,919에서 상세하게 논의되며, 이 내용은 법으로 허용된 범위까지 여기에 참조로 포함된다.

제어 회로(CTRL)(110)는, 예를 들어 제어 신호들을, 픽셀 어레이(102), 기준 픽셀들(106) 및 출력 블록(108)으로 제공한다.

미가공 화상(RAW)은, 예를 들어 화상 처리 회로(IMAGE PROCESSING)(112)로 제공되며, 예를 들어, 여기서, 화상의 픽셀들에게 2-포인트 화상 보정과, 또한 레머넌스 보정이 적용되어서, 보정된 화상(S)을 생성한다.

픽셀 어레이(102)의 판독 동작에 있어서, 픽셀들의 행들은 예를 들어 한번에 하나가 판독된다.

도 2는 일 예의 실시형태에 따르는 도 1의 화상 처리 회로(112)를 상세하게 나타낸다.

화상 처리 회로(112)의 기능은 예를 들어 소프트웨어에서 실행되며, 화상 처리 회로(112)는, 지시 메모리(INSTR MEMORY)(204)에 저장된 지시어의 제어 하에서 하나 이상의 프로세서들을 갖는 처리 장치(PROCESSING DEVICE)를 구비한다. 다른 실시형태에 있어서, 화상 처리 회로(112)의 기능들은 전용 하드웨어에 의하여 적어도 부분적으로 실행될 수 있다. 그런 경우에, 처리 장치(202)는 예를 들어 ASIC(application specific integrated circuit) 또는 FPGA(field programmable gate array)를 구비하며, 지시 메모리(204)는 생략될 수 있다.

처리 장치(202)는 미가공 입력 화상(RAW)을 수신하고, 보정된 화상(S)을 생성하며, 이것은 예를 들어 촬상 장치의 디스플레이(미도시)로 제공된다.

처리 장치(202)는 또한 예를 들어 2-포인트 화상 보정을 실현하기 위하여 사용된 이득값들(GAIN)(210) 및 오프셋값들(OFFSET)(208)을 저장하는 데이터 메모리(MEMORY)(206)에 결합된다.

일부 실시형태에서는, 무셔터 화상 보정이 실행된다. 예를 들어, 오프셋값들은, 구조적 열(column) 분산(spread)을 나타내는 벡터(V_COL)와, 픽셀 어레이(102)에 의하여 도입되는 2D 비-열 구조적 분산(dispersion)을 나타내는 행렬(OFF_DISP)의 형태이다. 예를 들어 열 분산은 주로 각 열에서 기준 픽셀(106)을 사용하는 것으로 기인하는데, 열 기준 픽셀들의 행이 일반적으로 완전하게 균일하지 않다. 예를 들어 2D 비-열 분산은, 예를 들어 기술적 프로세스 분산으로 기인하는, 픽셀 어레이의 활성 볼로미터들 사이의 국부적인 물리적 및/또는 구조적 차이에 의해 주로 기인한다.

무셔터 화상 보정 기술의 예, 특히 벡터 V_COL과 행렬 OFF_DISP의 생성의 예 및 이 벡터와 행렬에 기반하는 픽셀값들의 보정의 예는, 본 출원인에게 양도된 2015년 4월 24일에 출원된 미국 특허출원 US 14/695539에 좀 더 상세하게 설명되어 있으며, 이것의 내용은 법이 허용된 범위에서 여기에 참조로 포함된다.

다른 실시형태들에서는, 셔터의 사용을 수반하는 해결책들을 포함하여, 다른 형태의 2-포인트 화상 보정이 실행될 수 있다.

메모리(206)는, 예를 들어, 다음에서 상세하게 설명되는 바와 같이, 하나 이상의 이미 캡처된 화상들의 픽셀들에 대하여 산출된, 하나 이상의 레머넌스 추정치들(REMANENCE ESTIMATE(S))(212)을 또한 저장한다. 일부 실시형태에서는, 메모리(206)는, 다음에서 상세하게 설명되는 바와 같이, 레머넌스 감소를 나타내는 모델 W(MODEL W)를 또한 저장한다.

도 3은 레머넌스 아티팩트(302)가 존재하는 화상(300)을 나타낸다. 예를 들어, 이 화상은 마이크로볼로미터 어레이에 의하여 캡처되었으며, 그 어레이가 활성되었을 때, 글레어(glare), 특히 비교적 강한 열의 플럭스를 어레이가 받았다. 마이크로볼로미터 어레이의 각 픽셀의 서멀층의 저항이 온도의 함수로서 변화되는데, 온도가 높을수록, 저항은 낮아진다. 화상(300)에서, 용이한 판독을 위하여, 그레이 레벨들을 역전시키는데, 이것은 높은 온도를 더 어두운 픽셀들에 의하여 표시 시킨다. 비교적 강한 열의 플럭스는, 관련된 픽셀들의 저항에 있어서 상당히 큰, 지속적인 감소를 발생시키며, 마이크로볼로미터 어레이를 지나는 플럭스의 경로에 대응하는, 화상(300)에서의 어두운 트레일(302)를 야기한다. 태양의 열로부터 발생되는 경우, 그런 아티팩트를 종종 썬번(sunburn)이라고 한다.

도 4는, 일 예의 실시형태에 따르는, 시간의 함수로써, 도 1의 어레이(102)와 같은 마이크로볼로미터의 픽셀(x)의 레머넌스(ω_x )의 일 예를 나타내는 그래프이다. 레머넌스(ω_x )는 다음의 식에 의하여 만들어질 수 있는 지수적 감소를 갖는다.

[수식 2]

여기서 t₀는, 픽셀을 가열하는 글레어 순간 이후에 정상 온도로 픽셀이 되돌아올 때의 시간이며, x=(행, 열)는 픽셀의 좌표 벡터이고, α, β 및 τ는 파라미터들이고,

[수식 3]

은 특성 함수이다. 도 4의 예에서, τ=10. α=1, 및 β=0.5이다.

레머넌스는 부가적인 작은 변동이다. 따라서 레머넌스에 의하여 영향을 받은 화상의 픽셀값들 f_x(t)는

[수식 4]

과 같이 만들어질 수 있다. 여기서 S_x(t)는 글레어 없는 화상이며, G_ωx 는 글레어에 의한 이득 변화 행렬이며, f_x(t)는 예를 들어 전술된 바와 같은 2-포인트 화상 보정에 대응한다. 이득 변화 행렬에 기초하여 보정을 실행하는 방법은 프랑스 특허 FR2987210에 상세하게 설명되어 있으며, 그 내용은 법이 허용하는 범위에서 참조로 여기에 포함되어 있다. 그러나, 항 G_ωx (t-t₀)S_x(t)에 의하여 표시된 픽셀의 감도의 변화는, ω_x 에 대하여 작은 것으로 간주될 수 있고, 이하에서는, 항 Gω를 1이라고 간주함으로써 그것의 기여를 무시할 것이다.

도 1의 장치(100)와 같은, IR 촬상 장치가 IR 화상을 캡처하기 위하여 사용될 때, 구별될 수 있는 수 개의 다른 사용 경우가 있다.

IR 카메라가 이동하거나 및/또는 장면이 변화하고 있기 때문에, 픽셀 어레이의 시야에서의 화상이 변화되는 것으로 고려될 수 있는, 동적 상황(이후에 케이스 1)이 고려될 수 있다. 이 형태의 동적 상황에 대하여, 전술의 모델은, 레머넌스 ω_x (t)와 화상 S_x(t) 양자가 시간에 따라 변화하기 때문에 적절하다.

[수식 5]

다른 상황(이후 케이스 2)은, 픽셀의 시야에서의 화상이 실질적으로 일정한 경우에 대응한다. 따라서, 레머넌스만이 시간에 따라서 변화한다. 그런 경우에, 레머넌스에 의하여 영향을 받는 화상의 픽셀값들 fx(t)은

[수식 6]

과 같이 만들어질 수 있다. 여기서 글레어 없는 화상 S_x는 일정하다고 가정될 수 있다.

케이스 1 및 케이스 2 양자에서, 예를 들어 화상의 스트림이 비데오 화일을 형성하기 위하여 캡처되고 저장되며 및/또는 거의 실시간으로 IR 카메라의 화상 디스플레이로 전달된다.

제3 상황(이후 케이스 3)은, IR 카메라의 시야의 화상 및 레머넌스 양자가 충분히 느리게 변화하여, 그들이 시간에 대하여 일정하다고 간주할 수 있는, 즉 시간에 따른 감소가 늦어서 평가의 시간 테두리 내에서 측정될 수 없는 경우에 대응한다. 이 경우에 화상의 픽셀값들 f_x는

[수식 7]

로 만들어질 수 있다.

케이스 1 및 케이스 2에 대한 레머넌스에 의하여 발생된 아티팩트를 적어도 부분적으로 제거하는 방법이 지금 상세하게 설명될 것이다. 손실된 픽셀 정보에 대한 부가의 시간적 정보없이 단일 화상을 수정하는 화상과 같은 케이스 3은 본 명세서에서는 다루지 않을 것이다.

이하에서, 시간은, t=n 및 t+δt=n+1을 나타냄으로써 샘플화된다. 따라서 시간 t에서 픽셀 x의 행렬 M의 값은, M(t,x) 대신에 M_n,x 로 나타내어질 것이다.

일반적 계획

도 5는 본 명세서의 일 예의 실시형태에 따르는 화상들의 시퀀스에서 레머넌스를 보정하는 방법(500)에서의 동작을 나타내는 일반 플로우 다이어그램이다. 이 방법은 예를 들어 도 1 및 도 2의 화상 처리 회로(112)에 의하여 수행된다. 대안으로서, 이 방법은, IR 카메라의 부분을 형성할 수도 또는 형성하지 않을 수도 있는 다른 형태의 처리 장치에 의하여 수행될 수 있다.

화상 캡처

동작 501에서, 이 방법은, 화상 f_n이 캡처되면 시작한다. 이 화상은, 예를 들어, 전술된 2-포인트 화상 보정과 같은, 화상 보정이 적용된 미가공 화상(RAW_n)에 대응한다.

변화 검출

동작 501 후에, 동작 502에서는, 예를 들어, 화상(f_n) 및 이전에 캡처된 화상(f_n-1)에 기초하여 변화하는 장면의 존재가 검출되는지를 수행한다. 동작 502는, 예를 들어 현재 화상 n의 각 픽셀 x에서 현재 레머넌스 평균 μ_ω,ｎ,ｘ을 산출하는 것을 수반하는 레머넌스 추정 방법 503으로 이어진다. 동작 502에서 변화하는 장면의 검출은 레머넌스 추정 동작 503을 실행하는 선택적인 방법 504와 505 사이에서 선택하기 위하여 사용된다. 특히, 변화하는 장면이 동작 502에서 검출되면, 이후의 레머넌스 추정 방법 503에서는, 도 5의 방법 504에 대응하는 케이스 1의 방법이 적용된다. 만일, 반대로, 정지 장면이 검출되면, 이 후의 레머넌스 추정 방법 503에서는, 도 5의 방법 505에 대응하는 케이스 2의 방법이 적용된다.

예를 들어, 장면의 역동성(dynamic)은, 시간적 변화를, 시간적 노이즈 레벨 이상으로 설정된 임계값, 예를 들어 시간적 노이즈 레벨의 2배 또는 3배로 설정된 임계값과 비교함으로써 동작 502에서 검출될 수 있다. 그런 평가는, 평균 시간적 변화들을 기반으로 하는 것과 같이, 화상에 대하여, 전체적으로 실행될 수 있으며, 이 경우에 화상의 모든 픽셀들은 예를 들어 동일한 방법(케이스 1의 방법 504, 또는 케이스 2의 방법 505)에 따라서 처리된다. 대안적으로, 국부적인 평가는, 화상의 개개의 픽셀들 또는 화상의 개별 서브-영역들에서의 시간적 변화를 기반으로 실행될 수 있으며, 케이스 1의 방법 504 또는 케이스 2의 방법 505를 적용하는 사이에서의 선택은 픽셀 단위로 또는 서브-영역 단위로 수행될 수 있다.

방법 504는 아래의 케이스 1이라는 세부항목에서 상세하게 설명되며, 방법 505는 아래의 케이스 2라는 세부항목에서 상세하게 설명된다.

도 5는 두 방법 504 및 505의 실행을 포함하는 방법을 나타내고, 이들 방법들 사이의 선택은 장면 변화 검출에 기반하여 각 프레임에 대하여 수행되며, 다른 실시형태들에서는, 방법 504만, 또는 방법 505만 실행될 수 있다.

레머넌스 보정

동작 503 이후에, 동작 506은, 예를 들어, 추정된 레머넌스를 기반으로 화상을 보정하는 것을 포함하여 실행된다. 예를 들어, 이 화상은 화상 f_n의 각 픽셀 x에 대하여 다음의 식을 적용함으로써 보정되어서 화상 S_n을 생성한다.

[수식 8]

동작 506 이후에, n은 증가되며 동작 501 내지 506은 예를 들어 다음 화상 n의 캡처 후에 반복된다.

케이스 1

레머넌스 구역 검출

케이스 1에서, 방법 503은 동작 510 내지 513 포함하는 도 5의 방법 504를 적용하는 것을 포함한다.

동작 510에서, 하나 이상의 레머넌스 구역들이 갱신된다.

예를 들어, 마스크가 레머넌스의 구역들을 나타내는 각 화상 f_n에 대하여 생성된다. 이 구역들은, 픽셀들이 레머넌스에 의하여 영향을 받는 실제 구역보다 더 클 수 있다. 그러나, 일부 실시형태에서는, 레머넌스 구역들은 화상의 픽셀들의 최대 75%에 대응한다. 마스크는, 비록 에지 검출을 기반으로 하는 기술을 포함하는, 다른 기술들이 또한 사용될 수 있다고 할지라도, 예를 들어 태양의 궤적을 추적함으로써, 픽셀값이 주변 영역보다 상당히 더 높은 구역을 검출하여 생성될 수 있다.

복원

그런 후, 동작 511에서, 복원이 화상의 이들 레머넌스 구역들에 적용된다. 복원은 당업자에게 잘 알려져 있으며 목표 구역 외부로부터 화상 정보에 기초하여 목표 구역 내에 있는 픽셀값들을 보정하는 것을 포함하는 화상 재구성 기술이다. 일 예로서, 복원의 방법은 씨.길레모트(C. Guillemot)와 오.르메르(O. Le Meur)에 의한 2014 출판물인 "Image inpainting: Overview and recent advances"(IEEE signal processing magazine, 31(1), 127-144)에 상세하게 기재되어 있으며, 그 내용은 법의 허용 범위까지 여기서 참조로 포함되어 있다.

레머넌스 측정

동작 512에서, 화상 f_n에서의 픽셀 x에서 레머넌스의 노이즈 측정치 ω^* _n,x 은 복원된 화상에 기초하여 각 픽셀에 대하여 처리된다. 예를 들어, 이 노이즈 측정치는 픽셀 단위로 다음의 감산을 수행함으로써 산출된다.

[수식 9]

여기서 S^* _n,x는 픽셀 x에서 n번째 복원된 화상이다.

레머넌스 추정치

동작 513에서, 레머넌스는 레머넌스 추정 동작 530을 적용함으로써 추정된다. 예를 들어, 레머넌스 추정치는 각 픽셀 x에 대한 순시 평균 레머넌스 μ_ω,ｎ,ｘ의 추정치를 구비한다. 이것은 예를 들어, 각 픽셀 x에 대하여, 현재 레머넌스 측정치 ω^* _n,x와 이전의 레머넌스 추정치 ω_n-1,x 사이의 가중된 합으로서 현재의 레머넌스 추정치 ω_n,x를 생성하는 것을 포함한다. 일부 실시형태에 있어서, 동작 530은 이전의 m 화상들에서 측정된 레머넌스{ω^* _k,x}_k=n-M:n의 평균으로서 간단하게 추정치 ω_n,x를 생성하는 것을 포함한다. 다른 실시형태에 있어서, 동작 530은 레머넌스의 시간적 감소의 모델을 고려하는 칼만 필터에 기초하여 추정치 ω_n,x를 생성하는 것을 포함한다. 예를 들어, 지수적 모델 W가 사용될 수 있다. 칼만 필터를 사용하여, ω_n,x의 추정량(estimator)들은 예를 들어 그것을 완전히 특성화하는 분산 σ² _ω,n,x 및 그의 평균 μ_ω,ｎ,ｘ 이다.

방법 504는, 픽셀 어레이의 시야의 화상이 변화하는 경우에, 픽셀 값들의 시간적 변화는 μ_ω,ｎ,ｘ 를 중심으로 하는 정상 분포를 갖는 노이즈로서 간주될 수 있다는 본 발명자의 관찰에 기초하여 레머넌스를 제거하는 것을 허용한다.

도 6은, 예를 들어 초당 25 프레임의 화상 캡처율로 캡처된 300 화상들(n)의 시퀀스에 대하여 레머넌스를 겪는 픽셀(x)의 축적된 픽셀값들(PIXEL VALUE)의 일 예를 나타내는 그래프이다. 도 6의 점들은 300 픽셀값들을 나타내며, 연속 커브(602)는 시간에 따른 추정된 레머넌스 평균을 나타낸다. 도 6의 대시 커브(604)는, 지수적 감소를 갖는, 실제의 레머넌스 ω_x를 나타낸다. 주어진 화상에 대한 이 실제의 레머넌스 ω_x의 합리적으로 정확한 추정치를 얻음으로써, 이것은, 화상 장면을 나타내는 근본적인 픽셀 정보를 제공하기 위하여, 픽셀 값에서 감산시킬 수 있다.

실제로, 픽셀 어레이의 시야의 화상이 시간에 따라서 변화하고 있다라고 고려하면, 그 장면은 다음과 같이 정의된 고정 노이즈로써 고려될 수 있다.

[수식 10]

여기서 "~"는 "따라서 분포되는"을 의미하며, N(μ,σ²)는 평균값 μ와 분산 σ²를 갖는 정상 분포이며, 이것들은 여기서 시간 및 공간에 대하여 일정하다.

그러나 레머넌스는, 시간에 따라 감소하는 평균 값을 가지기 때문에, 비-고정 노이즈이다.

[수식 11]

따라서 화상 f_n의 픽셀 x에서 관찰된 화상은 2개의 독립 확률 변수의 합이다.

[수식 12]

도 7은 마이크로볼로미터 어레이를 가로지르는 0부터 P까지의 픽셀들(PIXEL x)의 시뮬레이션된 픽셀 값들(PIXEL VALUE)을 나타내는 그래프로서, 구역 K의 픽셀들은 썬번의 경로에 있다고 가정된다.

도 7은, 연속 커브(702)에 의하여, 관찰 화상 f_n,x의 일 예를 나타내는데, 이것은 대시 커브(704)에 의하여 표시된 화상 장면 μ_S,n의 평균과 연속 커브(706)에 의하여 표시된 평균 레머넌스 μ_ω,n,x의 합이다. 그러므로, 화상 장면 μ_S,n,x의 평균을 추정함으로써, 다음의 식을 산출함으로써 μ_ω,n,x을 얻을 수 있다.

[수식 13]

도 5의 방법 504의 동작 513에서, 본 발명자는, 복원을 사용하여 화상 장면 μ_S,n의 평균의 추정치를 얻는 것을 제안하며, 이것은 도 8과 관련하여 이제 상세하게 설명될 것이다.

도 8은, 마이크로볼로미터 어레이를 가로지르는 0에서 P까지의 픽셀들(PIXEL x)의 픽셀 값들(PIXEL VALUE)을 나타내는 그래프로서, 도 7의 예와 유사하게, 구역 K에서의 픽셀들은 썬번의 경로에 있다고 가정된다.

도 8에서의 연속 커브(802)는 관찰 화상 f_n의 선을 나타내며, 대시 커브(804)는 S^* _n으로 나타내어지는, 복원된 선을 나타내며, 이것은 다음과 같이 표현될 수 있다.

[수식 14]

여기서 K_바는 썬번 구역 K 외부의 구역이다. 즉, 썬번 구역의 외부 구역으로부터의 픽셀 정보가 구역 K를 복원하기 위하여 사용된다.

도 8의 커브(806)는 S의 연속 샘플들을 나타낸다. 이들은 복원된 커브(804)가 편향되지 않음을 보여주고 있다.

[수식 15]

여기서 E[]는 기대값이다.

대시 커브(808)는 레머넌스 ω_n를 나타내며, 연속 커브(810)은 감산 f_n-S^* _n의 결과를 나타낸다.

화상의 복원된 부분은, 화상 장면의 평균 μ_s의 비편향(unbiased) 추정치:

[수식 16]

와, μ_ω,n,x의 비편향 측정치:

[수식 17]

를 제공한다.

도 9는 레머넌스의 측정치 ω^* _n,x와 평균 레머넌스 μ_ω,n,x 사이의 차이 크기(MAGNITUDE)의 분포를 나타내는 그래프이며, 이것은 정상 분포에 대응한다. 실제로, 매 순간 마다,

[수식 18]

에 대응하는 ω^* _n의 측정치가 레머넌스의 E[ω^* _n,x]=μ_ω,n,x의 기대값의 비편향 노이즈 측정치를 제공한다.

이 값이 시간에 따라서 변화하기 때문에, 본 발명자는, 도 10을 참조하여 상세하게 설명될 것인 것과 같이, 현재 측정치 ω^* _n 와 이전 추정치 μ_ω,n-1 사이의 가중 합에 기초하여 각 새로운 화상 f_n에 대하여 이 값을 추정하는 것을 제안하고 있다.

도 10은 n=1000 연속 프레임들의 시퀀스를 따라 한 픽셀 x의 레머넌스의 추정치들의 값 Z_n을 나타내는 그래프이다. 각 연속 커브는, 도 5의 동작 530에서, 값 μ_ω,n,x를 추정하는 다른 방법에 대응한다. 점들은 미가공 레머넌스 ω^* _n,x 측정치에 대응한다. 선 1002는 미가공 레머넌스 측정치 ω^* _{n ,x}의 평균을 나타내며, 이것은 다음과 같이 표현된다.

[수식 19]

도 10의 대시 커브(1004)는 픽셀 x의 레머넌스의 실제 감소를 나타낸다.

도 10의 연속 커브(1006)는 10개 화상들의 윈도우에 기초하는 이동 평균을 나타내며, 이것은 다음과 같이 표현된다.

[수식 20]

커브 1006은 빠른 수렴을 제공하지만, 상대적으로 노이즈가 있다.

도 10의 커브 1008은 100개 화상들의 윈도우에 기초하는 이동 평균을 나타내며, 이것은 다음과 같이 표현된다.

[수식 21]

커브 1008은 상대적으로 빠른 수렴을 여전히 제공하며, 커브 1006보다 적은 노이즈를 갖는다. 그러나, 이 커브는 편향되어 있으며, 그런 편향 위험은 최종 보정된 화상에서 보인다.

일부 실시형태에서, 수렴 속도와 노이즈 사이에서 합리적인 절충을 얻기 위하여, 이동 평균이 m개의 화상들의 슬라이딩 윈도우에 기초하여 사용될 수 있으며, 여기서 m은 20 내지 150 범위에 있으며, 예를 들어 20 내지 80의 범위에 있다. 일부 실시형태들에서, 화상들의 수 m은 시간에 따라서 변화할 수 있는데, 예를 들어 화상 시퀀스가 진행함에 따라서 시간에 따라 증가한다. 일부 실시형태에 있어서, 예를 들어 그 결과가 어느 정도까지 여전히 편향되어 있고, 슬라이딩 윈도우의 크기를 캘리브래이션할 필요가 있다면, 슬라이딩 윈도우에 기초하는 이 접근 방법은 단점을 가질 수 있다.

도 10의 커브 1010은 칼만 필터의 적용에 해당하며, 이것은 이동 평균과 비교하여 상대적으로 늦은 수렴을 갖지만, 커브 1004에 의하여 나타내어진 레머넌스의 실제 감소에 상대적으로 높은 정확도로 수렴한다. 칼만 필터는 그 시퀀스에서 복수의 화상들에 대한 레머넌스의 측정값들과, 또한 그 레머넌스의 지수적 감소의 모델 W를 고려한다. 동작 530의 칼만 필터는 도 11 및 도 12를 참조하여 상세하게 설명될 것이다.

칼만 필터링

도 11은, 도 5의 동작 513에서 칼만 필터를 사용하여 평균 레머넌스값(μ_ω,n,x)을 추정하는 방법에서의 동작들을 나타내는 플로우 다이어그램이다. 이 방법은 예를 들어 도 1 및 도 2의 화상 처리 회로(112)에 의하여 수행된다. 선택적으로는, 이 방법은, IR 카메라의 부분을 형성하거나 형성하지 않는 다른 유형의 처리 장치에 의하여 수행될 수 있다.

칼만 필터들은, 노이즈(관찰된) 측정치 ω_n ^* 을 사용하고 일부 하이퍼-파라미터를 알고 있는 선형-가우시안 동적 시계열의 각 단계 n에서 잠재(은닉) 상태 벡터 ω_n을 추정하기에 적절하다. 그런 시계열은 마르코프 체인(Markov chain)의 종류이며, 다음의 간단한 시퀀스에 의하여 충분히 설명될 수 있다.

[수식 22]

여기서 A는 전이 행렬이며, H는 측정치 행렬이고, 파라미터 ν,υ 및 η는 각각 공분산 행렬 Γ, Σ_ω,0 및 R의 일부 제로-평균 정상 부가 노이즈이다.

도 12는, 그런 시계열의 일 예를 나타내는데, 여기서 (이 예에서 차원 1의) 은닉 상태 벡터는 원형들이고 관찰된 측정치는 점들이다. 시간 (t-δt)로부터의 입력들은 레머넌스 ω(t-δt)의 이전 보정된 추정치들이며, 전이 행렬 A는 시간 (t-δt)에서의 이전 추정치를 시간 t에서 새로운 추정치에 연결한다. 모든 것이 시계열에서의 가우시안이기 때문에, 상태 벡터는, 결정될 미지의 값들인 평균 벡터 μ_ω 및 공분산 행렬 Σ_ω에 의하여 충분히 특성화된다.

각 단계 n에서, (시간-상수) 하이퍼-파라미터 Γ,R, U, A, H 및 μ₀ 를 알면, 잠재 상태 ω_n는 다음의 식을 사용하여 추정될 수 있다는 것을 보여준다[Murphy, Machine Learning, a probabilistic perspective, 2012, p. 638].

[수식 23]

여기서,

[수식 24]

는 칼만 이득이고, I는 항등 행렬이다.

즉, 각 단계 n에서, 새로운 귀납적 추정치(μ_ω,n,x,Σ_ω,n,x)가, 측정치 ω_n ^* 및 연역적 추정치(μ^- _ω,n,x,Σ^- _ω,n,x)로부터 추정된다.

레머넌스 필터링으로의 적용

공분산 행렬

본 명세서에서, 은닉 변수 ω는 각 픽셀에서의 레머넌스이고, 스칼라(scalar)이다. 따라서, 공분산 행렬 Γ, R, Σ_ω,0,Σ_ω은 각각 γ, r, σ_ω,0 ²,σ_ω ²를 나타내는 단지 분산들이다.

전이 행렬 A

본 명세서에서, 은닉 상태는 스칼라이며, 전이 행렬 A는 또한 α로 알려진 스칼라이며 레머넌스의 모델 W에 직접 관련된다. 전술의 도 4와 관련하여 설명된 바와 같이,

[수식 25]

[수식 26]

이다.

본 예에서, 파라미터 β는 1이라고 가정되어서, 다음과 같이 ω(t+δt)에 대한 모델을 유도한다.

[수식 27]

전이 행렬 α는 예를 들어 어레이의 모든 픽셀들에 대하여 공통이다. 선택적으로는, 다른 전이 행렬 α_χ가 각 픽셀에 대하여 저장될 수 있다.

측정치 행렬 H

전술된 바와 같이, 측정치ω_n ^* 는, 또한 측정치 행렬 H를 사용하는 은닉 상태와 직접 관련되어 있는 실제 스칼라 값이다.

[수식 28]

초기화

도 11의 방법 530의 동작 1101에서, 칼만 파라미터는 칼만 필터의 은닉 상태를 초기화함으로써 초기화된다. 예를 들어, 초기 평균 μ_ω,0 및 분산 σ_ω,0 ² 값들은 다음과 같이 모든 픽셀들 x에 대하여 초기화될 수 있다.

[수식 29]

및

[수식 30]

연역적 추정치

동작 1102에서, 새로운 연역적 추정치가, 레머넌스의 노이즈 측정치와, 칼만 파라미터 및 칼만 하이퍼-파라미터에 기초하여 평균 레머넌스에 대하여 생성된다. 예를 들어, 새로운 연역적 추정치는 시간 n+1에서 평균 레머넌스에 대하여 생성된다.

[수식 31]

여기서 γ는 모델의 분산이고, 예를 들어 사용자-정의된다.

귀납적 추정치

동작 1103에서, 레머넌스의 이전의 새로운 평균 및 분산값이 칼만 파라미터, 칼만 하이퍼-파라미터 및 복원된 화상에 기초하여 결정된 현재 측정된 레머넌스값 ω_n,x ^* 에 기초하여 보정된다.

[수식 32]

여기서

[수식 33]

은 칼만 이득이다.

즉, 레머넌스의 귀납적 추정치는, 이전 추정치와 측정치 사이의 밸런스로서 생성되며, 이 밸런스는 칼만 이득(K)에 의하여 조정된다.

시퀀스

도 11을 다시 참조하여, 동작 1103 이후에, 칼만 파라미터는 예를 들어 갱신된다. 그런 후, 도 5에서 표시된 바와 같이, 방법 530은, 갱신된 칼만 파라미터에 기초하여 동작 1102 및 1103을 반복하는 것을 포함하여, 다음 화상 n+1에 대하여 반복될 수 있다. 사실, 파라미터 초기화 동작 1101은 예를 들어, 도 5의 방법의 제1 반복에서만 수행된다.

케이스 2

케이스 2에서, 도 5의 동작 503은, 본 명세서의 다른 실시형태에 따르는 화상들의 시퀀스에서 보정 레머넌스의 방법에 대응하는 방법 505을 포함한다. 이 방법은 예를 들어 도 1 및 도 2의 화상 처리 회로(112)에 의하여 실행된다. 선택적으로, 방법은 IR 카메라의 부분을 형성할 수도 또는 형성하지 않을 수도 있는 다른 유형의 처리 장치에 의하여 실행될 수 있다.

방법 505는 동작 520 및 521을 포함한다.

동작 520에서, 화상 fn에서의 레머넌스 측정치가 이전 화상 f_n-1에 기초하여 각 픽셀에 대하여 산출된다. 예를 들어, 레머넌스의 측정치 ω^* _n,x는 다음의 감산을 실행함으로써 화상의 각 픽셀 x에 대하여 산출된다.

[수식 34]

동작 521에서, 각 픽셀의 레머넌스 ω^* _n,x가 레머넌스 측정치와 지수적 감소 모델 W에 기초하여 추정된다. 예를 들어, 레머넌스 추정치는 각 픽셀 x에 대하여 순시 평균 레머넌스 μ_ω,n,x 의 추정치를 구비한다. 일부 실시형태에서는, 레머넌스 평균 μ_ω,n,x 및 그의 분산 σ² _ω,n,x 이 도 11과 관련하여 전술된 바와 같은 칼만 필터를 사용하여 추정된다. 그러나, 정지 화면의 경우에 대하여, 측정치 ω^* _n,x 는 매우 노이즈가 있고, 따라서, 케이스 2에 대하여는, 전이 행렬 α는 케이스 1 보다 일반적으로 더 정확해야한다. 그러므로, 일부 실시형태에 있어서, 레머넌스의 지수적 감소의 국부 전이 행렬 α_x =1-δt/τ _x 이 각 픽셀 x에 대하여 메모리(206)에 저장된다. 이 전이 행렬들은, 예를 들어, τ _x 를 추정하기 위한 레머넌스의 발생 직후에 2 또는 그 이상의 제1 프레임들에 대한 지수적 감소를 회복하는 것을 포함하는, 전처리 동작 중에 추정된다. 또한, 케이스 2에서는, 전이 행렬이

[수식 35]

이다.

여기에서 설명된 실시형태들의 장점은, 레머넌스가, 변화하는 장면(케이스 1) 또는 정지 화면(메이스 2)의 경우에 대하여, 비교적 간단하고 효과적인 방법으로, 화상들의 시퀀스에서 보정될 수 있다는 것이다.

다양한 실시형태와 변형들이 기술되어 있다. 당업자는 이들 실시형태들의 일부 특징들은 결합될 수 있고 다른 변형들이 당업자에게 용이하게 발생될 것임을 이해할 것이다. 예를 들어, 모든 픽셀들에 대한 공통의 지수적 감소 모델 W을 제공하는 것과, 또는 각 픽셀 x에 대한 다른 모델들을 제공하는 것 중의 선택은, 필수적인 정확도 및 IR 픽셀 어레이의 특성에 의존됨이 당업자에게는 명확할 것이다.

Claims (15)

1. 적외선 촬상 장치에 의하여 캡처된 화상들의 시퀀스 중 한 화상(f_n)으로부터 레머넌스(remanence) 아티팩트(artifact)들을, 촬상 처리 장치에 의하여, 제거하는 방법으로서, 상기 방법은,
   - 상기 화상(f_n) 내의 레머넌스 구역(K)을 복원하여, 복원된 화상을 생성하는 단계;
   - 상기 복원된 화상에 기초하여 상기 화상(f_n) 내의 적어도 일부 픽셀들에 대한 레머넌스측정치(ω^* _n,x)를 생성하는 단계, 및
   - 상기 적어도 일부 픽셀들의 각각에 대한 레머넌스 추정치(μ_ω,n,x)에 기초하여 상기 화상(f_n)의 적어도 일부 픽셀들로부터 레머넌스 아티팩트들을 제거하는 단계를 구비하며, 각 레머넌스 추정치(μ_ω,n,x)는 상기 시퀀스 내의 복수의 화상들의 레머넌스측정치들(ω^* _n,x)에 기초하여 생성되는 방법.
2. 제1항에 있어서,
   상기 레머넌스 추정치는, 상기 적어도 일부 픽셀들의 각각에 대한 순시(instantaneous) 평균 레머넌스의 추정치에 대응하는 평균 레머넌스 추정치(μ_ω,n,x)인 방법.
3. 제1항 또는 제2항에 있어서,
   상기 화상(f_n) 내의 적어도 일부 픽셀들에 대한 레머넌스 측정치(ω^* _n,x)를 생성하는 단계는, 상기 화상(f_n)의 적어도 일부 픽셀들의 각 픽셀값으로부터, 상기 복원된 화상에서의 대응하는 픽셀의 픽셀값을 감산하는 단계를 구비하는 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 화상(f_n) 내의 레머넌스의 구역(K)을 검출하는 단계를 더 구비하는 방법.
5. 제4항에 있어서,
   상기 레머넌스의 구역(K)은 상기 화상의 픽셀들의 75% 미만을 구비하는 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   - 상기 시퀀스 내의 하나 이상의 이전 화상 및 상기 화상(f_n)의 레머넌스 측정치들(ω^* _n,x)의 이동 평균을 산출함으로써,
   상기 적어도 일부 픽셀들의 각각에 대한 상기 레머넌스 추정치(μ_ω,n,x)를 산출하는 단계를 더 구비하는 방법.
7. 제6항에 있어서,
   상기 이동 평균은 상기 시퀀스 내의 m개의 화상들의 슬라이딩 윈도우에 기초하며, m은 20과 150 사이에 있는 방법.
8. 제1항 내지 제5항 중 어느 한 항에 있어서,
   칼만 필터링(Kalman filtering)을 적용함으로써 상기 적어도 일부 픽셀들의 각각에 대한 상기 레머넌스 추정치(μ_ω,n,x)를 산출하는 단계를 더 구비하는 방법.
9. 제8항에 있어서,
   칼만 필터링을 적용함으로써 상기 레머넌스 추정치(μ_ω,n,x)를 산출하는 단계는,
   - 상기 적어도 일부 픽셀들의 각각의 이전 보정된 레머넌스 추정치 및 상기 레머넌스의 지수적 감소의 모델(W)에 기초하여 상기 화상(f_n)의 상기 적어도 일부 픽셀들의 각각의 레머넌스를 연역적으로 추정하는 단계, 및
   - 대응하는 레머넌스측정치(ω^* _n,x)에 기초하여, 상기 화상(f_n)의 적어도 일부 픽셀들의 각각에 대하여, 상기 추정된 레머넌스를 보정하여 귀납적으로 추정치(μ_ω,n,x)를 얻는 단계
   를 구비하는 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 화상들의 시퀀스가, 상기 화상(f_n)으로부터 레머넌스 아티팩트들을 제거하기 이전에 변화하는 장면에 해당하는지를 검출하는 단계를 더 구비하는 방법.
11. 화상 처리 장치(112)의 프로세서에 의하여 실행될 때, 제1항 내지 제10항 중 어느 한 항의 방법을 실현하게 하는 컴퓨터 지시들을 저장하는 비일시적 저장 매체.
12. 화상 처리 장치로서,
    적외선 촬상 장치에 의하여 캡처된 화상들의 시퀀스 중 한 화상(f_n) 및 상기 시퀀스 내의 하나 이상의 이전 화상의 하나 이상의 레머넌스측정치들(ω^* _n,x)을 저장하는 하나 이상의 메모리(206)와,
    하나 이상의 프로세서들(202)을 구비하며,
    상기 하나 이상의 프로세서들(202)은,
    - 상기 화상(f_n) 내의 레머넌스의 구역(K)을 복원하여, 복원된 화상을 생성하고,
    - 상기 복원된 화상에 기초하여 상기 화상(f_n) 내의 적어도 일부 픽셀들에 대한 레머넌스측정치(ω^* _n,x)를 생성하고,
    - 상기 적어도 일부 픽셀들의 각각에 대한 레머넌스 추정치(μ_ω,n,x)에 기초하여 상기 화상(f_n)의 적어도 일부 픽셀들로부터 레머넌스 아티팩트들을 제거함으로써,
    상기 화상(f_n)으로부터 레머넌스 아티팩트들을 제거하도록 구성되며,
    각 레머넌스 추정치(μ_ω,n,x)는 상기 시퀀스 내의 복수의 화상들의 레머넌스 측정치들(ω^* _n,x)에 기초하여 생성되는 화상 처리 장치.
13. 제12항에 있어서,
    상기 레머넌스 추정치는, 상기 적어도 일부 픽셀들의 각각에 대한 순시 평균 레머넌스의 추정치에 해당하는 평균 레머넌스 추정치(μ_ω,n,x)인 화상 처리 장치.
14. 적외선 촬상 장치로서,
    - 마이크로볼로미터 어레이(102)와,
    - 제12항 또는 제13항의 상기 화상 처리 장치(112)
    를 구비하는 적외선 촬상 장치.
15. 제14항의 적외선 촬상 장치를 구비하는 적외선 카메라.

Images