KR102689420B1

KR102689420B1 - 적외선 카메라에서의 기생적 열 보상을 위한 장치 및 방법

Info

Publication number: KR102689420B1
Application number: KR1020217000195A
Authority: KR
Inventors: 알랭 뒤랑; 니꼴라 보두
Original assignee: 린레드
Priority date: 2018-06-08
Filing date: 2019-06-07
Publication date: 2024-07-26
Also published as: CN112424819A; FR3082346B1; CA3109102A1; EP3803780A1; KR20210033465A; US20210258516A1; FR3082346A1; EP3803780B1; WO2019234216A1; US11601606B2

Abstract

하우징 내에 수용된 픽셀 어레이를 구비하는 적외선(IR) 카메라를 캘리브레이션하는 방법으로서, 픽셀 어레이는 화상 센서 및 하우징의 내부 표면의 상이한 부분들로부터 적외광을 받도록 배열된 하나 이상의 기생적 열 감지 픽셀을 가지며, 상기 방법은, 처리 장치(902)에 의하여, 상기 픽셀 어레이의 각 픽셀(104) 및 상기 각각의 기생적 열 감지 픽셀(105)로부터 하나 이상의 판독값을 수신하며, 상기 하나 이상의 판독값에 기초하여 상기 처리 장치에 의하여, 상기 기생적인 열 감지 픽셀로부터의 상기 판독값(P_R)을, 상기 화상의 2D 신호 보정을 실행하기 위한 픽셀 보정값으로 변환시키기 위한 하나 이상의 변환 행렬(과 )을 생성하는 것을 구비한다.

Description

적외선 카메라에서의 기생적 열 보상을 위한 장치 및 방법

본 특허 출원은, 그 내용이 참조로서 포함되어 있는, 2018년 6월 8일에 출원되어 할당된 출원 번호 FR18/00586호를 우선권으로 주장한다.

본 명세서는 적외선 카메라의 분야에 관한 것이며, 특히 서모그래피를 위한 장치 및 방법에 관한 것이다.

서모그래피 분야에서, 마이크로볼로미터 또는 냉각식 IR 촬상 장치와 같은, 적외선(IR) 카메라는, 화상 장면의 열 화상을 촬상하기 위하여 사용된다. 그런 IR 카메라는 일반적으로 픽셀 어레이를 형성하는 IR-민감성 검출기의 배열을 구비한다.

픽셀 어레이의 각 픽셀은 픽셀에서 측정된 온도를 대응 전압 신호로 변환시키며, 이것은 ADC(analog to digital converter; 아날로그 디지털 변환기)에 의하여 디지털 출력 신호로 변환된다.

각 픽셀에 생기는 온도는 장면 온도의 함수이지만, 픽셀 어레이 기판의 온도 같은, 다른 다양한 열적 구성품의 함수이기도 하며, 또한 다른 열 소스로부터 받은 기생적 열(parasitic heat)의 함수이기도 하다. 기판 온도는 일반적으로 픽셀 어레이 전체에 걸쳐서 비교적 균일하고, 따라서 일반적으로는 기판 내의 하나 이상의 온도 센서를 사용하여 비교적 정확하게 추정될 수 있다. 그러나, 다른 소스들로부터 각 픽셀이 받은 기생적 열은 추정하기가 훨씬 어렵고, 각 픽셀에 의하여 측정된 온도 판독값에서 비교적 높은 부정확성을 초래한다. 사실, 온도 프로브를 하우징에 부가할 수 있지만, 그런 프로브로부터의 판독값에 기초하여 픽셀 어레이의 각 픽셀에 영향을 미치는 기생적 열의 판정값은 정확성이 떨어진다. 따라서 그런 프로브의 사용으로는, 예를 들어 섭씨 몇도 내까지 정확한, 고정밀의 열 화상의 생성을 가능하게 하지 않는다. 또한, 그런 온도 프로브는 비교적 높은 가격의 구성품이다.

따라서 적외선 카메라에서 픽셀이 받는 기생적 열을 정확하게 추정하고 보상하기 위한 저비용의 해결책이 이 분야에서 요구된다.

본 설명의 실시형태의 목적은 종래 기술에 있는 하나 이상의 문제점을 적어도 부분적으로라도 처리하는 것이다.

일 측면에 따르면, 하우징 내에 수용된 픽셀 어레이를 구비하는 적외선 카메라를 캘리브레이션하는 방법을 제공하며, 픽셀 어레이는 화상 센서 및 하우징의 내부 표면의 상이한 부분들로부터 적외광을 받도록 배열된 하나 이상의 기생적 열 감지 픽셀을 가지며, 이 방법은, 처리 장치에 의하여, 픽셀 어레이의 각 픽셀 및 상기 각각의 기생적 열 감지 픽셀로부터 하나 이상의 판독값을 수신하며, 상기 하나 이상의 판독값에 기초하여 처리 장치에 의하여, 기생적인 열 감지 픽셀로부터의 판독값을, 화상 센서에 의하여 촬상된 신호의 2D 신호 보정을 실행하기 위한 픽셀 보정값으로 변환시키기 위한 하나 이상의 변환 행렬을 생성하는 것을 구비한다. 예를 들어, 하나 이상의 변환 행렬을 생성하는 것은, 각 픽셀의 반응도의 가정에 기초하여 상기 화상 센서의 각 화상 픽셀에 대하여 그리고 기생적 열 감지 픽셀의 각각에 대하여, 내부 표면의 복수의 구역(zone)의 각각에 대한 각 픽셀의 에텐듀(etendue)에 기초하여 상대 전달 함수를, 처리 장치에 의하여 결정하는 것을 구비한다. 상대 전달 함수는 예를 들어 구역의 각각의 표면 기여와, 기생적 열 감지 픽셀 및 화상 픽셀이 받은 광속 사이에서 결정된다. 이것은 예를 들어 각 픽셀과 복수의 구역 사이의 에텐듀에 대응한다. 예를 들어, 모든 픽셀은 특정한 전력의 받게된 특정한 광속에 대하여 그리고 특정된 입체각에 대하여 생성된 그들 전압에 대하여 동일한 반응을 갖는다고 가정한다. 당업자에 의하여 공지된 바와 같이, 광학 분야에 있어서, 에텐듀는 광이 면적과 각도에서 확산되는 정도를 정의한다.

일 실시형태에 따르면, 하나 이상의 변환 행렬을 생성하는 것은, 화상 픽셀의 각각 및 기생적 열 감지 픽셀의 각각의 반응도를 결정하는 것을 더 구비한다. 예를 들어, 이것은 동일한 입체각에 대한 각 픽셀의 상대 반응도를 결정하는 것을 포함한다. 화상 센서의 화상 픽셀에 대하여, 반응도는 예를 들어 2-포인트 비-균일성-보정(2-point non-uniformity-correction)을 사용하여 결정된다.

일 실시형태에 따르면, 기생적 열 감지 픽셀의 반응도는 상기 픽셀 어레이의 픽셀의 시야 내에 흑체를 놓고, 2개 이상의 다른 온도에서 상기 기생적 열 감지 픽셀로부터의 판독값을 얻음으로써 결정된다.

일 실시형태에 따르면, 각 픽셀의 에텐듀에 기초하여 상대 전달 함수를 결정하는 것은, 균일한 온도의 복수의 구역을 구비하는 상기 하우징의 내부 표면의 모델을, 적어도 부분적으로 처리 장치에 의하여 정의하며, 카메라 하우징의 기하학적 구조와 픽셀 어레이의 기하학적 구조에 기초하여 상기 모델의 구역 각각에 대한 각 픽셀의 에텐듀를 처리 장치에 의하여 산출하는 것을 구비한다.

일 실시형태에 따르면, 모델은 돔(dome)의 형태이다.

일 실시형태에 따르면, 방법은, 상기 흑체가 상기 픽셀 어레이의 픽셀의 시야 내에 놓였을 때, 처리 장치에 의하여, 상기 화상 센서에 의하여 촬상된 평균 판독값에 기초하여 돔의 반경을 결정하는 것을 더 구비한다.

일 실시형태에 따르면, 모델의 복수의 구역의 각각은 동일한 표면적을 갖는다.

또 다른 측면에 따르면, 전술된 방법을 실현시키도록 구성된 처리 장치를 제공한다.

또 다른 측면에 따르면, 처리 장치에 의하여 실행될 때 전술의 방법을 실현시키기 위한 컴퓨팅 명령을 저장하는 비-일시적 저장 매체를 제공한다.

또 다른 측면에 따르면, 픽셀 어레이를 포함하는 하우징을 구비하는 적외선 카메라를 제공하며, 픽셀 어레이는, 화상 장면으로부터 적외광을 받도록 배열된 화상 센서를 형성하는 화상 픽셀과, 상기 하우징의 내부 표면의 다른 부분들로부터 적외광을 받도록 배열된 복수의 기생적 열 감지 픽셀을 구비한다. 예를 들어, 제1의 기생적 열 감지 픽셀은 제2의 기생적 열 감지 픽셀과 다른 방법으로 배향되어서, 제1 및 제2 기생적 열 감지 픽셀은 하우징의 내부 표면의 다른 부분들로부터의 적외광을 받는다.

일 실시형태에 따르면, 적외선 카메라는 복수의 기생적 열 감지 픽셀로부터의 판독값을 수신하고, 상기 판독값에 기초하여 상기 화상 센서에 의하여 촬상된 신호에 2D 신호 보정을 실행하도록 구성된 신호 보정 회로를 더 구비한다.

일 실시형태에 따르면, 적외선 카메라는 2D 신호 보정을 실행하기 위하여 판독값을 보정값으로 변환시키기 위한 변환 행렬을 저장하는 비-휘발성 메모리를 더 구비한다.

일 실시형태에 따르면, 제1 기생적 열 감지 픽셀은 하우징의 내부 표면의 제1 영역으로부터의 적외광만을 직접 받도록 구성되며, 제2 기생적 열 감지 픽셀은 하우징의 내부 표면의 제2 영역으로부터의 적외광만을 직접 받도록 구성되며, 제1 및 제2 영역은 겹치지 않는다.

일 실시형태에 따르면, 적외선 카메라는 기생적 열 감지 픽셀 위에 위치된 하나 이상의 부분 광 차폐물을 더 구비하며, 하나 이상의 부분 광 차폐물은 각 기생적 열 감지 픽셀의 시야를 부분적으로 제한한다.

일 실시형태에 따르면, 하나 이상의 부분 광 차폐물은 각 기생적 열 감지 픽셀과 연관된 하나 이상의 개구를 구비하며, 그 개구의 위치는 각 픽셀의 열 민감층과 어긋나 있다.

일 실시형태에 따르면, 하나 이상의 부분 광 차폐물은, 하나 이상의 기생적 열 감지 픽셀은 반사된 적외광만을 받도록 배치된다.

일 실시형태에 따르면, 픽셀 어레이의 픽셀 각각은, 반사 표면 위에 매달린 열 민감성 멤브레인(membrane)을 구비하는 마이크로볼로미터이며, 기생적 열 감지 픽셀에서 반사 표면으로부터 열 민감성 멤브레인이 떨어져 있는 거리는 화상 픽셀에서 반사 표면으로부터 열 민감성 멤브레인이 떨어져 있는 거리와 다르다.

일 실시형태에 따르면, 적외선 카메라는, 하나 이상의 기생적 열 감지 픽셀에 인접하게 형성되며, 상기 하나 이상의 기생적 열 감지 픽셀 상으로 특정 각도의 적외광이 떨어지는 것을 방지하는 하나 이상의 벽을 더 구비한다.

다른 측면에 따르면, 적외선 카메라의 픽셀 어레이의 화상 센서에 의하여 촬상된 화상을, 처리 장치에 의하여, 보정하는 방법을 제공하며, 그 방법은, IR 카메라의 하우징의 내부 표면의 다른 부분들로부터 적외광을 받도록 배치되어 있는, 픽셀 어레이의 복수의 기생적 열 감지 픽셀로부터 판독값을 수신하고, 그 판독값에 기초하여 화상 센서에 의하여 촬상된 신호를 보정하는 것을 구비한다. 예를 들어, 제1의 기생적 열 감지 픽셀은 제2의 기생적 열 감지 픽셀과는 다른 방법으로 배향되어서 제1 및 제2 기생적 열 감지 픽셀이 하우징의 내부 표면의 다른 부분들로부터의 적외광을 받는다.

일 실시형태에 따르면, 판독값을 기초로 하여, 화상 센서에 의하여 촬상된 신호를 보정하는 것은, 그 판독값을, 신호의 2D 신호 보정을 실행하기 위하여 보정값으로 변환시키는 것을 구비하며, 이 변환은 하나 이상의 변환 행렬에 기초한다.

일 실시형태에 따르면, 판독값을 보정값으로 변환시키는 것은, 제1 변환 행렬을 사용하여, 판독값을, 하우징의 내부 표면의 모델의 복수의 구역으로서, 각 구역이 균일한 온도를 갖는 것으로 간주되는 복수의 구역의 각각으로부터 받은 광속(luminous flux)의 추정값으로 변환시키고, 제2 변환 행렬을 사용하여, 복수의 구역의 각각으로부터 받은 광속의 추정값을 픽셀 보정값으로 변환시키는 것을 구비한다.

일 실시형태에 따르면, 하우징의 내부 표면의 모델은 돔이다.

다른 측면에 따르면, 전술된 방법을 실현하도록 구성된 처리 장치를 제공한다.

다른 측면에 따르면, 처리 장치에 의하여 실행될 때, 전술된 방법을 실현시키기 위한 컴퓨팅 명령을 저장하는 비-일시적 저장 매체를 제공한다.

전술의 특징 및 장점 그리고 다른 특징 및 장점은, 첨부된 도면을 참조하여,한정되지 않으며 예시를 위하여 제공된 실시형태의 이하의 상세한 설명으로부터 명확하게 될 것이다.
도 1은 본 명세서의 예 실시형태에 따르는 IR 카메라의 화상 장치를 개략적으로 보여준다.
도 2는 본 명세서의 예 실시형태에 따르는 IR 카메라에 의하여 촬상된 신호의 2D 신호 보정을 실행하는 방법에서의 동작을 나타내는 플로우 다이어그램이다.
도 3은 본 명세서의 예 실시형태에 따르는 IR 카메라의 픽셀 어레이의 평면도이다.
도 4는 도 3의 픽셀 어레이를 구비하는 IR 카메라의 단면도이다.
도 5a는 본 명세서의 예 실시형태에 따르는 픽셀 어레이의 기생적 열 감지 픽셀과 화상 픽셀의 평면도이다.
도 5b는 도 5a의 기생적 열 감지 픽셀과 화상 픽셀의 단면도이다.
도 6a는 본 명세서의 다른 예 실시형태에 따르는 픽셀 어레이의 기생적 열 감지 픽셀 및 화상 센서의 평면도이다.
도 6b는 도 6a의 기생적 열 감지 픽셀의 일부 및 화상 센서의 부분의 단면도이다.
도 6c는 다른 예 실시형태에 따르는 도 6a의 화상 센서의 기생적 열 감지 픽셀의 서브-어레이의 평면도이다.
도 7a는 본 명세서의 다른 예 실시형태에 따르는 픽셀 어레이의 기생적 열 감지 픽셀 및 화상 픽셀의 평면도이다.
도 7b는 도 7a의 기생적 열 감지 픽셀 및 화상 픽셀의 단면도이다.
도 8a 및 도 8b는 본 명세서의 예 실시형태에 따르는 IR 카메라의 하우징의 내부 표면의 모델의 예를 나타내는 단면도이다.
도 8c는 도 8b의 모델을 더 상세하게 나타낸다.
도 8d 및 도 8e는 본 명세서의 예 실시형태에 따르는 기생적 열 감지 픽셀의 각도 민감도(angular sensitivity)를 나타낸다.
도 8f는 본 명세서의 예 실시형태에 따르는 기생적 열 감지 픽셀의 관찰 영역을 나타낸다.
도 9는 본 명세서의 예 실시형태에 따르는 컴퓨팅 장치를 개략적으로 보여준다.
도 10은 본 명세서의 예 실시형태에 따르는 IR 카메라를 캘리브레이션하는 방법에서 동작을 설명하는 플로우 다이어그램이다.

실시형태는 이하의 설명에서 마이크로볼로미터 형태의 픽셀 어레이와 관련하여 설명되지만, 여기서 설명되는 방법은, 냉각 장치를 포함하여, 다른 형태의 IR 카메라에 동등하게 적용될 수 있다는 것은 당업자에게는 명백할 것이다.

본 명세서에 있어서, 용어 "실제적으로"는 문제가 되는 값의 플러스 또는 마이너스 10%의 허용오차를 명시하기 위하여 사용된다. 또한, 이하의 용어는 본 명세서에서 이하의 정의를 갖는 것으로 간주되는데,

픽셀 어레이 - 광 민감성 픽셀의 배열, 픽셀은 행과 열(row)로 또는 다른 배열로 배치될 수 있음,

화상 센서 - 화상 장면으로부터 화상을 촬상하기 위하여 제공하는 픽셀 어레이의 픽셀들의 배열, 일반적으로 사각형,

화상 픽셀 - 화상 센서의 각 픽셀,

기생적 열 감지 픽셀 - 기생적 열의 촬상을 돕기 위하여 화상 픽셀에 대해 변경된 시야를 갖는 픽셀. 예를 들어, 각 기생적 열 감지 픽셀은 픽셀 어레이의 각 화상 픽셀보다 더 많은 기생적 열 부분을 촬상하도록 구성됨,

2D 신호 보정 - 화상의 생성 이전에 화상 센서에 의하여 생성된 신호 또는 판독값의 보정, 화상은 선택적으로 하나 이상의 이어지는 화상 보정 단계가 가해짐.

도 1은 IR 광에 민감한 픽셀 어레이(102)를 구비하는 IR 이미징 장치(100)를 보여준다. 예를 들어, 일부 실시형태에서, 픽셀 어레이는, 7 내지 16㎛ 의 범위 내 또는 그 이상의 파장을 갖는 광과 같은, 장파 IR광에 민감하다.

픽셀 어레이(102)는 도 1에서 대시(dash) 기호로 된 사각형으로 나타내져 있고, 화상 픽셀(104)로 형성된 화상 센서(103)와 기생적 열을 검출하기 위한 하나 이상의 부가 픽셀(105)을 구비한다.

도 1의 예에서, 화상 센서(103)는 12개의 열(row)과 12개의 행으로 배열된 144개의 화상 픽셀(104)을 구비한다. 다른 실시형태에서, 화상 센서(103)는 임의의 개수의 열과 행의 픽셀을 구비할 수 있다. 일반적으로, 화상 센서는, 예를 들어, 640 X 480, 또는 1024 X 768 화상 픽셀을 구비한다.

도 1의 예에서, 4개의 기생적 열 감지 픽셀(105)이 화상 센서(103)의 한 변(edge)을 따라서 배치되어 있다. 그러나, 다른 실시형태에서는, 임의의 개수의 기생적 열 감지 픽셀(105)이 화상 센서(103) 내부 또는 주변 어디에나 배치될 수 있다. 기생적 열 감지 픽셀은, 예를 들어 화상 센서의 화상 픽셀(104)과 동일한 화상 평면에 형성된다.

도 1의 예에서, 어레이(102)의 픽셀의 각 행은 대응하는 기준 구조물(106)과 관련이 있다. 기능적으로 사진 요소는 아니지만, 이 구조물은 이미징(또는 액티브) 픽셀(104)과의 구조적 유사성에 의하여 여기서는 "기준 픽셀"이라고 언급될 것이다. 또한, 출력 블럭(OUTPUT)(108)은 픽셀 어레이(102)의 각 행과 기준 픽셀(106)의 각각에 연결되며, 화상 센서(103)에 의하여 촬상된 신호 또는 판독값을 구비하는 원 화상(raw image;I_B)과 또한 기생적 열 감지 픽셀(105)로부터의 판독값 P_R을 제공한다. 실제로, 동일한 출력 블록(108)은, 예를 들어 픽셀 어레이(102)의 모든 픽셀(104,105)로부터 픽셀 값을 독출하기 위하여 사용된다.

제어 회로(CTRL, 110)는 예를 들어 픽셀 어레이(102), 기준 픽셀(106) 및 출력 블록(108)으로 제어 신호를 제공한다.

원 화상 I_B 및 기생적 열 감지 픽셀(105)로부터의 판독값 P_R은 예를 들어 화상 처리 회로(IMAGE PROCESSING; 112)로 제공되며, 이것은 예를 들어 2D 신호 보정을 화상의 픽셀에 적용하여 보정된 화상 I_C를 생성한다. 특히, 화상 처리 회로(112)는 예를 들어 기생적 열 감지 픽셀(105)로부터의 판독값 P_R에 기초하고 비-휘발성 메모리(NVM; 114)에 저장된 변환 행렬 M_Cpix에 기초하여 촬상된 화상 내의 기생적 열의 보정을 가하는데, 예를 들어 판독값 P_R을 촬상된 화상의 각 픽셀에 대한 보정값으로 변환시키는 것을 가능하게 한다.

실제로, 화상 센서(103)의 각 화상 픽셀(104)로부터의 전압 판독값 VOUT는 이하의 식에 의하여 모델링될 수 있으며,

여기서 는 픽셀의 온도이며, 는 변환 게인, 판독 경로에서의 손실 등의, 온도-전압 변환을 일으키는 픽셀 어레이의 파라미터를 나타내는 벡터이며, 는 출력 전압 VOUT를 파라미터 과 온도 로 연결하는 함수이다.

각 픽셀의 온도 는 다양한 열 구성품에 의하여 영향을 받게 될 것이고, 예를 들어, 이하의 식에 의하여 모델링될 수 있는데,

여기서 은 IR 카메라의 광학 요소들을 통하여 화상 장면으로부터 픽셀에 도착하는 광속이며, 는, IR 카메라의 하우징의 내부 표면으로부터와 같은, 화상 장면 이외의 소스들로부터, 픽셀에 도달하는 광속이며, 는 초점면의 온도, 즉 화상 센서가 형성되는 기판의 온도이며, 는 받은 광속을 픽셀의 온도 로 변환하게 하는 화상 픽셀의 파라미터를 나타내는 벡터이며, 는 온도 를 파라미터 및 변수 , 및 로 연결하는 함수이다.

파라미터 및 그리고 변수 및 를 추정함으로써, 그리고 함수 와 를 근사함으로써, 성분 을 분리할 수 있고 그것에 의하여 장면의 서모그래픽 화상을 생성할 수 있다. 이 파라미터, 변수 및 함수 중에서, 정확하게 추정하기 가장 어려운 것이 성분 이다. 실제로, 이 성분은 IR 카메라의 여러 개의 다른 내부 표면의 온도에 기초하여 각 화상 픽셀마다 다를 수 있고, 각 픽셀에 미치는 영향은 관련 표면에 대한 픽셀의 민감도 및 거리에 의존할 것이다.

본 발명자는, 화상 평면에 위치된 기생적 열 감지 픽셀로부터의 판독값을 사용함으로써, 온도 프로브의 사용없이, 각 화상 픽셀이 받은 광속 의 비교적 정확한 판정값을 생성하는 것이 가능하게 되며, 이하에서 더 상세하게 설명될 것이다.

도 2는 픽셀 어레이의 화상 센서에 의하여 촬상된 화상을 보정하는 방법에서의 동작을 설명하는 플로우 다이어그램이다. 예를 들어, 이 방법은 도 1의 화상 처리 회로(112)에 의하여 실현된다. 예를 들어, 화상 처리 회로(112)는 ASIC(application specific integrated circuit) 등의 하드웨어 회로이며, 따라서,하드웨어에서 완전하게 그 방법을 실현한다. 선택적으로, 그 방법의 적어도 일부는 소프트웨어 상에서 실현될 수 있다. 예를 들어, 화상 처리 회로(112)는 명령 메모리(도시되어 있지 않음)에 저장된 명령의 제어하에서 하나 이상의 프로세서를 구비하며, 이들 명령의 실행은 도 2의 방법의 적어도 일부분을 실행시키게 한다.

동작 201에서, 기생적 열 감지 픽셀(105)에 의하여 촬상된 판독값 P_R이 회로(112)에 의하여 수신된다.

동작 202에서, 신호 보정 값이 판독값 P_R을 기초로하여 발생된다. 예를 들어, 변환 행렬 과, 그리고 선택적으로 비-휘발성 메모리(114)에 의하여 저장된 하나 이상의 다른 행렬이, 판독값 P_R을, 화상 I_B의, 각 픽셀에 대한 신호 보정값으로 변환시키기 위하여 사용되며, 이제 좀 더 상세하게 설명될 것이다.

일부 실시형태에서, IR 카메라 하우징의 내부 표면의 모델의 복수(q)의 구역의 온도의 추정값을 추출하기 위하여 우선 판독값 P_R이 처리되며, 여기서 모델의 각 구역은 예를 들어 균일한 온도를 갖는 것으로 간주된다. 이 추정값은 형태의 휘도 벡터 를 형성하며, 값 의 각각은 모델의 q 개의 구역으로부터의 광속을 나타낸다. 예를 들어, 판독값 P_R은 형태의 출력 벡터 를 형성하며, 이것은 예를 들어 다음과 같이 특징화될 수 있는데,

여기서, 은 휘도 값 과 출력 벡터 의 n 개의 판독값 P_R 사이의 관계를 정의하며, 예를 들어,

의 형태로서, 파라미터 내지 는 판독값 내지 과 각 구역 i의 휘도 와의 사이의 관계를 나타낸다.

따라서, 휘도 벡터 은 예를 들어 다음의 곱에 기초하여 출력 벡터 의 판독값으로부터 생성될 수 있으며,

여기서 은 행렬 의 역이다.

화상 센서의 p 픽셀의 각각에 생긴 기생적 휘도는 의 형태의 벡터 에 의하여 나타내질 것이다. 변환 행렬 는, 예를 들어 휘도 벡터 를, 이하의 식에 따라서 각 픽셀에 생긴 기생적 휘도의 판정값으로 변환시키기 위해 적용된다.

변환 행렬 는 예를 들어 p x q 차원이며, p는 화상 센서에서 픽셀의 개수이고 q는 하우징의 내부 표면의 모델의 구역의 개수이다.

동작 203에서, 신호 보정값은 촬상된 화상의 픽셀에 적용된다. 예를 들어, 이 보정은 원 화상 I_B를 형성하는 신호에 직접 실행될 수 있거나, 또는 다른 형태의 오프셋 및/또는 이득 보정을 원 화상 I_B에 적용시킨 후에 실행될 수 있다.

일 실시형태에서, 신호 보정은, 촬상된 화상 I_B의 p 픽셀의 각각으로부터, 벡터 로부터의 대응 보정값을 감산함으로써 적용된다. 다른 실시형태에서는 신호 보정은, 장면 요소 을 결정하기 위하여 전술된 함수 의 역의 판정값에 기초한다.

도 3은 도 1의 다른 실시형태에 따르는 픽셀 어레이(102)의 평면도이다. 도 3의 예에서는, 12개의 기생적 열 감지 픽셀(105)이 있으며, 두개는 화상 센서(103)의 각 변을 따라서 배치되어 있으며, 하나는 화상 센서(103)의 각 코너에 배치되어 있다.

도 4는 도 3의 픽셀 어레이(102)를 구비하는 IR 카메라(400)의, 광학적 구성부분들을 도시하지 않은, 단면도이다. 도 4의 단면은, 화상 센서(103)를 사이에 두고 있는 2개의 기생적 열 감지 픽셀(105)을 관통하는 도 3의 파선 A-A를 따라서 얻어진다.

픽셀 어레이(102)는 기판(402) 상에 장착된다. IR 카메라의 하우징(404)은 또한 기판(402) 상에 장착되어 픽셀 어레이(102)를 수용한다. 예를 들어 하우징(404)은 몰드된 플라스틱, 또는 금속으로 형성된다. 도 4의 예에서, 하우징(404)은 기판(402)으로부터 연장하는 실질적으로 원통형 부분(406)과, 원통형 부분의 상부 끝에서 안쪽으로 기판(402)의 표면에 실질적으로 평행하게 연장하고 있는 환형 부분(408)과, 환형 부분(408)의 내측 끝에서 상향 내측으로 연장하는 원뿔형의 일부에 대응하는 부분(410)과, 부분(410)의 상부 끝에서 안쪽으로 기판(402)의 표면에 실질적으로 평행하게 연장하는 환형 부분(412)과, 환형 부분(412)의 내측 끝으로부터 기판(402)에서 멀어지게 연장하는 실질적으로 원통형 부분(414)과, 원통형 부분(414)의 상부 끝으로부터 내측으로 기판(402)의 표면에 실질적으로 평행하게 연장하는 환형 부분(416)을 갖는다. 환형 부분(416)의 내측 끝은, 하우징(404)의 어퍼처(aperture; 418)의 범위를 정하는데, 이것은 화상 센서(102)에 대하여 중앙에 놓여지며, 그를 통하여 화상 장면으로부터의 광이 IR 카메라로 입사된다. 원통형 부분(414)은 예를 들어, 하나 이상의 렌즈가 배치되는 렌즈 배럴(lens barrel)(도면에 도시되지 않음)을 형성한다.

도 4의 하우징(404)의 특정한 형태는 단지 일 예이며, 많은 다른 형태가, 비-원통 형태를 포함하여, 가능할 수 있다는 것에 주목해야 한다.

파선(422)들 사이에서 연장하고 있는 도 4의 원호(420)는 화상 센서(102)의 화상 픽셀의 시야의 일 예를 나타내며, 예를 들어 비교적 크며, 예컨데 실질적으로 130°이상이다. 기생적 열 감지 픽셀(105)의 시야는, 예를 들어, 하우징(404)의 내부로부터의 기생적 열의 많은 부분을 받도록, 화상 픽셀의 시야에 대해 제한되어 있다. 예를 들어, 도 4에 도시된 픽셀(105)은 쇄선들(426 및 428) 사이에서 연장하는 원호(424)에 의해 각각 도시된 시야를 가지며, 각 기생적 열 감지 픽셀(105)은 적어도 한 평면에서 90°미만으로 한정된 시야를 갖는다. 그러나, 일반적으로, 각 기생적 열 감지 픽셀은, 각 화상 픽셀보다 하우징(404)으로부터 더 높은 비율의 기생적 열을 받도록, 변경된 시야를 갖는다. 예를 들어, 각 기생적 열 감지 픽셀은 광속 을 받는데, 이것의 에너지의 50퍼센트 이상, 어떤 경우에는 70퍼센트 이상이 하우징(404)으로부터 발생한다. 일부 실시형태에서는, 각 기생적 열 감지 픽셀은, 받은 광속의 대다수, 예를 들어 60% 이상이 하우징의 특정 구역에서 비롯되며, 이 구역 밖에서 비롯되는 광속에 대한 픽셀의 민감도는 빠르게 감소하도록 설계된다.

일부 실시형태에서, 하나 이상의 기생적 열 감지 픽셀(105)의 시야가, 어퍼처(418)를 둘러싸지 않도록 제한되어서, 이 픽셀이 화상 장면에 의하여 직접적으로 비춰지지 않게 한다. 이것은, 만일 기생적 열 감지 픽셀이 어퍼처(418)에 인접하는 하우징 구역, 예컨데, 도 4의 구역 416 등을 목표로 한다고 할지라도, 픽셀 어레이의 기생적 열 감지 픽셀의 위치와 렌즈 디자인(광선 곡률)은 화상 장면으로부터의 광 중 비교적 작은 양만이 그 픽셀에 의하여 흡수될 위험이 있음을 의미하는 것이라는 점에 주목해야 한다.

기생적 열 감지 픽셀(105)은, 예를 들어, 화상 센서의 하우징(404)의 내부 표면의 다른 영역으로부터의 기생적 열을 검출하기 위하여 서로 다른 방법으로, 적어도 픽셀 어레이의 평면에서, 각각으로 배향되어 있다. 예를 들어, 기생적 열 감지 픽셀(105)의 하나는 하우징의 내부 표면의 제1 영역으로부터의 적외광만을 직접 받도록 구성되며, 기생적 열 감지 픽셀(105)의 다른 하나는 하우징의 내부 표면의 제2 영역으로부터의 적외광만을 직접 받도록 구성되며, 제1 및 제2 영역은 중복되지 않는다.

기생적 열 감지 픽셀(105)의 구조의 예가 도 5a, 도 5b, 도 6a, 도 6b, 도 7a 및 도 7b를 참조하여 이제 설명될 것이다.

도 5a는 도 3의 픽셀 어레이(102)의 일부분의 평면도이며, 예 실시형태에 따르는 두 개의 화상 픽셀(104)과 하나의 기생적 열 감지 픽셀(105)을 보여준다.

도 5a의 예에서, 픽셀은 마이크로볼로미터에 의하여 실현된다. 각 화상 픽셀(104)은 예를 들어, 지지 기둥(506) 사이에서 아암(504)에 의하여 매달린 멤브레인(502)을 구비한다. 기생적 열 감지 픽셀(105)은 예를 들어 유사한 구조를 구비하지만, 광 차폐물(508)에 의하여 부분적으로 차폐되어 있으며, 이것은 시야를 제한한다.

도 5b는 두 개의 화상 픽셀(104)과 기생적 열 감지 센서(105)를 관통하는 도 5a에서의 파선 B-B를 따라서 얻은 도 5a의 구조의 단면도이다. 도시된 바와 같이, 화상 픽셀(104)과 기생적 열 감지 픽셀(105)의 각각은 예를 들어 대응하는 기둥(506)들 사이에 반사층 부분(510)을 구비하고 있으며, 그 위에 멤브레인(502)이 거리 d를 두고 매달려 있다. 또한, 기생적 열 감지 픽셀(105)은 예를 들어 이 픽셀의 측부에 기둥(506) 중 하나에 인접한 다른 반사층 부분(512)을 구비한다.

부분 광 차폐물(508)은, 예를 들어 반사층(516)에 의하여 덮여져 있는, 예를 들어, Si, SiN, SiON 또는 다른 물질로 형성된, 지지층(514)을 구비한다. 지지층(514)은 예를 들어, 지지벽(518)에 의하여 픽셀(105) 상에 매달려 있으며, 이것은 또한 예를 들어, 픽셀의 일측으로부터 광이 입사하는 것을 차단한다. 픽셀의 반대측이 개방되어서, 특정 각도의 광이 차폐물(508)과 반사층(510) 사이의 공간으로 입사하여, 멤브레인(502)에 의하여 흡수될 수 있도록 한다. 이것은 반사층 부분(512)의 도움을 받는데, 이것은 예를 들어 특정한 각도의 광을 부분 광 차폐물(508)의 아래측으로 향하게 하고, 이로부터 볼로미터의 멤브레인(502) 상으로 반사한다.

도 6a는 기생적 열 감지 픽셀(105)이 화상 센서(103)에 인접한 서브-어레이(600)에 형성되어 있는 다른 예 실시형태에 따르는 픽셀 어레이(102)의 평면도이며, 이 픽셀의 시야는 마스크(602)의 형태의 광 차폐물에 의하여 부분적으로 제한된다. 도 6a의 예에서, 서브-어레이는 2 x 2로 배열된 4개의 기생적 열 감지 픽셀(105)를 구비하며, 마스크(602)는 제한된 시야를 각 픽셀에 제공하기 위하여 각 픽셀 상에 개구(604)를 구비한다.

도 6b는 서브-어레이의 두 개의 기생적 열 감지 픽셀(105)과 화상 센서(103)의 하나의 화상 픽셀(104)을 관통하는 도 6a에서의 파선 C-C를 따라서 얻은, 도 6a의 구조의 단면도이다. 픽셀(104, 105)의 각각의 볼로미터는 예를 들어 도 5b의 픽셀과 유사한 구조를 가지며, 동일한 특징부는 동일한 참조 번호로 붙이며 상세하게 다시 설명하지 않는다.

예를 들어 마스크(602)는 반사층(608)에 의하여 덮혀 있는 지지층(606)을 구비하며, 각 픽셀(105) 상에 이것을 관통하는 개구(604)가 형성되어 있다. 지지층(606)과 반사층(608)은 예를 들어 측벽(610)에 의하여 서브-어레이의 픽셀(105) 상에 매달려 있다.

각 픽셀(105) 상의 개구(604)는 예를 들어 각 볼로미터의 멤브레인(502)에 대하여 어긋나 있어서 특정한 각도의 광만이 각 볼로미터의 멤브레인(502) 상에 떨어지게 된다. 각 픽셀(105)은 예를 들어 하우징의 내부의 상이한 부분들로부터 광을 받도록 구성된다.

도 6c는 도 6a 및 도 6b에 의하여 나타내어진 것의 변형에 따르는 도 6a의 화상 센서의 기생적 열 감지 픽셀의 서브-어레이(600)의 평면도이다. 도 6c의 예에 있어서, 선택적으로 더 큰 혹은 더 작은 어레이가 제공될 수 있지만, 서브-어레이(600)는 3 x 3으로 배열된 9개의 기생적 열 감지 픽셀(105)을 구비한다. 픽셀(105)은 서로 떨어져 있다.

커버 또는 마스크(602)는 도 6c에서 파선으로 나타나 있으며, 예를 들어 적외광에 적어도 부분적으로 불투명하지만, 개구(604)를 구비하고 있으며, 이것은 도 6c의 예에서 원형으로 되어 있다. 각 개구(604)는, 예를 들어 각 픽셀(105)의 멤브레인(502)의 폭의 50%와 150% 사이의 폭 크기(원형 개구의 경우에는 직경)를 갖는다. 개구(604)는, 각 픽셀이 하우징 내부에서 다른 각도의 시야를 갖도록 패턴에 따라서 배치되어서, 각 픽셀의 시야가 비교적 간단한 방법으로 디콘볼루션(de-convolution)될 수 있다. 이것은 양호한 신호 대 잡음비와 하우징 내부의 커버리지 영역을 넓게 하는 장점을 갖는다.

도 6c의 예에서, 서브-어레이(600)는 9 x 9 그리드로 배열되어 있으며, 2번째, 5번째 및 8번째 행과 열의 9개의 위치에 픽셀(105)을 포함한다. 각 픽셀(105)과 관련된 개구(604)는, 예를 들어 각 픽셀이 형성되는 3 x 3의 영역 내에 전부 또는 적어도 부분적으로 배치되어 있으며, 이 3 x 3 그리드는 도 6c의 더 두꺼운 라인에 의하여 범위가 정해져 있다.

도 6c의 예에서, 단일 개구(604)가 각 픽셀(105)과 관련된다. 그러나, 다른 실시형태에서, 하나보다 많은 개구(604)가 픽셀(105)의 전부 또는 일부와 관련될 수 있으며, 및/또는 픽셀(105)의 일부 또는 전부는 하나보다 많은 개구(604)로부터 광을 받을 수 있다.

도 7a는 도 3의 픽셀 어레이(102)의 부분의 평면도이며, 다른 예 실시형태에 따르는 2개의 화상 픽셀(104)과 하나의 기생적 열 감지 픽셀(105)을 나타내고 있다. 도 7a의 픽셀은 예를 들어 도 5a의 화상 픽셀(104)과 유사한 구조를 갖는 볼로미터에 의하여 실현되며, 동일한 특징부는 동일한 참조 번호를 붙여서, 다시 상세하게 설명하지 않는다.

도 7a의 실시형태에서, 벽(702)은 예를 들어 시야를 제한하기 위하여 기생적 열 감지 픽셀(105)에 인접하게 위치되며, 도 7b를 참조하여 이제 설명될 것이다.

도 7b는, 2개의 화상 픽셀(104)과 기생적 열 감지 픽셀(105)을 관통하는 도 7a의 파선 D-D를 따라서 얻은 도 7a의 구조의 단면도이다.

도 7a 및 도 7b의 예에서, 기생적 열 감지 픽셀(105)은 반사층(510)으로부터 볼로미터의 멤브레인(502)를 분리하는 거리 d'를 가지며, 거리 d'는 화상 픽셀(104)의 볼로미터에서의 거리 d보다 더 크다. 예를 들어, 거리 d'는 거리 d의 실질적으로 2배이다. 이 증가된 거리는 볼로미터의 공동 페브리-페롯(cavity Fabry-Perot)의 변경을 가져오고, 각도 흡수를 증가시킨다. 또한, 벽(702)은 예를 들어 픽셀의 방위각이 제한되는 것을 가능하게 한다.

전술된 바와 같이, 기생적 열 감지 픽셀(105)로부터의 판독값에 기초하여 화상 센서(103)에 의하여 촬상된 화상에 가해지는 신호 보정은 예를 들어 카메라 하우징의 내부 표면의 근사값에 기초한다. 예를 들어, 전술된 변환 행렬 과 은 IR 카메라 하우징의 내부 표면을 나타내는 모델에 기초한다. 도 4의 하우징(404)의 내부 표면을 근사하기 위한 모델의 예가 도 8a 및 도 8b를 참조하여 지금 설명될 것이다.

도 8a는 하우징(404)의 실제 형태에 가까운 모델의 예를 설명하는 하우징(404)의 단면도이다. 예를 들어, 모델은 도 8a에서 파선(802)에 의하여 나타내어진 표면에 대응하며, 이것은 일반적으로 하우징(404)의 내부 표면을 따르지만, 렌즈 배럴(404)은 포함하지 않고, 하우징의 환형 부분(412)의 높이에서 평면 부분(804)를 갖는다.

도 8b는 형상이 반-구형인, 즉 돔의 형상인 점으로된 커브(806)에 의하여 나타내어진 모델의 일 예를 설명하는 하우징(404)의 단면도이다. 돔(806)의 반경(R)은, 예를 들어 화상 센서(103)로부터 하우징(404)의 내부 표면의 평균 거리에 대응하도록 선택된다. 도 8b의 예에서 돔(806)은 화상 센서(103)의 화상 평면(IP)으로부터 연장하지만, 화상 센서(103)의 시야가 180°보다 작은 경우에는, 모델은 화상 평면(IP)보다 높은 하우징의 높이에서부터 연장할 수 있다.

일부 실시형태에 따르면, 하우징 내부의 모델은 q개의 개별 구역으로 분할되며, 각 구역은 균일한 온도를 갖는 것으로 간주되며, 이것은 도 8c를 참조하여 이제 설명될 것이다.

도 8c는, 모델이 도 8b의 돔(806)에 대응하는 예 실시형태에 따르는 IR 카메라의 하우징 내부의 기생적 열 표면의 3D 모델을 나타낸다.

모델의 표면은 q개의 개별 구역(808)으로 분할되며, 그 중 2개가 도 8c의 예에서 음영처리되어 도시되어 있다. 개별 구역(808)은 예를 들어, 서로 실질적으로 동일한 면적을 갖도록 선택된다. 도 8c의 예에서, 돔은 수평적으로 슬라이스(slice)로 분할되어 있으며, 각 슬라이스는 동일한 폭의 복수의 세그먼트(segment)로 세분되어 있다. 실질적으로 동일한 면적의 구역을 얻기 위하여, 각 슬라이스의 높이와, 그 슬라이스의 세그먼트의 폭은, 예를 들어 돔의 바닥에서 꼭대기까지 각기 다르다. 물론, 도 8c는 모델을 구역으로 분할한 하나의 예만을 나타내고 있으며, 이것을 얻을 수 있는 많은 가능한 방법이 있다.

구역의 개수 q는 예를 들어 적어도 2개이며, 일부 실시형태에서는 적어도 8개이다. 구역의 수가 많을수록, 정밀도가 좋아지지만, 휘도 벡터 에 기초하여 화상의 신호를 보정하는 화상 처리는 더 복잡하게 된다는 것은 당업자에게는 명확할 것이다.

본 명세서의 실시형태에 따르면, 기생적 열 감지 픽셀로부터의 판독값은 모델의 각 구역(808)의 평균 열을 추정하기 위하여 사용되며, 이것은 도 8d, 도 8e 및 도 8f를 참조하여 좀 더 상세하게 이제 설명될 것이다.

도 8d 및 도 8e는 고도 θ와 방위각 φ의 면에서 기생적 열 감지 픽셀의 각도 민감도를 나타낸다.

도 8d에 도시된 바와 같이, 각 기생적 열 감지 픽셀은, 예를 들어 수직 평면에서 각도 θ를 연장하는 시야를 갖는다.

도 8e는 기생적 열 감지 픽셀의 방사 흡수 함수의 일 예를 나타낸다. 특히, 픽셀의 시야의 중심은 예를 들어 수평 평면에서 특정 각도를 목표로 두며, 이것은 도 8e의 예에서는 120°이며, 픽셀의 민감도는, 수평 평면에서의 이 지점에서 멀어지는 각도에서 받은 광속에 대하여 감소한다. 픽셀의 각도 민감도를 나타내는 각도 φ는, 예를 들어 민감도가 특정 수준 이상인 각도로서 정의된다. 예를 들어, 도 8e에서, 각도 φ는 민감도가 60% 이상인 각도로서 정의된다.

기생적 열 감지 픽셀의 관찰 영역과 모델의 구역 사이에는 3개의 가능한 관계가 있다.

제1 관계에 따르면, 모델에서의 구역만큼 많은 기생적 열 감지 픽셀이 있으며, 각 기생적 열 감지 픽셀은, 구역 중 대응하는 하나에 적용된 θ와 φ에서 각도 민감도를 갖는다. 따라서, 각 기생적 열 감지 픽셀로부터의 판독값은 대응하는 구역에 대한 판독값에 직접적으로 해당한다.

제2 관계에 따르면, 모델의 구역보다 더 많은 수의 기생적 열 감지 픽셀이 있거나 및/또는 기생적 열 감지 픽셀에 의하여 관찰된 총 영역들이 모델의 영역보다 더 크다. 예를 들어, 이 관계는 다음의 식에 기초한다.

이것은

으로서 표현될 수 있으며, 여기서 모델은 q개의 개별 구역을 구비하며, n개의 기생적 열 감지 픽셀 w1 내지 wn이 있고, 벡터 의 값 φ₁ 내지 φ_q는 각 구역 1 내지 q로부터의 기생적 휘도에 대응하는 것으로, 이것이 얻게 될 벡터이며, 행렬 의 값 와 는 각 구역 1 내지 q에 대한 기생적 열 감지 픽셀의 기여를 나타내며, 벡터 의 값 내지 은 n개의 기생적 열 감지 픽셀로부터의 판독값에 대응한다. 가장 간단한 경우(위에서 설명된 제1 관계)에는, 각 기생적 열 감지 픽셀은 대응하는 구역만을 관찰하고, 행렬 은 대각 행렬이다. 그러나 다른 경우에는, 각 구역 1 내지 q는 하나 이상의 기생적 열 감지 픽셀로부터의 가중 기여 세트에 의하여 정의된다.

제3 관계에 따르면, 모델에서의 개별 구역보다 적은 기생적 열 감지 픽셀이 있다. 이 경우에는, 전술의 행렬 은 불충분하게 정의되는데, 이것은 도 8f의 예를 참조하여 이제 설명될 것이다.

도 8f는 일 실시형태에 따르는 각 기생적 열 감지 픽셀의 관찰 영역(810)의 램버트 방위각 투사도(Lambert azimuthal projection)이다. 특히, 돔과 각 픽셀의 입체각 원뿔 사이의 교차부는 각 픽셀의 측정 관찰 영역을 생성한다. 그런 후, 각 구역으로부터 받은 광속은, 국부의 측정들에 기초하고 각 구역에서의 열 확산에 관한 가설에 기초하여 추정될 수 있다. 예를 들어, 기생적 열 감지 픽셀 k로부터의 각 판독값 M_k는 다음과 같이 평가될 수 있는데,

여기서 Ω는 개별 구역 i,j로 분할된 모델을 나타내는 2D 표면이며, S_i,j는 각 구역과 픽셀 k의 관찰 영역 사이의 교차 표면이며, φ_i,j는 구역 i,j의 표면 광속이다.

전체 표면 Ω가, 도 8f에 도시된 바와 같이, 기생적 열 감지 픽셀의 무리에 의하여 완전히 관찰되지 않는 경우에는, 간단한 가설이 가정될 수 있는데, 그것은 각 구역의 표면 전체에 걸쳐서 휘도의 변화가 아주 작다는 것이며,

으로 표현될 수 있으며, 여기서 △은 휘도의 라플라시안(Laplacian)을 나타낸다. 그런 후 휘도의 비-균일성 재분배를, 예를 들어, 전술의 가설 그리고 임의의 화이트 구역, 즉 임의의 관찰 영역(810)에 의하여 교차되지 않은 구역에서의 열 확산에 대한 선험적 가설에 기초하여 각 구역 φ_i,j에 대하여 해결한다.

변환 행렬 과 을 구성하기 위하여 기생적 열 감지 픽셀을 구비하는 IR 카메라를 캘리브레이션하는 방법이 도 9 및 도 10을 참조하여 설명될 것이다.

도 9는 본 명세서의 일 실시형태에 따르는 IR 카메라의 캘리브레이션을 실행하도록 구성된 컴퓨팅 장치(900)를 개략적으로 보여준다. 예를 들어 장치(900)는,처리 장치(P; 902)를 구비하는데, 처리 장치(902)는, 예를 들어 버스(BUS)(906)에 의하여 처리 장치(902)에 연결된 메모리(RAM)(904)에 저장된 컴퓨터 프로그램의 컴퓨팅 명령의 제어하에 있는 하나 이상이 프로세서 또는 CPU 코어를 구비한다. 예를 들어 컴퓨팅 장치(900)는, 캘리브레이션 하의 IR 카메라로부터, 화상 센서로부터 촬상된 화상과 기생적 열 감지 픽셀로부터의 판독값의 수신을 허용하는 IR 카메라 인터페이스(IR CAMERA INTERFACE)(908)를 더 구비한다. 예를 들어 컴퓨팅 장치(900)는 디스플레이(DISPLAY)(910), 및 키보드 및 마우스 등의 입력 장치(INPUT DEVICES)(912)를 더 구비한다.

도 10은, 본 명세서의 일 실시형태에 따라서 기생적 열 감지 픽셀로부터의 판독값을 신호 보정값으로 변환시키기 위하여, 행렬 과 등의, 하나 이상의 변환 행렬을 생성하는 방법에서의 동작을 설명하는 플로우 다이어그램이다. 이 방법은 예를 들어 도 9의 컴퓨팅 장치(900)의 처리 장치(902)에 의하여 실현된다.

하나 이상의 변환 행렬의 생성은 기생적 열 감지 픽셀의 출력과 각 화상 픽셀이 받은 기생적 광속 사이의 상관관계를 결정하는 것을 포함한다. 다시 말하면, 정확히 같은 휘도 변화에 대한 각 기생적 열 감지 픽셀 및 각 화상 픽셀에 의한 반응의 비교 맵이 추정되어야만 한다. 이것은 다음의 식에 의하여 나타내질 수 있는데,

여기서, 는 위치(x,y)에서 각 픽셀의 출력 전압의 변화이고, 는 하우징의 내부 표면의 모델의 각 구역 i에서의 휘도 에서의 변화이며, 는 각 구역 i에 대한 각 픽셀의 에텐듀이며, 는 각 픽셀의 반응도이다.

표준 적외 화상 픽셀 어레이를 캘리브레이션할 때, 게인 맵은 일반적으로 2-포인트 비-균일성-보정으로 알려진 처리에서 사용된다. 본 명세서의 픽셀 어레이의 경우에, 실제로, 기생적 열 감지 픽셀과 화상 픽셀을 동일한 휘도 변화에 노출시키는 것은 어려울 수 있어서, 캘리브레이션 처리가 길어질 수 있다. 대신에, 본 발명자들은 두개의 주 동작 1001 및 1003을 사용하는 캘리브레이션을 실행할 것을 제안하고 있으며, 이것은 더 상세하게 지금 설명될 것이다.

동작 1001에서, 상대 전달 함수가 카메라 하우징의 내부 표면의 표면 기여와 기생적 열 감지 픽셀 및 화상 픽셀이 받은 광속 사이에서 결정된다. 이것은 모델의 각 구역 i와 각 픽셀 사이의 에텐듀에 대응한다. 이 동작에서, 모든 픽셀은 특정한 전력(와트, W)의 받게된 특정한 광속 및 특정한 입체각(스테라디안, sr)에 대하여 생성된 그들의 전압에 대하여 동일한 반응을 갖는다고 가정한다. 카메라 하우징과 픽셀 어레이의 픽셀들의 기하학적 구조에 기초하여, 각 구역 i에 대한 위치(x,y)에서의 각 화상 픽셀 및 각 기생적 열 감지 픽셀의 에텐듀 가 예를 들어 추정되고, 이것은 지금 설명될 것이다.

당업자에 의하여 공지된 바와 같이, 광학 분야에서, 에텐듀는 광이 면적과 각도에서 확산되는 정도를 정의한다.

카메라 하우징의 내부 표면의 구역 i에 대한 픽셀 어레이의 각 픽셀에 대한 에텐듀 는, 이 표면이 반경 R을 갖는 돔의 형태라고 가정할 때, 다음과 같이 정의될 수 있는데,

여기서 는 픽셀의 표면적이며, θ는 고도각이며, φ는 방위각이며, d는 픽셀과 돔 중앙 사이의 거리이다. 따라서, 카메라의 내부의 기하학 구조 및 픽셀 어레이의 기하학적 구조에 기초하여, 위의 식에 기초하는 기생적 열 감지 픽셀과 각 화상 픽셀의 에텐듀 를 추정할 수 있다.

동작 1001은, 예를 들어 특정한 하우징과 픽셀 어레이를 갖는 IR 카메라의 특정한 형태에 대하여 한번 실행되며, 발생된 에텐듀는 카메라 하우징과 픽셀 어레이의 그 특정한 기하학적 구조를 갖는 임의의 IR 카메라에 대하여 적절하다.

선택적으로, 동작 1002에서, IR 카메라의 하우징의 내부의 모델의 하나 이상의 파라미터가 결정될 수도 있다. 예를 들어 모델이 돔인 경우에, 돔 모델의 반경 R은 예를 들어 하우징의 내부로부터 받은 광속의 평균 수준의 추정에 기초하여 정의된다.

동작 1003에서, 카메라 하우징의 내부 표면의 모델의 표면 기여와 화상 센서 및 기생적 열 감지 픽셀로부터의 픽셀 판독값 사이의 전달 함수의 절대값을 결정하기 위하여, 일원화된 캘리브레이션이, 제품군 내의 각 IR 카메라 유닛에 대하여 실행된다. 특히, 이것은 예를 들어 동일한 입체각에 대하여 각 픽셀의 상대 반응도 를 결정하는 것을 포함한다. 화상 센서의 화상 픽셀에 대하여, 그 반응도 는, 예를 들어 2-포인트 비-균일성-보정에 기초되는 등의, 공지된 캘리브레이션 기술을 사용하여 결정될 수 있다. 기생적 열 감지 픽셀의 특성에 대하여는, 이것은 예를 들어 돔-형상의 흑체를 픽셀 어레이 상에 배치하고 흑체의 두 개의 다른 온도에 대한 각각의 기생적 열 감지 픽셀로부터의 판독값을 얻음으로써 실행된다.

이 상대 반응도가 각 픽셀에 대하여 결정될 때, 행렬 과 은 예를 들어 각 픽셀의 반응도 와 에텐듀 에 기초하여 결정될 수 있다.

여기에서 설명된 실시형태들의 장점은, IR 카메라에 의하여 촬상된 화상에서의 기생적 열 성분이 온도 프로브의 사용없이도 상대적으로 정확하게 추정될 수 있다는 점이다. 예를 들어, 본 발명자는, 최저 +/-1℃의 정밀도를 얻을 수 있다는 것을 발견했다.

이와 같이 적어도 하나의 예시적인 실시형태를 설명하였으나, 다양한 개조, 변형 및 개선이 당업자에게 용이하게 나타날 것이다. 예를 들어, 기생적 열 감지 픽셀의 실시형태들은 단지 하나의 예만을 제공하고 있으며, 픽셀의 시야를 제한하는 다른 픽셀 구조가 가능할 수 있다는 것은 당업자에게는 명확할 것이다.

또한, 예 실시형태들은 돔-형상 모델과 관련하여 설명되어 있지만, 그 계산들이 어떻게 다른 형태의 모델에게 적용될 수 있는지는 당업자에게 명확할 것이다.

또한, 실시형태들은 두 개의 변환 행렬 과 의 사용을 포함하는 것을 설명하고 있으나, 다른 실시형태에서는 단일의 변환 행렬, 또는 2개보다 많은 변환 행렬이 채용될 수 있다는 것은 당업자에게는 명확할 것이다.

또한, 각각의 실시형태와 관련하여 설명된 각각의 특징들은, 다른 실시형태에서, 임의의 조합으로 결합될 수 있다는 것은 당업자에게 명확할 것이다.

Claims

하우징(404) 내에 수용된 픽셀 어레이(102)를 구비하는 적외선(IR) 카메라를 캘리브레이션하는 방법으로서, 상기 픽셀 어레이는 화상 픽셀들로 형성된 화상 센서 및, 상기 하우징(404)의 내부 표면의 상이한 부분들로부터 적외광을 받도록 배열된 하나 이상의 기생적 열 감지 픽셀들(105)을 가지며, 각 기생적 열 감지 픽셀은 각 화상 픽셀보다 상기 하우징으로부터 더 높은 비율의 기생적 열을 수신하고,
상기 방법은,
처리 장치(902)에 의하여, 상기 픽셀 어레이의 각 화상 픽셀(104) 및 상기 각 기생적 열 감지 픽셀(105)로부터 하나 이상의 판독값(P_R)을 수신하는 단계, 및
상기 하나 이상의 판독값에 기초하여 상기 처리 장치에 의하여, 상기 기생적 열 감지 픽셀들로부터의 판독값(P_R)을, 상기 화상 센서에 의하여 촬상된 신호들의 2D 신호 보정을 실행하기 위한 픽셀 보정값들로 변환시키기 위한 하나 이상의 변환 행렬(과 )을 생성하는 단계를 구비하며,
상기 하나 이상의 변환 행렬(과 )을 생성하는 단계는,
상기 처리 장치에 의하여, 상기 화상 센서의 각 화상 픽셀에 대하여 그리고 각 기생적 열 감지 픽셀에 대하여 각 픽셀의 반응도의 가정에 기초하여, 상기 내부 표면의 복수의 구역의 각각에 대한 각 픽셀의 에텐듀(etendue)에 기초한 상대 전달 함수를 결정하는 단계를 구비하는 캘리브레이션 방법.
제1항에 있어서,
상기 하나 이상의 변환 행렬(과 )을 생성하는 단계는,
상기 화상 픽셀의 각각 및 상기 기생적 열 감지 픽셀의 각각의 반응도를 결정하는 단계를 더 구비하는 캘리브레이션 방법.
제2항에 있어서,
상기 기생적 열 감지 픽셀의 반응도는, 상기 픽셀 어레이의 픽셀의 시야 내에 흑체를 놓고, 2개 이상의 다른 온도에서 상기 기생적 열 감지 픽셀로부터의 판독값을 얻음으로써 결정되는 캘리브레이션 방법.
제2항 또는 제3항에 있어서,
상기 각 픽셀의 에텐듀에 기초하여 상대 전달 함수를 결정하는 단계는, 균일한 온도의 복수의 구역을 구비하는 상기 하우징의 내부 표면의 모델을, 적어도 부분적으로 상기 처리 장치에 의하여 확정하는 단계와, 상기 카메라 하우징의 기하학적 구조와 상기 픽셀 어레이의 기하학적 구조에 기초하여 상기 모델의 구역 각각에 대한 각 픽셀의 에텐듀를 상기 처리 장치에 의하여 산출하는 단계를 구비하는 캘리브레이션 방법.
제4항에 있어서,
상기 모델은 돔(dome)의 형태인 캘리브레이션 방법.
제5항에 있어서,
상기 흑체가 상기 픽셀 어레이의 픽셀의 시야 내에 놓였을 때, 상기 화상 센서에 의하여 촬상된 평균 판독값에 기초하여 상기 돔의 반경을, 상기 처리 장치에 의하여, 결정하는 단계를 더 구비하는 캘리브레이션 방법.
제5항에 있어서,
상기 모델의 복수의 구역의 각각은 동일한 표면적을 갖는 캘리브레이션 방법.
제1항의 방법을 실현하도록 구성된 처리 장치.
처리장치에 의해 실행될때 제1항의 방법을 실현시키기 위한 컴퓨터 명령을 저장하는 비-일시적 저장 매체.