KR101827810B1

KR101827810B1 - 보정데이터 생성장치 및 이의 보정데이터 생성방법, 그리고 적외선 카메라

Info

Publication number: KR101827810B1
Application number: KR1020160095986A
Authority: KR
Inventors: 김신욱
Original assignee: 만도헬라일렉트로닉스(주)
Priority date: 2016-07-28
Filing date: 2016-07-28
Publication date: 2018-02-09
Also published as: KR20180012989A

Abstract

보정데이터 생성장치 및 이의 보정데이터 생성방법, 그리고 적외선 카메라가 개시된다. 본 발명의 일실시예에 따른 보정데이터 생성방법은 적외선 카메라의 렌즈로부터 입사된 적외선을 픽셀별로 검출하는 초점평면배열(Focal Plane Array ; FPA)방식의 적외선 검출기를 이용하여 보정데이터를 생성하는 방법에 있어서, 적외선 카메라의 내부온도를 설정하고, 적외선 카메라에 설정된 복수의 내부온도별로 적외선 검출기를 통해 서로 다른 온도값을 가진 두 개의 흑체의 적외선영상을 각각 검출하고, 검출된 제1 적외선영상의 제1 실제 배경 방사조도와, 검출된 제2 적외선영상의 제2 실제 배경 방사조도를 각각 추정하고, 추정된 제1 및 제2 실제 배경 방사조도를 이용하여 적외선 카메라의 내부온도 변화에 따른 각 픽셀의 게인값과 오프셋을 생성하고, 생성된 게인값과 오프셋을 이용하여 적외선 카메라의 내부온도에 대응하는 보정데이터를 생성하고, 생성된 보정데이터를 저장하는 것을 특징으로 한다.

Description

보정데이터 생성장치 및 이의 보정데이터 생성방법, 그리고 적외선 카메라{APPARATUS AND METHOD FOR GENERATING NONUNIFORMITY CORRECTION DATA, AND INFRARED CAMERA}

본 발명은 보정데이터 생성장치 및 이의 보정데이터 생성방법, 그리고 적외선 카메라에 관한 것으로, 보다 상세하게는 적외선 카메라 내부 온도 변화에 따른 적외선 영상의 불균일을 보정하는 보정데이터를 생성하는 보정데이터 생성장치 및 이의 보정데이터 생성방법, 그리고 적외선 카메라에 관한 것이다.

일반적으로, 적외선 카메라(Infrared camera)가 산업 전반에서 널리 사용되고 있다. 그 중에서도 전방주시적외선장치(Forward-Looking Infrared, FLIR)와 같이 군사용 목적으로 가장 활발하게 사용된다.

FLIR는 무인기(Unmanned Aerial Vehicle, UAV)나 헬기의 전방에 장착되어 다른 비행체와의 충돌을 사전에 방지하고, 이착륙시 활주로 및 장애물을 조종사에게 알려주는 역할을 수행한다.

FLIR와 같은 적외선 카메라에서는 검출기(IR detector)가 핵심이다. 검출기가 적외선 영상을 획득하는 방법에는 스캔을 통한 방식과 초점평면배열(Focal Plane Array ; FPA)를 이용하는 방식 2가지로 나눌 수 있는데, 최근에는 FPA를 이용하는 방식이 주로 사용된다.

FPA는 여러 개의 포토다이오드(photodiode)의 집합으로 구성되며, 검출기 내부에서 열에너지(thermal energy)를 전기적 신호로 변환하는 역할을 수행한다.

FPA를 이용하는 적외선 검출기를 사용함으로써 직면하는 문제는 FPA를 구성하는 각각의 포토다이오드 사이의 응답특성이 동일하지 않기 때문에 출력에 불균일성(nonuniformity)이 생긴다는 것이다. 이는 영상에 고정패턴잡음(fixed pattern noise, FPN)으로 보여지게 되어 영상의 품질을 크게 저하 시킨다.

FPA의 불균일을 제거하기 위해 가장 널리 사용되는 방법은 2점 보상법(two-point nonuniformity correction)이다. 흑체(blackbody)를 사용하여 2개의 균일한(uniform) 기준 온도(reference source)를 생성하고 이를 이용하여 FPA를 구성하는 모든 포토다이오드들이 동일한 입력에 대해 동일한 출력을 낼 수 있도록 게인(gain)과 오프셋(offset) 파라미터를 통해 보정하는 것이다.

그러나 현재 시점에서 FPA 자체의 출력을 완벽히 균일하게 보정한다고 가정하더라도 시간 흐름에 따른 FPA 외부 환경의 변화에 의해서 잔여 불균일도(residual nonuniformity, RNU)가 점점 커지게 된다.

적외선 카메라 내부에는 전자보드(Electronic Board) 및 렌즈 구동 모터 등이 장착되어 있어 카메라의 사용에 따라 끊임없이 외부로 열을 방출한다.

또한 항공기에 장착된 적외선 카메라의 경우 비행에 따른 공력가열(Aerodynamic heating)에 의해서 전도를 통해 외부의 열이 계속해서 유입된다. 적외선 카메라는 열 에너지에 반응(response)하는 장비이기 때문에 카메라 내부에서 생성되는 열이 일종의 열 잡음(thermal noise) 형태로 표현된다.

비록 FPA 앞에 장착되는 냉각 실드(cold shield)가 시계(Field of View, FOV) 밖에서 유입되는 열 잡음을 차단하는 역할을 수행하나 냉각 실드 자체가 가열되거나 혹은 광 경로(optical path) 자체의 가열은 적외선 영상에 불균일성을 발생시키게 된다. 게다가 적외선 카메라 내부의 온도 변화는 FPA 값을 읽어들이는 판독집적회로(Readout Integrated Circuits, ROIC)의 출력 특성을 변화시키게 된다.

지금까지 이러한 문제점에 대한 해결방안으로 카메라 내부 온도 범위에 따른 보정 테이블을 여러 개 적용하여 보정을 수행하거나 배경 기반의 불균일 보정 기법 및 셔터 보정 방식의 불균일 보정 방법이 사용되어 왔으나 적용 가능한 상황이 제한적이거나 연산량이 많아 임베디드 환경에서의 구현이 어렵거나, 또는 셔터 구동 등을 위해 추가적인 기구물이나 구동 장치가 필요하여 설계의 복잡도가 높아지는 단점이 있었다.

최근에는 상기한 해결책 가운데 하나로 배경기반불균일보정법(Scene based nonuniformity correction, SBNUC)이 많이 연구되어 왔다.

SBNUC는 영상 자체의 특성을 활용하여 카메라 운용의 중단 없이 불균일성을 보정할 수 있는 장점이 있다.

SBNUC는 영상의 통계치를 활용하거나 혹은 현재 입력되고 있는 영상 프레임(frame)과 영상 프레임 사이의 차이점, 그리고 카메라의 움직임 등을 활용하여 연산을 통해 반복적으로 불균일 보정 파라미터(nonuniformity correction parameter)들을 갱신한다.

그러나 FLIR와 같이 항공기에 장착되어 45,000 피트(feet) 이상의 높은 고도에서 운용되는 환경에서는 영상 프레임들 사이에서 차이점을 찾기 어렵고, 카메라 자체도 기체에 고정된 형태이기 때문에 움직임이 거의 없어 기존의 SBNUC 알고리즘의 활용이 어렵다. 게다가 화면에 나타나는 표적들이 대부분 점 표적(point target)의 특징을 지니기 때문에 표적의 모양이나 크기와 같은 정보를 활용한 불균일 보정 역시 어렵다.

대한민국 등록특허공보 제10-1438327호

본 발명의 실시예는 사용 환경에 관계없이 적외선 카메라 내부의 온도 변화에 따른 적외선 영상의 불균일을 보정하는 보정데이터를 보다 효과적으로 생성할 수 있는 보정데이터 생성장치 및 이의 보정데이터 생성방법, 그리고 적외선 카메라를 제공하고자 한다.

본 발명의 일 측면에 따르면, 적외선 카메라의 렌즈로부터 입사된 적외선을 픽셀별로 검출하는 초점평면배열(Focal Plane Array ; FPA)방식의 적외선 검출기를 이용하여 보정데이터를 생성하는 방법에 있어서, 상기 적외선 카메라의 내부온도를 설정하고, 상기 적외선 카메라에 설정된 복수의 내부온도별로 상기 적외선 검출기를 통해 서로 다른 온도값을 가진 두 개의 흑체의 적외선영상을 각각 검출하고, 상기 검출된 제1 적외선영상의 제1 실제 배경 방사조도와, 상기 검출된 제2 적외선영상의 제2 실제 배경 방사조도를 각각 추정하고, 상기 추정된 제1 및 제2 실제 배경 방사조도를 이용하여 상기 적외선 카메라의 내부온도 변화에 따른 각 픽셀의 게인값과 오프셋값을 각 픽셀에 대하여 최소자승법 연산을 통해 상기 적외선 카메라의 내부온도의 1차 함수인 불균일 보정함수로 각각 생성하고, 상기 생성된 각 불균일 보정함수를 저장하는 보정데이터 생성방법이 제공될 수 있다.

삭제

본 발명의 다른 측면에 따르면, 적외선 카메라의 렌즈로부터 입사된 적외선을 픽셀별로 검출하는 초점평면배열(Focal Plane Array ; FPA)방식의 적외선 검출부; 상기 적외선 카메라의 내부온도를 설정하고, 상기 적외선 카메라에 설정된 복수의 내부온도별로 상기 적외선 검출부를 통해 서로 다른 온도값을 가진 두 개의 흑체의 적외선영상을 각각 검출하고, 상기 검출된 제1 적외선영상의 제1 실제 배경 방사조도와, 상기 검출된 제2 적외선영상의 제2 실제 배경 방사조도를 각각 추정하고, 상기 추정된 제1 및 제2 실제 배경 방사조도를 이용하여 상기 적외선 카메라의 내부온도 변화에 따른 각 픽셀의 게인값과 오프셋을 각 픽셀에 대하여 최소자승법 연산을 통해 상기 적외선 카메라의 내부온도의 1차 함수인 불균일 보정함수로 각각 생성하는 보정데이터생성부; 및 상기 보정데이터생성부에 의해 생성된 각 불균일 보정함수를 저장하는 저장부를 포함하는 보정데이터 생성장치가 제공될 수 있다.

본 발명의 또 다른 측면에 따르면, 적외선 카메라에 있어서, 상기 적외선 카메라의 렌즈로부터 입사된 적외선을 픽셀별로 검출하여 적외선 영상신호로 변환하여 출력하는 초점평면배열(Focal Plane Array ; FPA)방식의 적외선검출부; 상기 적외선 카메라의 내부온도를 감지하는 온도감지부; 상기 적외선 검출부의 각 픽셀의 불균일 보정을 위한 게인값과 오프셋값이 상기 적외선 카메라의 내부온도의 1차 함수인 불균일 보정함수로 각각 저장된 보정데이터저장부; 상기 온도감지부를 통해 감지된 내부온도를 상기 보정데이터저장부에 저장된 불균일 보정함수들에 적용하여 불균일 보정값을 생성하고, 상기 적외선 검출부로부터 출력된 적외선 영상신호에 상기 생성된 불균일 보정값을 적용하여 불균일을 보정하는 제어부; 및 상기 제어부의 제어신호에 따라 상기 보정된 적외선 영상신호를 출력하는 영상출력부를 포함하는 적외선 카메라가 제공될 수 있다.

본 발명의 실시예는 적외선 카메라를 항공기가 운행하는 높은 고도 환경에서 장시간 운용함으로 인해 발생하는 열 잡음에도 영상의 균일성을 유지할 수 있다.

본 발명의 실시예는 배경의 변화 및 표적의 특징점이 거의 없는 운용 환경에서도 영상의 균일성을 유지할 수 있다.

본 발명의 실시예는 영상의 통계치나 카메라의 움직임, 그리고 표적의 특징을 활용하지 않고도 적외선 카메라의 장시간 운용에 따른 불균일성을 해소할 수 있기 때문에 기존의 알고리즘 사용이 제약되는 환경에서도 적용이 가능하다.

본 발명의 실시예는 운용 환경에 상관없이 영상의 불균일을 보정할 수 있어 영상 품질을 개선할 수 있다.

본 발명의 실시예는 기존에 대비하여 연산량과 리소스 사용량을 비슷한 수준으로 유지하거나 더 낮출 수 있으면서도 전체의 내부 온도 구간에서 가장 낮은 수준의 균일도를 유지할 수 있다.

본 발명의 실시예는 보다 다양한 사용 환경에 적용 가능하고, 연산량을 비슷한 수준으로 유지하거나 줄일 수 있어 임베디드 환경에 구현 가능하며, 셔터 구동 등을 위해 추가적인 기구물이나 구동 장치가 불필요하여 설계를 단순화할 수 있다.

도 1은 본 발명의 일실시예에 따른 보정데이터 생성장치의 제어블록도이다.
도 2는 본 발명의 일실시예에 따른 보정데이터 생성방법에 대한 제어흐름도이다.
도 3은 본 발명의 일실시예에서 흑체온도에 따른 커패시터의 충전량을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에서 흑체온도에 따른 실제 배경의 방사조도를 추정한 표를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 적외선 카메라의 제어블록도이다.
도 6은 본 발명의 일실시예에서 불균일 보정방법과 기존방법을 적용한 경우 내부 온도에 따른 공간잡음을 비교한 그래프들을 나타낸 도면이다.
도 7은 본 발명의 일실시예에서 불균일 보정방법과 기존방법을 적용한 경우 임의의 지점에서의 픽셀값 변화량을 비교한 그래프들을 나타낸 도면이다.
도 8은 본 발명의 일실시예에서 불균일 보정방법과 기존방법을 적용한 경우 보정 파라미터 획득온도에 따른 최대 신호 대 잡음비(PSNR)의 성능을 비교한 도면이다.

이하에서는 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 충분히 전달할 수 있도록 하기 위해 예로서 제공하는 것이다. 본 발명은 이하 설명되는 실시예들에 한정하지 않고 다른 형태로 구체화할 수도 있다. 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 도면에서 생략하였으며 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장하여 표현할 수 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.

도 1은 본 발명의 일실시예에 따른 보정데이터 생성장치의 제어블록도이다.

도 1을 참조하면, 보정데이터 생성장치는 적외선검출부(10), 온도감지부(20), 보정데이터 생성부(30) 및 저장부(40)를 포함할 수 있다.

적외선검출부(10)는 초점평면배열(FPA)를 이용하는 방식의 적외선검출기로서, 여러 개의 포토다이오드(photodiode)의 집합으로 구성되며, 적외선검출부 내부에서 열에너지를 전기적 신호로 변환하는 역할을 수행한다.

적외선검출부(10)는 렌즈 또는/및 셔터를 통해 입사되는 적외선을 픽셀별로 검출한다.

온도감지부(20)는 적외선검출부(10)의 내부온도를 감지한다. 이때, 이 내부온도는 보정데이터 생성장치가 설치된 적외선 카메라의 내부온도일 수 있다.

보정데이터 생성부(30)는 적외선검출부(10)에 의해 검출된 적외선영상의 불균일을 보정하기 위한 보정데이터를 생성한다.

보다 구체적으로, 보정데이터 생성부(30)는 적외선검출부(10)의 내부 온도 전체범위를 복수의 구간으로 샘플링하여 각각의 온도에서 불균일 보정 파라미터인 게인(Gain)과 오프셋(Offset)을 산출한다. 이때, 영상의 대표값으로 기존방식과 같이 평균값이나 중간값을 사용하지 않고 실제 배경 방사조도 추정(True scene irradiance estimation)방법을 통해 영상의 대표값을 산출하여 사용한다. 이 실제 배경 방사조도 추정(True scene irradiance estimation)방법은 기존방식과 같이 영상 통계치를 기반으로 적외선 입사량을 추정하는 것이 아니라 적외선검출부(10)의 커패시터에 충전되는 전하량을 기반으로 실제 입사되는 적외선에너지를 산출한다. 각 샘플링된 적외선검출부(10)의 내부온도에서 게인과 오프셋을 전부 구하게 되면, 영상의 모든 픽셀 좌표에서의 내부 온도 변화에 따른 게인값과 오프셋값을 산출할 수 있다. 이와 같은 방식으로 산출된, 영상의 모든 픽셀 좌표에서의 내부 온도 변화에 따른 게인값과 오프셋값에 대하여 최소 자승법(lease square method)을 이용하여 적외선검출부의 내부온도에 대응하는 보정데이터를 생성한다.

저장부(40)는 보정데이터 생성부(30)에 의해 생성된 보정데이터를 저장한다.

도 2는 본 발명의 일실시예에 따른 보정데이터 생성방법에 대한 제어흐름도이다.

도 2를 참조하면, 카메라 내부온도를 설정하는 과정(100), 고온/저온 흑체의 영상을 획득하는 과정(110), 실제 배경 방사조도를 추정하는 과정(120), 게인 및 오프셋을 생성하는 과정(130), 모든 범위의 카메라 내부온도를 획득하였는지를 판단하는 과정(140), 모든 범위의 카메라 내부온도를 획득한 경우 불균일 보정함수를 생성하는 과정(150), 생성된 불균일 보정함수를 저장하는 과정(160)을 포함할 수 있다.

이하에서는 적외선영상의 불균일을 보정하기 위한 보정데이터를 생성하는 것을 보다 자세히 설명한다.

적외선 카메라는 표적이 방사하는 열에너지를 감지하여 사용자에게 디지털 영상의 형태로 보여주게 되는데, 일반적으로 FPA를 구성하는 각각의 포토다이오드들의 출력이 선형적이라고 가정할 때 다음의 수식 (1)과 같은 형태로 표현된다.

이때, i 와 j는 FPA 상에서 픽셀의 위치를 지정하는 좌표 인덱스이고, n은 프레임 번호(frame number)를 나타내며, X_i,j(n)는 실제 표적에서 방사되는 표적 방사량, a와 b는 각각 출력 특성의 게인(gain)과 오프셋(offset) 성분이다. 또한 Y_i,j(n)는 관찰 모델(observation model)을 통해 사용자에게 보여지는 디지털 영상의 출력 값이다.

그러나 실제 환경에서의 적외선 카메라 출력은 표적에서의 방사에너지뿐만 아니라 카메라 내부 구성품에 의한 열 잡음이나 광 경로(Optical path)의 공력가열(Aerodynamic heating) 등의 다양한 원인으로 방사에너지가 FPA에 전달되게 된다. 따라서 실제 환경에서의 적외선 카메라의 관찰모델(observation model)은 다음의 수식 (2)와 같이 표현될 수 있다.

이때,

이 실제 표적에서의 방사 에너지를 의미하며

은 내부의 열 잡음에 의해 FPA에 보여지는 성분을 나타낸다. 그러나 수식 (2)와 같은 표현도 내부 발열체에 의한 열 잡음의 영향만을 나타낼 뿐 내부 온도의 변화에 따른 출력의 변화량을 나타낼 수는 없다. 적외선 카메라 운용환경 변화에 의해 내부 온도가 상승 시 게인과 오프셋성분인 a, b의 특성은 카메라 내부 온도의 함수 형태로 표현 가능해지며 다음의 수식 (3)과 같다.

이때, 적외선검출기 출력의 게인과 오프셋 a와 b는 카메라 내부 온도 T의 1차 함수 형태로 표현된다. 이후에는 표기의 간략화와 현재 프레임에 대한 표시만을 위해 프레임 인덱스 n은 생략하여 다음의 수식 (4)와 같이 표시한다.

수식 (4)를 전개하여 요약하면, 다음의 수식 (5)와 같이 표시할 수 있다.

여기에서 g와 o는 출력 값 보정에 사용되는 게인과 오프셋 값이며, 이 값은 카메라 내부 온도 T에 1차 함수로 대응하여 변화한다. 즉, 표적에서 방사되는 실제 방사(True radiation) 값에 카메라 내부 열에 의한 열 잡음(thermal noise) 성분이 합성된 형태의 관찰 모델은 내부온도에 따라 변화하는 게인값과 오프셋값을 추정하여 산출할 수 있다.

수식 (5)에서 확인할 수 있듯이 획득된 영상 Y에 게인과 오프셋을 반영하여 불균일 보정을 수행한다고 해도 실제 배경 방사조도항(true scene irradiance term)뿐만 아니라 내부 온도에 의해 변하는 내부 열 잡음 항(internal thermal noise term)인

이 존재하기 때문에 시간이 지남에 따라 불균일이 심화된다.

왜냐하면 기존의 2-point NUC(nonuniformity correction) 알고리즘은 실제 배경 방사조도(true scene irradiance)만 존재한다고 가정하고 이를 추정하여 게인과 오프셋을 생성하기 때문이다.

기존 2-point NUC 방법에서는 실제 배경 방사조도(true scene irradiance)를 추정하기 위해 관측된 영상 데이터에 중간값(median)이나 평균값(mean)과 같은 통계적 방법을 적용했다.

그러나 카메라 내부에 열 잡음이 존재하는 환경에서는 균등하지 않게 지역적으로 가열되는 부분이 존재하므로 중간값과 같은 통계치가 실제(true) 값을 더이상 추정할 수 없게 된다.

따라서, 본 발명의 실시예에서는 내부 열 잡음(internal thermal noise)이 존재하는 환경에서의 실제 배경 방사조도(true scene irradiance)를 적외선 검출기 단품(standalone) 상태에서 커패시터(capacitor)에 충전되는 전하량을 바탕으로 산출한다. 수식 (5)에서 원래 입사될 것으로 추정되는 기대치를 Z라 하면, 기대치 Z를 다음의 수식 (6)과 같이 표현될 수 있다.

즉, 내부 열 잡음 환경에서의 NUC 알고리즘을 위한 게인과 오프셋의 계산은 표적의 온도변화에 의한 실제 배경 방사조도(true scene irradiance) Z에 대한 추정과 카메라 내부 온도 변화에 의한 관측 값 Y의 변화를 측정함으로써 알아낼 수 있다.

도 3은 본 발명의 일실시예에서 흑체온도에 따른 커패시터의 충전량을 설명하기 위한 도면으로서, 적외선 검출기가 바라보는 흑체 온도에 따른 커패시터의 충전량 그래프를 나타낸다.

도 3을 참조하면, 이때의 실험환경은 FPA well-fill 커패시터(capacitor)가 6.5 Me이고, 적분시간(integrated time)은 1 ms조건이다. 흑체 온도에 비례해서 충전량이 증가하는 것을 확인할 수 있다.

수식 (7)은 이 커패시터의 충전량을 통해 실제 배경 방사조도값을 추정하는 과정을 보여준다.

이때, F는 적외선 검출기의 바닥 레벨 값(floor level value)를 나타내며 적분시간이 최소값일 때도 나타나는 픽셀 값을 의미한다. C는 1 ms의 적분시간을 기준으로 획득되는 전하의 충전량을 의미하며, T_int 는 적분시간, DR은 해당 검출기의 다이나믹 레인지(dynamic range)를 의미한다. 또한, K는 실제 배경 게인(true scene gain)을 의미하며, 예를 들면, 픽셀이 그레이 레벨(gray level)되는데 필요한 전자(electron)의 개수를 의미한다.

수식 (7)을 이용한 검출기 단품 상태에서의 실제 배경 방사조도 추정결과는 도 4의 표와 같다. 이때의 적분시간 T_int 는 2 ms을 적용하였으며, F 및 DR은 각각 3,726과 21,500으로 검출기 제조사에서 제품의 출고 시 제공하는 parameter 값을 사용하였다.

수식 (6)에서의 불균일 보정 파라미터 게인과 오프셋을 계산하기 위해 카메라 내부의 온도 범위를 정하고, 이 범위를 몇 개의 구간으로 샘플링하여 내부온도 T 매트릭스(matrix)를 다음의 수식 (8)와 같이 선정한다.

그리고 T matrix를 구성하는 각 요소(element) 내부온도에서 모든 픽셀에 대한 게인과 오프셋을 위에서 계산한 실제 배경 방사조도값을 사용하여 계산한다. 예를 들어 내부온도가 T₁일 때 (i, j) 좌표의 픽셀의 게인과 오프셋의 계산은 다음의 수식 (9)와 같다.

이때, Z_H 은 고온의 흑체를 바라볼 때 수식 (7)을 통해 획득된 추정된 실제 배경 방사조도(estimated true scene irradiance)를 의미하며, Z_L 은 저온의 흑체를 바라볼 때 수식 (7)을 통해 획득한 추정된 실제 배경 방사조도를 의미한다. Y_T1,H,(i,j) 과 Y_T1,L,(i,j ₎는 각각 카메라의 내부온도가 T₁ 일 때 고온과 저온의 흑체를 바라보며 획득한 (i, j) 좌표의 관찰모델(observation model)이다.

최종적으로, T matrix를 구성하는 나머지 요소들(elements) 내부온도에서도 각 픽셀에 대한 게인과 오프셋을 수식 (9)과 같이 획득을 하게 되면 다음의 수식 (10)와 같이 각 내부온도 변화에 따른 각 픽셀의 게인 매트릭스(gain matrix)와 오프셋 매트릭스(offset matrix)를 얻게 된다.

각 픽셀의 g₍ _i,j ₎ 와 o_(i,j) 의 변화를 통해서 카메라 내부온도에 따른 NUC 파라미터(parameter)의 변화를 관찰할 수 있으며, 이러한 변화율은 최소자승법(least square method)을 사용하여 G = c₀ + c₁T와 같이 내부온도의 1차 식으로 표현할 수 있다. 이때, T는 카메라 내부 온도이다. 이 1차 함수는

와 같이 표현될 수 있다. 게인과 오프셋 변화율 1차 함수의 계수 매트릭스(coefficient matrix)

는 다음의 수식 (11)과 같이 계산된다. 한편, 오프셋의 변화율 함수는 위의 게인과 동일한 방법을 통해 얻을 수 있다.

기존의 2-point NUC에서는 각 픽셀마다 하나의 게인과 오프셋이 한 쌍으로 존재했으나, 본 발명의 실시예에서는 게인과 오프셋 각각 카메라 내부 온도에 따른 변화율 수식의 계수(coefficient)가 2개씩 총 4개가 존재하게 된다. 이렇게 획득된 각 픽셀의 게인 함수(gain function)와 오프셋 함수(offset function)에 내부 온도를 대입하여 게인과 오프셋을 계산해서 사용하도록 한다.

카메라의 내부 온도는 빠르게 변화하는 성질의 팩터(factor)가 아니기 때문에 주기적으로 한번 씩 전체의 픽셀을 계산하고 테이블을 갱신(update)하는 방식을 적용할 경우 기존의 2-point NUC 방식과 비교해도 연산량이나 처리 속도에 큰 차이가 발생하지 않는다.

도 5는 본 발명의 일실시예에 따른 적외선 카메라의 제어블록도이다.

도 5를 참조하면, 적외선 카메라(200)는 적외선 카메라(200)의 내부온도를 감지하는 온도감지부(210)과, 적외선 카메라(200)의 렌즈로부터 입사된 적외선을 픽셀별로 검출하여 적외선 영상신호로 변환하여 출력하는 초점평면배열(Focal Plane Array ; FPA)방식의 적외선검출부(220)와, 적외선 검출부(220)의 각 픽셀의 불균일을 보정을 위해 적외선 카메라(200)의 내부온도에 대응하는 게인과 오프셋이 각 픽셀별로 저장된 보정데이터를 저장하는 보정데이터저장부(240)와,

온도감지부(210)를 통해 감지된 내부온도를 보정데이터저장부(240)에 저장된 보정데이터에 적용하여 불균일 보정값을 생성하고, 적외선검출부(210)로부터 출력된 적외선 영상신호에 상기 생성된 불균일 보정값을 적용하여 불균일을 보정하는 보정부(250)와, 이 보정부(250)의 보정을 제어하는 제어부(230)와, 제어부(230)의 제어신호에 따라 보정된 적외선 영상신호를 출력하는 영상출력부(260)를 포함할 수 있다.

상기한 구성을 갖춘 본 발명의 실시예의 성능을 검증하기 위해 실제 획득 데이터를 기반으로 한 실험을 수행하였다. 첫 번째 실험은 카메라 내부 온도에 따른 기존의 2-point NUC 방식과 제안된 NUC 방식의 공간잡음(spatial noise) 비교이다.

카메라 내부 온도가 31 ℃, 36 ℃, 45 ℃인 상황에서 흑체의 온도를 저온 20 ℃, 고온 60 ℃로 설정하여 2-point NUC로 게인/오프셋 테이블을 각각 획득하였다. 이후 카메라 내부 온도 변화에 따른 공간잡음 변화를 확인하였다. 적외선 검출기는 SCD사의 Sebastian640 검출기를 사용하였으며, FPA의 해상도는 640×512이다. 또한 카메라 내부에는 히터를 장착하여 내부의 온도를 빠르게 올리고 내릴 수 있게 하였다.

도 6은 본 발명의 일실시예에서 불균일 보정방법과 기존방법을 적용한 경우 내부 온도에 따른 공간잡음을 비교한 그래프들을 나타낸 도면이다.

도 6의 실험 결과를 살펴보면, 카메라 내부 온도가 31 ℃ 일 때 획득된 NUC테이블이 적용된 적외선 카메라는 획득될 당시 상황과 동일한 내부온도 31 ℃ 환경에서 공간잡음이 제일 낮게 나타났으나 내부 온도가 고온으로 올라갈수록 잡음도가 급격히 상승함을 볼 수 있다.

반대로 카메라 내부 온도가 45 ℃일 때 획득된 NUC 파라미터를 적용한 적외선 카메라는 고온에서는 제일 낮은 잡음도를 보이나 카메라 내부가 저온 상태일 때는 가장 높은 잡음을 보이게 된다.

반면에 본 발명의 일실시예에 따른 불균일 보정방법을 적용한 적외선 카메라의 경우 카메라 내부 온도가 고온과 저온일 경우 모두 낮은 수준의 잡음을 유지할 뿐만 아니라 온도변화에 따른 잡음도가 선형적으로 일정하게 증가함을 확인할 수 있다.

두 번째 실험은 영상 프레임에서 임의로 4개의 픽셀 좌표를 지정하고, 카메라 내부 온도 변화에 의해 픽셀 출력이 어떻게 변화하는지 확인했다. 카메라 내부 온도가 31 ℃일 때 게인과 오프셋을 획득하여 NUC에 사용하고, 카메라 내부에 장착한 히터를 통해 내부 온도를 지속적으로 상승시켰다.

도 7은 본 발명의 일실시예에서 불균일 보정방법과 기존방법을 적용한 경우 임의의 지점에서의 픽셀값 변화량을 비교한 그래프들을 나타낸 도면이다.

도 7의 (a)와 같이 기존의 NUC 알고리즘을 적용한 적외선 카메라의 경우 카메라 내부 온도 상승에 따라 픽셀 위치에 따른 픽셀 값의 상승 기울기가 모두 다르게 나타났다. 이는 카메라 내부의 열원이 FPA의 위치에 따라 미치는 영향이 각각 다르기 때문이며 이렇게 위치마다 다르게 영향을 미치는 열 잡음으로 인해 카메라 운용시간이 길어질수록 불균일성은 심해진다.

반면에 본 발명의 실시예에서 제안된 NUC 알고리즘을 적용한 적외선 카메라의 경우 도 7의 (b)와 같이 카메라 내부의 온도 변화에도 불구하고 FPA의 모든 위치에서 균일한 온도 상승 기울기를 나타냈다. 이는 카메라 내부의 온도가 상승하더라도 FPA 전체의 변화가 균일화하여 운용시간이 길어져도 영상의 균일성을 보다 오랫동안 유지할 수 있음을 나타낸다.

세 번째 실험은 실제 적외선 카메라를 통해 알고리즘을 장입하여 획득된 영상을 기반으로 PSNR을 측정하여 성능을 비교해보았다. 적외선 카메라의 내부온도가 46 ℃일 때, 내부온도 46 ℃ 환경에서 획득한 NUC 테이블을 적용한 경우를 원 영상(original image)으로 지정하고, 각각 다른 내부온도 환경에서 획득한 NUC테이블을 적용한 영상을 획득하여 PSNR을 측정하였다.

도 8은 본 발명의 일실시예에서 불균일 보정방법과 기존방법을 적용한 경우 보정 파라미터 획득온도에 따른 최대 신호 대 잡음비(PSNR)의 성능을 비교한 도면이다.

도 8을 참조하면, 도 8의 (a)는 내부온도가 40℃일 때 획득한 NUC 파라미터를 사용한 영상, (b) 내부온도가 35℃일 때 획득한 NUC 파라미터를 사용한 영상, (c) 내부온도가 30℃일 때 획득한 NUC 파라미터를 사용한 영상, (d) 본 발명의 실시예에 따른 NUC 알고리즘 적용한 영상을 나타낸다.

도 8의 (a)~(c)에서 확인할 수 있듯이 내부온도가 46 ℃에서 멀어질수록 PSNR이 낮게 측정되었다. 즉, 적외선 카메라의 내부 온도가 46 ℃임에도 불구하고 다른 내부온도 환경에서 획득된 보정 파라미터를 사용할 경우 불균일성이 심화되는 것이다.

그러나, 도 8의 (d)와 같이 제안된 NUC 알고리즘을 적용하여 영상을 촬영할 경우 PSNR이 65.1 dB로 측정되어 가장 높은 성능을 나타냈다. 도 7에 붉은색 네모로 표시된 영역을 확인하여 볼 때, 제안된 NUC 알고리즘을 적용한 적외선 영상의 세부 사항(detail)이 가장 원 영상과 유사함을 알 수 있다.

요약하면, 본 발명의 실시예는 카메라 내부에서 발생하는 열 잡음으로 인한 불균일성을 보정하기 위한 새로운 개념의 NUC 알고리즘을 제안한다.

적외선 카메라의 내부에는 다양한 열원이 존재하고 이는 적외선 카메라에 노이즈의 일종으로 작용하게 된다.

카메라 내부의 열 잡음은 FPA에서의 픽셀 출력 커브를 변화시키고 지역적으로 불균일을 발생시켜 영상의 품질을 저하시킨다.

이러한 잔여불균일도 발생 현상에 대한 보정방법으로 기존에는 배경기반의 불균일 보정방법 등이 활용되었으나 적외선 카메라의 장착 플랫폼의 종류와 운용 개념에 따라 기존 알고리즘의 사용이 제약되는 환경이 있을 수 있다.

특히 항공용 FLIR의 경우에는 끊임없는 전방 주시가 필요하며 높은 고도에서 배경의 변화 및 표적의 특징점이 거의 없어 기존의 SBNUC 알고리즘을 적용하여 불균일을 보정하기에 어려움이 있었다.

그러나 본 발명의 실시예에서 제안하는 NUC 알고리즘을 적용할 경우 카메라의 제작 공정 초기에 한 번의 실험을 통해 획득된 NUC 파라미터를 장입함으로써 장시간 사용에도 불구하고 영상의 균일성이 유지되는 효과를 얻을 수 있다.

실험을 통해 카메라 내부 온도 변화에 관계없이 가장 낮은 수준의 공간잡음을 유지함을 확인할 수 있었으며, 또한 카메라 내부 온도 변화에 따른 FPA 출력 변화도 영상 frame 내의 모든 위치에서 균일하게 증가함을 알 수 있었다.

실제 촬영 영상을 기반으로 한 PSNR 비교 실험에서는 제안된 NUC 알고리즘을 적용할 경우 기존의 2-point NUC 알고리즘을 적용할 경우 대비 최대 20 dB 정도 개선된 영상 품질을 확인할 수 있었다.

또한, 영상의 통계치나 카메라의 움직임, 그리고 표적의 특징을 활용하지 않고도 적외선 카메라의 장시간 운용에 따른 불균일성을 해소할 수 있기 때문에 기존의 알고리즘 사용이 제약되는 환경에서도 제안된 NUC알고리즘의 적용이 가능하다.

10 : 적외선검출부 20 : 온도감지부
30 : 보정데이터 생성부 40 : 저장부

Claims

적외선 카메라의 렌즈로부터 입사된 적외선을 픽셀별로 검출하는 초점평면배열(Focal Plane Array ; FPA)방식의 적외선 검출기를 이용하여 보정데이터를 생성하는 방법에 있어서,
상기 적외선 카메라의 내부온도를 설정하고,
상기 적외선 카메라에 설정된 복수의 내부온도별로 상기 적외선 검출기를 통해 서로 다른 온도값을 가진 두 개의 흑체의 적외선영상을 각각 검출하고,
상기 검출된 제1 적외선영상의 제1 실제 배경 방사조도와, 상기 검출된 제2 적외선영상의 제2 실제 배경 방사조도를 각각 추정하고,
상기 추정된 제1 및 제2 실제 배경 방사조도를 이용하여 상기 적외선 카메라의 내부온도 변화에 따른 각 픽셀의 게인값과 오프셋값을 각 픽셀에 대하여 최소자승법 연산을 통해 상기 적외선 카메라의 내부온도의 1차 함수인 불균일 보정함수로 각각 생성하고,
상기 생성된 각 불균일 보정함수를 저장하는 보정데이터 생성방법.
삭제
적외선 카메라의 렌즈로부터 입사된 적외선을 픽셀별로 검출하는 초점평면배열(Focal Plane Array ; FPA)방식의 적외선 검출부;
상기 적외선 카메라의 내부온도를 설정하고, 상기 적외선 카메라에 설정된 복수의 내부온도별로 상기 적외선 검출부를 통해 서로 다른 온도값을 가진 두 개의 흑체의 적외선영상을 각각 검출하고, 상기 검출된 제1 적외선영상의 제1 실제 배경 방사조도와, 상기 검출된 제2 적외선영상의 제2 실제 배경 방사조도를 각각 추정하고, 상기 추정된 제1 및 제2 실제 배경 방사조도를 이용하여 상기 적외선 카메라의 내부온도 변화에 따른 각 픽셀의 게인값과 오프셋값을 각 픽셀에 대하여 최소자승법 연산을 통해 상기 적외선 카메라의 내부온도의 1차 함수인 불균일 보정함수로 각각 생성하는 보정데이터생성부; 및
상기 보정데이터생성부에 의해 생성된 각 불균일 보정함수를 저장하는 저장부를 포함하는 보정데이터 생성장치.
적외선 카메라에 있어서,
상기 적외선 카메라의 렌즈로부터 입사된 적외선을 픽셀별로 검출하여 적외선 영상신호로 변환하여 출력하는 초점평면배열(Focal Plane Array ; FPA)방식의 적외선 검출부;
상기 적외선 카메라의 내부온도를 감지하는 온도감지부;
상기 적외선 검출부의 각 픽셀의 불균일 보정을 위한 게인값과 오프셋값이 상기 적외선 카메라의 내부온도의 1차 함수인 불균일 보정함수로 각각 저장된 보정데이터저장부;
상기 온도감지부를 통해 감지된 내부온도를 상기 보정데이터저장부에 저장된 불균일 보정함수들에 적용하여 불균일 보정값을 생성하고, 상기 적외선 검출부로부터 출력된 적외선 영상신호에 상기 생성된 불균일 보정값을 적용하여 불균일을 보정하는 제어부; 및
상기 제어부의 제어신호에 따라 상기 보정된 적외선 영상신호를 출력하는 영상출력부를 포함하는 적외선 카메라.